Prikupljanje i analiza dnevničkih zapisa međusobno povezanih servisa u skoro realnom vremenu

Tema ovog diplomskog rada je izrada sustava za prikupljanje, obradu i prikaz dnevničkih zapisa međusobno povezanih servisa u skoro realnom vremenu. Na samom početku su obrađeni osnovni pojmovi vezani uz tokove podataka poput vremenskih domena, prozora i vodostaja. Zatim slijedi opis osnovnih funkcio...

Full description

Bibliographic Details
Main Author: Jutriša, Iva
Other Authors: Mekterović, Igor
Format: Master Thesis
Language:Croatian
Published: Sveučilište u Zagrebu. Fakultet elektrotehnike i računarstva. 2021
Subjects:
tokovi podataka
Spark
Structured Streaming
Spark Streaming
Java
Kafka
proizvođač
potrošač
Dropwizard
Vue.js
obrada u realnom vremenu
data flows
Producer
Consumer
real-time processing
TEHNIČKE ZNANOSTI. Računarstvo
TECHNICAL SCIENCES. Computing
Billing
Malo
sami
Online Access:https://zir.nsk.hr/islandora/object/fer:8338
https://urn.nsk.hr/urn:nbn:hr:168:924947
https://repozitorij.unizg.hr/islandora/object/fer:8338
https://repozitorij.unizg.hr/islandora/object/fer:8338/datastream/PDF
Description
Summary:Tema ovog diplomskog rada je izrada sustava za prikupljanje, obradu i prikaz dnevničkih zapisa međusobno povezanih servisa u skoro realnom vremenu. Na samom početku su obrađeni osnovni pojmovi vezani uz tokove podataka poput vremenskih domena, prozora i vodostaja. Zatim slijedi opis osnovnih funkcionalnosti tehnologija koje su korištene prilikom implementacije spomenutog prototipa sustava. Među njima se nalaze Apache Kafka, Spark Streaming i Spark Structured Streaming. Korisničko sučelje i web aplikacija ostvareni su korištenjem Vue.jsa i Dropwizarda. Sami sustav je testirana na dvama različitim tipovima dnevničkih zapisa, aplikacije za naplatu parkinga i nginx web poslužitelja sustava Edgar. Ostvaren je protočan cjeloviti cjevovod koji garantira „točno jednom” od odredišta do izvora, uz malo kašnjenje i ispravne rezultate. The topic of this thesis is building a system for collecting, processing and displaying logs of interconnected services in almost real time. At the very beginning, the basic concepts related to data flows such as time domains, windows and watermarks are described. Then follows a descriptions of basic technology functionalities used in the implementation of said prototype system. These include Apache Kafka, Spark Streaming and Spark Structured Streaming. The user interface and web application were achieved using Vue.js and Dropwizard. The system itself was tested on two different log data types, of a parking billing app and the Edgar system’s nginx web server. A complete flow pipeline is achieved that guarantees "exactly once" from the destination to the source, with little delay and correct results.

Similar Items