Enostavna gradnja podatkovnih tokov za usmerjanje, analizo ter učenje v “BigData” svetu
Na predavanju bomo predstavili arhitekturo sistema, ki nam omogoča, da v poplavi podatkov na enostaven način zgradimo kontekstno odvisne (namenske) podatkovne tokove. Le tako lahko postane velika količina podatkov obvladljiva in jih lahko dodatno oplemenitimo s pomočjo metod in algoritmov strojnega učenja.
Predstavili bomo sistem, ki je v realnem času zmožen procesirati veliko količino dogodkov, ki jih uporabniki ustvarijo z raznimi akcijami na hipotetični spletni strani. Sistem nepovezane dogodke med seboj povezuje (npr. po uporabniku) in s tem ustvari kontekst podatkov, ki nam omogoča lažje povezovanje podatkov in analizo. Prikazali bomo, kako v sistem brez težav vključimo proces strojnega učenja, s katerim lahko izboljšamo uporabniško izkušnjo (npr. natančnejše priporočanje produktov na podlagi naučenih modelov v realnem času).
Celoten sistem je zasnovan z odprtokodnimi orodji, kot so Kafka, Elastic Stack, Apache Spark in Quarkus. Sistem je mogoče enostavno namestiti in upravljati, zato je uporaben in obvladljiv tudi za manjša podjetja.
Leave a comment
- Speaker:
- Marko Polak in David Šenica
- Podjetje
- Medius