dashboard.opiq.ee

Opiq on veebiplatvorm, mis ühendab õppijad ja kirjastused. 5+ riigis koolisüsteemi õpilased kasutavad õppeplatvormi. Kirjastused saavad sisu luua ja levitada. Platvormil on digitaliseeritud üle 500 õpiku.

Kuna platvormi kasutab 70% Eesti õpilastest, vajab Opiq saidi külastajate analüüsi jaoks tugevat andmetorustikku. Kasutusandmed on tuluosa arvutuste ja materjalide kasutuse analüüsi aluseks, mis muudab andmete töötlemisvõimekuse ärikriitiliseks vajaduseks. Lisaks kümnetele miljonitele lehevaatamistele Eestist peab andmekonveier töötlema Soome, Leedu ja Keenia saitidel loodud sündmusi.

Bitropia ehitas andmetöötluse infrastruktuuri, mis võimaldab kahte töötlusstrateegiat.

Esimese strateegiana käitab väiksema külastavusega saitide puhul dockeriseeritud konteiner node.js programmi, mis töötleb saidi kasutust kirjeldavaid Kafkat sõnumeid. Neid sõnumeid rikastatakse, vormindatakse, sõelutakse ja muudetakse muul viisil. Sõnumeid salvestatakse mällu, kuni partii limiit on täidetud, mille järel lisatakse sõnumid otse AWS Redshifti.

Teise strateegia puhul, kus sõnumite maht on liiga suur, et neid otse Redshifti andmelattu lisada, salvestame muudetud sõnumid esmalt AWS S3-s json-failidena. Seejärel kasutatakse AWS Glue teenust .json-failide väga suures mahus AWS Redshifti üle kandmiseks.

AWS Redshift on ette valmistatud selleks, et analüütikud saaksid kasutada parimaid päringuvõimalusi. Tabelites on lai valik veerge, mille põhjal saab hõlpsasti teha keerulisi päringuid. Lisaks on andmebaasi kiirus optimeeritud.