Mit jelent valójában a „valós idejű” az adatelemzésben?
A valós idejű adatelemzés rejtélyének megfejtése: Az értelmezések, kategóriák és stratégiák megértése az adatvezérelt kor rejtett értékeinek feltárásához.
Vajon egy elemzési válasz, mely 300 ezredmásodpercen belül érkezik az előző napon generált adatokra, valós idejűnek számít-e? A mai gyorsan változó digitális világban a valós idejű adatelemzés fogalma egyre elterjedtebb és elengedhetetlen az üzleti siker érdekében. Viszont sok a félreértés a „valós idejű” kifejezés valódi jelentését illetően.
A valós idejű adatelemzésről szóló beszélgetések során az értelmezések megértése létfontosságú annak érdekében, hogy kiaknázzuk a valós idejű elemzés adta lehetőségeket az adatvezérelt korban.
Javaslatom a következő: szükség van a teljes körű valós idejű adatelemzés és az előkészített adatok gyors válaszreakciójának elkülönítésére. A válaszlatencia az az idő, amely alatt egy rendszer feldolgozza a kérést vagy lekérdezést, és válaszol rá. A teljes körű valós idejű adatelemzés adataink generálásától az elemzésig tartó időt foglalja magában, amely az adatok szállítására, transzformálására és előkészítésére is kiterjed.
Alacsony késleltetésű valós idejű adatelemzés
Ez a kategória a válaszlatenciát az alábbiak szerint határozza meg:
- A válaszidő néhány száz ezredmásodperctől kezdődik, ami az analitikai adatbázisokban gyakori, egészen néhány mikro- vagy nanoszekundumig, amit csak speciális technológiák képesek elérni. Alkalmazások, mint a kiberbiztonság vagy a tőzsdei ajánlattevő rendszerek, ezt az azonnali válaszkategóriát igénylik. A csalásfelismerés általában millisekundumos válaszidővel működik jól.
- Interaktív válasz: Ez az analitikai felhasználók szemszögéből fontos. A rendszerek, amelyek a lekérdezésekre vagy interakciókra válaszolnak, mint például egy analitikai grafikonon történő kattintásra adott részletes információ, valós idejűek. Néhány másodperc késleltetés gyakran elfogadható, de a túllépése felhasználói frusztrációt vagy elveszett lehetőségeket eredményezhet.
Teljes körű valós idejű adatelemzés
Ez a kategória az adatok forrásból történő feldolgozását foglalja magában, nem csak egy már előkészített adatra adott választ:
- Adatfolyam: Ellentétben a kötegelt feldolgozással, ahol az adatok felhalmozódnak és egyszerre kerülnek feldolgozásra, az adatfolyam folyamatosan dolgozza fel az adatokat. „Mikro-kötegek” gyakran dolgoznak fel adatokat egy rövid időablakból, például néhány másodpercen vagy percben belül. Sok népszerű adatfolyam-feldolgozási technológia mikro-kötegekben dolgozik, tehát ezek még mindig folyamatosnak tekinthetők. Az IoT eszközökből származó adatok monitorozása vagy azokon történő cselekvés gyakori alkalmazási terület. A prediktív karbantartás vagy a hálózat optimalizálása jó példák erre. Egy másik példa a közösségi média adatfolyamainak érzelmi elemzése.
Forrás: insidebigdata.com