Sledování datových toků mezi mikroslužbami

Abstract

Tato bakalářská práce se zabývá vývojem JavaScriptového klienta pro OpenLineage, čímž vyplňuje citelnou mezeru v tomto ekosystému, kde dosud existovala pouze řešení pro Javu a Python. OpenLineage, jako průmyslový standard pro sledování da- tového původu (lineage), zpřehledňuje datové toky napříč systémy, avšak dosud mu chyběla nativní podpora pro JavaScriptová prostředí. Práce představuje komplexní přístup k návrhu a implementaci modulárního a typově bezpečného JavaScriptového klienta. Tento klient je plně v souladu se specifikací OpenLineage a kompatibilní s existujícími backendovými systémy, jako je Marquez. Návrh využívá vrstvenou architekturu pro jasné oddělení odpovědností mezi vytvářením událostí, transportními mechanismy a správou konfigurace. Pro za- jištění vyšší typové bezpečnosti přešla implementace z původních JSDoc anotací na TypeScript. Součástí řešení jsou také odolné transportní mechanismy využíva- jící strategii exponenciálního ústupu (exponential backoff) pro spolehlivý přenos dat. Funkčnost klienta byla důkladně ověřena pomocí víceúrovňového testování, od jednotkových testů (unit testů) až po integraci s reálnými OpenLineage backendy. Výsledný klient umožňuje organizacím efektivně sledovat datový původ v JavaScrip- tových aplikacích, rozšiřuje tak použitelnost OpenLineage do nových oblastí a přis- pívá k ucelenější správě dat (data governance) v technologicky různorodých prostředích.

Description

Subject(s)

datový původ, OpenLineage, JavaScript, TypeScript, mikroslužby, monitorování datových toků

Citation