Využitie OpenTelemetry pre Prometheus metriky odolné voči chybám s funkciou Envoy Mirroring
Existuje veľa prípadov použitia, keď je potrebné metriky zhromaždené z aplikácií alebo služieb preposlať z lokálneho prostredia do vzdialeného centralizovaného dlhodobého úložiska, ako je Thanos alebo Mimir.
Tento článok vám ukáže ako vybudovať odolné a vysoko dostupné riešenie na zhromažďovanie a posielanie metrík z aplikácií a služieb spustených v Kubernetes do vzdialeného dlhodobého TSDB úložiska kompatibilného s Prometheus. Požadované sú dostatočné znalosti použitých komponentov, ako je OpenTelemetry collector, Prometheus v režime agenta, a zrkadlenie requestov Envoy proxy. Podrobná konfigurácia je mimo rozsahu tohto článku.
Návrh
OpenTelemetry kolektor zhromažďuje metriky z požadovaných zdrojov a pipeline je nakonfigurovaná pomocou prijímačov, procesorov, a exportérov OpenTelemetry collectora na spracovanie a odosielanie zhromaždených metrík do koncového bodu Envoy proxy.
Envoy proxy je nakonfigurovaný so static route mirror policy s upstream klastrami Prometheus podov. To znamená, že Envoy proxy sa priamo pripája k k8s podu a nie k službe k8s pred podmi. Každý Prometheus pod reprezentuje Envoy upstream klaster. Údaje sú primárne smerované do jednej z dvoch replík Prometheus podu a zrkadlené do druhej.
Prometheus je nasadený do k8s klastra s dvoma replikami v režime agenta s povolenou funkciou remote-write-receiver. K inštanciám bol pridaný aj externý label prometheus_replica, ktorý sa používa na deduplikáciu sérií v Thanos odoslaných z vysoko dostupných párov inštancií Prometheus.
Záver
Tento návrh pomohol zvýšiť odolnosť monitorovania a znížil medzeru v údajoch časových radov v Grafana dashboardoch.
Autor
Gabriel Illés
Senior DevOps Engineer
Dedicated professional with experience in managing cloud infrastructure and system administration, integrating cloud-based infrastructure components, and developing automation and data engineering solutions. Good at troubleshooting problems and building successful solutions. Excellent verbal and written communicator with strong background cultivating positive relationships and exceeding goals.
Celý konzultačný tím Grow2FIT: Náš tím
