Wczesne wykrywanie problemów
Monitoring pod niezależnym nadzorem
W skrócie: Monitoring zbudowany jako kod, z regułami sprawdzanymi testami i trzema uzupełniającymi się warstwami nadzoru.
01 / Dla Twojej organizacji
Awaria, o której pierwszy dowiaduje się klient, utrudnia szybką reakcję zespołu. Dobry monitoring pozwala odróżnić brak wykrytych problemów od utraty zdolności ich wykrywania.
Osobny nadzór nad monitoringiem pozwala wykryć utratę zdolności obserwacji w ramach ustalonych interwałów i progów. Reguły alertów, na których opiera się zespół, są sprawdzane testami.
02 / Realizacja na zapleczu 4digital
Na zapleczu 4digital zbudowałem monitoring od podstaw, z wymaganiami wyznaczonymi przez pomiar tego, co rzeczywiście trzeba obserwować. Pracę oparłem na czterech zasadach:
- Alert sprawdzany jak kod — każda reguła ma testy, które pokazują, że alert wystrzeli i zgaśnie, a testy celowo zepsutych reguł potwierdzają, że same testy wykrywają błąd.
- Obserwator poza obserwowanym — zdrowie monitoringu sprawdza osobny świadek, a całe środowisko — sygnał spoza niego.
- Brak danych to stan nieznany — gdy o hoście nie ma świeżych danych, jego stan jest nieznany, a nie dobry.
- Postęp zamiast obecności — proces przetwarzający dane oceniam po tym, czy dane spływają, a nie po tym, czy proces istnieje.
Monitoring jest kodem wdrażanym automatyzacją z repozytorium. Dostęp do niego ma osobną tożsamość dla każdej roli, a reguły wynikają z inwentarza, więc dodanie hosta nie wymaga zmiany logiki. Każdą regułę poprzedniego stosu rozpisałem z decyzją: zostaje, jest uogólniona, zastąpiona albo wycofana.
03 / Rezultat
Monitoring ma trzy uzupełniające się warstwy nadzoru: świadek potwierdzający co minutę cały łańcuch alertowania, podpisany sygnał życia każdego hosta odbierany poza środowiskiem oraz zewnętrzny monitor publicznej strony, który ocenia treść odpowiedzi, a nie tylko kod statusu. Osobny strażnik wykrywa ciche zatrzymanie przetwarzania danych i przywraca je automatycznie.
Wartość: wiadomo, które alerty naprawdę działają i kto pilnuje samego monitoringu, a brak alertów można odróżnić od utraty zdolności wykrywania.
04 / Wybrane dowody
- Testy odbiorcze reguł wykryły wszystkie 16 celowo wprowadzonych zmian w regułach.
- Jedna odpowiedź świadka potwierdza naraz punkt wejścia, ewaluację reguł i wysyłkę alertów.
- Usługa poza środowiskiem powiadamia, gdy milknie jeden host, gdy milkną wszystkie i gdy sama traci wgląd w sygnały.
- Strażnik przetwarzania danych z testami obejmującymi kontrolę negatywną.
- Źródło doświadczenia
- Własne zaplecze 4digital
- Kompetencja
- Obserwowalność
- Obszary technologiczne
- Prometheus · Alertmanager · Blackbox exporter · Testy reguł (promtool) · Ansible · nginx z TLS · systemd · Cloudflare Workers