4digital.cloud4digital.cloud
← Engineering

Wczesne wykrywanie problemów

Monitoring pod niezależnym nadzorem

W skrócie: Monitoring zbudowany jako kod, z regułami sprawdzanymi testami i trzema uzupełniającymi się warstwami nadzoru.

01 / Dla Twojej organizacji

Awaria, o której pierwszy dowiaduje się klient, utrudnia szybką reakcję zespołu. Dobry monitoring pozwala odróżnić brak wykrytych problemów od utraty zdolności ich wykrywania.

Osobny nadzór nad monitoringiem pozwala wykryć utratę zdolności obserwacji w ramach ustalonych interwałów i progów. Reguły alertów, na których opiera się zespół, są sprawdzane testami.

02 / Realizacja na zapleczu 4digital

Na zapleczu 4digital zbudowałem monitoring od podstaw, z wymaganiami wyznaczonymi przez pomiar tego, co rzeczywiście trzeba obserwować. Pracę oparłem na czterech zasadach:

  • Alert sprawdzany jak kod — każda reguła ma testy, które pokazują, że alert wystrzeli i zgaśnie, a testy celowo zepsutych reguł potwierdzają, że same testy wykrywają błąd.
  • Obserwator poza obserwowanym — zdrowie monitoringu sprawdza osobny świadek, a całe środowisko — sygnał spoza niego.
  • Brak danych to stan nieznany — gdy o hoście nie ma świeżych danych, jego stan jest nieznany, a nie dobry.
  • Postęp zamiast obecności — proces przetwarzający dane oceniam po tym, czy dane spływają, a nie po tym, czy proces istnieje.

Monitoring jest kodem wdrażanym automatyzacją z repozytorium. Dostęp do niego ma osobną tożsamość dla każdej roli, a reguły wynikają z inwentarza, więc dodanie hosta nie wymaga zmiany logiki. Każdą regułę poprzedniego stosu rozpisałem z decyzją: zostaje, jest uogólniona, zastąpiona albo wycofana.

03 / Rezultat

Monitoring ma trzy uzupełniające się warstwy nadzoru: świadek potwierdzający co minutę cały łańcuch alertowania, podpisany sygnał życia każdego hosta odbierany poza środowiskiem oraz zewnętrzny monitor publicznej strony, który ocenia treść odpowiedzi, a nie tylko kod statusu. Osobny strażnik wykrywa ciche zatrzymanie przetwarzania danych i przywraca je automatycznie.

Wartość: wiadomo, które alerty naprawdę działają i kto pilnuje samego monitoringu, a brak alertów można odróżnić od utraty zdolności wykrywania.

04 / Wybrane dowody

  • Testy odbiorcze reguł wykryły wszystkie 16 celowo wprowadzonych zmian w regułach.
  • Jedna odpowiedź świadka potwierdza naraz punkt wejścia, ewaluację reguł i wysyłkę alertów.
  • Usługa poza środowiskiem powiadamia, gdy milknie jeden host, gdy milkną wszystkie i gdy sama traci wgląd w sygnały.
  • Strażnik przetwarzania danych z testami obejmującymi kontrolę negatywną.
Źródło doświadczenia
Własne zaplecze 4digital
Kompetencja
Obserwowalność
Obszary technologiczne
Prometheus · Alertmanager · Blackbox exporter · Testy reguł (promtool) · Ansible · nginx z TLS · systemd · Cloudflare Workers