Bir şeyin bozulduğunu müşteriden önce bilmek
Sisteminize günlük, metrik, iz ve alarm ekleriz. Yedeklerin geri yüklenebildiği denenir; bir şey bozulduğunda ne yapılacağı yazılı olarak hazır durur.
Kimin için
Sistemdeki arızayı bir müşterinin şikâyetinden öğrenen şirketler için.
Neyi çözer
- Sistem yavaşlıyor, ama hangi parçanın suçlu olduğunu kimse söyleyemiyor.
- Bir şeyin çöktüğünü ilk olarak bir müşterinin mesajından öğreniyorsunuz.
- Alarmlar durmadan çalıyor; ekip artık onları görmezden geliyor.
- Yedek var, ama bir yedeği geri yüklemeyi kimse hiç denemedi.
- Her arızadan sonra aynı sorun dönüp geliyor, çünkü nedenini kimse kayda geçirmedi.
Ne yapıyoruz
- Günlükler ve izler
- Aranabilir kayıtlar ve her isteğin servisler arasında izlediği yol; gereksiz kişisel veri olmadan.
- Metrikler ve panolar
- Her servisin trafiği, hataları, gecikmesi ve kuyrukları, ekibin okuyabildiği panolarda.
- Hizmet hedefleri (SLO)
- Pix onayı gibi akışlar için sizinle belirlenen ayakta kalma ve yanıt süresi hedefleri.
- Eyleme dönük alarmlar
- Her alarmın bir sahibi, önem derecesi ve ne yapılacağını anlatan bir kılavuzu olur; gürültü ayıklanır.
- Yedek ve geri yükleme
- Otomatik yedekler ve ayrı bir ortamda gerçekten yapılan, süresi kayda geçen geri yükleme provası.
- Olay sonrası inceleme
- Her ciddi arızadan sonra neden, zaman çizelgesi ve alınacak önlemler yazılır; suçlu aranmaz.
Neler teslim edilir
- Ana servislerde günlük, metrik ve iz kaydı
- Servis ve iş akışı bazında panolar
- Her birinin müdahale kılavuzu olan alarm kuralları
- Yedekten geri yükleme provasının raporu
- Ekibinizin hemen kullanabileceği olay sonrası inceleme şablonu
Nasıl ilerliyoruz
Sistem haritası
Servisler, bağımlılıklar ve durmaması gereken akışlar.
Ölçüm ekleme
Günlük, metrik ve izler, kodda olabildiğince az değişiklikle eklenir.
Hedefler ve alarmlar
Hizmet hedefleri sizinle belirlenir, alarmlar bu hedeflere bağlanır.
Geri yükleme provası
Bir yedek gerçekten geri yüklenir; sonuç ve geçen süre kaydedilir.
Düzenli gözden geçirme
Alarmlar ve olay incelemeleri ekibinizle belirli aralıklarla ele alınır.
Teknoloji örnekleri
- OpenTelemetry
- Prometheus
- Grafana
- Loki
- Sentry
- pgBackRest
İlgili hizmetler
Sık sorulan sorular
Gece gelen alarmlara kim bakar?
Neyin kararlaştırıldığına bağlı. Alarmlar ekibinize, bize ya da ikimize birden gidebilir. Mesai dışı destek olacaksa bakım ve geliştirme sözleşmesinde tanımlanır.
Ücretli bir izleme aracı şart mı?
Şart değil. Her şey açık kaynak araçlarla da kurulabilir, ücretli bir servisle de; seçimde maliyet, veri hacmi ve sistemi kimin işleteceği belirleyicidir.
SLO pratikte ne demek?
Bir akış için belirlenen ve sürekli ölçülen hedef: örneğin ödeme onaylarının ne kadarının belirli bir sürede tamamlanması gerektiği. Hedef tehlikeye girince yeni özellikler bekler, öncelik kararlılığa geçer.
Sistem yine de çökerse?
Gözlemlenebilirlik her arızayı önlemez. Arızanın fark edilmesini ve nedeninin bulunmasını hızlandırır; sonradan yapılan inceleme de aynı arızanın tekrarlanma ihtimalini azaltır.
Balkan'a yazın
Projeniz için yazın