ELK Stack ile Modern Observability

Log mimarisi, korelasyon ve operasyonel ritim

Elasticsearch, Logstash ve Kibana üçlüsü yalnızca log toplamaz; olayları iş akışına bağlayan korelasyon katmanını da kurar. Bu yol haritası SRE lead profiline yönelik hazırlanmış olup Elasticsearch, Logstash, Kibana, Filebeat araçlarıyla uygulanabilir.

Log Şeması ve Sorumluluk

Takımlar schema-free log yazarsa sorgular sürdürülemez.

• ECS (Elastic Common Schema) standardını dayatmak
• Log alanlarını tip bazlı doğrulamak
• Service owner bazlı index lifecycle policy

Korelasyon ve Alarm

Trace-id loglarda yoksa APM ile korelasyon kurulamaz.

• W3C traceparent headerını loglamak
• Kibana alert’lerini runbook ile bağlamak
• Incident verisini Slack’e push etmek

Operasyonel Ritim

Dashboard tüketilmezse veri mezarlığı oluşur. Haftalık log gözden geçirme ritmi şarttır.

• Log volumelerini üst sınırla yönetmek
• Index lifecycle policy ile sıcak-soguk depolama
• Noise azaltma için Field kapsama analizi

Başarı Metrikleri

• Incident MTTR: ↓36% — Korelasyon katmanı kök nedeni hızlandırdı.
• Log maliyeti: -%22 — Lifecycle policy ile soğuk depoya aktarıldı.
• Alert false positive: -%40 — Runbook bağlantıları ile filtrelendi.

Kod Örneği — Filebeat ECS alanları

processors:
  - add_fields:
      target: ecs
      fields:
        version: '8.11.0'

Uygulama Kontrol Listesi

• ECS şemasını standartlaştır.
• Trace-id’yi loglara ekle.
• Lifecycle policy tanımla.
• Alert-runbook eşleşmelerini yaz.
• Dashboards için gözden geçirme ritmi kur.

Anahtar odaklar: observability, logging, elk.