Oyun Backend Etkinlikleri Yük Altında mı Kayboluyor? İşte Dayanıklı Akış Mimarisi Çözümü
Özet olarak
Saptayın: yük altında etkinlik kaybını, dayanıklı akış mimarisiyle üretici-tüketici ayrıştırması uygulayın ve oyun backend veri kaybını önleyin.
Analitik hattınız hafta sonu zirvesinde oyuncu ölüm etkinliklerinin %40'ını kaybetti. Liderlik tabloları güncel değil. Kilitlenme raporları hiç ulaşmadı. Kimse üç gün boyunca fark etmedi.
Bu, oyun backend güvenilirliğinin sessiz katilidir: birbirine bağlı üretici-tüketici mimarileri saniyede 100 istekte sorunsuz çalışırken 10.000 istekte veri kaybeder. Oyun sunucunuzdan analiz tüketicinize yapılan RPC çağrısı zaman aşımına uğrar, bağlantı sıfırlanır ve etkinlik sessizce kaybolur — hata yok, yeniden deneme yok, kayıt yok.
Bu runbook neyin bozulduğunu, nasıl tespit edileceğini, bunu düzelten mimari deseni ve tekrarının nasıl önleneceğini kapsar.
Ne Bozulur: Birbirine Bağlı Üretici-Tüketici Arıza Modu
Geleneksel RPC mimarileri üreticileri ve tüketicileri hem ölçek hem de zaman açısından hizalanmaya zorlar. Oyun sunucunuz bir "player_killed" etkinliğini doğrudan HTTP üzerinden bir analiz hizmetine gönderdiğinde:
- Ölçek uyumsuzluğu: Bir sunucu etkinliği sırasında 5.000 oyuncu aynı anda ölürse, analiz uç noktanız işleyemeyeceği bir patlama alır. HTTP bağlantısı 30 saniye sonra zaman aşımına uğrar. Etkinlikler kaybolur.
- Zaman bağımlılığı: Dolandırıcılık tespit hizmetiniz yeni bir sürüm dağıtıp 90 saniye çevrimdışı kalırsa, bu pencerede üretilen her etkinlik kaybolur.
- Çoklu tüketici fan-out: Aynı "player_killed" etkinliğinin üç bağımsız sisteme ulaşması gerekir — bir liderlik tablosu güncelleyici, bir analiz hattı ve bir canlı operasyon paneli. Her tüketicinin farklı bir veri işleme kapasitesi vardır. En yavaş olan üretici için darboğaz haline gelir.
Pratikte böyle görünür:
[Game Server] --HTTP POST--> [Analytics Service] ✓ works at 200 req/s
[Game Server] --HTTP POST--> [Analytics Service] ✗ 40% drops at 8,000 req/s
[Game Server] --HTTP POST--> [Fraud Detection] ✗ offline during deploy
Sonuç: analitiği bozan, liderlik tablolarını bayatlatan ve kilitlenme desenlerini görünmez kılan sessiz, kısmi veri kaybı. Haftalar sonra huni sayılarınız tutmadığında fark edersiniz.
Somut Arıza Sayıları
5.000 eşzamanlı oyuncuyu işleyen tipik bir indie multiplayer backend'inde:
- Zirvede ~2.400 oyun etkinliği/saniye (öldürmeler, skor güncellemeleri, envanter değişiklikleri, bölge geçişleri)
- Ortalama etkinlik boyutu: ~200 bayt
- 3 tüketiciye doğrudan HTTP fan-out: saniyede 7.200 giden istek
- Tüketici zaman aşımı eşiği: 30 saniye
- Zirvede gözlemlenen kayıp oranı: tüketici sağlığına bağlı olarak %15–45
Matematik acımasız. Tek bir tüketicinin 60 saniye sağlıksız kalması 72.000 etkinliği kaybettirir. Bir tampon kurmadıysanız bu etkinlikler yok olur.
Sessiz Etkinlik Kaybı Nasıl Tespit Edilir
Sessiz etkinlik kaybı, tanımı gereği yakalanması zordur. İşte bir tespit runbook'u:
Adım 1: Sıra Numaralarını Enstrümente Edin
Her üretici, her etkinliği kaynak varlık başına monoton olarak artan bir sıra numarasıyla damgalamalıdır. Oyun sunucunuz player_abc için etkinlik gönderiyorsa sıra 1, 2, 3, 4... şeklinde ilerler.
Event 1: { seq: 1, player: "abc", type: "kill", ts: 1719432000 }
Event 2: { seq: 2, player: "abc", type: "death", ts: 1719432001 }
Event 3: { seq: 4, player: "abc", type: "score", ts: 1719432005 } // seq 3 missing!
Tüketici tarafında sıra numaralarında bir boşluk olması etkinlik kaybının doğrulandığı anlamına gelir.
Adım 2: Tüketici Gecikmesini İzleyin
Her tüketici için en son üretilen sıra ile en son tüketilen sıra arasındaki farkı izleyin. Uyarı eşikleri:
- Gecikme < 1.000 etkinlik: Sağlıklı
- Gecikme 1.000–10.000 etkinlik: Uyarı — tüketici geride kalıyor
- Gecikme > 10.000 etkinlik: Kritik — tüketici fiilen çevrimdışı veya aşırı yüklü
Adım 3: Toplamları Çapraz Doğrulayın
Üretici günlükleri ile tüketici alım sayıları arasındaki etkinlik sayılarını saatlik olarak karşılaştırın. %1'den büyük bir farklılık araştırma gerektirir.
// Producer-side counter (emit to your monitoring system every 60s)
public class EventProducerMetrics
{
private long _producedCount = 0;
public void RecordProduced()
{
Interlocked.Increment(ref _producedCount);
}
public long GetAndResetCount()
{
return Interlocked.Exchange(ref _producedCount, 0);
}
}
Saatlik üretilen sayınız 8.400.000 ve analiz tüketiciniz 5.100.000 aldıysa, etkinliklerin %39'unu kaybetmişsinizdir. Sinyaliniz budur.
Mimari Çözüm: Dayanıklı Bir Etkinlik Günlüğü ile Ayrıştırma
Çözüm, üreticiler ile tüketiciler arasına dayanıklı bir tampon yerleştirerek üreticileri tüketicilerden ayrıştırmaktır. Şunun yerine:
Game Server --direct HTTP--> Analytics
Game Server --direct HTTP--> Leaderboard Service
Game Server --direct HTTP--> Crash Reporter
Şuna yazarsınız:
Game Server --single write--> [Durable Event Stream] --independent reads--> Analytics
--independent reads--> Leaderboard Service
--independent reads--> Crash Reporter
Dayanıklı akış, yazıları üretici hızında emer. Her tüketici kendi hızında okur. Bir tüketici 5 dakika çevrimdışı kalırsa, etkinlikler akışta birikir ve tüketici geri geldiğinde kaldığı yerden devam eder. Veri kaybı yok.
Dayanıklı Bir Etkinlik Akışının Temel Özellikleri
Oyun backend'leri için üretim kalitesinde bir etkinlik akışı şu özelliklere ihtiyaç duyar:
| Özellik | Oyunlar İçin Neden Önemli |
|---|---|
| Bölüm içinde sıralı | Bir oyuncu için tüm etkinlikler sırayla işlenmelidir — bir öldürme skor güncellemesinden önce, sonra değil |
| Dayanıklı depolama | Etkinlikler tüketici yeniden başlatmalarından, dağıtım pencerelerinden ve altyapı arızalarından sağ çıkar |
| Bağımsız tüketici ofsetleri | Analiz tüketiciniz ve liderlik tablosu tüketiciniz birbirini engellemeden farklı hızlarda okur |
| Bölüm düzeyinde sıralama | Oyuncular arasında paralellik (farklı bölümler) ve bir oyuncu içinde tutarlılık (aynı bölüm) elde edersiniz |
Oyun Backend'leri için Bölümleme Stratejisi
Bölüm anahtarı, hangi etkinliklerin hangi sıralı günlüğe düştüğünü belirler. Oyun backend'leri için doğal bölüm anahtarı playerId'dir:
Partition 0: [player_abc kill#1] [player_abc death#2] [player_abc score#3]
Partition 1: [player_def zone#1] [player_def kill#2] [player_def loot#3]
Partition 2: [player_ghi death#1] [player_ghi spawn#2]
Bu, tek bir oyuncu için tüm etkinliklerin her tüketici tarafından tam sırayla işlenmesini garanti ederken, farklı oyunculara ait etkinliklerin paralel işlenebilmesini sağlar.
Dayanıklı Etkinlik Akışı Uygulaması: Pratik Bir Anlatım
İşte somut bir uygulama deseni. Bunu nesne depolamanın (S3/R2 gibi), yönetilen bir akış hizmetinin veya veritabanı destekli bir günlüğün üzerine inşa edebilirsiniz.
Üretici: Tek Yazımla Fan-Out
Oyun sunucunuz tek bir etkinlik yazar. Akış altyapısı, tüm tüketicilere teslimi yönetir.
public class GameEventProducer
{
private readonly IEventStreamClient _stream;
private readonly ILogger _logger;
public GameEventProducer(IEventStreamClient stream, ILogger logger)
{
_stream = stream;
_logger = logger;
}
public async Task EmitAsync(string playerId, string eventType,
Dictionary<string, object> payload)
{
var gameEvent = new GameEvent
{
Id = Guid.NewGuid().ToString(),
PlayerId = playerId, // partition key
EventType = eventType,
Payload = payload,
Timestamp = DateTimeOffset.UtcNow.ToUnixTimeMilliseconds()
};
try
{
// Single write — the stream handles fan-out to all consumers
await _stream.AppendAsync(
partitionKey: playerId,
eventData: JsonSerializer.Serialize(gameEvent)
);
}
catch (EventStreamException ex)
{
// Events that fail to write should be queued locally
// and retried, not silently dropped
_logger.LogWarning(ex,
"Failed to emit event {EventType} for {Player}, queueing retry",
eventType, playerId);
await _retryQueue.EnqueueAsync(gameEvent);
}
}
}
Bu kodda öne çıkan tasarım kararları:
- Bölüm anahtarı
playerId'dir: Tüm etkinlik türlerinde oyuncu başına sıralamayı garanti eder. - Tek yazma çağrısı: Üretici kaç tüketici olduğunu bilmez veya umursamaz. Yeni bir tüketici eklemek (örneğin, sezonluk etkinlik takipçisi) üreticide sıfır değişiklik gerektirir.
- Yerel yeniden deneme kuyruğu: Akış geçici olarak kullanılamazsa, etkinlikler yerel olarak kuyruğa alınır ve bağlantı geri geldiğinde boşaltılır. Bu, ağ kesintileri sırasında veri kaybını önler.
Tüketici: Bağımsız Ofset Takibi
Her tüketici, bölüm başına kendi okuma ofsetini tutar. Bu, bağımsız işleme hızlarına izin veren temel mekanizmadır.
public class LeaderboardConsumer
{
private readonly IEventStreamClient _stream;
private readonly ILeaderboardService _leaderboard;
private readonly IOffsetStore _offsets;
public async Task ProcessEventsAsync(CancellationToken ct)
{
while (!ct.IsCancellationRequested)
{
// Read the next batch from where we left off
var lastOffset = await _offsets.GetOffsetAsync(
consumerName: "leaderboard-updater",
partitionId: 0
);
var batch = await _stream.ReadBatchAsync(
partitionId: 0,
fromOffset: lastOffset,
maxBatchSize: 500
);
foreach (var evt in batch.Events)
{
var gameEvent = JsonSerializer.Deserialize<GameEvent>(evt.Data);
if (gameEvent.EventType == "player_killed")
{
await _leaderboard.IncrementKillsAsync(
gameEvent.PlayerId,
amount: 1
);
}
else if (gameEvent.EventType == "score_updated")
{
await _leaderboard.UpdateScoreAsync(
gameEvent.PlayerId,
gameEvent.Payload["score"].GetInt32()
);
}
// Advance offset AFTER successful processing
await _offsets.SetOffsetAsync(
consumerName: "leaderboard-updater",
partitionId: 0,
offset: evt.Offset + 1
);
}
await Task.Delay(100, ct); // Poll interval
}
}
}
Kritik uygulama ayrıntıları:
- Ofset, işlemeden sonra ilerler, önce değil. Tüketici bir grubun ortasında çökerse, yeniden başlatmada aynı etkinlikleri yeniden işler. İşleyicileriniz idempotent olmalıdır — aynı öldürme etkinliğini iki kez işlemek liderlik tablosu girişini çift saymamalıdır.
- 500'lük grup boyutu, işleme hızı ile bellek arasında denge kurar. 200 baytlık etkinliklerde bu, grup başına ~100KB'dir — ihmal edilebilir.
- 100ms yoklama aralığı, etkinlik üretiminden liderlik tablosu güncellemesine kadar en kötü durum gecikmesinin ~100ms olduğu anlamına gelir. Çoğu liderlik tablosu kullanım durumu için bu tamamen kabul edilebilir. 10ms altı gecikmeye ihtiyacınız varsa, tamamen farklı bir mimari olan gerçek zamanlı aktarım alanındasınız demektir.
Idempotency: Tüketici Güvenlik Ağı
Idempotency bu mimaride pazarlığa açık değildir. İşte somut bir idempotent işleyici:
public class IdempotentKillCounter
{
private readonly IDatabase _db;
public async Task ProcessKillAsync(string playerId, string eventId)
{
// Check if we already processed this event
var alreadyProcessed = await _db.ExecuteScalarAsync<bool>(
"SELECT COUNT(*) > 0 FROM processed_events WHERE event_id = @id",
new { id = eventId }
);
if (alreadyProcessed)
{
return; // Skip duplicate — this is the idempotency guard
}
// Process and record in a transaction
await _db.ExecuteInTransactionAsync(async tx =>
{
await tx.ExecuteAsync(
"UPDATE leaderboard SET kills = kills + 1 WHERE player_id = @pid",
new { pid = playerId }
);
await tx.ExecuteAsync(
"INSERT INTO processed_events (event_id, processed_at) VALUES (@id, @now)",
new { id = eventId, now = DateTime.UtcNow }
);
});
}
}
processed_events tablosu bir yineleme önleme deposu görevi görür. Etkinlik başına fazladan bir yazma maliyeti vardır, ancak tüketici yeniden başlatmalarının verilerinizi asla bozmamasını garanti eder.
Tüketici Kesintisiyle Başa Çıkma: Tamponlama Garantisi
Dayanıklı etkinlik akışı kullanmanın birincil nedeni, tüketici kesintisini veri kaybı olmadan atlatmaktır. Tamponlama matematiği şöyle çalışır:
Producer rate: 2,400 events/second
Consumer offline window: 5 minutes (300 seconds)
Events buffered: 720,000 events
Storage required: 720,000 × 200 bytes = ~144 MB
144 MB ile bu, herhangi bir modern depolama sistemine kolayca sığar. Kritik içgörü: tampon boyutunuz, toplam geçmiş verinize değil, etkinlik hızınız ile maksimum kesinti toleransınızın çarpımına orantılıdır.
Uzun vadeli saklama için (yeniden oynatma veya yeniden işleme amacıyla 30 günlük etkinlikler) sayılar büyür:
30 days × 86,400 seconds × 2,400 events/sec × 200 bytes = ~1.24 TB
Bu, nesne depolama backend'lerinin kapasitesinin oldukça içindedir. Bölüm yapısı, bu ölçekte bile okuma performansını öngörülebilir tutar — asla tüm günlüğü taramazsınız, belirli ofsetlerde belirli bölümlerden okursunuz.
horizOn Olay Güdümlü Bir Mimaride Neler Sunar
Etkinlik akışınız veriyi güvenilir şekilde teslim ettikten sonra, bu etkinlikleri tüketen hizmetlere ihtiyacınız vardır. horizOn, tüketicilerinizin SDK'lar veya REST API üzerinden yazabileceği yönetilen backend hizmetleri sunar:
- Liderlik tabloları, tüketicilerinizin öldürme, skor ve tamamlama etkinliklerinden gönderdiği skorların sıralamasını tutar
- Kullanıcı günlükleri, sizin yazdığınız günlük kayıtlarını saklar; bir oyuncu "skorum sıfırlandı" dediğinde günlüklerine bakabilirsiniz
- Kilitlenme raporları, SDK'lardan gelen kilitlenme ve ölümcül olmayan raporları toplar ve incelemek için gruplar
Mesele şu: etkinlik akışı veriyi tüketicilerinize güvenilir şekilde ulaştırır. horizOn akışın kendisinin yerini almaz, tüketicilerinizin arkasındaki hizmetleri kapsar.
Runbook: Etkinlik Kaybının Tekrarlanmasını Önleme
Bir kez etkinlik kaybı yaşadıysanız, tekrar olmasını önlemek için kontrol listesi:
1. Her Üretici-Tüketici Bağlantısını Denetleyin
Kod tabanınızı gezin ve bir oyun sunucusunun bir backend hizmetine doğrudan senkron HTTP çağrısı yaptığı her yeri belirleyin. Her biri yük altında potansiyel bir kayıp noktasıdır. Listeleyin:
GameServer → AnalyticsService (HTTP POST, no retry) ← RISK
GameServer → LeaderboardService (HTTP POST, no retry) ← RISK
GameServer → CrashReporter (UDP, fire-and-forget) ← RISK
2. Etkinlik Akışını Bir Aracı Olarak Devreye Alın
Her doğrudan çağrıyı, dayanıklı etkinlik akışına tek bir yazma ile değiştirin. Her alt akış hizmeti, kendi ofsetine sahip bağımsız bir tüketici haline gelir.
3. Tüketici Sağlığı İzlemeyi Uygulayın
Her tüketici için şunları izleyin:
- Gecikme (üreticinin gerisindeki etkinlikler)
- İşleme hızı (saniyede tüketilen etkinlikler)
- Hata oranı (saniyede işlenemeyen etkinlikler)
- Son başarılı ofset (bayatlık tespiti)
Hesaplanan tampon pencerenizi aşan gecikme için uyarı verin. Akışınız 7 gün saklıyorsa ve tüketiciniz 6 gündür kapalıysa, veri kaybı başlamadan önce 24 saatiniz var.
4. Tüketici Yeniden Başlatma Kurtarmasını Test Edin
Bir tüketiciyi kasıtlı olarak 5 dakika çevrimdışı alın, geri getirin ve yinelenen olmadan yakaladığını doğrulayın. Bu, mimarinin çalıştığına dair güven testinizdir. CI'da otomatikleştirin:
[Test]
public async Task ConsumerResumesAfterDowntime()
{
// Produce 10,000 events
await ProduceEvents(count: 10_000);
// Simulate consumer offline — skip reads for 30 seconds
await Task.Delay(TimeSpan.FromSeconds(30));
// Resume consumer
var processed = await Consumer.ProcessUntilCaughtUp();
// Verify: all events processed, no duplicates
Assert.AreEqual(10_000, processed.UniqueEventCount);
Assert.AreEqual(0, processed.DuplicateCount);
}
5. Ölü Mektup Kuyruğu Kurun
N yeniden denemeden (genellikle 3–5) sonra işlenemeyen etkinlikler ölü mektup kuyruğuna taşınır. DLQ boyutunu izleyin. Büyüyen bir DLQ, tüketicinizde geçici bir arıza değil, bir hata olduğu anlamına gelir.
Oyun Backend Etkinlik Akışı için En İyi Uygulamalar
Bölüm anahtarı olarak playerId'yi seçin. Bu, oyuncular arası paralelliğe izin verirken oyuncu başına sıralama sağlar (envanter, skor ve durum etkinlikleri için kritiktir). Etkinlik türüne göre bölümlemeyin — aynı oyuncu için bir "kill" ve bir "score_update" sıralı kalmalıdır.
Etkinlikleri küçük ve kendini tanımlayan tutun. Her etkinlik 100–500 bayt olmalıdır. Etkinlik türünü, oyuncu kimliğini, zaman damgasını ve gereken minimum veriyi ekleyin. Tam oyun durumunu gömmeyin — kimliğe göre referans verin.
Tüketicileri ilk günden idempotent olacak şekilde tasarlayın. Etkinlik kimlikleri ve bir yineleme önleme deposu kullanın. Her etkinliğin en az bir kez ve devre dışı kalma sırasında muhtemelen birden fazla kez teslim edileceğini varsayın.
Saklama pencerenizi kabul edilebilir maksimum tüketici kesintinize göre boyutlandırın. En uzun dağıtımınız 15 dakika sürüyorsa, en az 30 dakikalık sıcak etkinlik saklayın. Yeniden oynatma ve hata ayıklama için 7–30 gün soğuk depolama tutun.
Tüketici gecikmesini birinci sınıf bir metrik olarak izleyin. Gecikme, olay güdümlü mimarinizin kalbidir. Saklama penceresinin %50'sinden fazla geride kalan bir tüketici, "önümüzdeki sprintte düzeltiriz" maddesi değil, bir veri kaybı acil durumudur.
Sonraki Adımlar
Şu anda oyun sunucularından backend hizmetlerine doğrudan RPC çağrıları çalıştırıyorsanız, bu bağlantıları bu hafta denetleyin. 10 kat yük artışında kaç tanesinin sessizce etkinlik kaybedeceğini hesaplayın. Ardından üreticileriniz ve tüketicileriniz arasında dayanıklı bir etkinlik akışı prototipi oluşturun — basit bir veritabanı destekli günlük bile doğrudan bağlanmadan iyidir.
Tüketicileriniz liderlik tablolarına, kilitlenme raporlarına veya kullanıcı günlüklerine yazıyorsa, horizOn bunları yönetilen hizmetler olarak sunar; böylece her birini sıfırdan kurmanız gerekmez. Hızlı başlangıç ile başlayabilirsiniz.