Azure'da multi-agent RAG: ABD–Hindistan latency farkı
ABD bölgesinde sorunsuz çalışan multi-agent RAG pipeline'ının Hindistan'daki kullanıcılar için neden bozulduğunu ve nelerin değişmesi gerektiğini anlatan bir production yazısı. Tek bölge, active-active ve hibrit kurulumları latency, maliyet ve veri yerleşimi açısından karşılaştırıyor, ardından yazarın benimsediği operasyonel önlemleri sıralıyor.
Kilit noktalar
- Hindistan trafiğini ABD'deki vector store ve LLM endpoint'lerine yönlendirmek p99 latency'yi yaklaşık 620 ms'ye çıkarıyor.
- Bölge başına active-active kurulum 200 ms altı p99 sağlıyor ancak iki özdeş Azure Search index'i ve iki orchestrator gerektiriyor.
- Yerel retriever ile uzak generator'dan oluşan hibrit model daha ucuz, fakat ağ hop'u ve token maliyeti ekliyor.
- Sık görülen sorunlar: bölgesel Azure OpenAI kotasının tükenmesi (429), Service Bus mesajlarının sırasının bozulması ve embedding cache stampede'i.
- Pratik önlemler: session'lı Service Bus topic'leri, 30 saniye TTL'li Redis SETNX kilidi, Polly circuit breaker ve hop başına OpenTelemetry span'leri.
- Tek bir DefaultAzureCredential yerine bölgeye özel Managed Identity kullanın; sessiz 403'ler ve retry kaynaklı latency artışını önler.
Azure AI Foundry üzerinde kurulan multi-agent RAG yığınlarını ABD bölgesinden Hindistan'a kopyalayıp aynı SLA'yı beklemek gerçekçi değil. Mumbai'deki kullanıcılar sadece ABD'de bulunan vector store ve LLM endpoint'ine yönlendirildiğinde p99 latency yaklaşık 120 ms'den 600 ms'ye çıkabiliyor, token maliyeti de şişiyor. Makale üç yaklaşımı karşılaştırıyor: tek bölge ve replike veri, bölge başına active-active ve yerel retriever ile uzak generator'dan oluşan hibrit model; her birinin maliyet ve veri yerleşimi ödünleşimi ayrı ayrı ele alınıyor.
Yazarın production deneyiminden çıkardığı öneri, bölge başına ayrı orchestrator: her Semantic Kernel örneği yalnızca kendi bölgesindeki retriever, planner ve generator ile konuşuyor, bölgesel kota yöneticisi yerel kullanım yüzde 90'ı geçince diğer bölgenin LLM'ine düşüyor. Session'lı Service Bus topic'leri, stampede'e karşı kilitli Redis cache, Polly circuit breaker'lar ve hop başına OpenTelemetry span'leri latency bütçesini görünür tutuyor.
Gerçek dünyada kullanımı
- ABD–Hindistan arasında 70/30 dağılan ve iki bölgede de 200 ms altı p99 isteyen bir müşteri destek chatbot'u
- Azure Policy'nin index'lerin bölgeler arası kopyalanmasını engellediği, bu yüzden yerel retriever ve uzak generator gerektiren regüle bir kurumsal RAG servisi
- Trafik patlamalarında 429 fırtınasını önlemek için bölgesel token kotasının izole edilmesi gereken, düzensiz yük alan bir doküman soru-cevap sistemi
Neden önemli
Multi-agent RAG'de latency'yi orchestrator kodu değil coğrafya ve bölgesel kotalar belirliyor; global açılım planlayan ekipler agent kodu yazmadan önce bölge topolojisini tasarlamalı.}vote:{