GitHub Copilot'ta yerel AI: RAM bol, yine de out of memory?

52 GB'lık MAI Code 1.1 Flash modelini GitHub Copilot masaüstü uygulamasında yerel olarak çalıştırmak, dört Tesla T4 ve yüzlerce GB sistem RAM'ine rağmen başarısız oldu. Yazar llama.cpp kurup LLAMACPP_SERVER_PATH'i llama-server'a yönlendirdi ve modelin 262,145 token'lık context'ini tek parallel slot ile 32,768'e indirerek ancak yanıt alabildi.

Kilit noktalar

• GitHub Copilot masaüstü uygulamasında yerel modelin başlaması için llama.cpp kurulu olmalı ve LLAMACPP_SERVER_PATH llama-server executable'ını göstermeli.
• Settings > Model providers > Windows ML altında MAI Code 1.1 Flash tam 262,145 token context ile ayarlıydı; bu pencere kart başına 16 GB VRAM'de ağırlıklar ve KV cache ile birlikte sığmıyor.
• Parallel slots değerini 1'e, context size'ı 32,768'e (daralmışsa 16,384) indirmek modelin yüklenip yanıt vermesini sağladı.
• Yüzlerce GB sistem RAM'i GPU belleğine dönüşmez; out-of-memory hatasında ilk bakılacak ayar context penceresidir.
• İlk yanıt 95 saniye sürdü; bu kurulumun çalıştığını gösterir, hızı hakkında bir şey söylemez.

52 GB boyutunda bir model, dört adet 16 GB Tesla T4 kartı ve yüzlerce GB sistem RAM'i kolay bir kurulum gibi görünüyordu; yine de GitHub Copilot masaüstü uygulaması MAI Code 1.1 Flash'ı yükleyemedi. İlk sorun llama-server'ın bulunamamasıydı: makineye llama.cpp kurulumu, güncel Microsoft Visual C++ x64 runtime ve executable'ı gösteren bir LLAMACPP_SERVER_PATH değişkeni gerekti.

Asıl engel context penceresiydi. Settings > Model providers > Windows ML altında model tam 262,145 token context ile geliyordu; oysa model ağırlıkları, KV cache ve compute buffer'ların hepsi VRAM'e sığmak zorunda. Parallel slots değerini 1'e, context size'ı 32,768'e (hâlâ darsa 16,384) indirmek modeli çalıştırdı. Sistem RAM'i VRAM'e dönüşmüyor ve 95 saniyelik ilk yanıt bunun bir hız testi değil, çalışan bir kurulum olduğunu gösteriyor.

Gerçek dünyada kullanımı

• Bir veya iki adet 16 GB GPU'su olan bir geliştiricinin Copilot masaüstü uygulamasında büyük bir yerel kod modeli çalıştırmaya çalışması.
• Sistem RAM'ini bolca alan ve bunun GPU tabanlı model yüklemesini kolaylaştıracağını bekleyen bir ekip.
• Windows'ta kurulum sonrası uygulamanın bulamadığı llama.cpp backend'ini devreye alma.
• VRAM'i tüketmeden uzun dosyaları işleyebilmek için context size ve parallel slots ayarlarını kalibre etme.

Neden önemli

Copilot'ta yerel model hataları çoğu zaman donanım eksikliği değil, yapılandırma ve VRAM bütçesi sorunudur; birkaç ayar pahalı bir GPU yükseltmesini gereksiz kılar. Bellek tüketimini context penceresinin belirlediğini bilmek, çıkmaz bir kurulumu dakikalar içinde çalışan bir yerel asistana çevirir.

Benzer haberler

• Visual Studio 2026 v18.11: hızlı hata durdurma ve ajan destekli hata ayıklamaKCKunal Chowdhury28 Eki
• Azure Developer CLI için Microsoft Foundry extension'ı genel kullanıma açıldıAZAzure SDK Blog9 sa önce
• Ekim 2026 Node.js güvenlik açıkları: Azure DevOps ve .NET için yama rehberiDOAzure DevOps Blog13 sa önce