Yerel yapay zekâ, modelin işletmenin yönettiği bilgisayar, sunucu veya özel altyapıda çalışmasıdır. Bulut kullanımında model hizmeti dış bir sağlayıcıdan alınır. Doğru seçim, en büyük modeli seçmekten önce çözülecek işi, veri akışını ve işletim sorumluluğunu netleştirmeyi gerektirir. Aşağıdaki çerçeve, kurum içi doküman asistanı pilotunu planlamak için kullanılabilir; gerçekleşmiş müşteri sonucu değildir.
1. Önce tek bir görev seçin
İlk hedefi bütün şirketin her sorusuna yanıt vermek olarak tanımlamayın. Örneğin teknik ekibin onaylı ürün kılavuzlarında bilgi bulmasını ele alın. Kullanıcı grubu, kaynak dokümanlar ve yanıt biçimi belli olduğunda test etmek kolaylaşır. Asistanın sadece bilgi mi vereceğini, yoksa bir sistemde işlem mi yapacağını ayırın.
2. Verinin bütün yolunu çizin
Model yerel olsa bile dosya yükleme, metin çıkarma, embedding, loglama ve yedekleme başka hizmetlere bağlı olabilir. 'Veri dışarı çıkmıyor' demeden önce her adımın nerede çalıştığını kontrol edin. Dokümanların hangi kullanıcıya açık olduğunu arama katmanında uygulayın; sadece sohbet ekranında rol göstermek yeterli değildir.
- Kaynak dosyalar nerede tutuluyor ve kim güncelliyor?
- Arama indeksi ve model hangi altyapıda çalışıyor?
- Soru, yanıt ve işlem günlüklerine kim erişiyor?
- Silinen veya yetkisi değişen doküman indekste nasıl güncelleniyor?
3. Aynı sorularla iki mimariyi karşılaştırın
Gerçek kullanıcıların sık sorduğu sorulardan bir değerlendirme seti oluşturun. Doğru yanıtın bulunduğu soruların yanında, kaynakta yanıtı olmayan ve kullanıcının görmemesi gereken bilgileri isteyen sorular da olsun. Yanıtın akıcı olması yeterli değildir: kaynakla destekleniyor mu, eski sürüme mi dayanıyor, bilmediğinde bunu söyleyebiliyor mu?
Türkçe metin, uzun belgeler, tablolar ve eşzamanlı kullanım için örnekler ekleyin. Modelin yanında belge hazırlama ve arama yöntemini de test edin. RAG, ilgili kaynakları bulup modele sunan bir yaklaşımdır; yanlış kaynağı bulan bir sistemin yalnızca modelini büyütmek sorunu çözmeyebilir.
4. Toplam maliyeti görün
- Yerelde: donanım, enerji, yedek, güncelleme ve işletim emeği
- Bulutta: kullanım ücretleri, entegrasyon ve veri işleme koşulları
- Her iki yapıda: doküman hazırlığı, erişim kontrolü, kalite testi ve bakım
Düşük veya değişken hacimde bulut esnek olabilir; belirli veri kontrolü ve sürekli kullanım ihtiyaçlarında yerel yapı değerlendirilebilir. Bu bir fiyat garantisi değildir. Kararı aynı iş yükü ve kalite hedefiyle ölçülen pilot verileri üzerinden verin.
Pilot sonunda hangi karar verilmeli?
Doğru ve kaynaklı yanıt, gecikme, yetki ihlali, insan müdahalesi ve toplam işletim maliyetini bir tabloda karşılaştırın. Başarı eşiği sağlanmıyorsa kapsamı daraltın veya arama/veri hazırlığını iyileştirin. Yerel olmak, hatasız veya kendiliğinden güvenli olmak anlamına gelmez.
Model ve donanım kararı için yerel yapay zekâ kurulum hizmetimizi, müşteri veya ekip asistanı için chatbot ve sanal asistan kapsamını inceleyin. Veri türünü ve hedef görevi pilot ön görüşmesinde paylaşabilirsiniz; gizli belge göndermeniz gerekmez.