Ürününüzün içinde, sınırları belli dil modelleri
Dil modellerini ürününüze bağlıyoruz: sürümlenen talimatlar, denetlenen cevap biçimi, maliyet ve kullanım sınırları; sağlayıcı değişirse ürünü yeniden yazmak gerekmez.
Kimin için
Ürününe yapay zekâ özelliği eklemek isteyen, ama maliyetin ve verinin kontrolünü kaybetmek istemeyen şirketler için.
Neyi çözer
- Prototip sunumda çalıştı, ama bütün kullanıcılar gelince maliyetin ne olacağını kimse bilmiyor.
- Modele verilen talimatlar koda dağılmış; canlıda hangi sürümün çalıştığı belli değil.
- Model bazen ekranı ya da sonraki adımı bozan bir biçimde cevap veriyor.
- Sağlayıcı yavaşladığında ya da çöktüğünde özelliğin tamamı duruyor.
- Her çağrıda müşterilere ait hangi verinin şirketten çıktığı açık değil.
Ne yapıyoruz
- Modellere erişim katmanı
- Sağlayıcıyla back-end'deki tek bir nokta konuşur; ürünün geri kalanı ona bağımlı olmaz.
- Sürümlenen talimatlar
- Prompt'lar kod gibi saklanır; geçmişi tutulur, gözden geçirilir, önceki sürüme dönülebilir.
- Yapılandırılmış, denetlenen cevaplar
- Cevap belirli bir biçime uyar ve ekrana ya da başka bir sisteme ulaşmadan önce kontrol edilir.
- Maliyet ve kullanım sınırları
- Kullanıcı, müşteri ve dönem başına üst sınır konur; bütçe dolmadan önce alarm gelir.
- Sağlayıcı çökerse B planı
- Zaman aşımı, yeniden deneme ve, anlaşılırsa, başka bir model ya da hazır bir cevap.
- Gönderilen veri denetimi
- Modele yalnız gereken gider; durum elverdiğinde kişisel veriler çıkarılır ya da maskelenir.
- Her çağrının kaydı
- Maliyet, cevap süresi ve talimat sürümü sürekli değerlendirme için kaydedilir.
Neler teslim edilir
- Back-end'inize bağlı, canlıda çalışan yapay zekâ özelliği
- Sağlayıcının ayarla değiştirilebildiği model erişim katmanı
- Deponuzda sürümlenen talimatlar
- Maliyet sınırları ve kullanım alarmları
- Özelliğin ne yaptığını ve nerede yanılabileceğini anlatan belge
Nasıl ilerliyoruz
Kullanım senaryosu
Model hangi işi, hangi veriyle yapacak; yanıldığında ne olacak.
Ölçülen prototip
Gerçek örneklerle denenir; kalite, cevap süresi ve maliyet ölçülür.
Entegrasyon
Erişim katmanı, sınırlar ve kayıt back-end'inize bağlanır.
Kademeli açılış
Önce küçük bir kullanıcı grubuna, sonra herkese.
İzleme
Maliyet, hatalar ve şikâyetler takip edilir; talimatlar buna göre ayarlanır.
Teknoloji örnekleri
- Python
- TypeScript
- JSON Schema
- OpenAPI
- Redis
- OpenTelemetry
İlgili hizmetler
Sık sorulan sorular
Hangi modeli kullanıyorsunuz?
Seçim her iş için ayrı yapılır; göreve, maliyete ve verinin nereye gidebileceğine bağlıdır. Dış bir sağlayıcı da olabilir, kendi bulutunuzda çalışan bir model de.
Model yanılabilir mi?
Evet, ürünün bunu hesaba katması gerekir. Bu yüzden cevaplar denetlenir, hassas işler bir kişiden geçer ve kalite her değişiklikten önce test vakalarıyla ölçülür.
Verilerimiz başkasının modelini eğitmekte kullanılır mı?
Sağlayıcının koşullarına ve alınan plana bağlı. Bunu başlamadan önce kontrol eder, yalnız gerekeni göndeririz; koşullar uymazsa kendi bulutunuzda çalışan bir model de seçenek olabilir.
Çalışır hâlde tutmanın aylık maliyeti ne olur?
Kullanım hacmine, mesajların uzunluğuna ve seçilen modele bağlı. Prototipte kullanım başına maliyeti ölçer, aylığı buna göre öngörürüz; sınırlar da tüketimi anlaşılan bütçenin içinde tutar.
Balkan'a yazın
Projeniz için yazın