@ahmetcantryk
LLM faturanız kullanım kabaca aynı kalmışken üç katına çıktıysa, çözüm nadiren "daha ucuz bir modele geç"tir. Genelde dört küçük ama üst üste binen kaldıraç işe yarar: prompt önbellekleme, model yönlendirme, batch işleme ve context hijyeni. Gerçek üretim iş yüklerinde bir arada uygulandığında ekipler çıktı kalitesine dokunmadan %50-90 arasında düşüş kaydetti. Paranın gerçekte nereye gittiğine ve nasıl geri kazanılacağına bakalım.
Token'larınız gerçekte nereye gidiyor
Çoğu ekip için ilk sürpriz, kaçan faturaları sohbet botlarının değil ajanların sürüklemesi. Bir sohbet botu tek mesaj gönderir, tek yanıt alır. Bir ajan ise bir döngü çalıştırır — araç çağrısı, dosya okuma, düzenleme, doğrulama, yeniden kontrol — ve her adımda biriken tüm context'ini yeniden gönderir. On turluk bir ajan döngüsü, sadece kendi geçmişini her turda yeniden okuduğu için tek bir doğrusal sohbet çağrısının kabaca 50 katı token gönderebilir.
İş yükü | Tipik token örüntüsü |
|---|---|
Tek sohbet turu | Bir prompt, bir yanıt |
On turluk ajan döngüsü | Tek sohbet çağrısının ~50 katı (her adımda tüm context yeniden gönderilir) |
İzlenmeyen otonom ajan çalışması | Tek bir çok günlük çalışmada dört haneli faturalara ulaşabilir |
Mühendislik harcamasında ajan faturasının payı | Devreye alındıktan sonra 90 gün içinde sıklıkla maaşlardan sonraki 2. kalem |
Bir ekibin bug-triage ajanının Nisan'da 87.000 dolardan Mayıs'ta 24.000 dolara düşmesinin nedeni tam olarak bu: mümkün olan yerlerde görevleri daha ucuz modellere yönlendirmek ve context'i budamak — kalite gerilemeden, yıllıklandırılmış yaklaşık 756.000 dolar tasarruf.
Kaldıraç 1: prompt önbellekleme — ve sessizce onu öldüren tuzak
Prompt önbellekleme, sağlayıcının tekrar eden bir öneğin hesaplanmış durumunu yeniden işlemek yerine yeniden kullanmasını sağlar ve indirim büyüktür: önbellekten okunan giriş token'ları genelde yeni token'lardan yaklaşık %90 daha ucuza gelir. Sorun şu ki önbellekler tam bir önek üzerinden eşleşir. Önbelleğe alınan kısımda herhangi bir yerdeki tek bir kararsız token — en sık rastlanan örnek, sistem promptundaki canlı bir tarih damgası — her çağrıda eşleşmeyi bozar ve önbellekten yararlandığınızı sanırken aslında sessizce tam fiyat ödersiniz.
Çözüm zekice değil, yapısaldır: çağrı başına değişen her şeyi (güncel tarih, oturum kimliği, kullanıcıya özel durum) önbelleğe alınan bloğun içine değil, sonrasına koyun. Sistem promptunu ve statik araç tanımlarını önbelleğe alınan önek olarak sabit tutun, bu kadar.
Kaldıraç 2: model yönlendirme — sınır model yalnızca görev gerektirdiğinde
Bir ajan döngüsündeki her adımın en yetenekli modelinize ihtiyacı yok. Sınıflandırma, çıkarım, biçimlendirme ve basit araç seçimi genelde daha ucuz, daha hızlı bir modelde sorunsuz çalışır; sınır modeli gerçekten derin akıl yürütme gerektiren adımlara saklayın. Bu, özellikle ajan iş yükleri için en yüksek kaldıraçlı tek değişikliktir, çünkü yönlendirme her ek döngü yinelemesiyle birikir — 50 adımlık bir ajan çalışması, yönlendirme kararını 50 kez öder.
Görev türü | Nereye yönlendirilir |
|---|---|
Sınıflandırma, çıkarım, biçimlendirme | Yeterli en ucuz model |
Küçük bir küme içinde araç/fonksiyon seçimi | Yeterli en ucuz model |
Çok adımlı planlama, yeni akıl yürütme | Sınır model |
Nihai sentez / kullanıcıya yönelik çıktı | Genelde sınır model |
Kaldıraç 3: batch API'ler — ve önbelleklemeyle nasıl üst üste biner
Batch işleme, bir tamamlanma-süresi garantisini (genelde 24 saatlik bir pencere) sabit bir indirimle takas eder — büyük sağlayıcılarda genelde hem giriş hem çıkış token'larında %50 indirim. Ekiplerin kaçırdığı nokta şu: batch ve prompt önbellekleme birbirini dışlamıyor. Bir iş yükünün önbelleğe alınan, tekrar eden kısmında üst üste bindirildiğinde, birleşik tasarruf o kısmın efektif maliyetini standart oranın kabaca dörtte birine ya da daha altına indirebilir. Bir iş yükü eşzamanlı yanıt gerektirmiyorsa — toplu sınıflandırma, çevrimdışı değerlendirme, gece raporu üretimi — bunu batch'lemek neredeyse bedava para demektir.
Kaldıraç 4: context hijyeni — geçmişi yeniden göndermek için ödemeyi kesin
50 kat ajan çarpanının gerçekten kesildiği yer burasıdır. Bir ajanın context'inde taşıdığınız her token, sonraki her çağrıda yeniden gönderilir ve yeniden fiyatlandırılır. Tamamlanan alt görev geçmişini tek satırlık bir özete indirmek, tekrar eden araç çıktısını tekilleştirmek ve eskimiş durumu tahliye etmek doğrudan çözümdür — mekaniği context engineering rehberimizde ayrıntılı ele alıyoruz. Şemayla kısıtlanmış çıktılar da burada yardımcı olur: yanıtlardan ayrıntılı doğal dil ön sözünü ayıklamak, kodlama ve çıkarım görevlerinde yanıt token'larını genelde %30-50 düşürür; bu tekniği yapılandırılmış LLM çıktıları rehberimizde ele alıyoruz.
Kaldıraçları üst üste bindirmek: uygulamalı bir örnek
Aşama | Aylık maliyet (örnek) | Uygulanan değişiklik |
|---|---|---|
Temel ajan iş yükü | 10.000 $ | — |
| ~6.500 $ | −%35 |
| ~4.500 $ | kümülatif −20 puan |
| ~3.200 $ | ek −13 puan |
| ~2.800-3.000 $ | batch'lenebilir dilimde ek üst üste binme |
Kesin rakamlar iş yükünün şekline göre değişir, ama sıralama önemlidir: önce context hijyenini ve yönlendirmeyi düzeltin, çünkü önbellekleme ve batch'leme yalnızca zaten eskimiş geçmişle token israf etmeyen bir iş yükünün üzerine tasarrufu katlar.
Tek sayfalık maliyet denetim şablonu
Bunu bu hafta bir üretim iş yükünüze uygulayın:
- Harcamayı iş yükü türüne göre etiketleyin. Sohbet trafiğini ajan trafiğinden ayırın — ajanlar yukarıdaki çarpan-farkındalı analize ihtiyaç duyar, sohbet genelde duymaz.
- Önbellek isabet oranınızı kontrol edin. Düşükse, önbelleğe alınan öneğin içinde oturan dinamik bir token (tarih, oturum kimliği) arayın.
- Adım başına model atamasını denetleyin. Ajan döngünüzdeki her farklı adımı listeleyin ve her birinin doğruluk çıtasını karşılayan en ucuz modelde olduğunu doğrulayın.
- Batch'lenebilir trafiği belirleyin. Gerçek zamanlı bir kullanıcı deneyimi gerektirmeyen her şey bir batch-API adayıdır.
- Tur başına context büyümesini ölçün. Ajan turu başına context boyutu tur sayısıyla kabaca doğrusal büyüyorsa, eskimiş geçmişi yeniden gönderiyorsunuzdur — tahliye ekleyin.
- Her değişiklikten sonra aynı iş yükünü yeniden çalıştırın ve yalnızca çağrı başına maliyeti değil, başarılı görev başına maliyeti izleyin — yeniden denemek zorunda kaldığınız daha ucuz ama yanlış bir yanıt aslında daha ucuz değildir.
Sıkça Sorulan Sorular
En az çabayla en büyük kazancı hangi kaldıraç verir?
Prompt önbellekleme tuzağını düzeltmek genelde çaba-getiri oranında kazanır: dinamik token'ları önbelleğe alınan öneğin dışına taşımak gibi tek bir yapısal değişikliktir ve zaten hak ettiğiniz ama sessizce kaçırdığınız ~%90'lık bir indirimin kilidini açabilir.
Model yönlendirme çıktı kalitesine zarar verir mi?
Doğru kapsamlandığında hayır. Yönlendirme yalnızca iyi sınırlanmış, düşük belirsizlikli adımları (sınıflandırma, çıkarım, araç seçimi) daha ucuz modellere taşırken planlama ve sentezi sınır modelde tutar — kaçınılması gereken hata, gerçekten derin akıl yürütme gerektiren adımları yönlendirmektir.
Batch API'leri yalnızca toplu işler için değil, ajan iş yükleri için de kullanabilir miyim?
Yalnızca bir ajan çalışmasının eşzamanlı yanıt gerektirmeyen kısımları için — arka plan değerlendirmesi, gece yeniden indeksleme, çevrimdışı puanlama. Etkileşimli akıl yürütme döngüsünün kendisi genelde 24 saatlik bir tamamlanma penceresine tahammül edemez.
Maliyet denetimini ne sıklıkla yeniden yapmalıyım?
En az ayda bir kez ve herhangi bir ajan yeniden tasarımından hemen sonra — yeni bir araç, daha uzun bir planlama döngüsü ya da daha büyük bir alınan belge boyutu, denetimin yakalamaya çalıştığı context-şişmesi örüntüsünü sessizce yeniden ortaya çıkarabilir.
