NN/g: yapay zekâ ajanı, ona verdiğiniz bağlam kadar işe yarıyor

Nielsen Norman Group'tan Tanner Kohler 9 Ekim'de, Claude'u farklı sektörlerde her gün kullanan deneyimli kişilerle yaptıkları araştırmanın bir bölümünü yayımladı. Yazıda kaç kişiyle görüşüldüğü belirtilmiyor. Gözlenen şu: Bu kişiler isteklerini çoğu zaman gelişigüzel, konuşur gibi söylüyor. Asıl emeği ajanın başvurduğu dosyaları düzenlemeye harcıyorlar.

NN/g bu dosyalara bağlam kütüphanesi diyor. Kütüphane, yapay zekâ ajanının okuyup düzenleyebildiği, kurum ve iş bilgisini taşıyan dosyalardan oluşuyor. En yaygın biçim Markdown dosyası; Notion, Slack ya da toplantı kayıtları gibi dış kaynaklar da bağlantıyla kütüphaneye katılabiliyor. Yazı içeriği üç gruba ayırıyor: her işte geçerli kurallar, tek bir projeye ait bilgiler ve e-posta ya da toplantı dökümü gibi ajanın içinde arama yaptığı ham akış.

Gözlenen sorunlar

• Bir kez yazılan dosya, iş değiştikten sonra da aylarca kullanılıyor. Araştırmaya katılanlardan biri güvenini yitirdiği günlük özet otomasyonunu çalıştırmaya devam ediyordu; işe yaramayan kısımları sisteme söylemeden görmezden geliyordu.
• Dış bağlantılar sık kopuyor. Bir başkasının Todoist bağlantısının süresi sürekli doluyor, her seferinde elle yeniden bağlıyordu. Bu duruma "sistem çürümesi" diyordu.
• Dosyaların çoğunu ajan yazdığı için kullanıcılar önemli bilgiyi kendi klasörlerinde bulamıyor. Katılanlardan biri, ajanın neyi yapıp neyi yapamayacağını belirleyen bir dosyanın varlığını araştırma sırasında öğrendi.
• Bağlam ait olmadığı işe sızıyor. Birinin podcast'i için yazılmış görsel tasarım kuralları, kitap takip uygulamasına da uygulanmıştı.

Önerilenler

1. Dosyaları elle düzenlemek yerine değişikliği ajandan isteyin. Araştırmaya katılanların neredeyse hiçbiri dosyalara doğrudan yazmıyordu; bu hem hızlı hem de dosyaların dilini ve düzenini tutarlı tutuyor.
2. Zaman zaman ajana son toplantı kayıtlarına bakıp eskiyen kuralları bulmasını söyleyin. Önerilerini kontrol ettikten sonra uygulatın.
3. Her klasöre, içinde ne olduğunu ve ne zaman kullanılacağını anlatan kısa bir dizin dosyası koyun.
4. Dosyaları kısa tutun. Araştırmaya katılanların çoğu dosyalarını birkaç yüz satırın altında tutuyordu. Geniş bağlam penceresi her şeyi yüklemenin iyi olduğu anlamına gelmiyor, ilgisiz bilgi sonucu bozabiliyor.

Araştırmadaki en ayrıntılı kütüphane de en az yükleyecek şekilde kurulmuştu. Sahibinin kuralına göre ajanın neye erişebileceğini oturumun başladığı klasör belirliyor. Proje klasöründe başlayan ajan yalnız o projeyi görüyor, başka bir konuya geçmek için önce üst klasöre çıkması gerekiyor.