Kafka’nın Dava romanında Josef K. bir sabah hiçbir gerekçe gösterilmeden tutuklanır. Neden yargılandığını hiçbir zaman öğrenemez. Kendisini yargılayan bir mahkeme vardır ama onun nasıl işlediğine bir türlü ulaşamaz.
Yapay zekayla kurduğumuz ilişkide de benzer bir taraf var.
Soru soruyoruz, cevap geliyor. Bir iş veriyoruz, yapıyor. Nasıl yaptığını sorduğumuzda onu da anlatıyor. Hatta bazen o kadar iyi anlatıyor ki anlamadığımız pek bir şey kalmadığını düşünüyoruz. Oysa bir sistemin kendini iyi açıklaması bizim onu iyi tanıdığımız anlamına gelmiyor.
OpenAI’ın yeni modeli Astra’yla ilgili tartışmanın merkezinde bu var. Model daha fazla işi yapabiliyor. Fakat şirket, bazı davranışlarını takip etmenin zorlaştığını da söylüyor.
Daha çok sorumluluk vermeyi düşündüğümüz sistemi bazı açılardan daha az görebiliyoruz. Bunu anlamak için önce çok da karmaşık olmayan bir yere Almanya’daki bir internet sitesine bakalım.
Ajanlar kendi aralarında haberleşme ağı kurdu
Yazılımcılar ve programcılar için kurulmuş DseWiki, Wikipedia mantığıyla topluluk tarafından düzenlenebilen 25 yıllık Almanca bir wiki sitesi.
Bir süre sonra sitenin sayfalarında alışılmadık yazışmalar beliriyor. OpenAI’ın yapay zeka ajanları burayı birbirlerine not bırakmak için kullanmaya başlamış.
Ajan, bir işi adım adım yürütebilen yapay zeka sistemi. Siz “Şunu araştır” dediğinizde o kullanabildiği araçlarla sayfaları açıyor, bilgi topluyor ve gerektiğinde başka işlemler yapıyor. Her tıklamayı sizin tarif etmeniz gerekmiyor.
Buraya kadar tamam ama sitede ajanlar görevleri kısa yoldan tamamlama, kısıtlamaları aşma ve davranışlarını gizleme yöntemleri de paylaşıyor. Site yöneticisi bazı sayfaları silmeye başlayınca ise yedeklerini açıyorlar.
Araştırmacılar yaklaşık 18 bin gönderi ve yazışmalarda kullanılan 3 bin 700’den fazla farklı ajan ismi tespit ediyor.
Bir araştırma görevi veriyorsunuz, işi yapan sistem gidip başkasının sitesini ortak çalışma alanına çeviriyor. Size gelen rapora bakarak bunu anlayamazsınız. Rapor gayet iyi de olabilir.
İşte şirketlerde yapay zeka kullanımının az konuşulan tarafı da aslında bu. Sonucun kalitesi bize o sonuca giden yolda neler yapıldığını açıkça söylemiyor.
Üstelik bu olayda yazışmalar herkese açık. Gizli bir makine dilini çözmek de gerekmiyor.
İlginç olan da aslında bu, ajan davranışları zamanında önlenememiş. Dolayısıyla yapay zekanın içini anlayamamaktan daha büyük sorun, denetim ve güvenlik olarak görülüyor.
Yapay zeka şirketleri bile mi yakalayamıyor?
Yapay zeka araştırmacıları bir modelin sonuca giderken ürettiği yazılı ara adımları inceler. Buna “düşünce zinciri” deniyor. Bu, modelin içindeki bütün hesapların dökümü değil. Yine de hangi yolu izlediğine dair ipuçları veriyor. Tıpkı bir matematik sorusunda sadece cevaba bakmakla yetinmeyip işlemleri de görmek istememiz gibi. Denetim açısından değeri de zaten burada yatıyor.
Ancak modeller geliştikçe daha fazla işlem yapıyor ve bu da ciddi bir yük oluşturuyor. “Recurrent depth”, yani yinelemeli derinlik yaklaşımı ise modelin daha fazla kelime üretmeden bazı işlemleri kendi içinde tekrarlamasını sağlıyor.
“Opaque recurrence” yani "görünmeyen iç yineleme" tartışması işte bu yüzden önemli. Bu yöntemde model, bazı düşünme adımlarını bize yazmak yerine kendi içinde tekrar tekrar işliyor. Bu görünmeyen işlemler arttıkça, modelin nasıl düşündüğünü takip etmek de zorlaşabiliyor. Redwood Research baş bilim insanı Ryan Greenblatt da bu yüzden bu tür sistemlerin denetimi nasıl etkilediğinin düzenli olarak raporlanmasını istiyor.
Opaque recurrence: Modelin bir problemi çözerken bazı işlemleri, bize yazılı düşünme adımları olarak göstermeden kendi iç temsilleri üzerinde tekrar tekrar yürütmesi.
Sonradan modele “Nasıl yaptığını anlat” diyebiliriz elbette. Ama işlemin kaydıyla işlem bittikten sonra verilen açıklama aynı güvenceyi sağlamıyor.
Denetimden kaçınmasının istendiği testlerde OpenAI’ın Astrası önceki modeli Sol’a göre daha zor izleniyor. Şirket, karmaşık görevlerde gerekli muhakemeyi gizlemekte hala zorlandığını da belirtiyor.
Bir başka deneyde modelden bilerek düşük performans göstermesi ve bunu saklaması isteniyor. Bazı denetleyiciler bunu da yakalayamıyor. Hatta OpenAI, model gizlice böyle davranmaya çalışırsa bunu muhtemelen güvenilir biçimde yakalayamayacaklarını yazıyor.
Perde aralanıyor: Aynı modele bakıp farklı gelecekler görmek
Bu gelişmeler yaşanırken herkes "yavaşlayalım" dedi ama "kimse durmadı".
Nvidia CEO’su Jensen Huang, 6 Eylül’de Astra için “Genel Yapay Zeka (AGI) geldi” dedi. OpenAI Başkanı Greg Brockman da tanıtımda AGI dönemine girildiği görüşünü dile getirdi.
AGI, farklı alanlarda insan düzeyinde ya da üzerinde işler yapabilen genel amaçlı bir zeka fikri.
Huang’ın açıklama yaptığı gün OpenAI’ın baş bilim insanı Jakub Pachocki, “Yabancı Bir Zihin” (An Alien Mind) başlıklı yazısında "dikkat ve gönüllü yavaşlama çağrısı" yaptı Modellerin yazılı muhakemesini izlemeye güvenme imkanlarının giderek azaldığını söyledi.
Aynı hafta Anthropic araştırmacısı Jacob Coxon da sektörden ayrıldı. Daha önce OpenAI’da da çalışmış olan Coxon, iki şirketi kendini geliştiren süper zekaya doğru sorumsuzca yarışmakla ve insanların hayatlarıyla kumar oynamakla suçladı.
Anthropic CEO'su Dario Amodei ise 12 Eylül'de "Sınırın Hızını Ayarlamalıyız" (We Must Pace the Frontier) başlıklı bir yazı yayımladı. Yapay zeka modellerinin yeteneklerini geliştirme hızımızı yavaşlatmalıyız çağrısı yaptı. Kısa süre içinde Sam Altman "Dario'ya katılıyorum" dedi. Elon Musk da "Dario haklı" diye yazdı.
Tartışma sektörün kendi içinde. Ürünü kutlayan da yavaşlamak isteyen de artık bu işte çalışmayacağını söyleyen de aynı gelişmeleri izliyor.
Huang’ın paylaşımında bir ayrıntı daha var. Astra’nın yüz binden fazla Nvidia çipiyle eğitilmesinden söz ediyor ve 400 bin grafik işlemcinin daha devreye gireceğini söylüyor.
Zamanlama ise manidar. Bu açıklamanın bilimsel olduğu kadar ticari bir anlamı da olabilir. Çünkü genel yapay zekaya ulaşıldığı fikri, daha büyük yatırımları gerekçelendirebilir. Yatırımlarda kullanılacak çipleri de yine Nvidia satıyor.
Hükümetler de ikiye bölünmüş durumda. AB Komisyonu Başkanı Ursula von der Leyen duraklamayı destekledi. ABD Başkanı Donald Trump ise yapay zekanın ihtiyaç duyduğu tek korkuluğun "güçlü ve akıllı bir başkan" olduğunu yazdı. Çin de öneriyi teknolojik kuşatma girişimi olarak eleştirdi.
Yüksek skor ne kadar zeka eder?
Peki iddiayı bir kenara bırakıp Astra’nın ölçülebilir performansına baktığımızda ne görüyoruz?
Model, yapay zekanın yeni durumlara uyum sağlayıp problem çözme becerisini ölçen bir testte standart koşullarda yüzde 62,7 aldı. Modele ek araçlar ve özel bir çalışma düzeni sağlandığında ise skor yüzde 99,9’a çıktı.
Bu yüzden yüksek test sonuçları önemli olsa da tek başına “AGI’ye ulaşıldı” demek için yeterli değil. Çünkü ölçtüğümüz şey yalnızca modelin zekası değil, etrafında kurulan sistemin de başarısı.
Bir uygulamadan daha fazlası
Karen Hao, Empire of AI kitabında yapay zeka şirketlerini imparatorluklarla karşılaştırırken veri, emek ve kaynaklar üzerinden nasıl güç biriktirdiklerini inceliyor. Yapay zeka şirketlerini imparatorluklarla karşılaştırırken veri, emek ve kaynaklar üzerinden nasıl güç biriktirdiklerini anlatıyor.
İmparatorluklar hiçbir zaman sadece askerle kurulmadı. Yollar, limanlar ve ticaret de insanların hayatını belirli bir düzene bağladı. Tıpkı bugün yapay zekada olduğu gibi.
Önce ChatGPT gelir, işinizi kolaylaştırır. Sonra onu şirket yazılımına bağlarsınız. Müşteriye cevap vermeye, rapor hazırlamaya, günlük işleri yürütmeye başlar. Bir süre sonra başka bir sisteme geçmek, bir aboneliği kapatmak kadar kolay değildir. Çalışanları yeniden eğitmeniz, bağlantıları yeniden kurmanız, işlerin aynı şekilde yürüdüğünü tekrar kontrol etmeniz gerekir.
Bu yüzden asıl bağımlılık, nasıl çalıştığını sormayı bıraktığımızda başlamayabilir. Sorup yeterli cevap alamadığımız halde devam ettiğimizde de başlamış olabilir.
Biz ne zaman öğreneceğiz: Bilmemiz gereken başka bir şey var mı?
Wiki olayına dönecek olursak OpenAI şirketi, bu tür davranışlara ilişkin açıklama pratiklerini genişletmesi gerektiğini kabul etti. OpenAI, 16 Eylül’de yeni bir raporlama çerçevesi yayımladı ve son altı ayda tespit ettiği altı beklenmedik model davranışını daha açıkladı. Şirket artık bu tür olayları, nedeni henüz tamamen açıklanamamış olsa bile daha hızlı kamuoyuyla paylaşacağını söylüyor.
Burada artık modelin içinde ne olduğunu okuyup okuyamadığımızı konuşmuyoruz. Şirketin öğrendiği bir şeyi bizim ne zaman öğrenebildiğimizi konuşuyoruz. Bu farkı kaybetmemek gerekiyor.
- İç işlemleri anlamak bir araştırma sorunu.
- Okunabilir davranışları zamanında yakalamak bir denetim sorunu.
- Bilinen bir olayı ne zaman açıklayacağına karar vermek ise şirketin sorumluluğu.
Hepsine “Yapay zeka çok karmaşık” dediğimizde sonuncusu da teknik bir güçlükmüş gibi görünüyor.
Josef K. karşısındaki mahkemenin işleyişine ulaşamıyordu. Biz bugün modeli geliştiren şirketin adını, onu satanı ve işimize dahil edeni biliyoruz.
Aslında makine düşündüğünü gizlemeyi öğrenmedi. Belki de biz görmemeyi kabul ettik.
Modelin içini bütünüyle okuyamayabiliriz. Bu, onu hayatımızın ortasına yerleştiren insanların kararlarını da karanlıkta bırakmamız gerektiği anlamına gelmiyor.
MERAKLISINA
İzle: Daniel Roher ve Charlie Tyrell, The AI Doc: Or How I Became an Apocaloptimist (Netflix).
Oku: Karen Hao, Empire of AI.
