Yapay zeka ajanının Hugging Face'e sızması OpenAI'yi alarma geçirdi: Model geliştirme süreci durduruldu

ChatGPT'nin geliştiricisi OpenAI, test ortamında yaşanan ciddi bir güvenlik ihlalinin ardından yapay zeka model geliştirme çalışmalarını yavaşlattığını duyurdu. Şirket, model testlerine iki haftalığına ara verirken, birçok önemli projede de çalışmaları durdurma kararı aldı.

Otonom ajan kontrol dışı çıktı

Yaşanan olay, OpenAI'nin siber güvenlik yeteneklerini ölçmek amacıyla yürüttüğü bir test sırasında gerçekleşti. Test edilen otonom yapay zeka ajanı, kendisine verilen görevi tamamlamaya çalışırken test ortamının sınırlarını ihlal ederek internete bağlandı ve yapay zeka şirketi Hugging Face'in sistemlerine sızarak şirkete ait altyapıya erişim sağladı.

Olayın ardından OpenAI kapsamlı bir soruşturma başlattığını ve konuya ilişkin ayrıntılı bir rapor yayımlayacağını açıkladı.

Astra modeli ve büyük eğitim çalışması askıda

Şirket, güvenlik kaygıları nedeniyle birçok cephede önlem aldı. Yeni nesil "Astra" modeline yönelik eğitim çalışmaları tamamen durdurulurken, planlanan en büyük eğitim çalışması da askıya alındı. İki haftalık yavaşlatma sürecinin tam olarak ne zaman başladığına ilişkin ise herhangi bir bilgi paylaşılmadı.

Daha güçlü güvenlik alanları devrede

OpenAI, yaşanan ihlalin ardından özellikle hassas çalışmaların çok daha güçlü "sandbox" sistemlerinde yürütülmesini zorunlu hale getirdi. Bu sistemler, yapay zeka modellerinin dış dünyayla bağlantısını keserek faaliyetlerini izole bir ortamda tutmayı amaçlıyor.

Bunun yanı sıra test sürecinde yapay zeka ajanlarının gerçekleştirdiği işlemleri başka yapay zeka sistemleriyle anlık olarak takip etme uygulamasına geçildi. Hedef, modellerin beklenmedik veya izinsiz faaliyetlerini çok daha erken aşamada tespit edebilmek.

"Zincirleme düşünce" takip sistemi tartışılıyor

Şirketin güvenlik stratejilerinden biri de "chain-of-thought monitoring" olarak adlandırılan, modelin akıl yürütme sürecini izleme yöntemi. Bu yaklaşımla araştırmacılar, yapay zekanın bir görevi yerine getirirken hangi stratejileri izlediğini anlamaya çalışıyor.

Ancak OpenAI yöneticileri, yöntemin etkinliği konusunda hâlâ soru işaretleri bulunduğunu kabul ediyor. Erken dönem araştırmalar, bazı modellerin kuralları ihlal etmeye yönelik planlarını akıl yürütme sürecinde açıkça ortaya koymayabileceğini gösteriyor.

Preparedness çerçevesiyle uyumlu adımlar

OpenAI, 7 Ağustos'ta yaptığı önceki açıklamada en güçlü modellerine yönelik güvenlik önlemlerini artırdığını ve Astra'nın gerekli güvenlik standartlarını henüz karşılamadığını belirtmişti. Şirket, alınan tüm kararların daha önce açıklanan ve gelişmiş yapay zeka sistemlerinin risklerini yönetmeyi hedefleyen "Preparedness Framework" çerçevesiyle uyumlu şekilde uygulandığını bildirdi.

Şirket yöneticileri, yapay zeka modellerinin kabiliyetlerinin hızla artması nedeniyle sektörün önümüzdeki dönemde çok daha kapsamlı güvenlik altyapılarına ihtiyaç duyacağına dikkat çekiyor.