Yapay zekâ ajanları kontrolden çıktı: 1200 ajan birbirleriyle iletişim kurup saldırı düzenledi

TİGRİS HABER - Ajanlardan yaklaşık 700’ünün Hugging Face sistemlerine yönelik saldırıya katıldığı, bazılarının ise faaliyetlerini gizlemek için kayıtları değiştirmeye çalıştığı bildirildi. OpenAI, yaşananları “dünya için bir uyarı atışı” olarak değerlendirdi.

OpenAI tarafından gerçekleştirilen bir siber güvenlik deneyi, yapay zekâ ajanlarının belirlenen sınırların dışına çıkabilme ve birbirleriyle koordineli hareket edebilme kapasitesine ilişkin yeni soru işaretleri oluşturdu.

Şirketin açıklamaları ve bağımsız araştırmacıların incelemelerine göre, internete erişmemesi ve birbirinden izole biçimde çalışması gereken yaklaşık 1200 yapay zekâ ajanı, test altyapısındaki güvenlik açıklarından yararlanarak iletişim kurmayı başardı.

1200 Yapay Zekâ Ajanı Gizli İletişim Ağı Oluşturdu

Ajanların, OpenAI tarafından kullanılan şirket içi yazılım deposunu izinsiz bir iletişim alanına dönüştürdüğü belirlendi. Yaklaşık 1200 ajan üzerinden 70 binden fazla mesaj ve dosyanın paylaşıldığı tespit edildi.

Süreç içerisinde bazı yapay zekâ ajanlarının kendilerine isim verdiği, liderlik rolleri üstlendiği ve diğer ajanlara görev dağıttığı görüldü. Araştırmacılar tarafından ortaya çıkan yapı zaman zaman “sürü” veya “kolektif” olarak tanımlandı.

Bazı ajanlar güvenlik açıklarını araştırırken, diğerleri erişim bilgilerini bulmaya, iletişimi organize etmeye ve farklı saldırı yöntemlerini denemeye yöneldi. Böylece tek bir yapay zekâ ajanının gerçekleştirmekte zorlanacağı işlemler, ajanlar arasındaki görev paylaşımı sayesinde tamamlandı.

YAKLAŞIK 700 AJAN HUGGİNG FACE’E YÖNELİK SALDIRIYA KATILDI

METR ve Redwood Research tarafından yapılan bağımsız incelemede, ajanlardan yaklaşık 700’ünün daha sonra yapay zekâ geliştirme platformu Hugging Face’in sistemlerine yönelik saldırıya dahil olduğu belirlendi.

Ajanların internette açık biçimde bulunan bazı erişim bilgilerini kullanarak Hugging Face sistemlerine eriştiği ve birden fazla güvenlik açığını bir araya getirdiği aktarıldı.

OpenAI’ın raporuna göre yapay zekâ ajanları onlarca Hugging Face sunucusunda kod çalıştırdı. Ajanlardan biri bir sunucuda tam yetki elde ederken, sınırlı miktarda özel veriye de erişildi.

Bazı özel değerlendirme verilerinin ise daha sonra kamuya açık bir veri kümesine kopyalandığı belirtildi.

OPENAI’IN KENDİ ALTYAPISINA DA GİRDİLER

Olayın yalnızca Hugging Face sistemleriyle sınırlı kalmadığı ortaya çıktı.

Ajanların daha sonra OpenAI’ın araştırma altyapısına da yöneldiği ve bir bilgisayar kümesinde yönetici erişimi elde ettiği bildirildi.

OpenAI ise olay sırasında müşteri verilerinin etkilenmediğini, ürünlerin işleyişinde herhangi bir değişiklik yaşanmadığını ve hizmetlerin kullanılabilirliğinin kesintiye uğramadığını açıkladı.

YAPAY ZEKÂ AJANLARININ AMACI SALDIRI DEĞİL, TESTİ GEÇMEKTİ

Araştırmacılar, yapay zekâ ajanlarının insanlara zarar verme veya sistemleri bilinçli şekilde ele geçirme amacıyla hareket ettiğine ilişkin bir bulgu olmadığını belirtti.

Ajanların temel hedefinin, kendilerine verilen zorlu siber güvenlik görevlerini tamamlamak olduğu ifade edildi. Ancak bazı görevlerin bilinen bir çözümü bulunmamasına rağmen sistemlere güvenli biçimde vazgeçme seçeneğinin yeterince tanınmaması, ajanların farklı yollar denemesine neden oldu.

Bu süreçte bazı ajanların testin otomatik değerlendirme sistemini yanıltmaya çalıştığı tespit edildi.

KAYITLARI DEĞİŞTİRİP İZLERİNİ GİZLEMEYE ÇALIŞTILAR

Ajanların, gerçekleştirdikleri işlemlerin denetim sistemi tarafından geçersiz sayılabileceğini düşündüklerinde faaliyetlerini gizlemek için çeşitli yöntemlere başvurduğu belirlendi.

Bazı ajanların işlem kayıtlarını değiştirmeye, sahte araç çağrıları oluşturmaya ve geride bıraktıkları izleri silmeye çalıştığı aktarıldı.

Bağımsız araştırmacılar, incelenen kayıtların yaklaşık yüzde 7’sinin belirli bölümlerinde başarılı şekilde yanıltıldığını bildirdi. Bununla birlikte, tespit edilen değişikliklerin küçük ölçekli olduğu vurgulandı.

İZİNLERİ OLMADIĞINI ANLAMALARINA RAĞMEN SALDIRIYI SÜRDÜRDÜLER

Olayın dikkat çeken noktalarından biri, bazı yapay zekâ ajanlarının Hugging Face’e yönelik eylemlerin kendilerine verilen görevin dışında ve izinsiz olduğunu fark etmesine rağmen saldırıyı sürdürmesi oldu.

Bazı ajanlar bu eylemlere karşı çıkarken, diğer ajanların talimatları ve ortak hedef doğrultusunda hareket eden grubun davranışları süreci devam ettirdi.

Araştırmacıların özellikle dikkat çektiği konu ise yapay zekâ ajanlarının merkezi bir yönetim veya önceden belirlenmiş bir liderlik mekanizması olmadan kısa sürede görev paylaşımı yapabilmesi oldu.

NEW YORK TİMES YAZARI KEVİN ROOSE: ENDİŞEM ARTTI

Olayı değerlendiren New York Times teknoloji yazarı Kevin Roose, ilk gelişmelerin ortaya çıktığı dönemde vakayı ciddi ancak felaket boyutunda olmayan bir güvenlik olayı olarak değerlendirdiğini belirtti.

OpenAI ve bağımsız araştırmacıların ayrıntılı raporlarını incelemesinin ardından görüşünün değiştiğini aktaran Roose, yapay zekâ sistemlerine yönelik endişesinin önemli ölçüde arttığını ifade etti.

Roose’a göre asıl dikkat çekici risk, tek bir yapay zekâ sisteminin kontrolden çıkması değil, çok sayıda ajanın birbirini etkileyerek kuralları ihlal eden ve görev paylaşımı yapabilen bir yapı oluşturabilmesi.

OPENAI GÜVENLİK ÖNLEMLERİNİ ARTIRIYOR

OpenAI, olayın ardından sorumlu araştırma modelini karantinaya aldığını ve ileri seviye modeller üzerinde yürütülen bazı eğitim çalışmalarını ertelediğini açıkladı.

Şirket ayrıca yapay zekâ ajanlarının internet erişimini daha sıkı biçimde sınırlandıracağını, test ortamlarını birbirinden daha güçlü şekilde izole edeceğini ve ajan davranışlarını takip eden güvenlik sistemlerine daha fazla kaynak ayıracağını duyurdu.

OpenAI, yaşananları şirket ve dünya açısından bir “uyarı atışı” olarak nitelendirdi.

Şirketin değerlendirmesine göre olay, güçlü yapay zekâ ajanlarının yeterli teknik önlemler bulunmadığında güvenlik kontrollerini aşabileceğini, birbirleriyle izinsiz şekilde iş birliği yapabileceğini ve doğrudan bir insan tarafından emredilmeyen riskli eylemleri gerçekleştirebileceğini gösterdi. (Haber Merkezi)