Deepfakes viral hale geldikten sonra, AI görüntü oluşturucu Midjourney ücretsiz denemeleri “kötüye kullanım” nedeniyle durduruyor

AI görüntü oluşturucu Midjourney, birkaç neslin ardından hizmetinin ücretsiz denemelerini durdurdu – fabrikasyon olanlar da dahil Donald Trump’ın tutuklanma görüntüleri ve şık bir ceket giyen papa – internette viral oldu ve birçok kişi sahte fotoğrafları gerçek fotoğraflarla karıştırdı. Midjourney CEO’su ve kurucusu David Holz, değişikliği Salı günü “olağanüstü talep ve deneme kötüye kullanımı” nedeniyle açıkladı (aracılığıyla tespit edildi) Washington post).

Daha önce Midjourney, herkesin Discord aracılığıyla yazılımını kullanmak için kaydolmasına izin veriyordu ve ayda 10 dolardan başlayan abonelik ücreti almadan önce 25 ücretsiz görüntü oluşturma olanağı sunuyordu. Uzmanlar, yapay zekanın yanlış bilgi üretme potansiyeli konusunda yıllardır uyarıda bulunsalar da, sahte bilgilerin kolayca tespit edilebildiği göz önüne alındığında, bu daha önce büyük bir sorun değildi. Holz’un dediği gibi Sınır geçen Ağustos, “Gerçekten zorlayamazsın [Midjourney] şu anda bir deepfake yapmak için.”

Ancak AI için altı ay uzun bir süre ve 15 Mart’ta Midjourney, yazılımının yeni bir sürümünü (sürüm 5) yayınladı ve bu, insanları tasvir eden görüntülerin kalitesini önemli ölçüde artırdı. Örneğin, şekilsiz eller daha önce yapay zeka tarafından oluşturulan görüntülerin ayırt edici özelliğiydi, ancak artık daha az zorlayıcı. Aydınlatma ve kumaş da daha gerçekçi ve sistem sayısız ünlünün ve halk figürünün görüntülerini üretebiliyor.

Bu gelişmeler, son haftalarda bir dizi Midjourney görüntüsünün viral hale gelmesine yol açtı. Bunlar arasında sadece Trump’ın tutuklanmasına ve papanın modaya uygun görünmesine ait sahte fotoğraflar değil, aynı zamanda Fransa Cumhurbaşkanı Emmanuel Macron’un Paris’te devam eden protestolar arasında yürümesi ve Elon Musk’ın İskenderiye Ocasio-Cortez ile el ele tutuşması yer alıyor.

Midjourney’nin sahte görüntülerden kaynaklanan siyasi açıdan hassas artan tehdide yanıtı şimdiye kadar parça parça oldu ve ılımlılık politikalarında önemli bir revizyon yapılmadı. Midjourney’nin içerik kısıtlamaları, bazı rakip hizmetlerden (OpenAI’nin DALL-E’si gibi) daha müsamahakar, ancak diğerlerinden daha kısıtlayıcıdır (örn. Stable Diffusion).

Midjourney, geçen Ekim ayında Holz’dan gelen bir mesaja göre, “bu ülkelerdeki kullanıcılardan gelen şikayetlere dayalı olarak farklı ülkelerdeki konularla ilgili” yasaklı kelimelerin bir listesini tutuyor. Ancak “dramayı” en aza indirmek için bu listenin eksiksiz bir sürümünü paylaşmaz. Holz’un geçen yıl dediği gibi, “Neredeyse hiç kimse [the ban list] özel olarak kurallarımıza aykırı bir drama yaratmaya çalışmıyorlarsa [terms of service] ‘araçlarımızı drama yaratmak için kullanmayın.’”

Ancak şirket, örneğin “tutuklandı” terimini yasaklayarak, sahte ürünleri viral hale geldikçe bu listeyi genişletti. Bu, görünüşe göre araştırmacı gazeteci Eliot Higgins tarafından oluşturulan ve Trump’ın tutuklandığını tasvir eden Midjourney görüntülerinin popüler bir Twitter dizisine yanıt olarak geldi. Higgins, daha sonra Midjourney kullanmasının yasaklandığını söylüyor.

Yine de, bu tür kısıtlamaları aşmak kolaydır. Örneğin, içinde Sınırtestlerinde, “Donald Trump tutuklanıyor” istemiyle görüntüler oluşturamadık, ancak “Donald Trump polis tarafından çevrili kelepçeli” istemiyle aynı çıktıyı oluşturabildik. (Hikayenin üst kısmındaki resimde gösterildiği gibi.)

Yazma sırasında Midjourney, gelecekte değişebilecek olsa da, ücretsiz kullanıcıların görüntü oluşturmasına hala izin vermiyor. Salı günü Holz, “gpu sıkıntısı” nedeniyle hizmetin yavaş olduğunu söyledi. (AI görüntü oluşturma, yoğun işlem gerektiren bir etkinliktir ve Midjourney, görüntüleri kullanıcılarla paylaşmadan önce bulutta oluşturur.) Ancak dün, ücretsiz denemelerin durdurulmasının ana nedeninin yazılımın kötüye kullanılması olduğunu öne sürdü.

Holz, “Kötüye kullanım için yeni güvenlik önlemleriyle denemeleri yeniden başlatmayı denedik, ancak bunlar yeterli olmadı, bu nedenle hizmeti diğer herkes için sürdürmek üzere yeniden kapatıyoruz” dedi. Yorum için Holz’a ulaştık ve yanıt alırsak bu hikayeyi güncelleyeceğiz.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir