Sıcak bir patates:Reddit, AI eğitim amaçları için web sitesini ayrım gözetmeksizin tarayan şirketlere yönelik bir baskının parçası olarak hamleler yapıyor. Felsefesi, AI şirketlerinin sahip olmadıkları kaynaklarla geliştirdikleri büyük dil modellerinden milyonlarca veya milyarlarca dolar kazanacaklarıdır. Bu, birinin sadece kilitli bir kapısı olmadığı için bir kereste deposundan ikişer dörtlükler alıp evini inşa etmesine benzer. Ancak sorun Reddit’in çok ötesine geçiyor ve açık web’in şu ana kadar nasıl çalıştığına dair merkezi bir öneme sahip.
Robots Exclusion Protocol, web tarayıcılarının ve botların web sitelerine erişimini kontrol etmek ve yönetmek için kullanılan bir web standardıdır. Robots.txt dosyası tarafından tanımlanan bu protokol, arama motorlarına bir sitenin hangi bölümlerinin taranabileceğini veya dizine eklenebileceğini söyler ve web yöneticilerinin hassas içerikleri korumasına ve trafiği verimli bir şekilde yönetmesine yardımcı olur. Ancak, bunu uygulamanın birkaç yolu olan onur sistemi üzerinde çalışır.
Geçtiğimiz hafta, Ars Technica, Reddit gönderilerinin Google dışında hiçbir arama motorunda görünmediğini bildiriyordu. Reddit’in, eğitim için içeriklerini kullanmak üzere Alphabet ile 60 milyon dolarlık bir lisans anlaşması imzalamış olması büyük bir gizem değil – bu arada Reddit, geçen yıl Google aramalarında giderek daha fazla üst sıralarda yer alıyor (karşılıklı çıkar veya belki de değil…).
Şirket ayrıca yakın zamanda kullanıcılarına robots.txt dosyasını, verisine erişim izni olmayan botları ve tarayıcıları hariç tutacak şekilde değiştirdiğini bildirdi. Reddit CEO’su Steve Huffman, açık bir internete inandığını ancak şirketlerin artık kar amacıyla bilgi toplamak için arama motoru web tarayıcılarını kullandığını, bunun da geçmişteki kullanımlarından çok uzak olduğunu söyledi. Huffman, The Verge’e “Arama motorlarından gelen geleneksel değer alışverişinin değiştiğini düşünüyorum” dedi.
“Arama, özetleme ve eğitim birleşiyor ve tarama karşılığında trafiği geri almanın değer alışverişi bulanıklaşıyor.”
Huffman, bu noktaya kadar, veri hasadı için hisse senedi almaya isteksiz şirketleri engellemenin “gerçek bir baş belası” olduğunu ve Reddit’in robots.txt dosyasında değişiklikler yapılmasını teşvik ettiğini söyledi. Şirketler çoğunlukla Reddit’in isteklerine saygı gösterdi ve Microsoft, Anthropic ve Perplexity dahil olmak üzere birkaçı, içeriğini lisanslamak için müzakerelere başladı.
Hoffman, kendi tarafındaki en büyük dikenin, Reddit verisini toplayan bazı şirketlerin geri dönüp bunu API’leri aracılığıyla diğer AI firmalarına satması olduğunu söyledi. Özellikle Microsoft AI CEO’su Mustafa Suleyman’ı, internetteki tüm genel verileri “ücretsiz yazılım”a benzettiği için eleştirdi.
“Microsoft, Anthropic ve Perplexity’nin internetteki tüm içeriklerin kendileri için ücretsizmiş gibi davrandığını gördük,” dedi Huffman. “Gerçek konumları bu.” Microsoft Bing, Reddit’in tarayıcılarını engelleme kararına saygı göstermekte nazik davransa da şirket aşağılayıcı bir yorumda bulunmayı başardı.
Microsoft AI CEO’su Mustafa Süleyman: Açık web’deki içerikler için sosyal sözleşme, bunların AI modellerini eğitmek için “ücretsiz yazılım” olduğudur pic.twitter.com/FN1xrqnJC0
– Tsarathustra (@tsarnick) 26 Haziran 2024
Microsoft sözcüsü Caitlin Roulston geçen hafta, “Reddit, Bing’in arama için sitelerini taramasını engelledi, başka bir arama motorunu tercih etti ve Bing ve Bing destekli motorlardan gelen rekabeti etkiledi,” dedi. “İçerik istemeyen web sitelerinin verdiği talimatlara saygı duyuyoruz “Sayfalarının, üretken yapay zeka modellerimizle birlikte kullanılmasını istiyoruz.”
Şimdiye kadar, Google ve OpenAI Reddit’in beyaz listesindeki tek arama motorlarıdır. Diğer motorlar güncel olmayan Reddit içeriği dışında bir şey döndürüyorsa, o zaman web sitesinin robots.txt belgesine uymuyorlardır.
Reddit’in bu lisans anlaşmaları aracılığıyla kullanıcı tarafından oluşturulan içerikten kar elde etmesi hala sıcak bir patates. Bir yandan, kazançlı ücretler Reddit’in forumlarını oluşturan topluluğun cebine girmiyor. Öte yandan, bu lisans anlaşmaları diğer şirketlerinkinden çok da farklı değil.
OpenAI, Dotdash Meredith, Axel Springer, Associate Press ve The Atlantic gibi büyük yayıncılara lisans ücretleri ödüyor. Bu yayınların bu karları zam veya ikramiye yoluyla yazarlarına aktardığı doğrulanmamış ancak şüpheli. Bu doğru mu? Hayır ve mahkemeler hala bu benzeri görülmemiş faaliyet hakkında karar vermeye çalışıyor. Ancak, bu noktada bu olağan bir durum.
Ve bu sorun Reddit ile sınırlı değil, büyük ve küçük tüm çevrimiçi yayıncılar için geçerli. Yapay zeka eğitimi suistimaline karşı yarışta, Reddit yapay zeka şirketlerini ifşa edecek güce ve etkiye sahip olan birkaç siteden biri. Büyük medya şirketleri para kazanmaya ve anlaşmalara varmaya çalışırken, internetin geri kalanı zorlanıyor. Aslında, bazı alt dizinlerin orijinal kaynaklardan tüm yazılı içeriği kopyalayıp yapıştıran ve bunu başlıktaki ilk yorum olarak görüntüleyen kendi botları var, böylece içeriği kopyalayıp yapay zeka şirketlerine satıyorlar.
Yönetsel düzenlemeler gelene kadar, AI altın hücumu 1848’deki California altın hücumu gibi olacak. Yapay zeka firmaları, kâr elde etmek veya daha fazla veri toplamak için herkesin boğazından aşağı AI ürünlerini tıkıştırmak için akın etmeye devam edecek. Bu arada, Reddit ve Vox gibi şirketler onlara kürekleri uzatmaya devam edecek.
Resim kredisi: Jernej Furman