المزيد من المواقع الإخبارية تحظر برامج زحف الذكاء الاصطناعي بشكل افتراضي

تقوم رويترز وتايم الآن بحظر روبوتات الذكاء الاصطناعي، مما يسمح فقط لبرامج الزحف المعتمدة من خلال القوائم المسموح بها، وفقًا لتقارير Digiday.

اتخذ كلا الناشرين القرار في شهر مايو، وانضما إلى People Inc. وThe Atlantic، اللتين تبنتا إعدادات مماثلة خلال العام الماضي.

وتقول رويترز إن التغيير لم يكلفها حركة المرور، بينما خفض ما تنفقه على خدمة الروبوتات. يعزو المسؤولون التنفيذيون الاحتكاك الإضافي إلى المساعدة في دفع شركات الذكاء الاصطناعي نحو محادثات الترخيص.

لماذا لم تكن قوائم الحظر كافية؟

يعمل ملف Robots.txt فقط عندما تختار برامج الزحف احترامه. استشهد Digiday بتقرير Tollbit الذي وجد أن 30% من إجمالي خدوش الروبوتات التي تعمل بالذكاء الاصطناعي لم تتوافق مع أذونات robots.txt الصريحة.

يقول المسؤولون التنفيذيون إن الحظر على المستويات الأخرى لا يزال له تأثير. إن أدوات الكشط التي تتجول حول الكتل تدفع ثمن الحلول البديلة، وهذه التكلفة هي النقطة المهمة.

تلتقط قائمة الحظر فقط الروبوتات التي يمكن للناشر تسميتها. علمت شركة People Inc. أن التحول إلى القائمة المسموح بها أدى إلى زيادة عدد وكلاء المستخدم الذين حظرتهم من حوالي 2100 إلى أكثر من 30000. شاركت ليندساي فان كيرك، نائب الرئيس الأول لشؤون الابتكار، الأرقام في حدث IAB Tech Lab في أواخر شهر مايو.

يتطابق هذا المقياس مع ما أظهرته بيانات ملف robots.txt لعدة أشهر. وجد تحليل BuzzStream الذي قمنا بتغطيته في شهر يناير أن 79% من كبار ناشري الأخبار يحظرون روبوتًا واحدًا على الأقل للتدريب على الذكاء الاصطناعي. تحذر وثائق الزاحف الخاصة بـ Anthropic الناشرين الآن من تكلفة الرؤية الناتجة عن حظر روبوت البحث الخاص بها. في المملكة المتحدة، يتطلب أحد متطلبات السلوك الجديدة من Google السماح لمواقع الويب بإلغاء الاشتراك في ميزات بحث الذكاء الاصطناعي.

كيف يقرر الناشرون أي الروبوتات سيسمحون بها؟

يؤدي الحظر افتراضيًا، وهو إعداد يسمى أحيانًا الرفض الافتراضي، إلى تغيير القرار من خلال الروبوتات التي سيتم حظرها إلى الروبوتات التي سيتم السماح لها بالدخول.

صرح جوش لندن رئيس قسم رويترز الاحترافي لموقع Digiday بأن رويترز توافق على الروبوت عندما يقدم “تبادل القيمة العادلة”. يغطي هذا التبادل أربعة أنواع من القيمة. يمكن للروبوت الدفع مقابل المحتوى من خلال الترخيص، أو إعادة حركة المرور، أو الحفاظ على تشغيل الموقع، أو دعم تحقيق الدخل.

وتكون النتيجة مرئية في ملف robots.txt المباشر لرويترز. فهو يسرد برامج الزحف المعتمدة من Amazon وGoogle وBing/Microsoft وYahoo وOpenAI، ثم لا يسمح ببرامج الروبوت الأخرى من معظم أجزاء الموقع.

لماذا هذا مهم؟

يعمل وصول الزاحف بنفس الطريقة منذ إنشاء ملف robots.txt. يدخل كل روبوت ما لم يقم الناشر بتسميته وحظره.

والآن تعمل رويترز ومجلة تايم على عكس هذا التخلف عن السداد، وتظهر أرقام شركة بيبول السبب وراء ذلك. لا يمكنك حظر روبوت لم تسمع عنه من قبل.

لكن الحظر له تكاليفه. قم بحظر الزاحف، وستفقد كل ما كان يرسله مرة أخرى، مثل إمكانية رؤية بحث الذكاء الاصطناعي أو حركة مرور الإحالة. ولهذا السبب يسأل كلا الناشرين عما يقدمه كل روبوت لهما قبل السماح له بالدخول. إنه سؤال يستحق طرحه حول ملف robots.txt الخاص بك.

التطلع إلى الأمام

يراهن الناشرون على أن هناك قوة في الأعداد. من السهل تجاهل أحد المواقع التي تحظر روبوتات الذكاء الاصطناعي. يقوم تحالف SPUR ببناء معايير مشتركة للترخيص واستخدام المحتوى. وقد نما إلى 36 منظمة هذا الشهر بعد إضافة 30 عضوًا. من الصعب رفض ستة وثلاثين ناشرًا يحظرون معًا أكثر من رفض واحد.

ما هو أقل وضوحا هو من يعمل هذا. جاءت رويترز إلى الطاولة مع توقيع صفقات تجارية وترخيص بالفعل. يواجه الناشرون الصغار نفس الاختيار دون هذا النفوذ. يمكنهم الحظر، لكن الحظر يكلف رؤية الذكاء الاصطناعي ولا يضمن حضور أي شخص للتفاوض.

في بحث عميق كتبته قبل بضعة أشهر، وجدت أن مجموعات الدفع تظل صغيرة مقارنة بإيرادات البحث التقليدية. إذا جاءت الصفقات فقط للأسماء الكبيرة، فقد يظل الرفض الافتراضي أداة لكبار الناشرين.

صورة مميزة: غرينار / شترستوك