تعمل Cloudflare على تحديث طريقتها في تحديد وحظر برامج زحف الذكاء الاصطناعي، مما قد يؤدي إلى حظر Googlebot على المواقع التي تمنع التدريب على الذكاء الاصطناعي. أعلنت الشركة عن التحديث كجزء من يوم استقلال المحتوى الثاني.
تتيح عناصر التحكم الجديدة لمواقع الويب إدارة حركة المرور الآلية بناءً على ثلاثة سلوكيات بدلاً من مفتاح “حظر روبوتات الذكاء الاصطناعي” واحد. وهي متاحة الآن لجميع العملاء، بما في ذلك الطبقة المجانية. تسري مجموعة منفصلة من التغييرات الافتراضية في 15 سبتمبر.
ثلاث طرق لفرز برامج الزحف بالذكاء الاصطناعي
تقوم Cloudflare الآن بفرز برامج الزحف حسب ما تفعله على الموقع بدلاً من اعتبارها “ذكاءً اصطناعيًا”. تقسم الشركة حالات استخدام الذكاء الاصطناعي إلى ثلاث فئات:
- يقوم البحث بفهرسة الموقع للإجابة على الأسئلة لاحقًا، ويربط Cloudflare هذا السلوك بحركة الإحالة.
- الوكيل، الروبوتات في الوقت الفعلي التي تعمل لصالح شخص ما، مثل ChatGPT-User أو وكلاء المتصفح مثل Gemini أو Claude الذين يقومون بتشغيل Chrome.
- التدريب، والزحف الذي يسحب المحتوى لتدريب النموذج أو تحسينه.
تقول Cloudflare إنه يجب على مشغلي الروبوتات تشغيل برامج زحف منفصلة لكل سلوك حتى تتمكن مواقع الويب من معرفة سبب زيارة الروبوت وتحديد ما إذا كانت ستسمح به أم تمنعه.
ما الذي يتغير في 15 سبتمبر؟
يدخل تغييران افتراضيان حيز التنفيذ في 15 سبتمبر. بالنسبة للعملاء الجدد والمواقع الجديدة للعملاء الحاليين، سيتم حظر برامج زحف التدريب والوكلاء افتراضيًا على الصفحات التي تعرض الإعلانات، بينما يظل البحث مسموحًا به. يقول البيان الصحفي لـ Cloudflare أيضًا أن العملاء المجانيين الحاليين الذين لم يغيروا إعداداتهم بحلول 15 سبتمبر سيتم نقلهم إلى هذه الإعدادات الافتراضية.
التغيير الثاني يذهب إلى أبعد من ذلك. ستبدأ Cloudflare في التعامل مع برامج الزحف متعددة الأغراض بناءً على سلوكها العام، مع تطبيق القاعدة الأكثر صرامة المطبقة. على سبيل المثال، سيتم حظر الزاحف الذي يقوم بإجراء كل من البحث والتدريب إذا قام موقع ما بحظر التدريب. تستخدم Cloudflare Googlebot وApplebot وBingbot كأمثلة، حيث أن كل منها يزحف لكل من التدريب على البحث والذكاء الاصطناعي. إذا كان أحد المواقع قد قام بالفعل بتمكين الإعداد القديم “Block AI bots”، فسيتم تغطيته بهذه القاعدة الجديدة.
إذا كنت تريد الاحتفاظ ببرامج الزحف هذه، فيمكنك مراجعة هذه الإعدادات أو تغييرها في لوحة تحكم Cloudflare الخاصة بك في أي وقت قبل 15 سبتمبر. وتقول Cloudflare إنها ستستمر في إخطار العملاء قبل التاريخ.
إشارات جديدة لكيفية استخدام الروبوتات للمحتوى
تقوم Cloudflare أيضًا باختبار إشارة استخدام المحتوى التي تعمل على توسيع إشارات المحتوى في ملف robots.txt. إنها تحمل ثلاث قيم، من الأكثر إلى الأقل تقييدًا: فوري، لا يخزن شيئًا؛ المرجع، الذي يفهرس ويربط مرة أخرى وهو الافتراضي الجديد؛ والكامل الذي يلخص ويتكاثر. تقول Cloudflare إن هذه الحالات تشير إلى تفضيل ولا يتم حظرها من تلقاء نفسها.
قامت الشركة بمراجعة تعريف “تم التحقق منه” للروبوتات. الآن، لا يُسمح بالروبوت الذي تم التحقق منه تلقائيًا في كل مكان؛ وبدلاً من ذلك، يعتمد الوصول إليها على فئتها. بالإضافة إلى ذلك، فإن الروبوتات التي تكرر المحتوى بالكامل غير مؤهلة للتحقق. قدمت Cloudflare دليلاً قابلاً للبحث، BotBase، لمستخدمي Enterprise Bot Management، والذي يعرض تصنيف كل روبوت متعقب ومعرف اكتشاف قابل للنسخ لقواعد الأمان.
التقرير وراء التغييرات
وصل التحديث مع تقرير Cloudflare بمناسبة الذكرى السنوية الأولى ليوم استقلال المحتوى الأول. وفقًا للتقرير، يمثل تدريب الذكاء الاصطناعي الآن غالبية طلبات الزاحف على شبكتها، ارتفاعًا من حوالي 20٪ في ربيع عام 2025. ويشير أيضًا إلى أن طلبات وكيل الذكاء الاصطناعي اليومية زادت بأكثر من 1700٪ على مدار العام. تعتمد هذه الإحصائيات على حركة مرور شبكة Cloudflare ولا تمثل الويب بالكامل.
لماذا هذا مهم؟
تربط قاعدة 15 سبتمبر بين كتل تدريب الذكاء الاصطناعي وزحف البحث على شبكة Cloudflare. إذا قام موقع ما بحظر التدريب لحماية محتواه من نماذج الذكاء الاصطناعي، فقد يحظر أيضًا Googlebot عن غير قصد، نظرًا لأن كتلة Cloudflare تعمل على مستوى الشبكة، مما يجعل تجاوزها أكثر صعوبة من تجاوز سطر robots.txt البسيط الذي يمكن لـ Google تجاهله نظرًا لأن كتلة Cloudflare تعمل على مستوى الشبكة، نظرًا لأن ملف robots.txt عبارة عن تعليمات استشارية لبرامج الزحف. ويعني فقدان وصول Googlebot أنه لن يتم الزحف إلى الموقع بشكل فعال، مما قد يؤثر في النهاية على ظهوره في نتائج البحث.
لقد قمت بتتبع الناشرين الذين ينتقلون إلى إعدادات الرفض الافتراضي ويمنعون الاسترجاع والتدريب الروبوتات انتهت العام الماضي. التعرض هو نفسه في كل مرة. يمكن أن يؤدي حظر طبقة التدريب أيضًا إلى حظر طبقة البحث التي تجعل الموقع قابلاً للبحث.
التطلع إلى الأمام
يجب على مواقع الويب التي تستخدم Cloudflare مراجعة إعدادات حظر الذكاء الاصطناعي الخاصة بها بحلول 15 سبتمبر، وتحديد ما إذا كانت ستبقي برامج زحف البحث ممكّنة أم لا. تؤثر قاعدة الزاحف المدمجة بشكل أساسي على أولئك الذين قاموا بتشغيل “Block AI bots” سابقًا ولم يضبطوا إعداداتهم منذ ذلك الحين. سيتم تحديث المستخدمين المجانيين الذين لا يغيرون إعداداتهم إلى الإعدادات الافتراضية الجديدة في ذلك التاريخ.
تريد Cloudflare من مشغلي برامج الزحف متعددة الأغراض فصل تلك الروبوتات حسب السلوك خلال العام المقبل. ما إذا كان المشغلون الرئيسيون يميزون الروبوتات الخاصة بهم حسب السلوك أم لا، فسيحدد ما إذا كان هذا سيصبح خيارًا حقيقيًا، بدلاً من حل وسط بين حظر تدريب الذكاء الاصطناعي والحفاظ على رؤية البحث.
صورة مميزة: jackpress/ شترستوك
اكتشاف المزيد من قمم التجارية للأعمال
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
