قامت Ahrefs بتحليل سجلات من 137000 نطاق ووجدت أن 97% من ملفات llms.txt لم تتلق أي طلبات. لا الروبوتات، لا البشر.
استخدم التحليل بيانات Ahrefs لتحديد وكلاء المستخدم الذين يقومون بجلب الملفات. ينشر حوالي 28% من النطاقات البالغ عددها 137000 ملف llms.txt، ولكن نظرًا لأن عملاء Ahrefs أكثر تقنية، فمن المرجح أن يكون الاعتماد الفعلي على الويب الأوسع أقل.
ومن بين ما يقرب من 38000 نطاقًا تحتوي على ملفات صالحة، لم يتلق سوى حوالي 1100 نطاقًا أي حركة مرور.
من بين الملفات ذات الطلبات، جاء 96% منها من برامج الروبوت، ومعظمها غير تابعة للذكاء الاصطناعي. وشكلت روبوتات استرجاع الذكاء الاصطناعي المرتبطة بـ ChatGPT وPerplexity 1%.
من يقوم بجلب ملفات llms.txt
تلقت أدوات تدقيق تحسين محركات البحث (SEO) طلبات بنسبة 21%، ثم برامج الروبوت غير المحددة (14%)، وبرامج زحف الويب مثل Googlebot (13%)، وأدوات ملفات التعريف التقنية مثل BuildWith (11%).
وشكلت روبوتات الذكاء الاصطناعي، ضمن أربع فئات، 19% من الطلبات. يعد الذكاء الاصطناعي الجزء الأكبر، ولكن تقسيمه يختلف عن توقعات معظم مؤيدي llms.txt.
أرسل وكلاء الترميز 10% من الطلبات، وتدريب برامج الزحف 5%، والمساعدين 2%. كان Claude-Code وGPTBot من أفضل الروبوتات الفردية.
جلب Slackbot وحده ملفات llms.txt في كثير من الأحيان أكثر مما فعل PerplexityBot.
الصناعة تدرس نفسها
وجد التقرير أن 12% من الطلبات تأتي من الأدوات التي تقوم بتدقيق ملفات llms.txt أو مسحها ضوئيًا أو دراستها بدلاً من استخدامها.
أرسلت أدوات الاستعداد لـ GEO وAEO 5% من الطلبات؛ تم إرسال الماسحات الضوئية وأجهزة التحقق المخصصة بنسبة 3%، أي أكثر من روبوتات الاسترجاع والمساعدين العاملين بالذكاء الاصطناعي مجتمعين. أرسلت روبوتات البحث 2%، مع تحديد أكبر زاحف بحثي على أنه مسح سريع للحقن.
لقد تطور النظام البيئي حول تسجيل تنسيق الملف وفهرسته قبل ظهور جمهور كبير.
لا يوجد روبوت AI يبحث عن الملفات غير الموجودة
لم تجذب طلبات مسارات /llms.txt التي تحتوي على أخطاء 404 أي حركة مرور للذكاء الاصطناعي. يبدو أن الأشخاص الذين يصلون إلى أرقام 404 هم أشخاص يكتبون عنوان URL في المتصفحات، ومن المحتمل أنهم يتحققون من المنافسين.
أدت عملية تدقيق Chrome Lighthouse llms.txt، التي أعادت إشعال الجدل حول llms.txt في شهر مايو، إلى حوالي 22 طلبًا عبر مجموعة البيانات، أي ما يقرب من 1 من كل 1000 طلب.
لماذا هذا مهم؟
تتوافق البيانات مع ما قاله جون مولر من Google حول llms.txt لأكثر من عام. ضغطت ليلي راي على مولر بشأن الفجوة بين استبعاد بحث Google وتدقيق Lighthouse في Chrome. وقال إن llms.txt “لم يتم استخدامه للبحث” ووصفه بأنه “عكاز مؤقت، ربما لحفظ بعض الرموز” لأدوات تشفير الذكاء الاصطناعي.
تُظهر البيانات أن جمهور الملف هو وكلاء الترميز وبرامج الزحف التدريبية، وليس روبوتات البحث والاسترجاع التي تعمل بالذكاء الاصطناعي والتي من شأنها إنشاء استشهادات.
لقد أبلغنا عن الانقسام بين وثائق بحث Google وLighthouse في شهر مايو. أظهر التحليل السابق لـ SE Ranking لـ 300000 نطاق عدم وجود علاقة بين وجود llms.txt وتكرار الاقتباس بالذكاء الاصطناعي. تشير بيانات Ahrefs إلى سبب واحد محتمل: الروبوتات المرتبطة بشكل مباشر باسترجاع الذكاء الاصطناعي المباشر بالكاد طلبت هذه الملفات في شهر مايو.
التطلع إلى الأمام
إن اكتشاف الحقن الفوري يستحق المشاهدة. عثرت Ahrefs على زاحف يدرس llms.txt باعتباره خطرًا للحقن الفوري، نظرًا لأن الوكلاء يثقون في المحتوى المبتلع. يجب على المواقع التي تنشئ هذه الملفات تلقائيًا عبر نظام إدارة المحتوى (CMS) مراجعة محتواها.
كل رقم في هذا التقرير هو سقف. قامت Ahrefs بقياس الطلبات، وليس ما إذا كانت الروبوتات تتصرف بناءً على ما جلبته.
صورة مميزة: com.sdecoret/ شترستوك
اكتشاف المزيد من قمم التجارية للأعمال
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
