جادل جون مولر من Google بأن أنظمة LLM لا يمكنها استخدام ملفات مثل llms.txt لتحديد مواقع الويب التي سيتم عرضها لاستعلام معين.
وقد أدلى بهذه التعليقات في حلقة حديثة من برنامج Search Off the Record، وهو برنامج صوتي من فريق علاقات البحث في Google.
يشير تعليقه إلى مشكلة إشارة أوسع، وليس مجرد ألعاب متعمدة. حتى ملف llms.txt المكتوب جيدًا لا يزال عبارة عن معلومات تم الإبلاغ عنها ذاتيًا من الموقع الذي يريد اختياره.
ومن أجل الاكتشاف، أشار مولر مرة أخرى إلى صفحات HTML العادية والروابط الداخلية.
ما قاله مولر
بدأت المحادثة بسؤال حول ما إذا كان يجب على الناشرين تحويل مواقع الويب إلى Markdown for LLMs. اتفق مولر والمضيف المشارك مارتن سبليت على أن لغة HTML لا تزال هي الأساس للزحف والاكتشاف.
أصبحت المناقشة محددة عندما تحول مولر إلى llms.txt. ووصف حالة استخدام الاكتشاف بأنها طريق مسدود:
“إنها في الأساس تخبر هذه الأنظمة، مثل، لدي أفضل موقع ويب على الإطلاق. وهنا جميع الصفحات التي يجب على الجميع الذهاب إليها. ويجب عليك شراء جميع منتجاتي أو أي شيء تضعه هناك. لذلك في نظام LLM، حسب التصميم، لا يمكنه الوثوق بما هو موجود هنا كوسيلة للتمييز بين مواقع الويب المختلفة.”
حجته تأتي إلى التفريق. إذا كانت المواقع تستخدم llms.txt للترويج لأنفسها، فيمكن للملفات تقديم مطالبات مماثلة. لا يزال تحديد LLM للموقع الذي يجيب بشكل أفضل على الاستعلام يحتاج إلى طريقة أخرى للتمييز بينهما.
ماذا قد يعني “حسب التصميم”.
يمكن أن تعني عبارة “حسب التصميم” شيئين مختلفين، ولم يوضح مولر أيهما.
قراءة واحدة معمارية. تقوم أنظمة LLM بتقييم محتوى الويب ولا يمكنها استخدام الملفات المبلغ عنها ذاتيًا عند اختيار المصادر.
القراءة الأخرى تتعامل معها كمشكلة إشارة. تفقد الإشارات المبلغ عنها ذاتيًا قيمتها عندما يقدمها الجميع. توقفت الكلمات الرئيسية التعريفية عن العمل لنفس السبب. لقد ملأها كل موقع، ولم تتمكن محركات البحث من استخراج إشارة تصنيف مفيدة.
كلا القراءتين تصلان إلى نفس النتيجة عند الاكتشاف. لكنها تشير ضمنا إلى أشياء مختلفة حول ما إذا كان القيد يمكن أن يتغير مع مرور الوقت.
حيث يرى مولر دورًا
لم يرفض مولر جميع استخدامات llms.txt. لقد ابتكر حالة واحدة يمكن أن تساعد فيها:
“إذا كان شخص ما موجودًا بالفعل على موقع الويب الخاص بك، فربما يكون هناك نوع من النظام الآلي مفيد.”
واستخدم مثال الوكيل الذي يحاول شراء صورة من موقع معين. سيقوم LLM بزيارة الموقع والبحث عن تعليمات حول كيفية إكمال عملية الشراء.
تفصل الحجة الاكتشاف عن التنقل. لا يمكن لـ llms.txt مساعدة LLM في اختيار الموقع الذي تريد زيارته. ولكن قد يكون من المفيد أن يكون الوكيل موجودًا بالفعل، مثل دليل المتجر لشخص دخل بالفعل.
ما وراء حجة الألعاب
وصف مولر إنشاء صفحات Markdown للروبوتات بأنها “فكرة غبية”. كما قام أيضًا بمقارنة llms.txt بالعلامة الوصفية للكلمات الرئيسية.
كتب روجر مونتي من SEJ أن llms.txt “غير جدير بالثقة بطبيعته” لأنه لا يوجد شيء يمنع مالكي المواقع من إضافة محتوى الخدمة الذاتية. لم يجد تحليل SE Ranking لـ 300000 نطاق أي صلة بين اعتماد llms.txt وتكرار الاستشهاد في إجابات LLM.
ركزت تلك الحجج على ما يحدث عندما يتلاعب الأشخاص بالملفات. يضيف تعليق مولر على البودكاست فارقًا بسيطًا وهو عدم وجود آلية داخل الملفات لمساعدة ماجستير إدارة الأعمال في اختيار موقع على آخر.
لماذا هذا مهم؟
كانت حجة الألعاب ضد llms.txt تحتوي دائمًا على حجة مضادة متاحة. يمكن أن تتعلم المنصات معاقبة التلاعب، بالطريقة التي تتعامل بها محركات البحث مع البيانات المنظمة غير المرغوب فيها.
حجة التمايز تترك مشكلة أصعب. إن معاقبة التلاعب قد تعالج إساءة الاستخدام، ولكنها لا تفسر كيف تساعد الملفات المبلغ عنها ذاتيًا ماجستير إدارة الأعمال في اختيار موقع على آخر. لا يزال ملف llms.txt الأكثر دقة لديك غير قادر على إخبار LLM باختيار موقعك بدلاً من موقع منافس.
التطلع إلى الأمام
واعترف مولر بأن المعايير الخاصة بكيفية تنقل الوكلاء في المواقع لم يتم تسويتها بعد. وذكر WebMCP إلى جانب أنواع الملفات الأخرى قيد المناقشة.
لم يصبح أي منها معيارًا. وفقًا لتقديراته، قد يستغرق الأمر من ستة أشهر إلى عام، أو أكثر، حتى تستقر الأنظمة الوكيلة على التنسيق. إن طبقة الاكتشاف، حيث يعمل HTML والارتباط الداخلي بالفعل، ليست جزءًا من تلك المناقشة.
اكتشاف المزيد من قمم التجارية للأعمال
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
