جوجل يكشف الخلل الأساسي في LLMs.txt

تحدث جون مولر ومارتن سبليت من Google عن LLMs.txt وتخفيض السعر، حيث قدم مولر حقيقة مفاجئة حول الغرض الأصلي من LLMs.txt وشرح أيضًا سبب وجود عيوب شديدة في المعايير المقترحة.

ما هو الاكتشاف ولماذا هو مهم

في سياق استرجاع المعلومات (البحث)، فإن الاكتشاف يتعلق باكتشاف محرك بحث وجود صفحة ويب معينة. يعد الاكتشاف جزءًا من البنية الشاملة لمحرك البحث.

بنية محرك البحث:

1. اكتشاف
   اكتشاف عنوان URL (إضافته إلى الزحف).
2. الزحف
   تحميل وتحليل المحتوى.
3. الفهرسة
   عملية تحليل البيانات الأولية وتخزينها في قاعدة بيانات منظمة محسنة للاسترجاع.
4. تصنيف
   الجزء الذي يهتم به الجميع.
5. التقديم
   هذه هي الخطوة الأخيرة وهي عرض صفحات الويب المصنفة في نتائج البحث.

ما ورد أعلاه عبارة عن نظرة عامة مبسطة حول ماهية البحث، والاكتشاف هو الجزء الأول من العملية التي تنتهي في النهاية بترتيب الروابط إلى مواقع الويب وتقديمها.

الفكرة هنا هي أن الاكتشاف جزء مهم من وضع صفحة الويب في قائمة الانتظار للزحف إليها وفهرستها وتصنيفها وعرضها في النهاية في نتائج البحث. بدون الاكتشاف، تكون صفحة الويب غير مرئية.

والآن إليكم سبب أهمية ذلك: الاكتشاف ليس جزءًا من معيار LLMs.txt المقترح. يستخدم

النية الأصلية لل LLMs.txt

قال جون مولر إنه التقى بأحد الأشخاص المسؤولين عن إنشاء اقتراح LLMs.txt وقال إن المنشئ أوضح أن LLMs.txt لم يكن يهدف أبدًا إلى جعل الموقع قابلاً للاكتشاف، ولم يكن المقصود منه أبدًا أن يكون جزءًا من هذه العملية.

هذه نقطة مهمة لأن العديد من مالكي المواقع يقضون الوقت والمال والجهد في إنشاء LLMs.txt بغرض اكتشافهم وتصنيفهم في LLMs. وهذا يعني أن سبب استخدام الأشخاص لـ LLMs.txt يتعارض مع الغرض الفعلي لـ LLMs.txt، والذي لا علاقة له بالاكتشاف.

وأوضح مولر:

“لذلك تحدثت، على ما أعتقد، مع أحد الأشخاص الذين أنشأوا هذا الاقتراح منذ فترة. ولم تكن الفكرة في الحقيقة هي إنشاء شيء يجعل من السهل على محركات البحث أو أنظمة LLM اكتشاف كل المحتوى الخاص بك، ولكن الأهم من ذلك أنه إذا كان LLM يعرف بالفعل عن موقعك ويريد معرفة ما هو موجود هنا، فقد يكون هذا نهجًا.

وأعتقد أن جانب استخدام هذا كوسيلة لتحسين الاكتشاف بواسطة أنظمة الذكاء الاصطناعي أو الاكتشاف بواسطة أنظمة البحث، ليس له أي معنى على الإطلاق.

وأوضح مولر بعد ذلك أن العديد من الأشخاص يستخدمون LLMs.txt على أمل المساعدة في عملية الاكتشاف على الرغم من حقيقة أن هذا ليس الغرض من LLMs.txt.

ثم ركز بعد ذلك على حقيقة أن ملف LLMs.txt غير جدير بالثقة بطبيعته لأن مالك الموقع يقول موضوع محتوى موقعه، والذي قد يتطابق أو لا يتطابق مع ما هو موجود في HTML الفعلي.

وتابع:

“لأنك في الأساس تخبر هذه الأنظمة، مثل، لدي أفضل موقع ويب على الإطلاق. وهنا جميع الصفحات التي يجب على الجميع الذهاب إليها. ويجب عليك شراء جميع منتجاتي أو أي شيء تضعه هناك.

لذا، في نظام LLM،… في الأساس، حسب التصميم، لا يمكن الوثوق بما هو موجود هنا كوسيلة للتمييز بين مواقع الويب المختلفة.

تعليمات الوكيل

يقول مولر بعد ذلك أن بعض مقترحات المعايير هذه قد تكون مفيدة لمساعدة وكيل الذكاء الاصطناعي، والذي يبدو وكأنه يتحدث عن بروتوكول سياق نموذج الويب (WebMCP).

وأوضح:

“إذا كان شخص ما موجودًا بالفعل على موقع الويب الخاص بك، فربما يكون هناك نوع من النظام الآلي مفيد. وإذا حدث ذلك، أريد أن أذهب إلى Martin’s Splitt وشراء صورة، فيمكن لنظام LLM الانتقال إلى موقع الويب الخاص بك ويمكنه البحث حولي، مثل، كيف يمكنك شراء صورة؟ ربما لديه بعض الإرشادات لي كوكيل لشراء الصور. هذا النوع من المنطقي.

ولكن إذا انطلقت وقلت، أريد شراء صورة، وأي موقع لديه واحدة، فلن يذهب النظام إلى موقع الويب الخاص بك وخمسة مواقع أخرى ويقول، من لديه بعض المعلومات الآلية؟ ولكن بدلاً من ذلك، فهم يحاولون، وسيحاولون العثور على أفضل موقع ويب…”

LLMs.txt لا يتعلق باكتشاف الذكاء الاصطناعي

عاد مولر إلى كيفية إساءة فهم الأشخاص لملفات LLMs.txt باعتبارها طريقة يمكن لأنظمة الذكاء الاصطناعي اكتشافها.

وقد علل حول هذه النقطة:

“أعتقد من وجهة النظر هذه، أن التحسين كوسيلة للاكتشاف، ليس له معنى.

ولكن ماذا يحدث عندما يكون الوكيل موجودًا على موقع الويب الخاص بك؟ أعتقد أن هذا أيضًا يبدو بشكل عام مجالًا مفتوحًا للمناقشة في الوقت الحالي، حيث يوجد LLMs.txt كمقترح. هناك ملفات JSON مختلفة وأنواع ملفات معروفة قيد المناقشة.

هناك WebMCP، الذي أعتقد أنه يحاول القيام بشيء مماثل، حيث يقولون، حسنًا، أنت في هذه الصفحة الآن، ولكن لدينا واجهة برمجية لهذا، أو عنوان URL محدد مضاف أو آلية محددة.

أعتقد أن هذه مناقشات مختلفة تقريبًا.

لا يزال الاكتشاف والتصنيف مرتبطين بـ HTML

أكمل مولر فكرته من خلال التأكيد على أن Discovery يقع على مستوى HTML.

وأوضح:

“لذا فإن زاوية تحسين محركات البحث العامة حول كيفية العثور على موقع ويب يبيع لي صورة ستكون مرتبطة تمامًا بصفحات HTML وصفحات الويب العادية.

وبعد ذلك، إذا قرر المستخدم الانتقال إلى خدمة معينة، فضمن تلك الخدمة، هناك مساحة أكبر قليلاً ربما لمساعدة وكيل أو نظام LLM في العثور على النهج الصحيح.

لكن المثير للاهتمام بالطبع هو الكثير من الأفكار. ولم يتبلور أي من هذه الأشياء بشكل أساسي باعتباره الشيء الوحيد الذي سيستخدمه الجميع. لذلك أنا متأكد من أنه خلال النصف القادم، لا أعلم، نصف عام، أو عام، أو ربما أطول، سيستغرق الأمر بعض الشيء. وبعض هذه الأنظمة الوكيلة سوف تتحد نوعًا ما حول نوع ملف قياسي أو آلية أو شيء من هذا القبيل.

لم يكن مولر يدفع بمعايير WebMCP ولكن إذا أصبح وكلاء الذكاء الاصطناعي وسيلة يتفاعل بها المستخدمون مع مواقع الويب، فسيكون شيئًا مثل WebMCP وليس LLMs.txt الذي سيكون مفيدًا لمواقع الويب، وخاصة لمواقع التجارة الإلكترونية.

يعد WebMCP هو الأنسب بطبيعة الحال للتجارة الإلكترونية لأنه يركز على منح وكلاء الذكاء الاصطناعي قدرات قابلة للتنفيذ، مثل كيفية تصفية المنتجات، وكيفية البحث عن المنتجات وتحديدها، والمساعدة في مقارنة المنتجات المختلفة، ومساعدة الذكاء الاصطناعي في إضافة منتج إلى عربة التسوق.

يستطيع وكلاء الذكاء الاصطناعي التنقل باستخدام موقع HTML الذي تم تصميمه للبشر. يسهل WebMCP على وكلاء الذكاء الاصطناعي التفاعل بنجاح مع موقع الويب، وهو أمر لا يفعله LLMs.txt.

على الرغم من أن LLMs.txt وWebMCP لا يساعدان في اكتشاف موقع الويب بواسطة الذكاء الاصطناعي، إلا أنه لم يتم إنشاء أي منهما لهذا الغرض. جزء الاكتشاف، المرحلة الأولى للتصنيف، كل ذلك يحدث باستخدام HTML. إذا كان الأمر كذلك، ما هي خطوتك التالية؟

استمع إلى بحث Google خارج السجل الحلقة 111

صورة مميزة بواسطة Shutterstock/Master1305