أجاب جون مولر من Google على سؤال حول الظروف الغريبة المتمثلة في قيام Search Console بالإبلاغ عن آلاف عناوين URL على أنها مفهرسة على الرغم من حظرها بواسطة ملف robots.txt. ساعد مولر في شرح كيفية حدوث ذلك وما يجب فعله حيال ذلك.
تمت فهرسة المحتوى على الرغم من حظره بواسطة ملف Robots.txt
طلب أحد مستخدمي Redditor النصيحة لأن Google Search Console كانت تبلغ عن أكثر من 51000 صفحة تحت الحالة “مفهرسة، على الرغم من حظرها بواسطة ملف robots.txt”. كانت عناوين URL المتأثرة في المقام الأول هي عناوين URL الخاصة بمنتجات WooCommerce والتي تحتوي على معلمات URL للإضافة إلى سلة التسوق مثل “?add-to-cart=”.
ولأن المشكلة ظهرت فجأة، تساءل مالك الموقع عما إذا كانت قواعد ملف robots.txt نفسها مسؤولة عن خلق المشكلة. لقد أرادوا أيضًا معرفة ما إذا كانت إزالة القواعد ستساعد Google في معالجة الإشارات الأساسية وإزالة عناوين URL التي تم الإبلاغ عنها من Search Console.
سأل الشخص:
“لدي موقع WooCommerce وفجأة نواجه هذه المشكلة منذ الشهر الماضي: “تمت الفهرسة، على الرغم من حظرها بواسطة ملف robots.txt”
هناك إجمالي “الصفحات المتأثرة 51 ألف صفحة”
في نهاية عنوان url أرى في الغالب ?page&post_type=product&product=slug&add-to-cart=98063،
بعد فحص عناوين URL تلك، وجدت أنها تحتوي على إعداد علامة الفهرس وكان ملف robots.txt بها
* عدم السماح: /*?add-to-cart=
* عدم السماح: /*?*add-to-cart=لقد قمت بإزالة هاتين القاعدتين من ملف robots.txt وآمل أن يتم إصلاح هذه الصفحات لأنها تحتوي على مجموعة أساسية لتصحيح المنتج، فهل سيؤدي ذلك إلى حل المشكلة؟
أم يجب علي أيضًا إعداد قواعد noindex؟ هل سيؤدي ذلك إلى ميزانية الزحف الخاصة بنا؟ إنه موقع woocommerce كبير جدًا، اسمحوا لي أن أعرف أفكاركم يا شباب إذا كان لدى شخص ما خبرة في حل هذه المشكلة؟ وما هي الطريقة الصحيحة دون منع تحسين محركات البحث لدينا أو فقدان الوظائف.
تقول Google إن عناوين URL للإضافة إلى سلة التسوق لا تحتاج إلى فهرستها
أجاب مولر بأن عناوين URL للإضافة إلى سلة التسوق لا تحتاج إلى فهرستها وأن حظرها من خلال ملف robots.txt هو أسلوب مقبول.
وأوضح أنه حتى عندما تبلغ جوجل عن عناوين URL هذه بأنها مفهرسة، فمن غير المرجح أن تظهر في نتائج البحث العادية لأنها محظورة بواسطة ملف robots.txt. وفقًا لمولر، لا يبحث المستخدمون عمومًا عن عناوين URL هذه مباشرةً، مما يجعلهم مرشحين سيئين لرؤية البحث.
أجاب جون مولر:
“لا تحتاج إلى فهرسة عناوين URL للإضافة إلى سلة التسوق. يعد حظرها باستخدام ملف robots.txt أمرًا جيدًا. حتى إذا تم “فهرستها” نظرًا لأنه تم حظرها بواسطة ملف robots.txt، فمن غير المحتمل أن يتم عرضها في البحث (ما لم تقم بإجراء استعلامات محددة لعناوين URL هذه، وهو ما لا يفعله المستخدمون).”
أنا على الحياد بشأن ما قاله مولر حول “robots.txt” مما يجعل من “غير المحتمل” أن يتم عرض عناوين URL في البحث. والسبب هو أن ملف robots.txt لا يمنع ظهور صفحة الويب في بحث Google. فهو يمنع Googlebot من الزحف إلى تلك الصفحات. لذا من الناحية الفنية، هذا ليس صحيحًا تمامًا وأنا مندهش قليلاً من قول مولر ذلك.
ربما لا يكون Noindex حلاً
اقترح أحد مستخدمي Redditors الذين ردوا على هذا السؤال الحل المتمثل في إضافة علامة noindex robots إلى عناوين URL ذات المعلمات. ولكن هذا قد لا يكون حلاً قابلاً للتطبيق لأن الصفحات التي تحتوي على معلمات URL وبدونها هي في الأساس نفس الشيء. ويتم عرضها باستخدام نفس القالب لصفحة معينة. لذلك ما لم يعاملهم WooCommerce بشكل مختلف ويمكنه عرض عناوين URL ذات المعلمات باستخدام noindex والصفحة العادية بدون noindex، فهذا ليس حلاً حقيقيًا.
لماذا تُبلغ Google عن عناوين URL المفهرسة التي لا يمكنها الزحف إليها
قدم Redditor آخر تفسيرًا محتملاً لسبب ظهور العديد من عناوين URL في Search Console. واقترحوا أن Google ربما اكتشفت روابط تحتوي على معلمات الإضافة إلى سلة التسوق في مكان ما على الموقع وأضفت عناوين URL هذه إلى أنظمتها.
اقتراحي للشخص الذي طرح هذا السؤال في الأصل هو الزحف إلى موقع الويب باستخدام Screaming Frog، ومراجعة الارتباط الداخلي لتحديد المكان الذي يتم ربط هذه الصفحات منه، ثم اتخاذ بعض الإجراءات، مثل إزالة تلك الروابط أو إضافة سمة رابط rel=”nofollow” إليها.
من المحتمل أن يكون الحل الأفضل هو استخدام كتلة ملف robots.txt لمنع الزحف، طالما أنه من المفهوم أن هذا هو كل ما يفعله. إذا أراد الشخص التأكد أكثر، فيمكنه أيضًا تحديد مكان وجود هذه الروابط ثم إضافة سمة الرابط nofollow كطبقة إضافية، وهو تلميح لـ Google. Nofollow ليس توجيهًا، ولكنه تلميح قوي.
لا تشير تحذيرات Search Console دائمًا إلى وجود مشكلة في البحث
أحد التحديات المتكررة في تقارير Search Console هو أنها يمكن أن تكشف عن ظروف فنية تبدو مزعجة ولكن تأثيرها في الواقع ضئيل إلى صفر على أداء البحث. على سبيل المثال، تعد تقارير الخطأ 404 مفيدة لعدة أسباب، ولكن في كثير من الأحيان تكون استجابة الخادم 404 هي الاستجابة الصحيحة، وهي ليست في الحقيقة “خطأ” يحتاج إلى إصلاح.
الوجبات الجاهزة
يعزز رد مولر الفكرة القائلة بأنه ليس كل تحذير من Search Console يتطلب اتخاذ إجراء لإصلاح شيء ما، على الرغم من أنه في هذه الحالة المحددة قد يكون هناك شيء يجب إصلاحه في شكل روابط داخلية لصفحات الويب التي تستخدم معلمات عنوان URL لعربة التسوق. إذا كانت هذه الروابط مع معلمات عنوان URL لعربة التسوق ضرورية للغاية، فإن استخدام سمة الرابط rel=”nofollow” سيعطي Google تلميحًا قويًا بعدم اتباع هذا الرابط. متعة SEO التقنية!
صورة مميزة بواسطة Shutterstock / Orange Line Media
اكتشاف المزيد من قمم التجارية للأعمال
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
