ما معنى noindex؟ كيف يعمل، ومتى تستخدمه، وكيف تعثر عليه

noindex تعليمة موجَّهة إلى محركات البحث: لكِ أن تزوري هذه الصفحة، لكن لا تعرضيها في نتائج البحث. وهو من أنفع ما تملكه للتحكم في ما يظهر في البحث، ومن أشدّه ضررًا إن بقي مفعّلًا بالخطأ، لأن لا شيء في الصفحة يبدو للزوّار غير طبيعي.

طريقتان لضبط noindex

وسم robots الوصفي

في <head> الصفحة: <meta name="robots" content="noindex">. الاسم robots يسري على جميع محركات البحث؛ ويمكنك استهداف واحد منها باسمه الخاص، مثل googlebot. ويمكن الجمع بين التوجيهات: noindex, nofollow يطلب من الزواحف كذلك ألّا تتبع روابط الصفحة، و none معناه معنى noindex, nofollow نفسه.

ترويسة X-Robots-Tag

يمكن إرسال التوجيهات نفسها في ترويسة استجابة HTTP: X-Robots-Tag: noindex. وهذا هو الخيار الوحيد للملفات التي ليست HTML مثل ملفات PDF، وضبطه على مستوى الموقع كله في إعدادات الخادم سهل، ومن هنا أيضًا يُنسى مفعّلًا بالخطأ. لن تراه في مصدر الصفحة؛ ابحث عنه في ترويسات الاستجابة في أدوات المطوّرين أو عبر curl -I.

noindex ليس كالحظر في robots.txt

هذا أشيع سوء فهم. فـ Disallow في robots.txt يمنع الزواحف من جلب الصفحة؛ و noindex يمنعها من فهرستها. ولكي يرى الزاحف noindex لا بد أن يجلب الصفحة، فإذا حظرت عنوان URL في robots.txt لم يرَ الزاحف noindex أبدًا. بل قد يظهر العنوان في النتائج بلا وصف، إن كانت مواقع أخرى تشير إليه بروابط.

إذن: لإبقاء صفحة خارج البحث، اسمح بالزحف واستخدم noindex. وقد أوقفت Google دعم قواعد noindex داخل robots.txt عام 2019. ودليلنا عن robots.txt و sitemap.xml يتناول الغرض الحقيقي من robots.txt.

متى يكون noindex الأداة المناسبة

• صفحات الشكر والتأكيد والحساب التي لا قيمة لها في البحث.
• صفحات نتائج البحث الداخلي في الموقع.
• صفحات الوسوم أو الأرشيف أو الفلاتر الهزيلة التي لا تريد أن تزاحم صفحاتك الرئيسية.
• المواقع التجريبية ومواقع المعاينة، ويُستحسن حمايتها بكلمة مرور أيضًا، لأن noindex لا يمنع الناس من زيارتها.
• صفحات هبوط الحملات التي تكرّر محتواك الرئيسي.

وليس noindex الأداة المناسبة للصفحات المكرَّرة التي تريد توحيدها في عنوان URL واحد؛ استخدم لها وسم canonical أو إعادة توجيه، كما هو مشروح في كيف تصلح مشكلات canonical. ولا تجمع بين noindex ووسم canonical يشير إلى صفحة أخرى: فأحدهما يقول «أسقِط هذه الصفحة»، والآخر يقول «هذه الصفحة نسخة من تلك».

كيف يبقى noindex مفعّلًا بالخطأ

• إعداد من موقع تجريبي نُسخ إلى بيئة الإنتاج عند الإطلاق.
• خانة «منع محركات البحث من أرشفة هذا الموقع» في WordPress، ضمن «الإعدادات» ← «قراءة»، بقيت محدَّدة.
• إعداد افتراضي في إضافة SEO يضبط أنواع محتوى كاملة، كالمنتجات أو التصنيفات، على noindex.
• ترويسة X-Robots-Tag أُضيفت في إعدادات الخادم أو CDN للبيئة التجريبية ثم نُشرت في كل مكان.
• قالب صفحة يضيف noindex حين يكون أحد الحقول فارغًا.

كيف تفحص صفحة

مرِّر الصفحة على فاحص SEO المجاني من Rudra. فهو يبحث عن noindex و nofollow (أو none) في وسم robots الوصفي وترويسة X-Robots-Tag، ويتحقق مما إذا كان robots.txt يحظر الصفحة، ويسجّل وجود إعادة توجيه HTTP أو حالة خطأ، ثم يعرض حكمًا واحدًا، «قابلة للفهرسة» أو لا، مع السبب. وينبّه كذلك إلى صفحة noindex يشير وسم canonical فيها إلى مكان آخر بوصفه تعارضًا، ويسجّل التوجيهات المقيِّدة للمقتطف مثل nosnippet التي لا تمنع الفهرسة لكنها تغيّر شكل النتيجة. ويكلّف noindex الصفحة 30 نقطة من درجة SEO، لأنه يزيلها من البحث كليًّا.

وللموقع كله، يحصي فحص الموقع من Rudra الصفحات القابلة للفهرسة وصفحات noindex وينبّه إلى صفحات noindex المدرجة في خريطة موقعك. وفي Google Search Console يسرد تقرير «فهرسة الصفحات» الصفحات تحت «تم الاستبعاد بواسطة علامة noindex»، وتُظهر أداة «فحص عنوان URL» هل يمكن فهرسة عنوان URL بعينه.

إزالة noindex

1. اعرف مصدره: مصدر الصفحة (الوسم الوصفي)، أو ترويسات الاستجابة (X-Robots-Tag)، أو إعدادات نظام إدارة المحتوى، أو إعدادات إضافة SEO، أو إعدادات الخادم.
2. أزله من مصدره، وامسح أي تخزين مؤقت للصفحات أو لشبكة CDN.
3. أعد فحص الصفحة المنشورة لتتأكد من زوال الوسم والترويسة كليهما.
4. تأكد من أن الصفحة غير محظورة في robots.txt ومن أنها مدرجة في خريطة موقعك.
5. في Search Console، استخدم أداة «فحص عنوان URL» واطلب الفهرسة للصفحات المهمة. ومع ذلك قد تستغرق إعادة الزحف أيامًا أو أسابيع.