تم الحظر باستخدام robots.txt
إذا ظهرت لك رسالة “تم الحظر باستخدام robots.txt” في Google Search Console، فهذا يعني أن Googlebot، الذي هو أداة فهرسة جوجل، قد تم منعه من الوصول إلى بعض صفحات موقعك بسبب ملف robots.txt.
ما هو ملف robots.txt؟
ملف robots.txt هو ملف يُستخدم للتحكم في كيفية وصول محركات البحث إلى صفحات موقعك. يمكنك استخدامه لمنع محركات البحث من الزحف إلى صفحات أو مجلدات معينة في موقعك.
لماذا قد يظهر هذا الحظر؟
- إعدادات خاطئة في ملف robots.txt: ربما قد قمت بإعداد قواعد تمنع جوجل من الوصول إلى صفحات مهمة.
- إغلاق أجزاء من الموقع: في بعض الأحيان، قد ترغب في منع محركات البحث من فهرسة بعض الصفحات أو المجلدات (مثل الصفحات التي تحتوي على معلومات حساسة أو صفحة شكر بعد تقديم الطلب).
- فهرسة خاطئة لمحتوى غير مرغوب فيه: قد يتسبب ملف robots.txt في منع فهرسة صفحات غير مرغوب فيها (مثل صفحات تسجيل الدخول أو ملفات معينة) والتي قد تكون غير ضرورية.
كيفية حل مشكلة “تم الحظر باستخدام robots.txt”؟
1. مراجعة ملف robots.txt
افحص ملف robots.txt الموجود في جذر موقعك. يمكنك الوصول إليه عبر الرابط:
https://www.yoursite.com/robots.txt
تأكد من أن الصفحات التي تريد أن يتم فهرستها غير محظورة في الملف.
2. تصحيح القواعد في robots.txt
تأكد من أن لديك القواعد الصحيحة. إذا كنت ترغب في السماح بمحرك البحث بفهرسة صفحة معينة، تأكد من أن القواعد في ملف robots.txt لا تمنع ذلك.
مثال على قاعدة منع جوجل من الزحف إلى كافة الصفحات:
User-agent: *
Disallow: /
إذا كان لديك قاعدة مشابهة، فهذا يعني أن جوجل محظور من الزحف إلى جميع صفحات موقعك. للتأكد من أن محركات البحث يمكنها الوصول، استخدم قاعدة Allow أو Disallow بشكل أكثر تحديدًا:
مثال على السماح بمحرك البحث بالوصول إلى صفحة معينة:
User-agent: *
Disallow: /private/
Allow: /private/special-page.html
3. استخدام أدوات مشرفي المواقع (Google Search Console)
يمكنك استخدام Google Search Console لتحليل وتحسين robots.txt:
- اذهب إلى Search Console.
- اختر robots.txt Tester من القائمة.
- قم بفحص ملف robots.txt للتأكد من أنه لا يحتوي على قواعد تمنع الوصول غير المقصود.
4. التحقق من الزحف مرة أخرى
بعد تعديل ملف robots.txt، استخدم أداة “فحص عنوان URL” في Google Search Console للتأكد من أن Googlebot يستطيع الزحف إلى الصفحة التي كانت محظورة. يمكنك أيضًا إرسال الطلب لإعادة فهرسة الصفحة بعد التصحيح.
ماذا إذا لم تكن تعرف كيفية تعديل robots.txt؟
إذا لم تكن متأكدًا من كيفية تعديل الملف أو كيفية إنشاء قواعد جيدة، يمكن استخدام أدوات مثل SEO plugins في WordPress أو Yoast SEO لتسهيل العملية.
هل هذه الرسالة مشكلة خطيرة؟
إذا كانت الصفحات التي تم حظرها ليست مهمة بالنسبة لك في محركات البحث، فلا داعي للقلق. لكن إذا كانت الصفحات المهمة مثل صفحات المبيعات أو المدونات قد تم حظرها، فإليك بعض النصائح لتصحيح المشكلة بسرعة.