هذه هي كل الطرق التي يمكنك استخدامها لمنع Google و Googlebot ومحركات البحث الأخرى، إذا كنت ترغب في ذلك، من الوصول إلى موقع الويب الخاص بك.
هذا يتعارض مع تحسين محركات البحث وسيؤثر بشدة على مستويات حركة المرور لديك. يجب عليك استخدام هذه الأساليب فقط إذا كنت متأكدًا تمامًا من رغبتك في منع فهرسة موقعك على الويب.
هناك أسباب مشروعة للرغبة في القيام بذلك بما في ذلك؛ إذا كنت في مرحلة البحث والتطوير، أو تعمل على إعادة التصميم، أو في حالة حدوث اختراق أو إذا كنت تقوم بإنشاء شيء تفضل ألا تراه محركات البحث بعد.
منع Googlebot من الدخول إلى ملف robots.txt
يمكنك تحديد برنامج الزحف الذي تريد منعه من الوصول إلى موقع الويب الخاص بك عن طريق إعلان وكيل المستخدم بالإعلان؛
يمنع جوجل فقط
يمكنك أيضًا حظر جميع أدوات الزحف وجميع وكلاء المستخدم عن طريق تكوين ملف robots.txt الخاص بك مثل؛
منع جميع محركات البحث في ملف robots.txt
يمنع جميع وكلاء المستخدم وأدوات الزحف من الوصول إلى موقع الويب.
يمكنك تحديد وكلاء المستخدم الذين تريد حظرهم، وفيما يلي بعض وكلاء المستخدم الأكثر شهرة الذين يتجولون على الويب؛
- بينجبوت. زاحف الويب الخاص بـ Bing
- AdsBot-Google؛ أداة الزحف للإعلانات من Google
- جوجلبوت-أخبار؛
- Twitterbot؛ برنامج الزحف الخاص بتويتر
- AhrefsBot؛ برنامج الزحف Ahrefs
هناك العديد من وكلاء المستخدم وأدوات الزحف الأخرى التي قد ترغب في التفكير في تضمينها كجزء من قواعد robots.txt.
يمكن تخصيص كل وكيل مستخدم لمطابقة الأجزاء الجزئية للموقع بما في ذلك المجلدات الفرعية ومعلمات URL والموارد.
meta googlebot "noindex" على كل صفحة
استخدم قاعدة الروبوتات meta name=”googlebot” وأضف القاعدة التالية إلى كل صفحة على موقع الويب الخاص بك لمنع Googlebot من الوصول إلى المحتوى الخاص بك.
إضافة هذه القاعدة سوف تمنع جوجل فقط من الوصول إلى موقع الويب الخاص بك.
روبوتات meta "noindex" على كل صفحة
على غرار قاعدة meta googlebot، استبدل googlebot بالروبوتات ويمكنك منع جميع محركات البحث من إضافة محتوى من صفحات الويب الخاصة بك إلى الفهرس.
منع كافة محركات البحث من إضافة محتوى من صفحاتك إلى الفهرس.
علامة X-Robots للعناصر غير HTML
إذا كان لديك ملفات pdf ومقاطع فيديو وصور تريد إزالتها من فهرس Google، فيمكنك استخدام X-Robots-Tag لإيقاف فهرسة صفحات موقع الويب الخاص بك بواسطة محركات البحث.
إنه يعمل بنفس الطريقة التي تعمل بها قواعد الروبوتات الوصفية مع عناكب محرك البحث التي تزور الصفحة، وتزحف على الكود الموجود داخل الرأس وتحترم القاعدة الموجودة.
سيؤدي المثال الموضح أعلاه إلى حظر كافة محركات البحث.
قم بإزالة موقع الويب الخاص بك مؤقتًا باستخدام Google Search Console
يمكنك إزالة صفحات أو أقسام معينة أو موقع الويب بالكامل مؤقتًا من فهرس Google باستخدام أداة إزالة عناوين URL في وحدة تحكم بحث Google.
للعثور على الأداة، قم بزيارة وحدة تحكم البحث، وافتح الخاصية التي ترغب في إزالتها وانقر فوق "الإزالات" في القائمة الموجودة على الجانب الأيسر أسفل عنوان "الفهرس".
اضغط على "طلب جديد" وهو عبارة عن زر أحمر كبير لفتح تراكب عنوان URL.
يمكنك اختيار إزالة عناوين URL محددة أو جميع عناوين URL ضمن البادئة.
من خلال علامة التبويب إزالة عنوان URL مؤقتًا المفتوحة، يمكنك إرسال صفحات معينة لإزالتها من خلال تبديل "إزالة عنوان URL هذا فقط" أو "إزالة جميع عناوين URL التي تحتوي على هذه البادئة" مما سيؤدي إلى إزالة جميع الصفحات الموجودة في المجلد الفرعي.
اضغط على التالي لبدء عملية الإزالة واتبع الخطوات حتى الانتهاء (هذا هو أقصى ما تجرأت على الذهاب إليه لأغراض هذا العرض التوضيحي).
سيؤدي هذا إلى إزالة جميع الصفحات المدخلة من Google لمدة 6 أشهر تقريبًا، ومع ذلك سيستمر برنامج Googlebot في الزحف خلال ذلك الوقت.
يتم أيضًا إزالة عناوين URL المخزنة مؤقتًا.
يمكنك حظر الموقع بأكمله عن طريق ترك المسار فارغًا وإدخال نطاقك في "عناوين URL التي تبدأ بالبادئة".
بعد مرور 6 أشهر، يجب أن تبدأ صفحاتك بالعودة إلى الفهرس.
يمكنك أيضًا تحديد "مسح عناوين URL المخزنة مؤقتًا" عبر علامة التبويب الأخرى.
إذا كانت لديك صفحة تم تخزينها مؤقتًا بواسطة Google وقمت بتحديثها لتغيير المحتوى أو إزالة عرض، فقد ترغب في إزالة الصفحة المخزنة مؤقتًا القديمة.
يمكن القيام بذلك من خلال أداة الإزالة.
يعمل اختيار مسار URL بنفس الطريقة.
يحتوي Bing على أداة مشابهة تعمل بنفس الطريقة تقريبًا
مصادقة HTTP
باستخدام ملفات .htaccess يمكنك إنشاء منطقة محمية بكلمة مرور على الخادم الخاص بك، وهذا سوف يؤدي إلى تشغيل مصادقة http.
يعمل مصادقة http لأنها تستجيب للطلبات باستخدام رمز استجابة 401 أو استجابة 407 حتى يتم إدخال بيانات الاعتماد الصحيحة.
يؤدي هذا إلى منع محركات البحث من الوصول إلى المحتوى الخاص بك لأن روبوتات محرك البحث لا تستطيع إرسال طلبات المصادقة أو ملء النماذج.
من الممكن إجراء الإعداد الأساسي لمصادقة http من خلال .htaccess أو باستخدام Nginx
يمنع مصادقة HTTP جميع محركات البحث.
قم بإنشاء موقع الويب الخاص بك باستخدام React – نكت مضحكة ولكنها ستؤدي إلى إبطاء Google
لذا فإن هذا يعد نوعًا من المدخل المزاح ولكننا رأينا العديد من المواقع تعاني من الهجرة إلى الأطر القائمة على JavaScript، مثل React والتي شهدت بعد ذلك انخفاضًا كبيرًا في رؤية البحث العضوي.
يمكن أن تعمل مواقع JavaScript بشكل جيد إذا تم أخذ العرض المناسب في الاعتبار، ولكن في كثير من الأحيان تعتمد فرق التطوير على Googlebot فقط لعرض JavaScript الثقيل، مما يتسبب في تحميل مواقع الويب للمحتوى ببطء لا يصدق وانخفاض تدريجي في نتائج البحث.