دليل تطبيقي ملف روبوتكس وعلامات الرؤوس المخصصة لبرامج الروبوت
✔ soufyane
محتويات
أصبحت جوجل وباقي محركات البحث صارمة أكثر من أي وقت مضى في مسألة أرشفة المقالات
والمواقع، فكما قال غاري الياس مسبقا أن مهمته ستكون توجيه عناكب البحث للصفحات
التي تستحق الزحف والأرشفة، لذلك قررت أن أشارك معك على مدونتي (SOUFYANE X)
موضوع شامل حول ملف روبوتكس robots.txt و
علامات رؤوس مخصصة لبرامج الروبوت custom robots header tags. حتى تتمكن
من توجيه عناكب البحث للصفحات التي تستحق الفهرسة.
لقد كتبت لك موضوع عن: طريقة ارشفة موقعك الجديد بسرعة كبيرة
|
| ملف روبوتكس وعلامات الرؤوس المخصصة لبرامج الروبوت |
تعريف علامات الرؤوس المخصصة لبرامج الروبوت
علامات الرؤوس المخصصة أو Custom robot tags هي عبارة عن أسطر برمجية توجه أوامر لعناكب محركات البحث حول كيفية تعاملها مع محتوى صفحات الويب المختلفة، حيث تمكن أصحاب المواقع والمدونات من التحكم في أرشفة الصفحات والصور والفيديوهات وأي نوع من المحتوى الموجود على مواقعهم ومدوناتهم.
دور الرؤوس المخصصة Custom robot tags
إليك شرح تفصيلي لأدوار كافة وسوم الرؤوس المخصصة لبرامج الروبوت التي يمكن استخدامها:
- all: هذه الوسم يسمح لمحركات البحث بأرشفة الصفحة بالكامل واتباع جميع الروابط الموجودة بها.
- noindex: يخبر محركات البحث بعدم فهرسة الصفحة كي لا تظهر في نتائج البحث. نستعمل هذا الوسم في الصفحات منخفضة القيمة مثل صفحات البحث داخل الموقع.
- nofollow: يخبر عناكب محركات البحث بعدم اتباع أي روابط توجد بالصفحة. مما يمنع نقل السلطة (الأثورتي) إلى المواقع الأخرى أو الصفحات أخرى.
- none: يجمع بين خاصيتي "noindex" و"nofollow". حيث يخبر محركات البحث بعدم فهرسة الصفحة وعدم اتباع أي روابط.
- noarchive: يخبر محركات البحث بعدم تخزين نسخة من من الصفحة في الفهرس.
- nosnippet: يمنع محركات البحث من عرض مقتطف من الصفحة في نتائج البحث على شكل feature snippet، مما يعني أنه لن يظهر سوى عنوان الصفحة ورابطها.
- noodp: يمنع محركات البحث من استخدام وصف الصفحة، لكنه لم يعد معتمد اليوم من قبل جوجل.
- notranslate: يخبر روبوتات محركات البحث بعدم عرض خيار ترجمة الصفحة في نتائج البحث.
- noimageindex: يخبر محركات البحث بعدم فهرسة الصور الموجودة في الصفحة.
- unavailable_after: يخبر محركات البحث أن الصفحة يجب ألا تفهرس الا بعد وصول تاريخ معين. هذا مفيد للمحتوى الذي له صلاحية تنتهي بعد فترة معينة، مثل الإعلانات أو العروض الترويجية.
علامات الرؤوس المخصصة التي يجب تفعيلها
بالنسبة للرؤوس المخصصة للصفحة الرئيسية للمدونة "Home page tags" نفعل وسم واحد وهو all، حتى تتم أرشفة الصفحة الرئيسية الخاصة بالمدونة ويتم الوصول الى أحدث المواضيع التي يوجد بها.
للقيام بذلك اتبع الخطوات التالية:
1. في حسابك على بولجر أنقر على زر الاعدادات أو settings، ثم قم بتفعيل زر الرؤوس المخصصة أو Enable custom robots header tags، يجب أن يصبح أخضر اللون.
|
| علامات الرؤوس المخصصة التي يجب تفعيلها |
2. أنقر على خاصية وسوم الصفحة الرئيسية أو Home page tags، ثم قم بتفعيل زر all. ثم حفظ save.
|
| علامات الرؤوس المخصصة التي يجب تفعيلها |
بالنسبة لوسوم الرؤوس المخصصة لصفحات الأرشيف وصفحات البحث "Archive and search page tags" نفعل كل من noindex و nofollow حتى نمنع روبوتات محركات البحث من ارشفة هذه الصفحات منخفضة القيمة.
للقيام بذلك اتبع الخطوات التالية:
1.أنقر على زر الاعدادات أو settings، ثم قم بتفعيل علامات الرؤوس المخصصة لبرامج الروبوت، يجب أن يصبح أخضر اللون. بعد ذلك أنقر على خاصية وسوم الأرشيف وصفحات البحث أو Archive and search page tags.
|
| علامات الرؤوس المخصصة التي يجب تفعيلها |
2. قم بتفعيل كل من noindex و nofollow ثم أنقر على حفظ save.
|
| علامات الرؤوس المخصصة التي يجب تفعيلها |
لا نفعل أي خيار بالنسبة لعلامات الرؤوس المخصصة للصفحات والتدوينات "Post and page tags". ان كنت تنوي إيقاف أرشفة صفحات موقعك مثل صفحة سياسة الخصوصية تؤثر أيضا على التدوينات الخاص بك.
|
| علامات الرؤوس المخصصة التي يجب تفعيلها |
تعريف ملف روبوتكس
ملف روبوتكس أو Robots.txt يستخدم لإعطاء تعليمات لعناكب محركات البحث حول كيفية التعامل مع محتويات الموقع. من خلال هذا الملف يمكن التحكم في الصفحات التي تريد أرشفتها وظهورها في نتائج البحث والتي لاتريدها أن تظهر في تلك النتائج.
شرح أوامر ملف روبوتكس
فيما يلي شرح تفصيلي لأهم الأوامر التي يتضمنها ملف الروبوتكس الخاص بالمواقع
والمدونات:
شرح user agent
في ملف الروبوتكس يستخدم سطر User-agent للتحكم بمسار عناكب الويب (web crawlers)، من اجل الوصول الى صفحات معينة وفهرستها أو منعها من الوصول الى صفحات معينة وبالتالي لن تتم فهرستها ولن تظهر في نتائج البحث.
للتحكم في عمل جميع عناكب البحث مثل Googlebot ،Bingbot ...الخ، نضيف * (نجمة) لسطر user agent، حيث يصبح بهذا الشكل User-agent: *. الان يمكنك التحكم في كافة عناكب البحث.
للتحكم في مسار روبوت معين نضيف اسمه الخاص الى سطر user agent، على سبيل المثال ان أردنا التحكم بعمل روبوت جوجل سنضيف اسمه (Googlebot) ليصبح السطر بهذا الشكل User-agent: Googlebot. هكذا يمكن التحكم بعناكب جوجل فقط.
شرح أمر disallow في الروبوتكس
يستخدم الأمر Disallow في ملف robots.txt لمنع عناكب محركات البحث من الوصول إلى أقسام معينة من موقعك الإلكتروني. هذه الطريقة تساعد في التحكم بما يمكن للروبوتات فهرسته وما لا يمكنها فهرسته. نستعمل هذا الأمر لإيقاف فهرسة الصفحات منعدمة القيمة مثل صفحات البحث.
على سبيل المثال يمكن استخدام الأمر Disallow لمنع جميع الروبوتات من الوصول إلى صفحات البحث ضمن الموقع بهذا الشكل:
User-agent: * Disallow: /search?q=
نقاط مهمة: إذا تُرك الأمر Disallow فارغًا بعد تحديد الـ User-agent، فهذا يعني أن الوصول مسموح لهذا العنكبوت إلى جميع أجزاء الموقع:
User-agent: Googlebot Disallow:
في الكود أعلاه لم يتم تحديد نوعية الصفحات التي ينبغي منع فهرستها لذى ستتجاهل عناكب البحث أمر المنع.
شرح أمر allow في الروبوتكس
يستعمل الأمر Allow في ملف robots.txt لتحديد المسارات التي يُسمح لعناكب الويب بفهرسة محتوياتها وزيارتها، يمكن استخدام Allow للسماح لروبوتات محركات البحث بالوصول إلى صفحات معينة في الموقع حتى تظهر في نتائج البحث مثل المقالات.
مثال على ذلك يمكن استخدام أمر Allow، لجعل عناكب البحث تصل وتفهرس جميع الأجزاء الأخرى من الموقع التي لم يتم حظرها من خلال إضافة علامة (/) بعد أمر allow على هذا الشكل Allow: /.
نقاط مهمة: يجب أن يتم تحديد أمر Allow بعد Disallow في ملف robots.txt لضمان اشتغاله بشكل صحيح.
شرح Sitemap في ملف الروبوتكس
يُستخدم Sitemap في ملف robots.txt لتحديد موقع ملف السايت ماب، وهو خريطة للموقع بصيغة XML تحتوي على قائمة بالصفحات المتاحة للفهرسة، مما يساعد محركات البحث على اكتشاف وفهرسة صفحات ومقالات الموقع أو المدونة.
على سبيل المثال يمكن اخبار عناكب البحث بمسار خريطة الموثع من خلال اضافة السطر التالي الى ملف الروبوتكس:
Sitemap: https://www.soufyanex.com/sitemap.xml
هذا السطر يُعلم العناكب بأن خريطة الموقع متوفرة على الرابط المذكور، مما يساعد على تسريع فهرسة المقالات بشكل أكثر فعالية.
نقطة مهمة: وضع ملف Sitemap في ملف robots.txt هو مجرد إشارة لمحركات البحث وليس أمراً يجب أن تتبعه بالضرورة، فمحركات البحث قادرة على اكتشاف خرائط المواقع من تلقاء نفسها أو من خلال أدوات مشرفي المواقع.
ملف robots.txt جاهز بلوجر
يمكنك استعمال الملف التالي لتوجيه روبوتات جوجل وباقي محركات البحث لأرشفة الصفحات التي تستحق مثل المقالات والتدوينات، ومنع أرشفة الصفحات التي لا تستحق ذلك مثل صفحات البحث.
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search?q=
Allow: /
Sitemap: https://www.soufyanex.com/sitemap.xml
نقطة مهمة: لا تنسى تغيير اسم النطاق من soufyanex.com الى الدومين الخاص بك قبل حفظ ملف الروبوتكس على مدونتك.
إضافة ملف robots.txt لمدونة بلوجر
يمكنك اضافة مفل الروبوتكس من خلال تطبيق
الخطوات التالية:
1. توجه للمدونة ثم أنقر على زر الاعدادات أو settings. ثم قم بتفعيل زر ملف روبوت مخصص Enable custom robots.txt.
|
| إضافة ملف robots.txt لمدونة بلوجر |
2. اضف كود الروبوتكس الذي شاركته معك في خانة الكتابة، ثم أنر على حفظ.
|
| إضافة ملف robots.txt لمدونة بلوجر |
كيفية اختبار ملف روبوتكس في أدوات مشرفي المواقع
يمكنك اختبار ملف روبوتكس Robots.txt عبر أدوات مشرفي المواقع، من خلال تنفيذ الخطوات التالية:
1.انسخ رابط المقالة الخاص بك التي تود التحقق من إمكانية فهرستها، ثم توجه
لأدوات مشرفي المواقع وافحصه في خانة Inspect url.
|
| اختبار ملف روبوتكس |
2.ثم أنقر على زر اختبار العنوان Test live url.
|
| اختبار ملف روبوتكس |
3.ان ظهرت لك علامة خضراء هذا يعني أن الرابط الخاص بك مؤهل للأرشفة ولا يوجد أي مشكل بملف روبوتكس أو الرؤوس المخصصة يمنعه من الفهرسة.
|
| اختبار ملف روبوتكس |
|
| اختبار ملف روبوتكس |
عند فحص روابط صفحات البحث على موقعك، يجب أن تتوصل برسالة لا يمكن فهرسة الصفحة Page cannot be indexed، حتى تتأكد أنه تم منع عناكب البحث من الوصول إليها.
بينما يجب أن تتوصل برسالة يمكن فهرسة الصفحة Page can be indexed، عند اختبار رابط لأحد مقالاتك وذلك حتى تتأكد بأنه لم يتم منع أرشفة المقالات من خلال ملف الروبوتكس أو الرؤوس المخصصة.