ملف robots.txt وخريطة الموقع (Sitemap) لهما دوران مهمان في عملية فهرسة المدونة على محركات البحث مثل جوجل. كلاهما له من الأهمية والدور الذي يلعبه لتحسين محركات البحث لموقعك.
1. ملف robots.txt
- يُستخدم لتوجيه محركات البحث حول الصفحات التي يجب أن تتم فهرستها والتي يجب تجاهلها.
- يسمح لك بتحديد المجالات التي لا ينبغي لمحركات البحث زيارتها، مثل الصفحات الخاصة أو الملفات القابلة للتنزيل.
- يمكن استخدامه أيضًا لتوجيه محركات البحث إلى ملفات معينة مثل ملفات الخريطة (Sitemap) والتي تحتوي على معلومات عن هيكل الموقع.
2. خريطة الموقع (Sitemap)
- توفر لمحركات البحث معلومات مهمة حول هيكل موقعك والروابط الداخلية.
- تساعد محركات البحث في فهرسة صفحات موقعك بشكل أسرع وأكثر فعالية، بما في ذلك الصفحات التي قد لا تكون مرتبطة بشكل مباشر من قبل روابط خارجية.
- تسمح لك بتحديث محتوى الموقع وتقديمه إلى محركات البحث بشكل أسرع، مما يؤدي إلى تحسين فرص ظهور موقعك في نتائج البحث.
باستخدام ملف robots.txt وخريطة الموقع بشكل صحيح، يمكنك تحسين عملية فهرسة مدونتك على محركات البحث وزيادة اكتشاف صفحاتك وتصنيفها في نتائج البحث، مما يساهم في زيادة حركة المرور إلى موقعك وتعزيز رؤية محتواك على الإنترنت.
للتسجيل في Google Search Console (جوجل كونسول), اتبع هذه الخطوات:
- قم بزيارة موقع Google Search Console على الويب.
- اضغط على زر "بدء" أو "ابدأ الآن".
- ستُطلب منك تسجيل الدخول إلى حساب Google الخاص بك. إذا لم يكن لديك حساب بعد، يمكنك إنشاء واحد.
- بعد تسجيل الدخول، اتبع التعليمات لإضافة موقعك عبر تأكيد ملكيته. و يمكنك فعل ذلك عن طريق إضافة رمز HTML إلى صفحة الويب الخاصة بك أو عن طريق تحميل ملف HTML إلى جذر مجلد موقعك أو عن طريق تحديث سجل DNS لموقعك.
- بعد التحقق من ملكية الموقع، ستتمكن من الوصول إلى بيانات الأداء والبحث لموقعك على الويب.
بالنسبة لـ Google Webmasters Tools (جوجل أدوات مشرفي المواقع)، فإنها كانت تسمى بهذا الاسم سابقًا وتم دمجها في Google Search Console، لذا الخطوات المذكورة أعلاه ستساعدك على الاشتراك في كل منها.
لإنشاء ملف robots.txt وملف sitemap.xml لمدونة في منصة بلوجر، يمكنك اتباع الخطوات التالية:
1. إنشاء ملف robots.txt
- قم بتسجيل الدخول إلى حسابك في Blogger.
- انتقل إلى "إعدادات" (Settings) من لوحة التحكم.
- انقر على "مفتاح المواقع" (Search preferences).
- تحت "تعليمات البحث" (Crawlers and indexing)، انقر على "تعديل" (Edit) بجوار "تعليمات robots.txt".
- قم بإنشاء التعليمات المناسبة لموقعك في ملف robots.txt.
- انقر على "حفظ التغييرات" (Save changes) عند الانتهاء.
2. إنشاء ملف sitemap.xml
- قم بتسجيل الدخول إلى حسابك في Blogger.
- انتقل إلى "إعدادات" (Settings) من لوحة التحكم.
- انقر على "مفتاح المواقع" (Search preferences).
- تحت "إشارة المواقع" (Crawlers and indexing)، انقر على "إشارة المواقع" (Custom robots.txt).
- اختر "نعم" (Yes) لتمكين إشارة المواقع.
- في الخانة المخصصة لـ "الروابط إلى موقع Sitemap" (Sitemap), أدخل رابط موقع sitemap.xml الخاص بك. على سبيل المثال: `http://example.blogspot.com/sitemap.xml`.
- انقر على "حفظ التغييرات" (Save changes) عند الانتهاء.
بعد اتباع هذه الخطوات، سيتم إنشاء ملف robots.txt وملف sitemap.xml لمدونتك على بلوجر وسيتم تعيينهما بشكل صحيح لمساعدة محركات البحث على فهرسة محتوى موقعك.
وضع ملف الروبوت و خريطة الموقع في Google Search Console :
1. إضافة ملف robots.txt
- قم بإنشاء ملف robots.txt وضع فيه التعليمات التي تحدد كيف يجب على محركات البحث العاملة القيام بالفهرسة لموقعك.
- ثم قم بتحميل هذا الملف إلى جذر مجلد موقعك.
2. إضافة ملف sitemap.xml
- أنشئ ملف sitemap.xml الذي يحتوي على روابط صفحات موقعك.
- ثم قم بتحميل هذا الملف إلى جذر مجلد موقعك.
3. تأكيد ملكية الموقع
اتبع الخطوات السابقة المذكورة في الرد السابق لتأكيد ملكية موقعك في Google Search Console.
4. مراقبة الأداء والبحث
بعد تأكيد ملكية الموقع، ستتمكن من مراقبة أداء موقعك ومدى ظهوره في نتائج البحث على Google، بالإضافة إلى العثور على مشكلات تقنية تحتاج إلى إصلاح.
من خلال اتباع هذه الخطوات، ستكون قد أضفت متطلبات المدونة المطلوبة للبرامج وقمت بالتسجيل في Google Search Console لمراقبة وتحسين أداء موقعك على الويب.
بعض المنصات التي تقدم خدمات لإنشاء ملف robots.txt وخريطة الموقع (Sitemap) :
1. XML Sitemaps
يتيح لك إنشاء خريطة موقع XML بسهولة لموقعك. يمكنك ضبط الإعدادات وتخصيص الملف ومن ثم تحميله لاستخدامه على موقعك.
2. Screaming Frog SEO Spider
تطبيق سطح المكتب يقوم بفحص موقعك لإنشاء خريطة موقع XML وملف robots.txt. النسخة المجانية من التطبيق تتيح لك فحص ما يصل إلى 500 صفحة.
3. Google Search Console
بالإضافة إلى توفير تقارير الأداء والبحث، يمكنك استخدام Google Search Console لإنشاء وتحديث ملف robots.txt وخريطة موقع XML لموقعك.
4.Yoast SEO Plugin WordPress
إذا كنت تستخدم WordPress، يمكنك استخدام إضافة Yoast SEO المجانية لإنشاء ملف robots.txt وخريطة موقع XML بشكل تلقائي وتخصيصها حسب احتياجات موقعك.
تلك هي بعض الخدمات والتطبيقات التي يمكنك استخدامها لإنشاء ملف robots.txt وخريطة الموقع بشكل مبسط وسهل.