افضل شرح ملف robots.txt خيالى2021 واهميته لتصدر نتائج البحث
 |
| افضل شرح ملف robots txt خيالى2021 واهميته لتصدر نتائج البحث |
افضل شرح ملف robots.txt حيث انه ملف خيالى2021 واهميته لتصدر نتائج البحث . هذا الملف الذى يفوق كل التوقعات لعمل موقعك والاهتمام به للظهور فى نتائج بحث جوجل و تحسين محركات البحث .
ويعتبر ملف الروبوت اساسيا فى تنسيق عمل الموقع ماتريده ان يظهر وما لاتريده ان يظهرلمحركات البحث . ولكنه عموما عدم وجود الملف لا يؤثر سلبا على موقعك .
يمكن أن تتسبب مشكلة أو خطأ في التكوين في robots txt في حدوث مشكلات كبيرة في تحسين محركات البحث ، يمكن أن تؤثر سلبًا على تصنيفك وحركة المرور.
وإذا كنت من مستخدمى WordPress ، يوجد في نهاية هذه المقالة ، نبذه عن robots txt في WordPress. نبدا الشرح بسم الله.
ما هو robots.txt واهميته ؟
هو ملف نصي موجود في جذر الموقع www.example.com/robots.txt . يعطي تعليمات لبرامج الزحف حول الصفحات التي يمكن الزحف إليها وفهرستها .
عند زيارة أحد مواقع الويب ، فإن أول شيء تفعله برامج الزحف هو البحث عن محتويات ملف الروبوت والتحقق منها .
بناءً على القواعد المحددة في الملف ، تقوم روبوتات الزحف بإنشاء قائمة بعناوين URL التي يمكنهم الزحف إليها وفهرستها لاحقًا للموقع الزاحف اليه .
مع العلم ان محتويات اى robots txt متاحة للمدونين على الإنترنت . ما لم تكن محمية من مالك الموقع لعدم اظهارها.
يمكن لأي شخص عرض ملف الروبوت الخاص بك ، ولعمل ذلك الدخول لاى موقع ممتاز بالنسبه لك واضافة /robots.txt لرابط الموقع .
مثل هذا https://www.example.com/robots.txt مع اضافة رابط موقعك
اسئله هامه وشائعه
ماذا يحدث إذا لم يكن لديك robots.txt ؟
إذا كان robots.txt مفقودًا او غير موجود ، فإن برامج الزحف لمحركات البحث تفترض أنه يمكن الزحف إلى جميع الصفحات المتاحة للجمهور لموقع الويب المحدد وإضافتها إلى فهرسها.
ماذا يحدث إذا لم يتم تنسيق robots.txt بشكل خيالى؟ هذا يعتمد إذا لم تستطع محركات البحث فهم محتويات الملف لأنه تم تكوينه بشكل خاطئ . فسيظل بإمكانهم الوصول إلى موقع الويب وتجاهل كل ما هو موجود في robots.txt .
ماذا يحدث إذا منعت عن طريق الخطأ محركات البحث من الوصول إلى موقع الويب الخاص بي؟ هذه مشكلة كبيرة بالنسبة للمبتدئين ، لن يقوموا بالزحف إلى الصفحات وفهرستها من موقع الويب الخاص بك وسوف يقومون تدريجياً بإزالة أي صفحات متوفرة بالفعل في فهرسهم .
هل تحتاج إلى robots.txt ؟
نعم ، أنت بالتأكيد بحاجة إلى robots.txt حتى إذا كنت لا ترغب في استبعاد أي صفحات أو أدلة من موقع الويب الخاص بك من الظهور في نتائج محرك البحث.
1 - لمنع محركات البحث من الوصول إلى صفحات أو أدلة معينة من موقع الويب الخاص بك. على سبيل المثال ، انظر إلى ملف robots.txt أدناه ولاحظ قواعد عدم السماح . توجه هذه العبارات برامج زحف محركات البحث إلى عدم فهرسة أدلة معينة.
/Disallow: /p/contact-us
/Disallow:/p/privacy-ploicy
/Disallow:/p/about-us
/Disallow:/p/use-policy
2 - عندما يكون لديك موقع ويب كبير ، يمكن أن يكون الزحف والفهرسة عملية كثيفة الاستخدام للموارد .
إذا كان لديك الكثير من الصفحات ، فسوف يستغرق الأمر بعض الوقت من روبوت محرك البحث للزحف إليها ، مما قد يكون له آثار سلبية على ترتيبك .
ستحاول برامج الزحف من محركات البحث المختلفة الزحف إلى موقعك بالكامل وفهرسته وقد يؤدي ذلك إلى حدوث مشكلات خطيرة في الأداء .
في هذه الحالة ، يمكنك الاستفادة من ملف robots.txt لتقييد الوصول إلى أجزاء معينة من موقع الويب الخاص بك والتي ليست مهمة لتحسين محركات البحث أو التصنيف لديك .
بهذه الطريقة ، لن تقوم فقط بتقليل الحمل على الخادم الخاص بك ، ولكنها تجعل عملية الفهرسة بأكملها اسهل و أسرع .
3 - عندما تقرر إخفاء عنوان URL للروابط التابعة الخاصة بك . لا يشبه هذا إخفاء المحتوى أو عناوين URL الخاصة بك لخداع المستخدمين أو محركات البحث ، ولكنها عملية صالحة لتسهيل إدارة الروابط التابعة الخاصة بك .
1 - أن أي اوامر تضيفها إلى robots.txt هي توجيهات فقط . هذا يعني أن الأمر متروك لمحركات البحث لطاعة واتباع القواعد .
في معظم الحالات يفعلون ذلك ، ولكن إذا كان لديك محتوى لا تريد تضمينه في فهرسهم ، فإن أفضل طريقة هي حماية الدليل أو الصفحة المعينة بكلمة مرور.
2 - أنه حتى إذا قمت بحظر صفحة أو دليل في برامج الروبوت ، فلا يزال من الممكن ظهورها في نتائج البحث إذا كانت تحتوي على روابط من صفحات أخرى تم فهرستها بالفعل كمواقع التواصل الاجتماعى .
بمعنى آخر ، إضافة صفحة إلى ملف الروبوت لا يضمن إزالتها أو عدم ظهورها على الويب .
إلى جانب حماية كلمة المرور للصفحة أو الدليل ، هناك طريقة أخرى وهي استخدام توجيهات الصفحة . تمت إضافتها إلى الوسم <head> قى القالب لكل صفحة وتبدو مثل المثال أدناه :
Robots.txt له هيكل بسيط للغاية . هناك بعض مجموعات الكلمات الرئيسية التي يمكنك استخدامها فى محتوى الملف.
- User-agent: يحدد برامج الزحف التي يجب أن تأخذ التوجيهات في الاعتبار. يمكنك استخدام * للإشارة إلى جميع برامج الزحف أو تحديد اسم الزاحف ، انظر الأمثلة أدناه . يمكنك عرض جميع الأسماء والقيم المتاحة لتوجيه وكيل المستخدم هنا .
- User-agent: * يشمل جميع برامج الزحف.
- User-agent: Googlebot تم تحديد التعليمات خاصة ببرنامج Google bot فقط
- Disallow: الأمر الذي يوجه وكيل المستخدم (المحدد أعلاه) ، بعدم الزحف إلى عنوان URL أو جزء من موقع ويب .
يمكن أن تكون قيمة disallow ملفًا محددًا أو عنوان URL أو دليلًا . انظر إلى المثال أدناه المأخوذ من دعم Google . مثال على قواعد عدم السماح في ملف robots.txt :
Disallow: /
/Disallow: /calendar
Disallow: /images/dogs.jpg
$Disallow: /*.gif
- Allow: التوجيه الذي يخبر وكيل الزحف بالصفحات أو المجلدات الفرعية التي يمكن الوصول إليها. هذا ينطبق على Googlebot فقط .
يمكنك استخدام السماح لمنح حق الوصول إلى مجلد فرعي محدد على موقع الويب الخاص بك ، على الرغم من أن الدليل الأصلي غير مسموح به.
على سبيل المثال ، يمكنك عدم السماح بالوصول إلى دليل الصور الخاص بك مع السماح بالوصول إلى مجلد Ali الفرعي الخاص بك الموجود أسفل الصور .
- Crawl-delay: يمكنك تحديد قيمة تأخير الزحف لإجبار برامج زحف محركات البحث على الانتظار لفترة زمنية محددة قبل الزحف إلى الصفحة التالية من موقع الويب الخاص بك. القيمة التي تدخلها بالميلي ثانية .
وتجدر الإشارة إلى Crawl-delay لا يؤخذ بعين الاعتبار من قبل برنامج Googlebot . يمكنك استخدام Google Search Console للتحكم في ميزانية الزحف لـ Google (الخيار موجود هنا بالصوره ) .
 |
| إعداد معدل الزحف من Google في Google Search Console |
يمكنك استخدام معدل الزحف في الحالات التي يكون لديك موقع ويب به آلاف الصفحات ولا تريد زيادة تحميل الخادم الخاص بك بطلبات مستمرة . في معظم الحالات ، لا يجب عليك استخدام أمر تتبع الزحف .
- Sitemap: إن خريطة الموقع يتم اعتماد التوجيه اليها من قبل محركات البحث الرئيسية بما في ذلك جوجل ويتم استخدامه لتحديد خريطة الموقع الخاص بك .
حتى إذا لم تحدد موقع sitemap.xml في Robots.txt ، فلا تزال محركات البحث قادرة على العثور عليه.
ملحوظه هامه: ملف robots.txt حساس لحالة الأحرف . هذا يعني أنك إذا أضفت هذا التوجيه Disallow: /File.html ، فلن يقوم بحظر file.html . فيجب ان يتم ادخال الحروف للامر الزى تريده بالظبط ومراعاة الحروف للوقوع فى الخطا .
يعد إنشاء ملف robots.txt أمرًا سهلاً الان . بعد التحديثات الجديده لجوجل اصبح من السهل وجود ملف خاص بموقعك تلقائى بشكل دائم .
أول شيء عليك فعله تعطيل ملف robots.txt من الاعدادات . والتحقق من وجود ملفك التلقائى من جوجل . أسهل طريقة للقيام بذلك هي فتح نافذة متصفح جديدة والانتقال إلى
https://رابط موقعك/robots.txt
هذا يعني أن لديك بالفعل ملف robots.txt . قم بتنزيل الملف على جهاز الكمبيوتر الخاص بك واحفظه فى ملف txt على الكمبيوتر .
لاتقوم بازالته من جهازك واحتفظ به اذا قمت بتعطيل ملف robots.txt من الاعدادات نظرا للتغيرات المستمره فى سياسات جوجل .
يجب أن يكون ملف robots.txt موجودًا دائمًا في جذر موقع الويب الخاص بك او مكانه فى الاعدادات وليس في أي مجلد.
مثال على ملف robots.txt مثالى خيالى 2021 ، يجب أن يحتوي ملف robots.txt الخاص بك على المحتويات الاساسيه التالية:
User-agent: Mediapartners-GoogleDisallow:
User-agent: *
Disallow: /search
/Disallow: /p/contact-us
/Disallow:/p/privacy-ploicy
/Disallow:/p/about-us
/Disallow:/p/use-policy
Allow: / Sitemap: https://your site url/sitemap.xml
هذا يسمح لجميع الروبوتات بالوصول إلى موقع الويب الخاص بك مع حظر الوصول لصفحات الخصوصيه والاتصال والارشيف والاستخدام . كما أنه يحدد موقع خريطة الموقع ليسهل على محركات البحث تحديد موقعه.
كيف تختبر وتتحقق من صحة ملفك الخاص بموقعك؟
بينما يمكنك عرض محتويات ملف robots.txt الخاص بك من خلال الانتقال إلى عنوان URL الخاص بملف robots.txt .
فإن أفضل طريقة لاختباره والتحقق منه هي من خلال أداة اختبار ملف robots.txt في Google Search Console.
انتقل إلى أداة اختبار Robots.txt . انقر فوق الزر " اختبار" . إذا كان كل شيء على ما يرام ، سيتحول زر الاختبار إلى اللون الأخضر وستتغير التسمية إلى "مسموح".
إذا كانت هناك مشكلة ، فسيتم تمييز الخط الذي يتسبب في عدم السماح الى اللون الاحمر.ويمكنك اختبار اى رابط فى المدونه اسفل الاداه .
 |
| أداة الاختبارفى ادوات مشرفى المواقع |
أداة الاختبار الرائعه فى ادوات مشرفى المواقع
يمكنك استخدام URL Tester (أسفل الأداة) لإدخال عنوان URL من موقع الويب الخاص بك واختبار ما إذا كان محظورًا أم لا.
يمكنك إجراء أي تغييرات على المحرر والتحقق من القواعد الجديدة ولكن من أجل تطبيق هذه على ملف robots.txt المباشر الخاص بك . تحتاج إلى تحرير ملفك باستخدام محرر نصوص وتحميل الملف إلى المجلد الجذر لموقع الويب الخاص بك .
لإبلاغ Google بأنك أجريت تغييرات على ملف robots.txt الخاص بك ، انقر فوق الزر "إرسال" (من الشاشة أعلاه). ثم انقر فوق الزر "إرسال" مرة أخرى من النافذة المنبثقة الاتيه لارسال تحديثات ملف Robots.txt.
 |
| نافذة ارسال تحديثات ملف Robots.txt |
ملف الروبوت باختصار مع WordPress 2021
نظرًا لأنه لا يمكنك تحرير ملف robots.txt الافتراضي الذي يوفره WordPress مباشرةً ، فإن الطريقة الوحيدة لتحريره هي إنشاء ملف جديد وإضافته إلى الدليل الجذر لموقع الويب الخاص بك .