كيف تستفيد من robots.txt وتجعل العناكب تعشش في موقعك

السلام عليكم ورحمة الله و بركاتة

أخواني شد انتباهي تقنية robots.txt المستخدمة في كثير من المواقع الأجنبية
فأحببت ان ألخص لكم ما فهمته ة ما استطعت تحصيلة من مواقع الانترنت الاجنبية ولبحث يوم كامل و اعطيكم الخلاصة على طبق من ذهب...

بسم الله الرحمن الرحيم

أولا الروبوتس هو عبارة عن ملف نصي يوضع في المجلد الرئيسي للموقع www و يوضع فيه أوامر لا يستطيع قرائتها غير عناكب الإنترنت
كانت التقنية قد ظهرت في عام 1994 ميلادي و قد انتشرت مع الزمن حتى اصبحت ذات انتشار واسع...

لن أطيل عليكم

اوامر ملف الريبورتس... مع امثلة...

أذا كنت ترغب بان تزور عناكب البحث موقعك ولكن لاتريدها ان تزور صفحات معينة من موقعك مثل admin او اي صفحات أخرى لا ترغب بأن تظهر للزوار كل ما عليك فعلة هو انشاء ملف و تسميتة بـ robots.txt و ثم قم بفتحة ووضع البرمجية التالية:

User-agent: * = السماح لجميع انواع العناكب بدخول الموقع

كود PHP:

Disallow: /admin/password/ = عادا هذا الملف

Disallow: /tmp/ = وهذا

Disallow: /mypage.html = وهذا ايضاً


User-agent: * = تكتب اسم عنكبوت معين أو نجمة تعني السماح لجميع عناكب البحث

Disallow: = تعني منع ثم المجلد او الأمتداد أو اسم الملف الممنوع ارشفتة في محركات البحث


طيب لو اردنا ان نسمح لعناكب معينة ان تزور ملف معين دون غيرها
مثل العنكبوتxxxx تابع لشركة بحث ضخمة و تريدة هو فقط ان يطلع على جميع محتوى الموقع و المجلدات .



كود PHP:

User-agent: *

Disallow: /admin/passwords/

User-agent: xxxx = اسم العنكبوت المستثنى من المنع

Disallow: = فارغ يعني عدم منع



طيب تبغى تطرد جميع العناكب وش تسوي...

حط الكود هذا
كود PHP:


User
-agent: *

Disallow: /


والسماحة للعناكب بجميع أنواعها يكون كالتالي



كود PHP:

User-agent: *

Disallow:



اذا عجبكم الموضوع فلا تحرمونى من تقيمكم