لا شيء حتى الآن - أضف من القائمة أدناه.
جميع المولدات
لا شيء حتى الآن - أضف من القائمة أدناه.
المطعم، السفر، الإيجارات…
نظم نفقات المجموعة بمرونة جدول البيانات.
ملف robots.txt يخبر الزواحف أي أجزاء من الموقع يجب عليهم زيارتها أو تخطيها أو التعامل معها بقواعد خاصة قبل أن يبدأوا في جلب الصفحات.
تتيح لك هذه الأداة اختيار سياسة الزحف الافتراضية، وإضافة مسارات السماح والمنع الصريحة، وتعيين تأخير زحف اختياري، وإضافة توجيهات خرائط الموقع أو المضيف دون كتابة الملف يدويًا.
Robots.txt هو توجيه زحف، وليس نظام تحكم في الوصول، لذا يجب حماية المحتوى الحساس باستخدام المصادقة أو قيود أخرى على جانب الخادم.
تدعم الزواحف المختلفة توجيهات مختلفة. على سبيل المثال، توجيه المضيف ليس عالميًا وقد تتجاهله بعض الروبوتات، لذا تحقق دائمًا من قواعدك النهائية مقابل الزواحف التي تهمك.
لدينا المزيد من الأدوات لك...
اختر عدة أدوات وضعها في لوحة التحكم.