Ce que fait robots.txt

Un fichier robots.txt indique aux crawlers quelles parties d'un site ils doivent visiter, ignorer ou traiter avec des règles spéciales avant de commencer à récupérer des pages.

Comment ce générateur aide

Cet outil vous permet de choisir une politique de crawl par défaut, d'ajouter des chemins d'autorisation et d'interdiction explicites, de définir un délai de crawl optionnel et d'ajouter des directives de sitemap ou d'hôte sans écrire le fichier à la main.

Cas d'utilisation courants

• Bloquez les zones administratives, les pages de recherche, les filtres ou les outils internes d'un accès large des crawlers.
• Autorisez une section de site privée par défaut à exposer uniquement quelques chemins publics.
• Publiez l'emplacement principal du sitemap afin que les moteurs de recherche puissent découvrir plus rapidement des URL fraîches.
• Créez un modèle de robots.txt de départ pour les mises en scène, les migrations et les listes de contrôle de lancement.

Meilleures pratiques et limitations

Robots.txt est une directive de crawl, pas un système de contrôle d'accès, donc le contenu sensible doit toujours être protégé par une authentification ou d'autres restrictions côté serveur.

Différents crawlers prennent en charge différentes directives. Par exemple, la directive d'hôte n'est pas universelle et le délai de crawl peut être ignoré par certains bots, donc validez toujours vos règles finales par rapport aux crawlers qui vous intéressent.