Comment personnaliser le robots.txt sur Webflow ?

Dans ce tutoriel, Sandro cofondateur de l'agence Webflow Gemeos vous montre comment personnaliser le fichier robots.txt de votre site Webflow.

1. Accédez au robots.txt Webflow

Dans Project Settings > SEO, descendez jusqu'à la section Robots.txt. Webflow affiche le robots.txt par défaut et permet de le personnaliser.

2. Bloquez des chemins spécifiques

Pour bloquer l'accès des robots à certaines pages ou sections, ajoutez des directives Disallow. Exemple pour bloquer une page de confirmation et le répertoire admin :

User-agent: *
Disallow: /confirmation
Disallow: /admin/

3. Ajoutez votre sitemap

Ajoutez en bas du robots.txt la référence à votre sitemap : Sitemap: https://votre-domaine.fr/sitemap.xml. Cela aide les moteurs de recherche à le découvrir automatiquement, même sans soumission manuelle.

4. Vérifiez après publication

Après publication, vérifiez votre robots.txt en accédant à votre-domaine.fr/robots.txt. Testez aussi dans Google Search Console > robots.txt Tester.

Conclusion

Le robots.txt Webflow se personnalise directement dans Project Settings. Voir aussi : désactiver l'indexation d'une page.