Comment personnaliser le robots.txt sur Webflow ?
Apprenez à personnaliser le fichier robots.txt de votre site Webflow : directives Disallow, Allow et sitemap.
Dans ce tutoriel, Sandro cofondateur de l'agence Webflow Gemeos vous montre comment personnaliser le fichier robots.txt de votre site Webflow.
| Directive | Effet | Exemple |
|---|---|---|
| Disallow: / | Bloque tout | User-agent: * / Disallow: / |
| Disallow: /admin/ | Bloque un chemin | Protège les pages admin |
| Allow: / | Autorise tout | User-agent: * / Allow: / |
| Sitemap: | Pointe vers le sitemap | Sitemap: https://site.fr/sitemap.xml |
1. Accédez au robots.txt Webflow
Dans Project Settings > SEO, descendez jusqu'à la section Robots.txt. Webflow affiche le robots.txt par défaut et permet de le personnaliser.
2. Bloquez des chemins spécifiques
Pour bloquer l'accès des robots à certaines pages ou sections, ajoutez des directives Disallow. Exemple pour bloquer une page de confirmation et le répertoire admin :
User-agent: *
Disallow: /confirmation
Disallow: /admin/
3. Ajoutez votre sitemap
Ajoutez en bas du robots.txt la référence à votre sitemap : Sitemap: https://votre-domaine.fr/sitemap.xml. Cela aide les moteurs de recherche à le découvrir automatiquement, même sans soumission manuelle.
4. Vérifiez après publication
Après publication, vérifiez votre robots.txt en accédant à votre-domaine.fr/robots.txt. Testez aussi dans Google Search Console > robots.txt Tester.
Conclusion
Le robots.txt Webflow se personnalise directement dans Project Settings. Voir aussi : désactiver l'indexation d'une page.
bon à savoir
Heading
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique. Duis cursus, mi quis viverra ornare, eros dolor interdum nulla, ut commodo diam libero vitae erat. Aenean faucibus nibh et justo cursus id rutrum lorem imperdiet. Nunc ut sem vitae risus tristique posuere.
Lorem ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
