Comment optimiser son fichier robots.txt pour bloquer le crawl des pages inutiles dans Webflow ?

Le fichier robots.txt indique aux crawlers quelles pages de votre site ils peuvent ou ne peuvent pas visiter. Bien configuré, il concentre le budget de crawl Google sur vos pages stratégiques et accélère l'indexation du contenu important. Sandro, cofondateur de l'agence Webflow Gemeos, vous donne les directives essentielles à connaître.

Prérequis

• Un site Webflow publié sur un domaine custom
• Accès à Project Settings > SEO dans Webflow
• Google Search Console pour vérifier l'impact

1. Accédez au robots.txt dans Webflow

Dans Webflow, allez dans Project Settings > SEO > Robots.txt. Webflow génère un fichier robots.txt par défaut qui autorise tout. Vous pouvez l'éditer directement dans cette interface. Les modifications sont appliquées à la prochaine publication du site.

2. Comprenez la syntaxe de base

# Règles pour tous les robots
User-agent: *
Disallow: /admin/
Disallow: /merci
Disallow: /404

# Autoriser explicitement une section bloquée
Allow: /admin/public/

# Pointez vers votre sitemap XML
Sitemap: https://votresite.com/sitemap.xml

3. Identifiez les pages à bloquer

Sur un site Webflow typique, les pages suivantes méritent d'être bloquées pour économiser le crawl budget :

• Pages de confirmation et remerciement (/merci, /thank-you, /confirmation)
• Pages utilitaires sans contenu SEO (/404, /search)
• Pages de prévisualisation ou de staging si accessibles publiquement
• Pages de politique de confidentialité et CGU si elles n'ont pas de valeur SEO

4. Template robots.txt optimisé pour Webflow

User-agent: *
# Pages utilitaires sans valeur SEO
Disallow: /merci
Disallow: /thank-you
Disallow: /confirmation
Disallow: /404

# Bloquer les crawlers IA si souhaité
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

Sitemap: https://votresite.com/sitemap.xml

5. Vérifiez dans Search Console

Dans Search Console, l'outil "Inspection d'URL" indique si une page est bloquée par robots.txt. La section "Couverture" liste aussi les pages exclues par robots.txt. Vérifiez qu'aucune page stratégique n'est bloquée accidentellement.

Conclusion

Un robots.txt bien configuré est un signal de qualité technique envoyé à Google. Il ne remplace pas les autres optimisations SEO mais complète une stratégie d'indexation maîtrisée.

• Cas d'usage 1 : site e-commerce avec des centaines de pages de filtres inutiles à bloquer
• Cas d'usage 2 : agence qui veut bloquer les crawlers IA sur son contenu premium
• Cas d'usage 3 : site avec un budget de crawl limité qui veut prioriser ses pages de conversion