Aller au contenu

Recommandez Gemeos à votre réseau et touchez une commission

Découvrir notre système d’apport d’affaires
On en discute ?

SEO / GEO5 min lecture

Comment optimiser le fichier robots.txt dans Webflow ?

Apprenez à configurer un fichier robots.txt avancé dans Webflow pour bloquer le crawl des pages inutiles et concentrer le budget de crawl Google sur vos pages stratégiques.

Le fichier robots.txt indique aux crawlers quelles pages de votre site ils peuvent ou ne peuvent pas visiter. Bien configuré, il concentre le budget de crawl Google sur vos pages stratégiques et accélère l'indexation du contenu important. Sandro, cofondateur de l'agence Webflow Gemeos, vous donne les directives essentielles à connaître.

Prérequis

  • Un site Webflow publié sur un domaine custom
  • Accès à Project Settings > SEO dans Webflow
  • Google Search Console pour vérifier l'impact

1. Accédez au robots.txt dans Webflow

Dans Webflow, allez dans Project Settings > SEO > Robots.txt. Webflow génère un fichier robots.txt par défaut qui autorise tout. Vous pouvez l'éditer directement dans cette interface. Les modifications sont appliquées à la prochaine publication du site.

2. Comprenez la syntaxe de base

# Règles pour tous les robots
User-agent: *
Disallow: /admin/
Disallow: /merci
Disallow: /404

# Autoriser explicitement une section bloquée
Allow: /admin/public/

# Pointez vers votre sitemap XML
Sitemap: https://votresite.com/sitemap.xml

3. Identifiez les pages à bloquer

Sur un site Webflow typique, les pages suivantes méritent d'être bloquées pour économiser le crawl budget :

  • Pages de confirmation et remerciement (/merci, /thank-you, /confirmation)
  • Pages utilitaires sans contenu SEO (/404, /search)
  • Pages de prévisualisation ou de staging si accessibles publiquement
  • Pages de politique de confidentialité et CGU si elles n'ont pas de valeur SEO

4. Template robots.txt optimisé pour Webflow

User-agent: *
# Pages utilitaires sans valeur SEO
Disallow: /merci
Disallow: /thank-you
Disallow: /confirmation
Disallow: /404

# Bloquer les crawlers IA si souhaité
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

Sitemap: https://votresite.com/sitemap.xml

5. Vérifiez dans Search Console

Dans Search Console, l'outil "Inspection d'URL" indique si une page est bloquée par robots.txt. La section "Couverture" liste aussi les pages exclues par robots.txt. Vérifiez qu'aucune page stratégique n'est bloquée accidentellement.

Page typerobots.txtMeta robotsRaison
Page de remerciementDisallownoindexDouble protection
Page 404DisallownoindexPas de valeur SEO
Pages de servicesAllowindexPages stratégiques
Articles de blogAllowindexContenu SEO principal
Pages de politiqueDisallow ou AllownoindexSelon stratégie

Conclusion

Un robots.txt bien configuré est un signal de qualité technique envoyé à Google. Il ne remplace pas les autres optimisations SEO mais complète une stratégie d'indexation maîtrisée.

  • Cas d'usage 1 : site e-commerce avec des centaines de pages de filtres inutiles à bloquer
  • Cas d'usage 2 : agence qui veut bloquer les crawlers IA sur son contenu premium
  • Cas d'usage 3 : site avec un budget de crawl limité qui veut prioriser ses pages de conversion

Publié le 21 mai 2026

Alexandre Baverel

Alexandre Baverel est Head of Sales chez Gemeos. Fort de près de 8 ans d'expérience en SEO et en développement commercial, il accompagne les entreprises dans leur croissance en combinant visibilité, acquisition et conversion. Son approche lui permet d'aligner stratégie marketing et performance business.

Ces tutoriels pourraient vous intéresser

Tutoriels similaires

Voir tout

Vous allez notre collaboration, c’est garanti

Prêt à faire décoller votre activité ?

demander un devis

Let’s f*****G GO !!