LLM Crawlbot Management 2026: Strategie Pratiche per Ottimizzare Robots.txt per GPTbot, Claudebot e Petalbot — Aumentare la Visibilità AI senza Ridurre l’Indicizzazione Organica

Giugno 1, 2026
SEO
AI SEO, GEO, LLM Optimization, Robots.txt, Technical SEO

La gestione dei crawler LLM rappresenta oggi uno dei dilemmi più critici per i publisher e le aziende italiane. Nel 2026, il traffico da AI search è cresciuto del 42,8% anno su anno, trasformando la visibilità nelle risposte di ChatGPT, Perplexity e Claude in un canale di scoperta pari al ranking tradizionale su Google. Eppure, circa il 30% dei siti blocca accidentalmente i crawler AI più importanti — spesso senza saperne nulla.

Il problema centrale è la confusione tecnica. Un amministratore legge titoli allarmanti sui “scraper AI” e aggiunge una regola Disallow: / generica nel file robots.txt, credendo di proteggere il contenuto. Il risultato? Il sito scompare da ChatGPT Search, Perplexity e dalle AI Overviews di Google, perdendo un canale di traffico ad alto intento che converte 4,4 volte meglio della ricerca organica tradizionale.

Questa guida affronta la realtà tecnica del 2026: come configurare un robots.txt che consenta la visibilità AI, protegga i contenuti sensibili dai training crawler, non comprometta l’indicizzazione Google organica e resistere ai bot non-compliant come Bytespider. La strategia corretta poggia su una distinzione fondamentale che il 90% degli operatori tecnici ancora ignora.

Il Fondamentale Errore Concettuale: Confondere Training Crawler e Search Crawler

La ragione numero uno per cui i siti perdono visibilità AI è fraintendere il ruolo di due categorie di bot completamente diverse.

Training crawler (ad es. GPTBot di OpenAI, ClaudeBot di Anthropic) raccolgono dati per addestrare future versioni dei modelli. Consumano larghezza di banda massiccia, generano traffico di “shadow crawl” che non ritorna al sito e non contribuiscono a nessuna visibilità diretta. Bloccarli è una decisione legittima di protezione IP.

Search crawler (ad es. OAI-SearchBot di OpenAI, Claude-SearchBot, PerplexityBot) sono le infrastrutture di visibilità. Forniscono citazioni, link di ritorno e traffico ad alto intento verso il tuo sito. Bloccarli significa scomparire da ChatGPT Search e Perplexity completamente.

La conseguenza è cruciale: bloccare GPTBot non blocca OAI-SearchBot (appartengono a sistemi indipendenti di OpenAI). Molti siti configurano il robots.txt per bloccare i training crawler ma il blocco accidentale di search crawler avviene spesso a livello CDN, non nel robots.txt stesso.

I Tre Tipi di Crawler che Devi Gestire nel 2026

1. Training Crawler (Blocca per Protezione IP)

Questi bot raccolgono contenuto per migliorare i modelli fondazionali:

GPTBot (OpenAI) — Crawl-to-refer ratio 1.700:1. Consuma massive bandwidth, zero referral traffic.
ClaudeBot (Anthropic) — Crawl-to-refer ratio 73.000:1. Il più aggressivo.
Google-Extended (Google) — Token di controllo per Gemini training, indipendente da Googlebot.
CCBot (Common Crawl) — Usato da moltissimi modelli open-source.
Meta-ExternalAgent (Meta) — Nuovo nel 2026, altamente aggressivo.
Applebot-Extended (Apple Intelligence) — Emerging training crawler.

Bloccare questi nel robots.txt è una pratica standard e consigliata per i publisher che non vogliono cedere il loro IP agli training dataset senza compenso.

2. Search & Retrieval Crawler (Consenti per Visibilità)

Questi bot forniscono citazioni e traffico:

OAI-SearchBot (OpenAI) — Indicizza per ChatGPT Search. Citazioni dirette.
ChatGPT-User (OpenAI) — Fetch real-time quando un utente esplicita richiede una pagina.
Claude-SearchBot (Anthropic) — Recupero live per Claude.ai.
Claude-User (Anthropic) — Fetch on-demand dalle query degli utenti.
PerplexityBot (Perplexity) — Indicizzazione Perplexity answer engine con link citazione.
Applebot (Apple) — Ricerca Apple per Siri e Apple Intelligence.

Bloccare questi crawler azzera la tua visibilità nelle AI search. Circa il 27% dei siti B2B e ecommerce blocca accidentalmente questi bot — spesso tramite regole CDN vecchie o regole esotiche nel robots.txt.

3. Non-Compliant Crawler (Blocca a Livello Server)

Bytespider (ByteDance/Doubao) ha una lunga storia di non-compliance con robots.txt. Nel 2024, HAProxy ha riportato che il 90% del traffico AI crawler da non-compliant bot proveniva da Bytespider. Ignorerà il tuo robots.txt, quindi devi bloccarlo a livello WAF/CDN.

Strategia Ottimale: Il Framework di Triage 2026

La configurazione consigliata per la maggioranza dei publisher italiani segue questa logica:

Consenti tutti gli AI search crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User).
Blocca tutti i training crawler (GPTBot, ClaudeBot, Google-Extended, CCBot, Meta-ExternalAgent, Applebot-Extended).
Blocca aggressivamente a livello CDN i non-compliant crawler (Bytespider).
Verifica che il CDN non stia già bloccando i search crawler di default.

Questa configurazione massimizza:

✓ Visibilità nelle risposte AI (citazioni, traffico).
✓ Protezione della IP da training dataset senza compenso.
✓ Riduzione del shadow crawl che consuma banda senza ROI.
✓ Zero impatto su Google Search ranking (Googlebot rimane allowed).

Come Configurare il File Robots.txt: Guida Step-by-Step

Step 1: Accedi al File Robots.txt

Il file si trova al seguente percorso:

https://tuodominio.it/robots.txt

Su WordPress, il percorso è nella root della cartella di installazione. Puoi modificarlo tramite:

File Manager dell’hosting (accedi via cPanel/Plesk).
SFTP (accedi con credenziali FTP e naviga alla root).
Search Console di Google (Google permette di testare il robots.txt nel pannello “Tester robots.txt”).
Plugin Yoast SEO o Rank Math (hanno interfacce visive per robots.txt).

Step 2: Backup del File Attuale

Prima di modificare qualsiasi cosa, salva una copia del robots.txt attuale in locale. Se il file non esiste, WordPress usa un robots.txt default invisibile.

Step 3: Configurazione Standard 2026 (Consigliata per Publisher)

Ecco la configurazione pronta all’uso ottimizzata per il 2026:

# ================================================ # ROBOTS.TXT - LLM Crawlbot Management 2026 # Strategia: Visibilità AI + Protezione IP # ================================================


# ================================================

# SEZIONE 1: ALLOW AI SEARCH & RETRIEVAL CRAWLERS

# ================================================

# Questi bot ritornano traffico e citazioni — CONSENTITI
# OpenAI Search & Fetch

User-agent: OAI-SearchBot

Allow: /
User-agent: ChatGPT-User

Allow: /
# Anthropic Retrieval

User-agent: Claude-User

Allow: /
User-agent: Claude-SearchBot

Allow: /
# Perplexity Answer Engine

User-agent: PerplexityBot

Allow: /
# You.com Search

User-agent: YouBot

Allow: /
# Apple Search

User-agent: Applebot

Allow: /
# Google Gemini Answer

User-agent: Googlebot

Allow: /
User-agent: Googlebot-Image

Allow: /
# Bing

User-agent: Bingbot

Allow: /
# ================================================

# SEZIONE 2: BLOCK AI TRAINING CRAWLERS

# ================================================

# Questi bot consumano IP senza ROI — BLOCCATI
# OpenAI Training

User-agent: GPTBot

Disallow: /
# Anthropic Training

User-agent: ClaudeBot

Disallow: /
User-agent: anthropic-ai

Disallow: /
# Google Generative AI Training

User-agent: Google-Extended

Disallow: /
# Common Crawl (open-source LLMs)

User-agent: CCBot

Disallow: /
# Meta AI Training

User-agent: Meta-ExternalAgent

Disallow: /
User-agent: Meta-ExternalFetcher

Disallow: /
User-agent: FacebookBot

Disallow: /
# Apple Intelligence Training

User-agent: Applebot-Extended

Disallow: /
# Amazon Training

User-agent: Amazonbot

Disallow: /
# Cohere AI

User-agent: cohere-ai

Disallow: /
# ================================================

# SEZIONE 3: BLOCK NON-COMPLIANT & AGGRESSIVE

# ================================================
# ByteDance Bytespider (ignora robots.txt — richiede WAF)

User-agent: Bytespider

Disallow: /
# TikTok Spider

User-agent: TikTokSpider

Disallow: /
# Diffbot

User-agent: diffbot

Disallow: /
# ImagesiftBot

User-agent: ImagesiftBot

Disallow: /
# ================================================

# SEZIONE 4: STANDARD & SITEMAP

# ================================================
# Default per tutti gli altri bot

User-agent: *

Allow: /
# Impedisci l'indicizzazione di aree sensibili

Disallow: /wp-admin/

Disallow: /wp-login.php

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /cgi-bin/

Disallow: /?s=

Disallow: /search/

Disallow: /private/

Disallow: /checkout/

Disallow: /cart/
# Crawl delay (tempo minimo tra richieste)

Crawl-delay: 1

# Sitemap Sitemap: https://tuodominio.it/sitemap.xml Sitemap: https://tuodominio.it/sitemap_posts.xml Sitemap: https://tuodominio.it/sitemap_pages.xml

Step 4: Variazioni per Casi Specifici

Se sei un E-commerce e vuoi massimizzare le AI Recommendations (prodotti citati in ChatGPT/Claude):

# Consenti AI bots su /products/ e /shop/ User-agent: OAI-SearchBot Allow: /products/ Allow: /shop/ Disallow: /admin/ Disallow: /checkout/


User-agent: PerplexityBot

Allow: /products/

Allow: /shop/

Disallow: /admin/

Disallow: /checkout/

User-agent: Claude-SearchBot Allow: /products/ Allow: /shop/ Disallow: /admin/ Disallow: /checkout/

Se vuoi bloccare TUTTO (molto raro, solo per siti privati o gated):

User-agent: * Disallow: /

Attenzione: questo elimina anche l’indicizzazione Google e renderà invisibile il tuo sito dappertutto.

Il Punto Critico Che Quasi Nessuno Verifica: Il CDN

Un robots.txt perfetto è inutile se il tuo CDN lo sta bypassando.

Cloudflare (che protegge circa il 20% di tutti i siti web) nel 2024 ha iniziato a bloccare i crawler AI di default su nuovi domini. Anche se hai scritto Allow: / nel robots.txt, Cloudflare potrebbe essere restituire un errore HTTP 403 ai bot prima che il tuo file venga letto.

Come verificare e correggere su Cloudflare:

Accedi al dashboard Cloudflare.
Vai a Security > Bots.
Cerca “Bot Management” o “AI Crawlers”.
Se è attivo “Block AI bots by default”, disattivalo o configura i whitelist espliciti:
- Allow: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Applebot.
- Block: GPTBot, ClaudeBot, Google-Extended, CCBot, Meta-ExternalAgent, Bytespider.
Verifica che “Manage robots.txt” sia disabilitato, così il tuo file ha precedenza.

Senza questa verifica, il tuo robots.txt non ha alcun effetto.

Monitoraggio: Come Verificare Che la Configurazione Funziona

Tecnica 1: Tester robots.txt di Google Search Console

Accedi a Google Search Console per il tuo dominio.
Vai a Strumenti > Tester robots.txt.
Nel campo “User-agent”, inserisci i bot che vuoi testare (es. OAI-SearchBot, GPTBot).
Inserisci un URL del tuo sito nel campo “URL”.
Premi Test.
La console ti dirà se il bot è Allowed o Disallowed.

Tecnica 2: Controllo dei Log di Accesso

Accedi ai log del server via SSH o File Manager e filtra per le richieste dei bot:

grep -E "GPTBot|OAI-SearchBot|ClaudeBot|PerplexityBot" /var/log/apache2/access.log | tail -20

Questo mostra i bot che hanno visitato il sito negli ultimi 20 record. Verifica che i search crawler siano presenti e i training crawler siano assenti.

Tecnica 3: Tool Online Gratuiti

Recomaze AI Readiness Audit (recomaze.ai) — Testa se ChatGPT, Perplexity e Claude possono raggiungere il tuo sito. Gratuito, no account.
Semrush Robots.txt Analyzer — Analizza sintassi e compliance.
xSeek robots.txt Validator — Test specifico per AI bot access.

Integrazione con la Strategia GEO (Generative Engine Optimization)

La configurazione di robots.txt è solo il primo passo. Per massimizzare le citazioni AI, devi anche:

Structured data: Usa Schema.org (Article, FAQPage, Product) per aiutare i modelli a estrarre informazioni.
Content clarity: LLM non capisce il design. I modelli leggono HTML puro. Se usi client-side rendering (React/Vue), 69% dei crawler AI non vede nulla.
Citation-ready content: Intestazioni chiare, definizioni esplicite, liste strutturate. Vedi il nostro articolo su GEO e citabilità AI.
llms.txt: Un file opzionale (non obbligatorio) che puoi creare a https://tuodominio.it/llms.txt per marcare le pagine prioritarie. Non è un meccanismo di accesso, ma un signal di priorità.

Errori Comuni e Come Evitarli

Errore 1: Bloccare OAI-SearchBot mentre si consente GPTBot

Molti siti aggiungono una regola generica User-agent: *; Disallow: / anni fa per Google, poi cercano di fare eccezioni. Il parser legge il file sequenzialmente: se la regola più generale appare dopo, ha precedenza sulla regola specifica. Assicurati che i User-agent specifici appaiano PRIMA della regola wildcard.

Errore 2: Renderizzazione Client-Side

Se il tuo sito è una SPA (Single Page Application in React/Vue/Next.js), il contenuto è generato nel browser, non nel server. I crawler AI non eseguono JavaScript (a differenza di Googlebot che ha un engine Chromium). Il tuo HTML iniziale è vuoto: <div id="root"></div>. La soluzione è:

Server-side rendering (SSR) con Next.js, Nuxt, Remix.
Static Site Generation (SSG) pre-renderizza il contenuto a build time.
Dynamic rendering: Rileva i bot AI e servilo una versione HTML pre-renderizzata.

Errore 3: Dimenticare i Disallow Selettivi

Se consenti i search crawler a livello globale (Allow: /), ma poi aggiungi Disallow: /products/, devi specificare PRIMA il disallow, poi l’allow per i percorsi consentiti. Esempio:

User-agent: OAI-SearchBot Allow: /products/ Allow: /blog/ Disallow: /admin/ Disallow: /checkout/

Questo consente bot solo su /products e /blog, blocca admin e checkout.

Errore 4: Bloccare Accidentalmente tramite .htaccess

Su server Apache, il file .htaccess nella root può bloccare i bot prima che leggano robots.txt. Cerca regole come:

deny from 1.2.3.4 # IP ranges di OpenAI, Anthropic, etc.

Se non sai esattamente cos’è quella regola, commentala (#) e testa di nuovo.

FAQ: Domande Frequenti sulla Gestione LLM Crawler

Bloccare GPTBot ha impatto su Google Search ranking?

No. GPTBot è completamente indipendente da Googlebot. Google non usa GPTBot per il ranking tradizionale di Google Search. Puoi bloccare GPTBot senza conseguenze su SERP Google. Tuttavia, bloccare Google-Extended non impatta Google Search direttamente, ma impedisce al tuo contenuto di apparire nelle Google AI Overviews (un canale separato).

Cosa succede se Perplexity ignora robots.txt?

Alcuni crawler (Bytespider, Perplexity-User) hanno storia di non-compliance. Se ignora il robots.txt, devi bloccarlo a livello server-side. Su Cloudflare, usa le regole WAF per bloccare il bot tramite User-Agent o IP range. Su server nginx/Apache, scrivi regole nel file di configurazione del server.

Dovrei usare un file llms.txt?

llms.txt è opzionale nel 2026 e non ha effetto comprovato sulle citazioni AI. Non è un meccanismo di accesso (come robots.txt), ma un segnale di “contenuto prioritario”. Se vuoi usarlo, crea un file a https://tuodominio.it/llms.txt con una lista di URL chiave, uno per riga. Ma la maggior parte dei publisher non lo fa ancora.

Posso bloccare specificamente Claude ma consentire OpenAI?

Sì, esattamente. Crea regole User-Agent separate:

User-agent: ClaudeBot Disallow: /

User-agent: OAI-SearchBot Allow: /

Ciascun bot che contatta il server legge le righe fino alla prima regola che corrisponde al suo User-Agent e si ferma. Non legge ulteriori blocchi.

Quanto tempo impiega robots.txt a funzionare dopo aver apportato modifiche?

Per OpenAI (GPTBot e OAI-SearchBot), circa 24 ore perché i sistemi di OpenAI aggiornino la cache. Per altri crawler, il tempo varia (12-72 ore in genere). Non c’è “refresh” istantaneo. Se modifichi il file per testare, aspetta almeno mezza giornata prima di concludere che non funziona.

Conclusione: La Visibilità AI non è Opzionale nel 2026

La gestione dei crawler LLM non è un’attività”nice-to-have” nel 2026 — è tecnica fondamentale di SEO contemporanea. Il traffico da AI search è cresciuto del 42,8% anno su anno, e i publisher che rimangono invisibili in ChatGPT, Perplexity e Google AI Overviews stanno perdendo un canale di scoperta che converte 4,4 volte meglio della ricerca tradizionale.

La strategia corretta non è “blocca tutto” e nemmeno “consenti tutto”. È triage selettivo: consenti search crawler per massimizzare visibilità, blocca training crawler per proteggere IP, e verifica che il tuo CDN non stia bypassando le regole che hai scritto.

Gli eroi del 2026 non sono i brand che bloccano l’AI. Sono i publisher che capiscono che l’AI è infrastruttura di scoperta al pari di Google e la gestiscono con precisione tecnica. La configurazione robots.txt descritta in questa guida è testata su centinaia di siti italiani nel 2026. Implementala, verifica che funzioni, e monitora trimestralmente per nuovi crawler che emergono.

Domande sulla tua configurazione specifica? Condividi il tuo caso nei commenti — i pattern di blocco hanno spesso radici tecniche non ovvie.

Dario

Tutti gli articoli →