Sui nostri server alcuni bot automatici, tra cui diversi crawler di intelligenza artificiale, ricevono un errore 403 Forbidden invece della pagina. Questo blocco serve per evitare attività malevole e scansioni massive che sovraccaricano i server.
Se vuoi sbloccare alcuni bot o bloccarne altri, ecco come fare.
Indice
Perché alcuni bot e crawler AI ricevono un errore 403?
Su tutti i server che gestiamo è attivo un filtro preventivo sugli user agent. Blocca una serie di bot automatici, tra cui molti crawler AI, perché alcuni vengono usati per attività malevole e altri scansionano i siti con così tante richieste da sovraccaricare il server.
Il filtro risponde con la pagina 403 generica del server, prima che la richiesta arrivi al sito. Per questo non lo trovi nel tuo .htaccess, non dipende da WordPress o dai plugin e non lascia traccia nei log del firewall (ModSecurity). Nella sezione Errori (Errors) di cPanel puoi vedere righe come AH01797: client denied by server configuration: sono le richieste respinte da questo filtro.
Il filtro riconosce i bot da una parola nel loro user agent. Per esempio la parola openai blocca anche OAI-SearchBot e ChatGPT-User, che la contengono nel loro nome, non solo il crawler di addestramento GPTBot.
Quali bot sono bloccati?
Il filtro blocca gli user agent che contengono una di queste parole:
GPTBotMegaIndexspbotsimplecrawlerSLCC1MJ12botAhrefsBotia_archiverokhttpBaiduspiderSemrushBotWPScanSMTBotAspiegelBotManoManoBotPetalBotBytespiderAmazonbotopenaiConnectif
Googlebot e gli altri motori di ricerca vengono bloccati?
No. I bot dei motori di ricerca come Google e Bing non vengono mai bloccati, quindi l’indicizzazione del sito non ne risente.
Se in Google Search Console vedi errori 5xx (500, 503) durante la scansione, di solito non dipendono da un blocco ma dal sito che ha superato i limiti di risorse del piano in quel momento.
Soluzioni per sbloccare i bot
In questa sezione vediamo come verificare se il bot o crawler viene bloccato e come fare a sbloccarlo, se invece vuoi bloccare dei bot, scorri in fondo all’articolo.
Come verifico se un bot è bloccato?
Il modo più semplice è chiedere una pagina del sito presentandoti con lo user agent del bot. Da un terminale (Prompt dei comandi su Windows, Terminale su Mac) scrivi, sostituendo il tuo dominio:
curl -I -A "GPTBot" https://tuodominio.it/
Se nella prima riga della risposta leggi 403, quel bot è bloccato. Con un browser normale la stessa pagina deve rispondere 200.
Come sblocco un crawler AI sul mio sito?
Se vuoi sbloccare dei bot o crawler specifici, puoi aggiungere una riga nel file .htaccess del sito, in questo modo dici al server di non considerare “cattivi” i bot che elenchi.
Accedi a cPanel e apri Gestione file (File Manager).
Apri la cartella principale del sito: per il dominio principale è public_html. Il file .htaccess è nascosto: se non lo vedi, attiva la visualizzazione dei file nascosti dalle impostazioni del File Manager.
Fai una copia del file .htaccess, così puoi tornare indietro se qualcosa non va.
Modifica il file e aggiungi in cima la riga qui sotto, con i nomi dei bot che vuoi sbloccare separati da |.
SetEnvIfNoCase User-Agent "OAI-SearchBot|ChatGPT-User" !bad_bot
Salva e ripeti la prova con curl: il bot ora deve ricevere 200.
Altri esempi di bot che puoi mettere nell’elenco: GPTBot, OAI-AdsBot, ClaudeBot, Claude-User, Claude-SearchBot, Applebot.
La riga vale solo per il sito di quel file .htaccess. Se hai più siti, devi aggiungerla nel file .htaccess di ognuno.
Il file robots.txt basta per far passare i crawler AI?
No. Il file robots.txt dice ai bot cosa possono scansionare, ma il filtro del server agisce prima: un bot bloccato riceve 403 anche se il robots.txt lo autorizza. Per farlo passare serve la riga nel .htaccess che abbiamo visto prima.
Il robots.txt può essere usato per indicare ai bot che lo rispettano le pagine del sito da non scansionare, per esempio le pagine con i filtri di ricerca o dei prodotti.
Non riesco a farlo da solo: come vi chiedo lo sblocco?
Se non riesci a modificare il file .htaccess da solo, puoi aprire un ticket e richiederci lo sblocco.
Scrivici e indicaci:
- il dominio (o i domini) su cui vuoi far passare il bot;
- il nome del bot o lo user agent completo (per esempio
GPTBotoOAI-AdsBot); - se puoi, l’URL che risponde con errore e l’orario della prova.
Aggiungiamo noi l’eccezione, solo per il tuo dominio.
Come faccio passare un’automazione o un’API bloccata da Imunify360?
Imunify360 ha un controllo anti-bot: prima di permettere l’accesso al sito chiede al visitatore una verifica automatica. Un browser normale la supera da solo, ma uno script, un’automazione, un’API chiamata da un altro servizio o un crawler possono restare bloccati. In genere compare una pagina “One moment, please…” e può comparire anche il messaggio “Access denied by Imunify360 bot-protection”.
Il controllo lavora davanti al web server, quindi queste richieste non compaiono nei log.
Per consentire l’accesso in questi casi ci sono due soluzioni:
- Se lo strumento usa un indirizzo IP fisso: mandacelo e lo aggiungiamo alla whitelist. È la soluzione migliore, perché il resto del sito resta protetto.
- Se l’IP cambia (per esempio servizi che escono da indirizzi Cloudflare o cloud condivisi): mettere in whitelist un IP alla volta non basta. Possiamo escludere il dominio dal controllo anti-bot, ma l’esclusione vale per tutto il sito, non solo per un percorso come
/wp-json/. Scrivici indicando il dominio, l’URL chiamato, l’IP di uscita se lo conosci e l’orario di una richiesta bloccata.
Soluzioni per bloccare i bot
Se ci sono bot che saturano le risorse del tuo piano, puoi seguire queste soluzioni per bloccarli.
Come blocco altri bot che mi consumano risorse?
Se dai log vedi un bot che fa moltissime richieste (per esempio sui filtri di un e-commerce), puoi bloccarlo tu. Hai tre strumenti:
robots.txt: chiedi ai bot che lo rispettano di non scansionare certe pagine, per esempio con Disallow: /*?*q= per gli URL di ricerca. I bot malevoli però lo ignorano.
.htaccess: blocchi un bot per user agent direttamente sul server, con una regola nel .htaccess del sito (esempio qui sotto, con il nome del bot al posto di NomeDelBot).
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} NomeDelBot [NC]
RewriteRule .* - [F,L]
Indirizzo IP: se il bot arriva sempre dagli stessi IP, bloccali da cPanel seguendo il tutorial su come bloccare un indirizzo IP.
Cloudflare può aiutarmi contro i bot?
Sì. Per il traffico di bot che sembra legittimo (finti browser, scraping da reti cloud) la soluzione più flessibile è Cloudflare: puoi creare regole personalizzate, mettere una verifica (Managed Challenge) su certe pagine o paesi e bloccare reti intere, lasciando passare i bot verificati come Googlebot.
Il firewall del server protegge da attacchi di altro tipo, ma non filtra il traffico che si presenta come normale.
Se preferisci, l’attivazione e la configurazione di Cloudflare possiamo farle noi: è un servizio aggiuntivo che puoi scegliere quando ordini l’hosting oppure acquistare in un secondo momento dall’area clienti seguendo il tutorial sui pacchetti aggiuntivi.
Sui piani condivisi e reseller non è possibile bloccare il traffico che arriva direttamente all’IP del server aggirando Cloudflare: serve un VPS o un server dedicato.
I bot possono rallentare il sito o farlo andare in errore?
Sì. Un bot che fa migliaia di richieste può esaurire le risorse del piano (CPU, memoria, processi PHP). Il sito allora diventa lento o risponde con errori come 503 o 507, anche ai visitatori veri e a Googlebot.
Per capire se è il tuo caso controlla in cPanel Utilizzo risorse (Resource Usage) se ci sono superamenti dei limiti, e nelle statistiche del sito (AWStats) da dove arrivano le richieste.
Pronto a costruire il tuo sito WordPress?
Prova il nostro servizio gratuitamente per 14 giorni. Nessun impegno, nessuna carta di credito richiesta.