{"id":150324,"date":"2026-11-18T11:29:31","date_gmt":"2026-11-18T10:29:31","guid":{"rendered":"https:\/\/supporthost.com\/it\/?post_type=tutorial&#038;p=150324"},"modified":"2026-11-18T11:29:32","modified_gmt":"2026-11-18T10:29:32","slug":"bot-ai","status":"publish","type":"tutorial","link":"https:\/\/supporthost.com\/it\/tutorial\/bot-ai\/","title":{"rendered":"Bot AI e crawler: come bloccarli o sbloccarli"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Sui nostri server alcuni bot automatici, tra cui diversi crawler di intelligenza artificiale, ricevono un errore <strong>403 Forbidden<\/strong> invece della pagina. Questo blocco serve per evitare attivit\u00e0 malevole e scansioni massive che sovraccaricano i server.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Se vuoi sbloccare alcuni bot o bloccarne altri, ecco come fare.<\/p>\n\n\n\n<div class=\"wp-block-rank-math-toc-block\" id=\"rank-math-toc\"><h2>Indice<\/h2><nav><ul><li><a href=\"#perche-i-crawler-ai-ricevono-un-errore-403\">Perch\u00e9 alcuni bot e crawler AI ricevono un errore 403?<\/a><ul><li><a href=\"#quali-bot-sono-bloccati\">Quali bot sono bloccati?<\/a><\/li><li><a href=\"#googlebot-e-gli-altri-motori-di-ricerca-vengono-bloccati\">Googlebot e gli altri motori di ricerca vengono bloccati?<\/a><\/li><\/ul><\/li><li><a href=\"#soluzioni-per-sbloccare-i-bot\">Soluzioni per sbloccare i bot<\/a><ul><li><a href=\"#come-verifico-se-un-bot-e-bloccato\">Come verifico se un bot \u00e8 bloccato?<\/a><\/li><li><a href=\"#come-sblocco-un-crawler-ai-sul-mio-sito\">Come sblocco un crawler AI sul mio sito?<\/a><\/li><li><a href=\"#il-file-robots-txt-basta-per-far-passare-i-crawler-ai\">Il file robots.txt basta per far passare i crawler AI?<\/a><\/li><li><a href=\"#non-riesco-a-farlo-da-solo-come-vi-chiedo-lo-sblocco\">Non riesco a farlo da solo: come vi chiedo lo sblocco?<\/a><\/li><li><a href=\"#come-faccio-passare-unautomazione-o-un-api-bloccata-da-imunify-360\">Come faccio passare un&#8217;automazione o un&#8217;API bloccata da Imunify360?<\/a><\/li><\/ul><\/li><li><a href=\"#soluzioni-per\">Soluzioni per bloccare i bot<\/a><ul><li><a href=\"#come-blocco-altri-bot-che-mi-consumano-risorse\">Come blocco altri bot che mi consumano risorse?<\/a><\/li><li><a href=\"#cloudflare-puo-aiutarmi-contro-i-bot\">Cloudflare pu\u00f2 aiutarmi contro i bot?<\/a><\/li><li><a href=\"#i-bot-possono-rallentare-il-sito-o-farlo-andare-in-errore\">I bot possono rallentare il sito o farlo andare in errore?<\/a><\/li><\/ul><\/li><\/ul><\/nav><\/div>\n\n\n\n<h2 id=\"perche-i-crawler-ai-ricevono-un-errore-403\" class=\"wp-block-heading\">Perch\u00e9 alcuni bot e crawler AI ricevono un errore 403?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Su tutti i server che gestiamo \u00e8 attivo un <strong>filtro preventivo sugli user agent<\/strong>. Blocca una serie di bot automatici, tra cui molti crawler AI, perch\u00e9 alcuni vengono usati per attivit\u00e0 malevole e altri scansionano i siti con cos\u00ec tante richieste da sovraccaricare il server.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il filtro risponde con la pagina 403 generica del server, prima che la richiesta arrivi al sito. Per questo non lo trovi nel tuo <code>.htaccess<\/code>, non dipende da WordPress o dai plugin e non lascia traccia nei log del firewall (ModSecurity). Nella sezione <strong>Errori<\/strong> (Errors) di cPanel puoi vedere righe come <code>AH01797: client denied by server configuration<\/code>: sono le richieste respinte da questo filtro.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il filtro riconosce i bot da una parola nel loro user agent. Per esempio la parola <code>openai<\/code> blocca anche <strong>OAI-SearchBot<\/strong> e <strong>ChatGPT-User<\/strong>, che la contengono nel loro nome, non solo il crawler di addestramento GPTBot.<\/p>\n\n\n\n<h3 id=\"quali-bot-sono-bloccati\" class=\"wp-block-heading\">Quali bot sono bloccati?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Il filtro blocca gli user agent che contengono una di queste parole:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><code>GPTBot<\/code><\/li>\n\n\n\n<li><code>MegaIndex<\/code><\/li>\n\n\n\n<li><code>spbot<\/code><\/li>\n\n\n\n<li><code>simplecrawler<\/code><\/li>\n\n\n\n<li><code>SLCC1<\/code><\/li>\n\n\n\n<li><code>MJ12bot<\/code><\/li>\n\n\n\n<li><code>AhrefsBot<\/code><\/li>\n\n\n\n<li><code>ia_archiver<\/code><\/li>\n\n\n\n<li><code>okhttp<\/code><\/li>\n\n\n\n<li><code>Baiduspider<\/code><\/li>\n\n\n\n<li><code>SemrushBot<\/code><\/li>\n\n\n\n<li><code>WPScan<\/code><\/li>\n\n\n\n<li><code>SMTBot<\/code><\/li>\n\n\n\n<li><code>AspiegelBot<\/code><\/li>\n\n\n\n<li><code>ManoManoBot<\/code><\/li>\n\n\n\n<li><code>PetalBot<\/code><\/li>\n\n\n\n<li><code>Bytespider<\/code><\/li>\n\n\n\n<li><code>Amazonbot<\/code><\/li>\n\n\n\n<li><code>openai<\/code><\/li>\n\n\n\n<li><code>Connectif<\/code><\/li>\n<\/ul>\n\n\n\n<h3 id=\"googlebot-e-gli-altri-motori-di-ricerca-vengono-bloccati\" class=\"wp-block-heading\">Googlebot e gli altri motori di ricerca vengono bloccati?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">No. I bot dei motori di ricerca come <strong>Google<\/strong> e <strong>Bing<\/strong> non vengono mai bloccati, quindi l&#8217;indicizzazione del sito non ne risente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Se in Google Search Console vedi errori 5xx (500, 503) durante la scansione, di solito non dipendono da un blocco ma dal sito che ha superato i limiti di risorse del piano in quel momento. <\/p>\n\n\n\n<h2 id=\"soluzioni-per-sbloccare-i-bot\" class=\"wp-block-heading\">Soluzioni per sbloccare i bot<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">In questa sezione vediamo come verificare se il bot o crawler viene bloccato e come fare a sbloccarlo, se invece vuoi bloccare dei bot, scorri in fondo all&#8217;articolo.<\/p>\n\n\n\n<h3 id=\"come-verifico-se-un-bot-e-bloccato\" class=\"wp-block-heading\">Come verifico se un bot \u00e8 bloccato?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Il modo pi\u00f9 semplice \u00e8 chiedere una pagina del sito presentandoti con lo user agent del bot. Da un terminale (Prompt dei comandi su Windows, Terminale su Mac) scrivi, sostituendo il tuo dominio:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>curl -I -A \"GPTBot\" https:\/\/tuodominio.it\/<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Se nella prima riga della risposta leggi <code>403<\/code>, quel bot \u00e8 bloccato. Con un browser normale la stessa pagina deve rispondere <code>200<\/code>.<\/p>\n\n\n\n<h3 id=\"come-sblocco-un-crawler-ai-sul-mio-sito\" class=\"wp-block-heading\">Come sblocco un crawler AI sul mio sito?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Se vuoi sbloccare dei bot o crawler specifici, puoi aggiungere una riga nel file <code>.htaccess<\/code> del sito, in questo modo dici al server di non considerare &#8220;cattivi&#8221; i bot che elenchi.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Accedi a cPanel e apri <strong>Gestione file<\/strong> (<a href=\"https:\/\/supporthost.com\/it\/tutorial\/file-manager\/\">File Manager<\/a>). <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Apri la cartella principale del sito: per il dominio principale \u00e8 <code>public_html<\/code>. Il file <code>.htaccess<\/code> \u00e8 nascosto: se non lo vedi, attiva la visualizzazione dei file nascosti dalle impostazioni del File Manager.<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li><\/li>\n<\/ol>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1778\" height=\"924\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2025\/09\/mostra-file-nascosti.png\" alt=\"Mostra File Nascosti\" class=\"wp-image-132283\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2025\/09\/mostra-file-nascosti.png 1778w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2025\/09\/mostra-file-nascosti-300x156.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2025\/09\/mostra-file-nascosti-1024x532.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2025\/09\/mostra-file-nascosti-768x399.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2025\/09\/mostra-file-nascosti-120x63.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2025\/09\/mostra-file-nascosti-1536x798.png 1536w\" sizes=\"auto, (max-width: 1778px) 100vw, 1778px\" \/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Fai una copia del file <code>.htaccess<\/code>, cos\u00ec puoi tornare indietro se qualcosa non va.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Modifica il file e aggiungi <strong>in cima<\/strong> la riga qui sotto, con i nomi dei bot che vuoi sbloccare separati da <code>|<\/code>.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>SetEnvIfNoCase User-Agent \"OAI-SearchBot|ChatGPT-User\" !bad_bot<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Salva e ripeti la prova con <code>curl<\/code>: il bot ora deve ricevere <code>200<\/code>.<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li><\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Altri esempi di bot che puoi mettere nell&#8217;elenco: <code>GPTBot<\/code>, <code>OAI-AdsBot<\/code>, <code>ClaudeBot<\/code>, <code>Claude-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Applebot<\/code>. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La riga vale solo per il sito di quel file <code>.htaccess<\/code>. Se hai pi\u00f9 siti, devi aggiungerla nel file <code>.htaccess<\/code> di ognuno.<\/p>\n\n\n\n<h3 id=\"il-file-robots-txt-basta-per-far-passare-i-crawler-ai\" class=\"wp-block-heading\">Il file robots.txt basta per far passare i crawler AI?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">No. Il <a href=\"https:\/\/supporthost.com\/it\/robots-txt\/\" data-type=\"post\" data-id=\"29366\">file <code>robots.txt<\/code><\/a> dice ai bot cosa possono scansionare, ma il filtro del server agisce prima: un bot bloccato riceve 403 anche se il <code>robots.txt<\/code> lo autorizza. Per farlo passare serve la riga nel <code>.htaccess<\/code> che abbiamo visto prima.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il <code>robots.txt<\/code> pu\u00f2 essere usato per indicare ai bot che lo rispettano le pagine del sito da non scansionare, per esempio le pagine con i filtri di ricerca o dei prodotti.<\/p>\n\n\n\n<h3 id=\"non-riesco-a-farlo-da-solo-come-vi-chiedo-lo-sblocco\" class=\"wp-block-heading\">Non riesco a farlo da solo: come vi chiedo lo sblocco?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Se non riesci a modificare il file .htaccess da solo, puoi aprire un ticket e richiederci lo sblocco.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Scrivici e indicaci:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>il <strong>dominio<\/strong> (o i domini) su cui vuoi far passare il bot;<\/li>\n\n\n\n<li>il <strong>nome del bot<\/strong> o lo user agent completo (per esempio <code>GPTBot<\/code> o <code>OAI-AdsBot<\/code>);<\/li>\n\n\n\n<li>se puoi, l&#8217;<strong>URL<\/strong> che risponde con errore e l&#8217;<strong>orario<\/strong> della prova.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Aggiungiamo noi l&#8217;eccezione, solo per il tuo dominio. <\/p>\n\n\n\n<h3 id=\"come-faccio-passare-unautomazione-o-un-api-bloccata-da-imunify-360\" class=\"wp-block-heading\">Come faccio passare un&#8217;automazione o un&#8217;API bloccata da Imunify360?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Imunify360<\/strong> ha un controllo anti-bot: prima di permettere l&#8217;accesso al sito chiede al visitatore una verifica automatica. Un browser normale la supera da solo, ma uno script, un&#8217;automazione, un&#8217;API chiamata da un altro servizio o un crawler possono restare bloccati. In genere compare una pagina &#8220;One moment, please&#8230;&#8221; e pu\u00f2 comparire anche il messaggio &#8220;Access denied by Imunify360 bot-protection&#8221;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il controllo lavora davanti al web server, quindi queste richieste non compaiono nei log. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Per consentire l&#8217;accesso in questi casi ci sono due soluzioni:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Se lo strumento usa un indirizzo IP fisso:<\/strong> mandacelo e lo aggiungiamo alla whitelist. \u00c8 la soluzione migliore, perch\u00e9 il resto del sito resta protetto.<\/li>\n\n\n\n<li><strong>Se l&#8217;IP cambia<\/strong> (per esempio servizi che escono da indirizzi Cloudflare o cloud condivisi): mettere in whitelist un IP alla volta non basta. Possiamo escludere il dominio dal controllo anti-bot, ma l&#8217;esclusione vale per <strong>tutto il sito<\/strong>, non solo per un percorso come <code>\/wp-json\/<\/code>. Scrivici indicando il dominio, l&#8217;URL chiamato, l&#8217;IP di uscita se lo conosci e l&#8217;orario di una richiesta bloccata.<\/li>\n<\/ul>\n\n\n\n<h2 id=\"soluzioni-per\" class=\"wp-block-heading\">Soluzioni per bloccare i bot<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Se ci sono bot che saturano le risorse del tuo piano, puoi seguire queste soluzioni per bloccarli.<\/p>\n\n\n\n<h3 id=\"come-blocco-altri-bot-che-mi-consumano-risorse\" class=\"wp-block-heading\">Come blocco altri bot che mi consumano risorse?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Se dai log vedi un bot che fa moltissime richieste (per esempio sui filtri di un e-commerce), puoi bloccarlo tu. Hai tre strumenti:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>robots.txt:<\/strong> chiedi ai bot che lo rispettano di non scansionare certe pagine, per esempio con <code>Disallow: \/*?*q=<\/code> per gli URL di ricerca. I bot malevoli per\u00f2 lo ignorano.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>.htaccess:<\/strong> blocchi un bot per user agent direttamente sul server, con una regola nel <code>.htaccess<\/code> del sito (esempio qui sotto, con il nome del bot al posto di <code>NomeDelBot<\/code>).<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>RewriteEngine On\nRewriteCond %{HTTP_USER_AGENT} NomeDelBot &#91;NC]\nRewriteRule .* - &#91;F,L]<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Indirizzo IP:<\/strong> se il bot arriva sempre dagli stessi IP, bloccali da cPanel seguendo il tutorial su <a href=\"https:\/\/supporthost.com\/it\/tutorial\/bloccare-indirizzo-ip\/\">come bloccare un indirizzo IP<\/a>.<\/p>\n\n\n\n<h3 id=\"cloudflare-puo-aiutarmi-contro-i-bot\" class=\"wp-block-heading\">Cloudflare pu\u00f2 aiutarmi contro i bot?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">S\u00ec. Per il traffico di bot che sembra legittimo (finti browser, scraping da reti cloud) la soluzione pi\u00f9 flessibile \u00e8 <strong>Cloudflare<\/strong>: puoi creare regole personalizzate, mettere una verifica (Managed Challenge) su certe pagine o paesi e bloccare reti intere, lasciando passare i bot verificati come Googlebot.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il firewall del server protegge da attacchi di altro tipo, ma non filtra il traffico che si presenta come normale.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Se preferisci, l&#8217;attivazione e la configurazione di Cloudflare possiamo farle noi: \u00e8 un servizio aggiuntivo che puoi scegliere quando ordini l&#8217;hosting oppure acquistare in un secondo momento dall&#8217;area clienti seguendo il tutorial sui <a href=\"https:\/\/supporthost.com\/it\/tutorial\/pacchetto-aggiuntivo\/\" data-type=\"tutorial\" data-id=\"11914\">pacchetti aggiuntivi<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sui piani condivisi e reseller non \u00e8 possibile bloccare il traffico che arriva direttamente all&#8217;IP del server aggirando Cloudflare: serve un VPS o un server dedicato.<\/p>\n\n\n\n<h3 id=\"i-bot-possono-rallentare-il-sito-o-farlo-andare-in-errore\" class=\"wp-block-heading\">I bot possono rallentare il sito o farlo andare in errore?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">S\u00ec. Un bot che fa migliaia di richieste pu\u00f2 esaurire le risorse del piano (CPU, memoria, processi PHP). Il sito allora diventa lento o risponde con errori come <strong>503<\/strong> o <strong>507<\/strong>, anche ai visitatori veri e a Googlebot.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Per capire se \u00e8 il tuo caso controlla in cPanel <strong>Utilizzo risorse<\/strong> (Resource Usage) se ci sono <a href=\"https:\/\/supporthost.com\/it\/tutorial\/superamento-limiti-risorse\/\" data-type=\"tutorial\" data-id=\"62078\">superamenti dei limiti<\/a>, e nelle statistiche del sito (AWStats) da dove arrivano le richieste. <\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"351\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2024\/05\/cpanel-resource-usage-1024x351.png\" alt=\"Cpanel Resource Usage\" class=\"wp-image-62079\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2024\/05\/cpanel-resource-usage-1024x351.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2024\/05\/cpanel-resource-usage-300x103.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2024\/05\/cpanel-resource-usage-768x264.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2024\/05\/cpanel-resource-usage-120x41.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2024\/05\/cpanel-resource-usage.png 1145w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n","protected":false},"author":1,"featured_media":151040,"template":"","tutorial-cat":[22],"class_list":["post-150324","tutorial","type-tutorial","status-publish","has-post-thumbnail","hentry","tutorial-cat-avanzate"],"acf":[],"_links":{"self":[{"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/tutorial\/150324","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/tutorial"}],"about":[{"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/types\/tutorial"}],"author":[{"embeddable":true,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":6,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/tutorial\/150324\/revisions"}],"predecessor-version":[{"id":151041,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/tutorial\/150324\/revisions\/151041"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/media\/151040"}],"wp:attachment":[{"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/media?parent=150324"}],"wp:term":[{"taxonomy":"tutorial-cat","embeddable":true,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/tutorial-cat?post=150324"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}