{"id":29366,"date":"2022-09-22T09:00:00","date_gmt":"2022-09-22T07:00:00","guid":{"rendered":"https:\/\/supporthost.com\/it\/?p=29366"},"modified":"2025-09-25T21:13:40","modified_gmt":"2025-09-25T19:13:40","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/supporthost.com\/it\/robots-txt\/","title":{"rendered":"File Robots.txt: tutto quello che devi sapere"},"content":{"rendered":"\n<p>Vuoi scoprire cos&#8217;\u00e8 il file robots.txt e se potrebbe essere utile averne uno sul sito?<\/p>\n\n\n\n<p>In questo articolo andremo a scoprire cos&#8217;\u00e8 esattamente questo file, in quali situazioni ci pu\u00f2 essere utile e come si fa a crearne uno. <\/p>\n\n\n\n<p>Vedremo esempi specifici da seguire e scopriremo come evitare gli errori pi\u00f9 comuni.<\/p>\n\n\n\n<p>Iniziamo!<\/p>\n\n\n\n<div class=\"wp-block-rank-math-toc-block\" id=\"rank-math-toc\"><h2>Indice<\/h2><nav><ul><li><a href=\"#cose-il-file-robots-txt\">Cos&#8217;\u00e8 il file robots.txt<\/a><ul><li><a href=\"#in-quali-casi-e-utile-usare-il-file-robots-txt\">In quali casi \u00e8 utile usare il file robots.txt?<\/a><ul><li><a href=\"#meglio-usare-il-file-robots-txt-o-il-tag-noindex\">Meglio usare il file robots.txt o il tag &#8220;noindex&#8221;?<\/a><\/li><\/ul><\/li><\/ul><\/li><li><a href=\"#file-robots-txt-struttura-e-sintassi-da-usare\">File robots.txt: struttura e sintassi da usare<\/a><ul><li><a href=\"#cose-un-user-agent\">Cos&#8217;\u00e8 un user-agent<\/a><\/li><li><a href=\"#cosa-sono-le-direttive\">Cosa sono le direttive<\/a><ul><li><a href=\"#disallow\">Disallow<\/a><ul><li><a href=\"#usare-la-direttiva-disallow-per-una-directory\">Usare la direttiva disallow per una directory<\/a><\/li><li><a href=\"#usare-la-direttiva-disallow-per-un-percorso\">Usare la direttiva disallow per un percorso<\/a><\/li><\/ul><\/li><li><a href=\"#allow\">Allow<\/a><\/li><li><a href=\"#sitemap\">Sitemap<\/a><\/li><\/ul><\/li><\/ul><\/li><li><a href=\"#regole-per-creare-un-file-robots-txt-corretto\">Regole per creare un file robots.txt corretto<\/a><ul><li><a href=\"#ogni-riga-deve-contenere-una-sola-direttiva\">Ogni riga deve contenere una sola direttiva<\/a><\/li><li><a href=\"#creare-i-gruppi-allinterno-del-file-robots-txt\">Creare i gruppi all&#8217;interno del file robots.txt<\/a><\/li><li><a href=\"#usare-i-caratteri-jolly\">Usare i caratteri jolly<\/a><\/li><li><a href=\"#precedenze-tra-le-regole\">Precedenze tra le regole<\/a><\/li><\/ul><\/li><li><a href=\"#come-creare-un-file-robots-txt\">Come creare un file robots.txt<\/a><ul><li><a href=\"#creare-un-file-robots-txt-manualmente\">Creare un file robots.txt manualmente<\/a><\/li><li><a href=\"#usare-un-generatore-di-file-robots-txt\">Usare un generatore di file robots.txt<\/a><\/li><li><a href=\"#creare-il-file-robots-con-yoast-seo\">Creare il file robots con Yoast SEO<\/a><\/li><li><a href=\"#creare-il-file-robots-txt-con-rank-math-seo\">Creare il file robots.txt con Rank Math SEO<\/a><\/li><\/ul><\/li><li><a href=\"#caricare-il-file-robots-txt\">Caricare il file robots.txt<\/a><\/li><li><a href=\"#come-testare-il-file-robots-txt\">Come testare il file robots.txt<\/a><ul><li><a href=\"#come-controllo-se-ho-commesso-errori\">Come controllo se ho commesso errori?<\/a><\/li><\/ul><\/li><li><a href=\"#domande-frequenti-sul-file-robots-txt\">Domande frequenti sul file robots.txt<\/a><ul><li><a href=\"#devo-inviare-il-file-robots-txt-a-google-dopo-averlo-creato\">Devo inviare il file robots.txt a Google dopo averlo creato?<\/a><\/li><li><a href=\"#dopo-aver-aggiornato-il-file-robots-txt-devo-fare-qualcosa\">Dopo aver aggiornato il file robots.txt, devo fare qualcosa?<\/a><\/li><li><a href=\"#e-necessario-avere-un-file-robots-txt-su-tutti-i-siti\">\u00c8 necessario avere un file robots.txt su tutti i siti?<\/a><\/li><li><a href=\"#il-file-robots-txt-puo-influire-sulla-seo\">Il file robots.txt pu\u00f2 influire sulla SEO?<\/a><\/li><li><a href=\"#posso-modificare-il-crawl-delay-frequenza-di-scansione\">Posso modificare il crawl-delay (frequenza di scansione)?<\/a><ul><li><a href=\"#modificare-la-frequenza-di-scansione-dei-crawler-di-google\">Modificare la frequenza di scansione dei crawler di Google<\/a><\/li><li><a href=\"#modificare-la-frequenza-di-scansione-dei-crawler-di-bing\">Modificare la frequenza di scansione dei crawler di Bing<\/a><\/li><\/ul><\/li><\/ul><\/li><li><a href=\"#conclusioni\">Conclusioni<\/a><\/li><\/ul><\/nav><\/div>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"538\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-1024x538.png\" alt=\"File Robots.Txt\" class=\"wp-image-29625\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-1024x538.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-300x158.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-768x403.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-120x63.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"cose-il-file-robots-txt\">Cos&#8217;\u00e8 il file robots.txt<\/h2>\n\n\n\n<p>Il file robots.txt, definito anche a volte semplicemente file robots, \u00e8 un file di testo con delle istruzioni indirizzate ai motori di ricerca. Le regole utilizzate per dare queste istruzioni e incluse nel file vengono chiamate &#8220;protocollo di esclusione robot&#8221;.<\/p>\n\n\n\n<p>Nello specifico queste istruzioni vengono lette dai <strong>crawler <\/strong>dei motori di ricerca, per esempio dai crawler di Google.<\/p>\n\n\n\n<p>Apriamo una breve parentesi sul funzionamento dei motori di ricerca per rendere il concetto comprensibile a chiunque. Se vuoi approfondire, leggi il nostro post sul <a href=\"https:\/\/supporthost.com\/it\/seo-significato\/\" data-type=\"post\" data-id=\"21310\">significato del termine SEO<\/a>.<\/p>\n\n\n\n<p>I crawler sono dei programmi che Google e altri motori di ricerca utilizzano per effettuare delle scansioni delle pagine dei siti web.<\/p>\n\n\n\n<p>I motori di ricerca hanno l&#8217;obiettivo di raccogliere e classificare le informazioni in modo da portare a termine la loro funzione: fornire risultati pertinenti alle ricerche degli utenti.<\/p>\n\n\n\n<p>Il processo che porta a questo risultato si articola in tre fasi:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>scansione<\/strong> (crawling): \u00e8 la fase in cui le pagine vengono individuate;<\/li>\n\n\n\n<li><strong>indicizzazione <\/strong>(indexing): in questa fase il contenuto delle pagine viene &#8220;letto&#8221; e la pagina viene inserita nell&#8217;indice. In questa <a href=\"https:\/\/supporthost.com\/it\/indicizzazione-sito-wordpress\/\">guida dedicata all&#8217;indicizzazione<\/a> puoi leggere in profondit\u00e0 il meccanismo di questa fase;<\/li>\n\n\n\n<li><strong>posizionamento <\/strong>(ranking): i risultati vengono mostrati in ordine di pertinenza, il risultato di ricerca pi\u00f9 valido verr\u00e0 mostrato in prima posizione e via dicendo.<\/li>\n<\/ul>\n\n\n\n<p class=\"note\">Nota che ci riferiamo per semplicit\u00e0 alle pagine, ma lo stesso processo avviene anche per immagini e per tutti gli altri tipi di contenuti.<\/p>\n\n\n\n<p>\u00c8 importante sapere che i crawler vengono indicati anche con altri termini:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>robot<\/li>\n\n\n\n<li>spider<\/li>\n\n\n\n<li>user agent.<\/li>\n<\/ul>\n\n\n\n<p>Se vuoi sapere di pi\u00f9 su questo argomento, sappi che abbiamo scritto un <a href=\"https:\/\/supporthost.com\/it\/crawler\/\">articolo dedicato ai crawler e al loro funzionamento<\/a>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"in-quali-casi-e-utile-usare-il-file-robots-txt\">In quali casi \u00e8 utile usare il file robots.txt?<\/h3>\n\n\n\n<p>Il file robots.txt \u00e8 usato per dare delle istruzioni ai crawler. Il caso pi\u00f9 comune \u00e8 quello in cui si indica al crawler di non effettuare la scansione di una o pi\u00f9 pagine.<\/p>\n\n\n\n<p>Uno dei motivi \u00e8 quello di far s\u00ec che il crawler salti la scansione di pagine irrilevanti e scansioni, invece, solo quelle importanti.<\/p>\n\n\n\n<p>Nel sito pu\u00f2 capitare anche di avere pagine che non devono essere accessibili a tutti. Pensa per esempio a pagine destinate solo agli utenti registrati o anche risorse all&#8217;interno del sito che non vuoi che vengano sottoposte a scansione.<\/p>\n\n\n\n<p>Un&#8217;altra ragione valida per sfruttare il file robots.txt riguarda il <strong>crawl budget<\/strong> o <em>budget di scansione<\/em>.<\/p>\n\n\n\n<p>Considerando l&#8217;enorme quantit\u00e0 di siti web e contenuti, i crawler non possono sottoporre a scansione tutto. Per questo motivo pu\u00f2 essere utile limitare la scansione di pagine irrilevanti, contenuti duplicati e cos\u00ec via per evitare che il pool di risorse destinato al nostro sito venga sprecato.<\/p>\n\n\n\n<p>Ora che abbiamo visto a che scopo viene usato il file robots.txt, c&#8217;\u00e8 una considerazione importante da fare sul suo utilizzo.<\/p>\n\n\n\n<p>Bloccando la scansione di una pagina attraverso il file robots.txt <strong>non impediamo che la pagina venga mostrata nei risultati di ricerca<\/strong>. In questi casi, infatti, la pagina si potr\u00e0 posizionare, l&#8217;unica differenza \u00e8 che non verr\u00e0 mostrata nessuna descrizione per quella pagina, come in questo esempio:<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"867\" height=\"197\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/nessuna-informazione-disponibile-ricerca-google.png\" alt=\"Nessuna Informazione Disponibile Ricerca Google\" class=\"wp-image-29616\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/nessuna-informazione-disponibile-ricerca-google.png 867w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/nessuna-informazione-disponibile-ricerca-google-300x68.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/nessuna-informazione-disponibile-ricerca-google-768x175.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/nessuna-informazione-disponibile-ricerca-google-120x27.png 120w\" sizes=\"auto, (max-width: 867px) 100vw, 867px\" \/><\/figure>\n\n\n\n<p>Se il tuo scopo \u00e8 quello di evitare che una pagina web venga mostrata nei risultati di ricerca puoi <a href=\"https:\/\/supporthost.com\/it\/tag-noindex\/\">usare il tag <em>noindex<\/em><\/a>.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"meglio-usare-il-file-robots-txt-o-il-tag-noindex\">Meglio usare il file robots.txt o il tag &#8220;noindex&#8221;?<\/h4>\n\n\n\n<p>Come forse avrai gi\u00e0 capito il file robots.txt e il tag noindex hanno due utilizzi diversi.<\/p>\n\n\n\n<p>Se non vuoi che una pagina venga mostrata nei risultati di ricerca, dovrai usare il tag <em>noindex<\/em> nella sezione &#8220;head&#8221; della pagina, in questo modo:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>&lt;meta name=\"robots\" content=\"noindex\"&gt;<\/code><\/pre>\n\n\n\n<p>Il tag <em>noindex <\/em>serve proprio a comunicare a Google e altri motori di ricerca che quella pagina non deve essere &#8220;letta&#8221; e non deve essere mostrata nei risultati di ricerca.<\/p>\n\n\n\n<p>Tieni sempre presente che questo non protegge completamente la pagina. Se non vuoi che nessuno abbia accesso a una risorsa specifica, il sistema pi\u00f9 efficace \u00e8 impostare una <a href=\"https:\/\/supporthost.com\/it\/tutorial\/htaccess-password\/\">password tramite htaccess<\/a>.<\/p>\n\n\n\n<p class=\"note\">Nel caso in cui utilizzi il tag noindex nella pagina, devi assicurarti che quella stessa pagina non sia bloccata dal file robots.txt.<\/p>\n\n\n\n<p>Infatti, se la pagina viene bloccata dal file robots.txt, il crawler non sar\u00e0 in grado di leggere il tag<em> noindex<\/em>. Il risultato sar\u00e0 che la pagina che non volevi venisse mostrata nelle ricerche, potr\u00e0 invece continuare ad apparire!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"file-robots-txt-struttura-e-sintassi-da-usare\">File robots.txt: struttura e sintassi da usare<\/h2>\n\n\n\n<p>Un file robots.txt \u00e8 un file con una struttura come questa:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/directory2\/\nAllow: \/directory2\/file.pdf\nSitemap: https:\/\/nomesito.com\/sitemap.xml<\/code><\/pre>\n\n\n\n<p>Esempio di un file robots.txt di un sito WordPress:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/\nDisallow: \/wp-includes\/\nDisallow: \/wp-contents\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\n\n\n\n<p>Nella prima riga del file viene specificato l&#8217;user agent, vale a dire il crawler a cui sono indirizzate le istruzioni.<\/p>\n\n\n\n<p>Le righe successive, <em>disallow,<\/em> <em>allow<\/em> e <em>sitemap<\/em>, sono chiamate direttive o istruzioni.<\/p>\n\n\n\n<p>Se sono presenti, le righe che iniziano con &#8220;#&#8221; sono utilizzate per inserire dei commenti, come in questo esempio:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code># Blocca l'accesso a Bing\nUser-agent: Bingbot\nDisallow: \/<\/code><\/pre>\n\n\n\n<p>Vediamo cosa c&#8217;\u00e8 da sapere su user agent e direttive.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"cose-un-user-agent\">Cos&#8217;\u00e8 un user-agent<\/h3>\n\n\n\n<p>Come abbiamo anticipato prima, l&#8217;<strong>user agent<\/strong> \u00e8 il robot (o crawler) che scansiona il sito.<\/p>\n\n\n\n<p>Con il file robots.txt possiamo, infatti, scegliere di impartire delle istruzioni specifiche per ogni singolo crawler.<\/p>\n\n\n\n<p class=\"note\">Tieni presente che nel file robots dovrai sempre inserire l&#8217;istruzione &#8220;user-agent:&#8221;.<\/p>\n\n\n\n<p>Ogni motore di ricerca utilizza diversi crawler, uno dei pi\u00f9 usati tra i robot di Google \u00e8 Googlebot.<\/p>\n\n\n\n<p>Nel file robots.txt possiamo indicare il crawler che vogliamo in questo modo:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: Googlebot<\/code><\/pre>\n\n\n\n<p>In questo caso le direttive che seguiranno saranno indirizzate solo a Googlebot, vale a dire uno dei crawler del colosso di Mountain View. Google ha diversi crawler:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Googlebot-Image per Google Immagini<\/li>\n\n\n\n<li>Googlebot-News per Google News<\/li>\n\n\n\n<li>e cos\u00ec via.<\/li>\n<\/ul>\n\n\n\n<p>Puoi consultare la lista di <a href=\"https:\/\/developers.google.com\/search\/docs\/advanced\/crawling\/overview-google-crawlers?hl=it\" rel=\"noopener\">tutti i crawler di Google<\/a>.<\/p>\n\n\n\n<p>Altri user agent comuni sono elencati nella tabella qui di seguito.<\/p>\n\n\n\n<figure class=\"wp-block-table\"><table data-mtr-unique-id=\"76e0e1edcd750b04f6b3f15d21c135a9-1\" class=\"mtr-table mtr-thead-th\"><thead><tr><th data-mtr-content=\"Motore di ricerca\" class=\"mtr-th-tag\"><div class=\"mtr-cell-content\">Motore di ricerca<\/div><\/th><th data-mtr-content=\"User-agent\" class=\"mtr-th-tag\"><div class=\"mtr-cell-content\">User-agent<\/div><\/th><\/tr><\/thead><tbody><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Google<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Googlebot<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Google Immagini<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Googlebot-Image<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Google News<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Googlebot-News<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Bing<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Bingbot<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Yahoo<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Slurp<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Baidu<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Baiduspider<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Baidu Immagini<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Baiduspider-image<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Baidu News<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Baiduspider-news<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Yandex<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">YandexBot<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">DuckDuckGo<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">DuckDuckBot<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">Ask<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">teoma<\/div><\/td><\/tr><tr><td data-mtr-content=\"Motore di ricerca\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">AOL<\/div><\/td><td data-mtr-content=\"User-agent\" class=\"mtr-td-tag\"><div class=\"mtr-cell-content\">aolbuild<\/div><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<p>Nel nostro file robots, possiamo anche utilizzare il carattere jolly &#8220;*&#8221; per indicare che le istruzioni sono per tutti i crawler, cos\u00ec:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/<\/code><\/pre>\n\n\n\n<p>In questo esempio qui sopra l&#8217;istruzione \u00e8 rivolta a tutti i crawler (User-agent: *), e con la direttiva &#8220;<em>Disallow: \/<\/em>&#8221; stiamo indicando di non sottoporre a scansione l&#8217;intero sito.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"cosa-sono-le-direttive\">Cosa sono le direttive<\/h3>\n\n\n\n<p>Abbiamo visto che la riga che riporta l&#8217;user agent \u00e8 sempre seguita da delle direttive. Ne esistono di tre tipi:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>disallow<\/li>\n\n\n\n<li>allow<\/li>\n\n\n\n<li>sitemap.<\/li>\n<\/ul>\n\n\n\n<p>Tieni presente che c&#8217;\u00e8 anche la direttiva <em>crawl-delay<\/em>. Visto che si tratta di un&#8217;istruzione non standard, non la inseriremo in questa parte della guida. <\/p>\n\n\n\n<p>Controlla nelle domande frequenti in fondo all&#8217;articolo per vedere come impostare la <strong>frequenza della scansione<\/strong> tramite la Google Search Console e i Webmaster Tool di Bing.<\/p>\n\n\n\n<p>Lo stesso vale per altre istruzioni che non rientrano nella documentazione di Google tra cui:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>nofollow<\/li>\n\n\n\n<li>noindex.<\/li>\n<\/ul>\n\n\n\n<p>In particolare queste due direttive non sono pi\u00f9 supportate da settembre 2019 come si apprende in <a href=\"https:\/\/developers.google.com\/search\/blog\/2019\/07\/a-note-on-unsupported-rules-in-robotstxt\" rel=\"noopener\">questa nota di Google<\/a>.<\/p>\n\n\n\n<p>Passiamo ora a vedere alcuni esempi di file robots.txt che ci aiutano a capire come funzionano le direttive.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"disallow\">Disallow<\/h4>\n\n\n\n<p>La direttiva disallow viene usata per indicare al crawler di <strong>non<\/strong> effettuare la scansione. Pu\u00f2 essere seguita da un percorso che corrisponde ad una pagina o una directory.<\/p>\n\n\n\n<p>Un&#8217;alternativa \u00e8 l&#8217;esempio che abbiamo visto prima, in cui la direttiva disallow ci permette di bloccare la scansione dell&#8217;intero sito, cos\u00ec:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/<\/code><\/pre>\n\n\n\n<p class=\"note\">Tieni presente che la direttiva \u00e8 case sensitive, vale a dire che distingue tra maiuscole e minuscole. Se, per esempio, scrivi &#8220;discount&#8221; non verranno esclusi i percorsi che iniziano per &#8220;Discount&#8221; e viceversa.<\/p>\n\n\n\n<p>Per capire come funziona, vediamo alcune applicazioni specifiche.<\/p>\n\n\n\n<h5 class=\"wp-block-heading\" id=\"usare-la-direttiva-disallow-per-una-directory\">Usare la direttiva disallow per una directory<\/h5>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n\n\n\n<p>In questo caso stiamo indicando a tutti i crawler di non effettuare la scansione della directory &#8220;wp-admin&#8221;.<\/p>\n\n\n\n<p>Per far s\u00ec che tutta la directory non venga sottoposta a scansione dobbiamo assicurarci di inserire &#8220;\/&#8221; prima e dopo del nome della directory.<\/p>\n\n\n\n<p>Questa istruzione include quindi tutti gli elementi all&#8217;interno della directory.<\/p>\n\n\n\n<h5 class=\"wp-block-heading\" id=\"usare-la-direttiva-disallow-per-un-percorso\">Usare la direttiva disallow per un percorso<\/h5>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/discount<\/code><\/pre>\n\n\n\n<p>In questo caso tutti i percorsi che iniziano con &#8220;\/discount&#8221; verranno esclusi dalla scansione. Ecco alcuni esempi:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\/discount2022<\/li>\n\n\n\n<li><em>\/<\/em>discount<em>\/<\/em>christmas.pdf<\/li>\n\n\n\n<li>\/discount.html<\/li>\n<\/ul>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"allow\">Allow<\/h4>\n\n\n\n<p>La direttiva allow serve a specificare directory e pagine a cui il crawler <strong>pu\u00f2 accedere<\/strong>.<\/p>\n\n\n\n<p>Visto che di norma tutto il sito pu\u00f2 essere scansionato, la direttiva allow ci permette di creare delle <strong>eccezioni <\/strong>in percorsi che abbiamo escluso con l&#8217;istruzione disallow.<\/p>\n\n\n\n<p>Vediamo come funziona con un esempio di file robots.txt.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\n\n\n\n<p>In questo caso stiamo bloccando l&#8217;accesso alla directory &#8220;wp-admin&#8221;, ma stiamo consentendo l&#8217;accesso al file &#8220;admin-ajax.php&#8221;.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"sitemap\">Sitemap<\/h4>\n\n\n\n<p>Possiamo usare il file robots.txt anche per comunicare ai crawler la posizione della <a href=\"https:\/\/supporthost.com\/it\/sitemap\/\">sitemap<\/a> del sito.<\/p>\n\n\n\n<p>In questo caso ci basta inserire l&#8217;istruzione in questo modo:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>Sitemap: https:\/\/nomesito.com\/sitemap.xml<\/code><\/pre>\n\n\n\n<p>Andiamo a sostituire l&#8217;indirizzo con l&#8217;URL completo della sitemap. Assicurati che l&#8217;URL sia corretto (www o non www, http o https).<\/p>\n\n\n\n<p>Tieni presente che la sitemap \u00e8 opzionale, puoi creare un file robots anche senza inserire il percorso della sitemap del sito. <\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"regole-per-creare-un-file-robots-txt-corretto\">Regole per creare un file robots.txt corretto<\/h2>\n\n\n\n<p>Quando andiamo a creare o modificare il file robots.txt dobbiamo assicurarci di scrivere tutte le istruzioni correttamente. Questo serve a evitare che le istruzioni non vengano lette o che le diverse direttive (allow e disallow) <strong>entrino in conflitto<\/strong>.<\/p>\n\n\n\n<p class=\"note\">Ricorda sempre che pagine e directory non bloccate attraverso un&#8217;istruzione<em> disallow <\/em>possono essere sempre sottoposte a scansione.<\/p>\n\n\n\n<p>Vediamo a cosa bisogna fare attenzione.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"ogni-riga-deve-contenere-una-sola-direttiva\">Ogni riga deve contenere una sola direttiva<\/h3>\n\n\n\n<p>La sintassi corretta di un file robots.txt sar\u00e0 quindi questa:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent:*\nDisallow: \/ <\/code><\/pre>\n\n\n\n<p>Un esempio di struttura errata sarebbe mettere su una sola riga pi\u00f9 direttive, per esempio cos\u00ec:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent:* Disallow: \/ <\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"creare-i-gruppi-allinterno-del-file-robots-txt\">Creare i gruppi all&#8217;interno del file robots.txt<\/h3>\n\n\n\n<p>Le direttive possono essere raggruppate all&#8217;interno del file robots.txt. Un gruppo sar\u00e0 composto da questi elementi:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>la prima riga contiene &#8220;User-agent&#8221; e specifica il crawler a cui \u00e8 rivolta;<\/li>\n\n\n\n<li>le righe successive contengono una o pi\u00f9 direttive (disallow\/allow).<\/li>\n<\/ul>\n\n\n\n<p>I gruppi ci permettono di impartire istruzioni diverse a crawler diversi.<\/p>\n\n\n\n<p>Vediamo con un esempio:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent:*\nDisallow: \/discount\n\nUser-agent: Googlebot\nDisallow:\/promo<\/code><\/pre>\n\n\n\n<p>La prima parte delle istruzioni impedisce a tutti gli user agent di sottoporre a scansione i percorsi che iniziano per &#8220;\/discount&#8221;. La seconda parte, invece, impedisce solo a Googlebot di effettuare la scansione dei percorsi che iniziano con &#8220;\/promo&#8221;.<\/p>\n\n\n\n<p class=\"note\">Ricorda sempre di fare attenzione a maiuscole e minuscole quando inserisci i percorsi. <\/p>\n\n\n\n<p>Ecco un esempio dalla documentazione di Google che ci spiega nella pratica questa regola:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"637\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/maiuscole-e-minuscole-file-robots-1024x637.png\" alt=\"Maiuscole E Minuscole File Robots\" class=\"wp-image-29617\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/maiuscole-e-minuscole-file-robots-1024x637.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/maiuscole-e-minuscole-file-robots-300x187.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/maiuscole-e-minuscole-file-robots-768x478.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/maiuscole-e-minuscole-file-robots-101x63.png 101w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/maiuscole-e-minuscole-file-robots.png 1106w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"usare-i-caratteri-jolly\">Usare i caratteri jolly<\/h3>\n\n\n\n<p>Quando impartiamo le direttive pu\u00f2 essere utile sfruttare i caratteri jolly: &#8220;*&#8221; e &#8220;$&#8221;. Questi caratteri possono essere utilizzati per escludere dalla scansione alcuni gruppi specifici di URL.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Il carattere jolly &#8220;*&#8221; ci serve a sostituire un numero variabile di caratteri (0 o pi\u00f9 caratteri);<\/li>\n\n\n\n<li>il simbolo &#8220;$&#8221; serve a indicare la fine dell&#8217;URL.<\/li>\n<\/ul>\n\n\n\n<p>Vediamo come fare con degli esempi.<\/p>\n\n\n\n<p>Ipotizziamo di avere una serie di URL all&#8217;interno di un percorso e di volerli escludere dalla scansione. Gli URL che vogliamo escludere contengono la parola &#8220;libro&#8221;.<\/p>\n\n\n\n<p>In questo caso possiamo usare questa istruzione:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/books\/*libro<\/code><\/pre>\n\n\n\n<p>Alcuni esempi di URL che verranno bloccati con questa direttiva sono i seguenti:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>https:\/\/nomedelsito.com\/books\/libro\/<\/li>\n\n\n\n<li>https:\/\/nomedelsito.com\/books\/libro-1\/<\/li>\n\n\n\n<li>https:\/\/nomedelsito.com\/books\/questolibro-1\/<\/li>\n<\/ul>\n\n\n\n<p>Mentre URL come questi qui di seguito non saranno bloccati:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>https:\/\/nomedelsito.com\/libro-2\/<\/li>\n\n\n\n<li>https:\/\/nomedelsito.com\/categoriagenerica\/libro-2\/<\/li>\n<\/ul>\n\n\n\n<p>Per bloccare tutte le risorse che contengono la parola &#8220;libro&#8221;, invece, possiamo fare cos\u00ec:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/*libro<\/code><\/pre>\n\n\n\n<p>Con questo stesso metodo possiamo escludere dalla scansione gli URL che contengono un singolo carattere, per esempio un &#8220;?&#8221;. Un caso in cui istruzioni come questa possono essere utili \u00e8 quello di escludere dalla scansione gli URL con un determinato <strong>parametro<\/strong>.<\/p>\n\n\n\n<p>Ci basta fare come in questo esempio:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/*?<\/code><\/pre>\n\n\n\n<p>Se, invece, volessimo escludere solo gli URL che terminano per &#8220;?&#8221; dovremo usare questa direttiva:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/*?$<\/code><\/pre>\n\n\n\n<p>Possiamo anche impedire la scansione di uno specifico tipo di file, in questo modo:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/books\/*.jpg$<\/code><\/pre>\n\n\n\n<p>In questo caso stiamo escludendo tutti gli URL che terminano con l&#8217;estensione &#8220;.jpg&#8221; presenti a quel percorso.<\/p>\n\n\n\n<p>Altre volte potremmo voler impedire la scansione delle pagine di un sito WordPress che utilizzano parametri di ricerca. Potremmo quindi usare una regola come questa:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: *?s=*<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"precedenze-tra-le-regole\">Precedenze tra le regole<\/h3>\n\n\n\n<p>Quando inseriamo una serie di direttive dobbiamo tenere presente che si possono generare dei <strong>conflitti <\/strong>tra una regola <em>allow<\/em> e una <em>disallow<\/em>.<\/p>\n\n\n\n<p>Nel caso di due direttive che si contraddicono quale delle due verr\u00e0 seguita?<\/p>\n\n\n\n<p>La risposta dipende di caso in caso.<\/p>\n\n\n\n<p>La regola generale nel caso di Google \u00e8 questa: viene seguita la direttiva pi\u00f9 specifica o quella meno restrittiva.<\/p>\n\n\n\n<p>Per quanto riguarda Googlebot e i crawler di Google, possiamo fare riferimento agli <a href=\"https:\/\/developers.google.com\/search\/docs\/advanced\/robots\/robots_txt#order-of-precedence-for-group-member-records\" rel=\"noopener\">esempi specifici riportati qui<\/a>.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"765\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/precedenza-regole-file-robots-google-1024x765.png\" alt=\"Precedenza Regole File Robots Google\" class=\"wp-image-29577\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/precedenza-regole-file-robots-google-1024x765.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/precedenza-regole-file-robots-google-300x224.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/precedenza-regole-file-robots-google-768x574.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/precedenza-regole-file-robots-google-84x63.png 84w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/precedenza-regole-file-robots-google.png 1138w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p class=\"note\">Leggi anche <a href=\"https:\/\/supporthost.com\/it\/web-scraping\/\" data-type=\"post\" data-id=\"45122\">cos&#8217;\u00e8 il web scraping<\/a> e come limitarlo con le direttive del file robots.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"come-creare-un-file-robots-txt\">Come creare un file robots.txt<\/h2>\n\n\n\n<p>Ora che abbiamo visto quali sono le regole da utilizzare per impartire le istruzioni nel file robots.txt, vediamo come fare a crearne uno.<\/p>\n\n\n\n<p>Ci sono diversi sistemi:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>creare un file di testo manualmente;<\/li>\n\n\n\n<li>usare un generatore;<\/li>\n\n\n\n<li>usare Rank Math;<\/li>\n\n\n\n<li>usare Yoast SEO.<\/li>\n<\/ul>\n\n\n\n<p class=\"note\">In pratica con i primi due metodi dovremo creare il file e caricarlo sul sito. Utilizzando un <a href=\"https:\/\/supporthost.com\/it\/plugin-wordpress\/\" data-type=\"post\" data-id=\"16110\">plugin WordPress<\/a> come per esempio Yoast o Rank Math il file verr\u00e0 generato in automatico dal plugin.<\/p>\n\n\n\n<p>Vediamo passo passo come procedere.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"creare-un-file-robots-txt-manualmente\">Creare un file robots.txt manualmente<\/h3>\n\n\n\n<p>La creazione di un file robots \u00e8 molto semplice. Ci basta creare file di testo con estensione <em>.txt<\/em> e inserire al suo interno le istruzioni per i crawler.<\/p>\n\n\n\n<p>Puoi utilizzare un editor di testo come Blocco note (per Windows) o TextEdit (per Mac).<\/p>\n\n\n\n<p>Non dimenticare che:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>il file deve avere questo nome esatto &#8220;robots.txt&#8221;;<\/li>\n\n\n\n<li>il file di testo deve avere la codifica UTF-8;<\/li>\n\n\n\n<li>devi creare un solo file per ogni sito.<\/li>\n<\/ul>\n\n\n\n<p>Il nostro file robots.txt ad esempio potrebbe essere questo:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n\n\n\n<p>In questo caso stiamo impedendo l&#8217;accesso alla cartella &#8220;wp-admin&#8221;.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"308\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/creare-file-robots-txt-con-blocco-note-windows-1024x308.png\" alt=\"Creare File Robots Txt Con Blocco Note Windows\" class=\"wp-image-29618\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/creare-file-robots-txt-con-blocco-note-windows-1024x308.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/creare-file-robots-txt-con-blocco-note-windows-300x90.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/creare-file-robots-txt-con-blocco-note-windows-768x231.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/creare-file-robots-txt-con-blocco-note-windows-120x36.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/creare-file-robots-txt-con-blocco-note-windows.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Dopo aver creato il file dovremo caricarlo sul server.<\/p>\n\n\n\n<p>Prima di vedere come fare, per\u00f2, vediamo quale altra alternativa abbiamo per semplificare ulteriormente la creazione del file.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"usare-un-generatore-di-file-robots-txt\">Usare un generatore di file robots.txt<\/h3>\n\n\n\n<p>Se vuoi la vita facile, puoi anche creare il tuo file robots direttamente con un generatore, come ad esempio <a href=\"https:\/\/www.seoptimer.com\/robots-txt-generator\" rel=\"noopener\">questo<\/a>.<\/p>\n\n\n\n<p>Generatori come questo ti permettono di fare esattamente la stessa cosa, ma scegliendo le istruzioni in maniera semplificata.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"592\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/generatore-file-robots-txt-esempio-1024x592.png\" alt=\"Generatore File Robots Txt Esempio\" class=\"wp-image-29578\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/generatore-file-robots-txt-esempio-1024x592.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/generatore-file-robots-txt-esempio-300x174.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/generatore-file-robots-txt-esempio-768x444.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/generatore-file-robots-txt-esempio-109x63.png 109w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/generatore-file-robots-txt-esempio.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Il vantaggio \u00e8 che in questo modo eviti di fare errori mentre scrivi il file.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"creare-il-file-robots-con-yoast-seo\">Creare il file robots con Yoast SEO<\/h3>\n\n\n\n<p>Se hai un sito WordPress e utilizzi un <a href=\"https:\/\/supporthost.com\/it\/wordpress-seo-plugin\/\" data-type=\"post\" data-id=\"57604\">plugin per la SEO<\/a> come<strong> <\/strong><a href=\"https:\/\/supporthost.com\/it\/yoast-seo\/\" data-type=\"post\" data-id=\"50403\">Yoast SEO<\/a>, puoi usare questo stesso strumento per modificare il file robots.txt del sito.<\/p>\n\n\n\n<p>Per prima cosa puoi verificare se il file robots \u00e8 presente aggiungendo all&#8217;URL del tuo dominio &#8220;\/robots.txt&#8221;.<\/p>\n\n\n\n<p>Dopodich\u00e9 con Yoast SEO possiamo creare o modificare il file robots.txt del sito in maniera molto semplice.<\/p>\n\n\n\n<p>Clicchiamo su Yoast SEO &gt; Strumenti e quindi facciamo click sul link <em>Modifica file<\/em>.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"428\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-strumenti-modifica-file-1024x428.png\" alt=\"Yoast Seo Strumenti Modifica File\" class=\"wp-image-29579\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-strumenti-modifica-file-1024x428.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-strumenti-modifica-file-300x126.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-strumenti-modifica-file-768x321.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-strumenti-modifica-file-120x50.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-strumenti-modifica-file.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Nella sezione <em>robots.txt<\/em> vedremo un avviso che ci permette di creare un file robots.txt se ancora non ne esiste uno per il nostro sito web.<\/p>\n\n\n\n<figure class=\"wp-block-image aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"621\" height=\"338\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-crea-file-robots.png\" alt=\"Yoast Seo Crea File Robots\" class=\"wp-image-29580\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-crea-file-robots.png 621w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-crea-file-robots-300x163.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-crea-file-robots-116x63.png 116w\" sizes=\"auto, (max-width: 621px) 100vw, 621px\" \/><\/figure>\n\n\n\n<p>Potremo visualizzare il contenuto del file che viene popolato di default con queste direttive:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"561\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-modifica-file-robots-txt-1024x561.png\" alt=\"Yoast Seo Modifica File Robots Txt\" class=\"wp-image-29581\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-modifica-file-robots-txt-1024x561.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-modifica-file-robots-txt-300x164.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-modifica-file-robots-txt-768x420.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-modifica-file-robots-txt-115x63.png 115w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/yoast-seo-modifica-file-robots-txt.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Quindi potremo effettuare le modifiche e aggiungere nuove direttive e cliccare sul pulsante <em>Salva le modifiche al robots.txt<\/em> per salvare.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"creare-il-file-robots-txt-con-rank-math-seo\">Creare il file robots.txt con Rank Math SEO<\/h3>\n\n\n\n<p>Ci sono diversi plugin che ci permettono di creare con semplicit\u00e0 il file robots.txt, uno di questi \u00e8 <strong><a href=\"https:\/\/supporthost.com\/it\/rank-math\/\" data-type=\"post\" data-id=\"50441\">Rank Math SEO<\/a><\/strong>.<\/p>\n\n\n\n<p>Clicchiamo su <em>Rank Math<\/em> dal menu laterale di WordPress e poi su <em>Impostazioni generali<\/em>. Da qui ci basta cliccare sulla voce <em>Modifica robots.txt<\/em> per visualizzare il contenuto del file robots.txt e modificarlo.<\/p>\n\n\n\n<p>Tieni presente che il file non pu\u00f2 essere modificato se risulta essere gi\u00e0 presente nella root del sito, per esempio nel caso in cui \u00e8 stato creato con uno degli altri metodi.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"504\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/rank-math-impostazioni-modifica-file-robots-1024x504.png\" alt=\"Rank Math Impostazioni Modifica File Robots\" class=\"wp-image-29582\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/rank-math-impostazioni-modifica-file-robots-1024x504.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/rank-math-impostazioni-modifica-file-robots-300x148.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/rank-math-impostazioni-modifica-file-robots-768x378.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/rank-math-impostazioni-modifica-file-robots-120x59.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/rank-math-impostazioni-modifica-file-robots.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p class=\"note\">Il plugin Rank Math, infatti, non crea n\u00e9 modifica il file robots.txt presente sulla root, ma crea un file robots virtuale.<\/p>\n\n\n\n<p>Se il file non \u00e8 stato ancora creato, ci basta aggiungere le direttive come in questo esempio e poi salvare le modifiche.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"611\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modifica-file-robots-txt-rank-math-1024x611.png\" alt=\"Modifica File Robots Txt Rank Math\" class=\"wp-image-29583\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modifica-file-robots-txt-rank-math-1024x611.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modifica-file-robots-txt-rank-math-300x179.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modifica-file-robots-txt-rank-math-768x458.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modifica-file-robots-txt-rank-math-106x63.png 106w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modifica-file-robots-txt-rank-math.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"caricare-il-file-robots-txt\">Caricare il file robots.txt<\/h2>\n\n\n\n<p>A meno che tu non abbia utilizzato un plugin, dopo aver creato il file robots.txt devi caricarlo sul server.<\/p>\n\n\n\n<p class=\"note\">Ricorda che puoi anche creare il file di testo direttamente sul server per esempio tramite il <a href=\"https:\/\/supporthost.com\/it\/tutorial\/file-manager\/\">file manager<\/a> di cPanel.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"111\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-file-manager-cpanel-1024x111.png\" alt=\"File Robots Txt File Manager Cpanel\" class=\"wp-image-29584\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-file-manager-cpanel-1024x111.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-file-manager-cpanel-300x33.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-file-manager-cpanel-768x83.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-file-manager-cpanel-120x13.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/file-robots-txt-file-manager-cpanel.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Se, invece, hai creato il file con un generatore o con un editor di testo sul tuo pc, dovrai caricarlo nella root. Per caricare un file sul server hai diverse alternative, per esempio:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>usare il file manager di cPanel o di un altro pannello hosting;<\/li>\n\n\n\n<li>usare un client FTP come <a href=\"https:\/\/supporthost.com\/it\/filezilla\/\">FileZilla<\/a> o <a href=\"https:\/\/supporthost.com\/it\/cyberduck\/\">Cyberduck<\/a>.<\/li>\n<\/ul>\n\n\n\n<p>Dovrai caricare il file robots.txt nella root del tuo sito web. Cos\u00ec facendo i crawler potranno trovare il file e leggere le istruzioni.<\/p>\n\n\n\n<p>Se il sito per cui vuoi creare il file robots \u00e8:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>https:&#047;&#047;nomedelsito.com<\/code><\/pre>\n\n\n\n<p>Il file robots dovr\u00e0 trovarsi alla radice (<em>root<\/em>) del sito e dovr\u00e0 avere quindi questa posizione:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>https:&#047;&#047;nomedelsito.com\/robots.txt<\/code><\/pre>\n\n\n\n<p>Se il tuo sito \u00e8 accessibile su un sottodominio come:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>https:&#047;&#047;blog.nomedelsito.com<\/code><\/pre>\n\n\n\n<p>Il file dovr\u00e0 essere posizionato nella directory del sottodominio, in questo modo:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>https:&#047;&#047;blog.nomedelsito.com\/robots.txt<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"come-testare-il-file-robots-txt\">Come testare il file robots.txt<\/h2>\n\n\n\n<p>Dopo aver creato il file robots, \u00e8 bene verificare che i crawler riescano a visualizzarlo.<\/p>\n\n\n\n<p>Il file deve essere accessibile pubblicamente, vale a dire a tutti.<\/p>\n\n\n\n<p>Il metodo pi\u00f9 rapido \u00e8 visitare l&#8217;indirizzo a cui deve essere presente il file e assicurarci che sia leggibile.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"527\" height=\"147\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/esempio-file-robots-caricato-sul-server.png\" alt=\"Esempio File Robots Caricato Sul Server\" class=\"wp-image-29619\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/esempio-file-robots-caricato-sul-server.png 527w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/esempio-file-robots-caricato-sul-server-300x84.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/esempio-file-robots-caricato-sul-server-120x33.png 120w\" sizes=\"auto, (max-width: 527px) 100vw, 527px\" \/><\/figure>\n\n\n\n<p>A questo punto possiamo anche verificare se la sintassi del file \u00e8 corretta.<\/p>\n\n\n\n<p>Per farlo, Google ci mette a disposizione il suo <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062598?hl=it\" rel=\"noopener\">tester dei file robots.txt<\/a>.<\/p>\n\n\n\n<p>Aprendo il tester vedrai il contenuto del file e potrai testare i singoli URL attraverso il box in basso, come vedi qui sotto.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"456\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-file-robots-txt-1024x456.png\" alt=\"Tester File Robots Txt\" class=\"wp-image-29586\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-file-robots-txt-1024x456.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-file-robots-txt-300x134.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-file-robots-txt-768x342.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-file-robots-txt-120x53.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-file-robots-txt.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>In questo modo potrai essere sicuro di non aver bloccato pagine importanti del tuo sito.<\/p>\n\n\n\n<p>Ecco un esempio in cui lo strumento di Google ci segnala che la risorsa \u00e8 bloccata e ci indica quale regola del file robots.txt ne impedisce la scansione.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"410\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-google-file-robots-esempio-1024x410.png\" alt=\"Tester Google File Robots Esempio\" class=\"wp-image-29587\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-google-file-robots-esempio-1024x410.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-google-file-robots-esempio-300x120.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-google-file-robots-esempio-768x308.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-google-file-robots-esempio-120x48.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/tester-google-file-robots-esempio.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"come-controllo-se-ho-commesso-errori\">Come controllo se ho commesso errori?<\/h3>\n\n\n\n<p>Usare il tester di Google ci pu\u00f2 aiutare a capire l&#8217;impatto delle direttive e quali sono le pagine interessate. <\/p>\n\n\n\n<p>Oltre a testare singolarmente i singoli URL, un altro valido strumento che pu\u00f2 aiutarci a prevenire errori nel file robots.txt \u00e8 la <a href=\"https:\/\/supporthost.com\/it\/google-search-console\/\" data-type=\"post\" data-id=\"18311\">Search Console<\/a>.<\/p>\n\n\n\n<p>Nel rapporto <em>Indice &gt; Pagine<\/em>, possiamo trovare una panoramica dell&#8217;indicizzazione delle pagine e dettagli su quelle che non sono inserite nell&#8217;indice.<\/p>\n\n\n\n<p>In questo rapporto vedremo, se presenti, le <strong>risorse bloccate<\/strong> dal file robots.txt.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"905\" height=\"491\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/search-console-pagine-bloccate-da-robots-txt.png\" alt=\"Search Console Pagine Bloccate Da Robots Txt\" class=\"wp-image-29588\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/search-console-pagine-bloccate-da-robots-txt.png 905w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/search-console-pagine-bloccate-da-robots-txt-300x163.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/search-console-pagine-bloccate-da-robots-txt-768x417.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/search-console-pagine-bloccate-da-robots-txt-116x63.png 116w\" sizes=\"auto, (max-width: 905px) 100vw, 905px\" \/><\/figure>\n\n\n\n<p>Da questa sezione possiamo visualizzare nel dettaglio gli URL bloccati dal file robots.txt e avere tutto l&#8217;elenco.<\/p>\n\n\n\n<p>Se in questa lista risultano presenti pagine che non dovevano essere bloccate, possiamo utilizzare il tester che abbiamo visto prima, o semplicemente consultare il file robots.txt, in modo da capire quale regola sta impedendo l&#8217;accesso ai crawler e correggerla.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"domande-frequenti-sul-file-robots-txt\">Domande frequenti sul file robots.txt<\/h2>\n\n\n\n<p>Come avrai capito arrivato a questo punto, questo file \u00e8 utile per definire quali pagine devono essere sottoposte a scansione da parte dei motori di ricerca.<\/p>\n\n\n\n<p>Ci sono per\u00f2 altri dubbi che potrebbero esserti rimasti.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"devo-inviare-il-file-robots-txt-a-google-dopo-averlo-creato\">Devo inviare il file robots.txt a Google dopo averlo creato?<\/h3>\n\n\n\n<p>No. Il file robots.txt deve essere creato e caricato sul sito.<\/p>\n\n\n\n<p>Caricare il file sul tuo sito \u00e8 sufficiente a far s\u00ec che i crawler possano trovarlo.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"dopo-aver-aggiornato-il-file-robots-txt-devo-fare-qualcosa\">Dopo aver aggiornato il file robots.txt, devo fare qualcosa?<\/h3>\n\n\n\n<p>Secondo le linee guida di Google, se effettui delle modifiche al file robots e vuoi che siano aggiornate velocemente puoi utilizzare lo strumento <em>Tester dei file robots.txt<\/em>.<\/p>\n\n\n\n<p class=\"note\">Tieni comunque presente che il file robots.txt viene memorizzato nella cache che viene aggiornata ogni 24 ore.<\/p>\n\n\n\n<p>Dopo aver aperto lo strumento tester, clicca su <em>Invia<\/em>, in questo modo Google sapr\u00e0 che hai effettuato delle modifiche.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"955\" height=\"620\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/aggiornare-file-robots-txt-tester-google.png\" alt=\"Aggiornare File Robots Txt Tester Google\" class=\"wp-image-29589\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/aggiornare-file-robots-txt-tester-google.png 955w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/aggiornare-file-robots-txt-tester-google-300x195.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/aggiornare-file-robots-txt-tester-google-768x499.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/aggiornare-file-robots-txt-tester-google-97x63.png 97w\" sizes=\"auto, (max-width: 955px) 100vw, 955px\" \/><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"e-necessario-avere-un-file-robots-txt-su-tutti-i-siti\">\u00c8 necessario avere un file robots.txt su tutti i siti?<\/h3>\n\n\n\n<p>Ora che abbiamo visto l&#8217;utilit\u00e0 del file robots.txt \u00e8 probabile che tu ti stia chiedendo se sia necessario crearne uno sul tuo sito.<\/p>\n\n\n\n<p>La risposta \u00e8 non necessariamente.<\/p>\n\n\n\n<p>Nella pratica questo file ti pu\u00f2 aiutare a impedire la scansione di alcune pagine. Se, per\u00f2, non hai contenuti da bloccare e non hai altri motivi per bloccare la scansione di alcune sezioni del sito, allora non hai bisogno di un file robots.txt.<\/p>\n\n\n\n<p class=\"note\">Non dimenticare che creare un file con un&#8217;istruzione errata pu\u00f2 compromettere la scansione di tutto il tuo sito.<\/p>\n\n\n\n<p>Veniamo perci\u00f2 alla prossima domanda che riguarda proprio l&#8217;impatto sul posizionamento del sito.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"il-file-robots-txt-puo-influire-sulla-seo\">Il file robots.txt pu\u00f2 influire sulla SEO?<\/h3>\n\n\n\n<p>Quando eseguiamo un&#8217;<a href=\"https:\/\/supporthost.com\/it\/analisi-seo\/\">analisi SEO<\/a> del sito, uno dei controlli da fare \u00e8 verificare il contenuto del file robots.txt.<\/p>\n\n\n\n<p>Come abbiamo visto, errori nelle direttive possono<strong> impedire la scansione <\/strong>da parte dei crawler dei motori di ricerca e andare a interessare pagine importanti del sito.<\/p>\n\n\n\n<p>Valgono sempre le considerazioni sul crawl budget fatte all&#8217;inizio di questo articolo.<\/p>\n\n\n\n<p>Bisogna aggiungere anche un&#8217;altra cosa. I link che si trovano all&#8217;interno delle pagine bloccate tramite file robots non verranno <em>scoperti <\/em>dal crawler.<\/p>\n\n\n\n<p>Immagina per esempio di aver inserito un <a href=\"https:\/\/supporthost.com\/it\/link-interni\/\">link interno<\/a> verso un post del tuo blog in una pagina bloccata tramite file robots. Se il link che rimanda al post del blog \u00e8 presente in quell&#8217;unica pagina, i crawler non raggiungeranno mai il post.<\/p>\n\n\n\n<p>Inoltre, come saprai, uno degli obiettivi dei link interni e dell&#8217;attivit\u00e0 di <a href=\"https:\/\/supporthost.com\/it\/link-building\/\" data-type=\"post\" data-id=\"23204\">link building<\/a> \u00e8 quello di passare <a href=\"https:\/\/supporthost.com\/it\/link-juice\/\">link juice<\/a> tra le pagine del sito.<\/p>\n\n\n\n<p class=\"note\"><strong>In breve<\/strong>: con link juice si intende il valore che la pagina di origine del link trasmette alla pagina di destinazione.<\/p>\n\n\n\n<p>Vediamo cosa succede con un esempio quando usi il file robots.txt per bloccare una pagina:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Pagina A contiene il link a Pagina B;<\/li>\n\n\n\n<li>Pagina A \u00e8 bloccata tramite robots.txt;<\/li>\n\n\n\n<li>Di consenguenza: Pagina B non riceve link juice da pagina A.<\/li>\n<\/ul>\n\n\n\n<p>Per tutti questi motivi devi creare il file robots con cautela.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"posso-modificare-il-crawl-delay-frequenza-di-scansione\">Posso modificare il crawl-delay (frequenza di scansione)?<\/h3>\n\n\n\n<p>L&#8217;istruzione crawl-delay serve a definire la frequenza di scansione. Nello specifico indica il numero di richieste che il crawler, per esempio Googlebot, pu\u00f2 inviare.<\/p>\n\n\n\n<p>Il crawl delay \u00e8 espresso in numero di richieste al secondo.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"modificare-la-frequenza-di-scansione-dei-crawler-di-google\">Modificare la frequenza di scansione dei crawler di Google<\/h4>\n\n\n\n<p>Per modificare la frequenza di scansione devi agire tramite Search Console usando lo strumento <em>Impostazioni della frequenza di scansione<\/em> raggiungibile <a href=\"https:\/\/support.google.com\/webmasters\/answer\/48620?hl=it\" rel=\"noopener\">da qui<\/a>.<\/p>\n\n\n\n<p>Da queste impostazioni puoi limitare la frequenza di scansione.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"327\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/limite-frequenza-di-scansione-sito-search-console-1024x327.png\" alt=\"Limite Frequenza Di Scansione Sito Search Console\" class=\"wp-image-29591\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/limite-frequenza-di-scansione-sito-search-console-1024x327.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/limite-frequenza-di-scansione-sito-search-console-300x96.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/limite-frequenza-di-scansione-sito-search-console-768x245.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/limite-frequenza-di-scansione-sito-search-console-120x38.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/limite-frequenza-di-scansione-sito-search-console.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p class=\"note\">Tieni presente che Google raccomanda di farlo solo nel caso in cui ci sia un valido motivo come un sovraccarico del server dovuto al bot di Google.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"modificare-la-frequenza-di-scansione-dei-crawler-di-bing\">Modificare la frequenza di scansione dei crawler di Bing<\/h4>\n\n\n\n<p>Per modificare la frequenza di scansione con Bing puoi utilizzare lo strumento <em>Crawl Control <\/em>(Controllo ricerca per indicizzazione) dei <a href=\"https:\/\/supporthost.com\/it\/bing-webmaster-tools\/\" data-type=\"post\" data-id=\"67965\">Bing Webmaster Tools<\/a>.<\/p>\n\n\n\n<p>Utilizzando l&#8217;impostazione predefinita, le scansioni verranno ridotte quando il traffico sul sito \u00e8 maggiore. Possiamo per\u00f2 anche impostare un intervallo personalizzato.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"529\" src=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modificare-frequenza-scansione-crawler-bing-1024x529.png\" alt=\"Modificare Frequenza Scansione Crawler Bing\" class=\"wp-image-29592\" srcset=\"https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modificare-frequenza-scansione-crawler-bing-1024x529.png 1024w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modificare-frequenza-scansione-crawler-bing-300x155.png 300w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modificare-frequenza-scansione-crawler-bing-768x397.png 768w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modificare-frequenza-scansione-crawler-bing-120x63.png 120w, https:\/\/supporthost.com\/it\/wp-content\/uploads\/sites\/2\/2022\/09\/modificare-frequenza-scansione-crawler-bing.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"conclusioni\">Conclusioni<\/h2>\n\n\n\n<p>Se sei arrivato fin qui nella lettura di questa guida avrai capito che il file robots.txt pu\u00f2 essere estremamente utile. Abbiamo visto diversi modi per crearlo, come scrivere correttamente le direttive e quali aspetti considerare per non rischiare di commettere sbagli. <\/p>\n\n\n\n<p>In conclusione abbiamo stilato una serie dei dubbi pi\u00f9 frequenti sull&#8217;argomento, ma se hai altre domande o osservazioni da fare, ti invito a farci sapere con un commento.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Vuoi scoprire cos&#8217;\u00e8 il file robots.txt e se potrebbe essere utile averne uno sul sito? In questo articolo andremo a scoprire cos&#8217;\u00e8 esattamente questo file, in quali situazioni ci pu\u00f2 essere utile e come si fa a crearne uno. Vedremo esempi specifici da seguire e scopriremo come evitare gli errori pi\u00f9 comuni. Iniziamo! Cos&#8217;\u00e8 il [&hellip;]<\/p>\n","protected":false},"author":3,"featured_media":63817,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"categories":[28],"tags":[],"class_list":["post-29366","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo-search-engine-optimization"],"acf":[],"_links":{"self":[{"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/posts\/29366","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/comments?post=29366"}],"version-history":[{"count":8,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/posts\/29366\/revisions"}],"predecessor-version":[{"id":132211,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/posts\/29366\/revisions\/132211"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/media\/63817"}],"wp:attachment":[{"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/media?parent=29366"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/categories?post=29366"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/supporthost.com\/it\/wp-json\/wp\/v2\/tags?post=29366"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}