Vuoi sapere come usare il tag noindex sul tuo sito e in quali circostanze farlo? In questa guida vedremo le best practice da seguire per usare il tag noindex senza fare errori che potrebbero costarti caro a livello di visibilità sui motori di ricerca.
Iniziamo dal vedere come funziona questo tag e a cosa ci serve, per poi passare a come inserirlo sulle pagine di un sito WordPress.
Table of Contents
Cos’è il tag noindex?
Il tag noindex fa parte dei meta tag HTML che si possono specificare in una pagina web. Nello specifico questo tag serve a comunicare ai motori di ricerca che vogliamo che una pagina non venga indicizzata.
Per capire esattamente come funziona questo tag, è bene fare un veloce riepilogo di come funzionano la scansione e l’indicizzazione delle pagine sul web.
I motori di ricerca sfruttano dei crawler (anche chiamati bot) che dopo essere atterrati su una pagina web seguono i link in essa presenti. In parole molto semplici i crawler esplorano la rete alla ricerca di nuove risorse.
Questo passaggio, il crawling, è ciò che rende poi possibile la fase successiva: la raccolta delle informazioni nell’indice, quella che viene chiamata indicizzazione.
Attenzione: spesso si fa confusione tra i termini indicizzazione e posizionamento. In realtà si tratta di due concetti diversi:
- l’indicizzazione è la fase in cui una risorsa viene inserita nell’indice che puoi immaginare come un enorme database di informazioni organizzate;
- il posizionamento avviene quando il motore di ricerca deve rispondere a una query e quindi classifica i vari risultati in ordine di pertinenza.
Tornando a noi, quindi, le nuove risorse scoperte vengono scansionate e poi aggiunte all’indice, ma ci sono dei casi in cui non avviene l’indicizzazione perché è bloccata.
Il tag noindex è proprio uno dei sistemi che blocca l’indicizzazione perché viene visto dai crawler come un segnale chiaro che indica “non indicizzare questo contenuto“.
Come funziona la direttiva noindex
La regola noindex per dire ai motori di ricerca che la supportano di non indicizzare una risorsa, si può usare in due modi.
Il primo è quello di cui abbiamo parlato finora: usare il tag meta noindex da inserire nella sezione head della pagina.
Il codice che si usa è questo, per bloccare tutti i bot:
<meta name="robots" content="noindex">Ma può anche essere personalizzato per bloccare ad esempio solo i crawler di Google, in questo modo:
<meta name="googlebot" content="noindex">Oltre al tag meta, si può anche indicare la direttiva come intestazione HTTP, in modo che la risposta HTTP sia come questa:
HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex
(...)Quando si usa il tag noindex
Ci sono diverse ragioni per cui potremmo volere che una pagina o un articolo del nostro sito non venga inserita nell’indice dei motori di ricerca.
Facciamo alcuni esempi per aiutarti a capire meglio l’utilità di questo sistema.
Sito in creazione
Mentre lavori alla creazione del tuo sito web, è bene evitare che i contenuti inizino a venire indicizzati.
Il rischio in questo caso è che pagine incomplete o con contenuti di test usati come segnaposto vengano indicizzati.
In questo esempio qui sotto con una ricerca avanzata su Google si possono trovare centinaia di siti con contenuto default.
Come vedremo più avanti nella sezione pratica di questa guida, in questo caso la scelta ideale è prevenire l’indicizzazione completa del sito, per cui si va a impostare il tag noindex su tutte le pagine.
Suggerimento: se, invece, stai lavorando a modifiche al sito è più comodo creare uno staging e anche in questo caso evitare l’indicizzazione con il tag noindex o anche proteggendo l’accesso al sito con password. Con un piano hosting WordPress di SupportHost, puoi creare uno staging in pochi minuti.
Pagine con poco contenuto
Se sul tuo sito hai pagine di scarso valore per gli utenti, come ad esempio le pagine di tag e categoria (quando non hanno un’utilità pratica), puoi valutare di inserire il tag noindex.
Evitare che queste pagine siano indicizzate è utile perché ti aiuta anche a non sprecare il crawl budget.
Crawl budget: i crawler fissano una quantità massima di pagine web da scansionare in un determinato periodo.
È sempre un’ottima idea, quindi, lasciare che i crawler si concentrino sui contenuti davvero importanti, piuttosto che dargli in pasto centinaia di pagine inutili.
Tieni presente che le pagine di categoria, se ben realizzate, possono essere di valore per gli utenti. Valuta quindi in base all’entità del tuo progetto se e come puoi sfruttarle al meglio. Allo stesso modo, se i tag sono inutili per il tuo sito, non utilizzarli proprio piuttosto che creare pagine da dover poi indicizzare.
Qui sotto un esempio del sito Yoast che utilizza le pagine dei tag per raccogliere gli articoli correlati e arricchisce anche la pagina di informazioni utili, come la sezione introduttiva. In questo caso, infatti, le pagine sono indicizzabili, come si può notare ispezionando la pagina e controllando il contenuto del meta tag robots (<meta name='robots' content='index'/>)
Contenuti riservati
Quando organizzi la struttura del sito, devi assicurarti che tutte le pagine con contenuti sensibili o che devono essere visualizzate solo da utenti loggati siano effettivamente accessibili solo a loro.
Capita più spesso di quanto dovrebbe di riuscire a trovare con delle ricerche su Google contenuti che dovrebbero essere bloccati da login o accessibili solo a chi ha lasciato un’email. Questo succede quando le pagine di destinazione che dovrebbero essere riservate, vengono lasciate alla mercé dei crawler che, senza nessuna indicazione, procedono all’indicizzazione.
Ci sono diversi sistemi per evitare accessi indesiderati ai contenuti riservati, alcuni puoi trovarli nella nostra guida su come creare un’area riservata su WordPress. Inoltre, ricordati di verificare che le pagine non vengano indicizzate con l’aggiunta del tag noindex.
In questo caso è bene abbinare l’accesso con password all’uso della direttiva noindex, in questo modo ti assicuri che la pagina non sia accessibile né ai motori di ricerca, né alle persone.
Come impostare il tag noindex su WordPress
Vediamo come fare a impostare il tag noindex su un sito WordPress sia per richiedere che tutto il sito non sia indicizzato che per agire singolarmente su pagine specifiche.
Usare le impostazioni di WordPress (per noindex sull’intero sito)
Se vogliamo bloccare completamente l’indicizzazione aggiungendo quindi il tag noindex a livello di sito, possiamo utilizzare un’opzione già integrata in WordPress.
Dopo aver fatto login sul sito in questione, andiamo su Impostazioni > Lettura e attiviamo la spunta vicino a “Scoraggia i motori di ricerca dall’effettuare l’indicizzazione di questo sito“. Per confermare clicchiamo sul pulsante “Salva le modifiche”.
Questa opzione va ad aggiungere in tutte le pagine del sito web la direttiva:
<meta name='robots' content='noindex, nofollow' />Questo significa che usando questa opzione, il tag noindex sarà inserito in tutte le pagine del sito.
Questa strada può essere particolarmente utile da seguire quando stiamo creando un nuovo sito e vogliamo evitare che venga indicizzato mentre è ancora incompleto.
È importante, però, ricordarsi di disattivare la spunta appena si decide di portare il sito online.
Ci sono alternative? Se vuoi evitare che qualcuno visiti il tuo sito mentre è ancora in costruzione, puoi proteggere il sito con un sistema di autenticazione. Puoi usare sia un plugin che la protezione htaccess.
Impostare il noindex sulle singole pagine
Se hai un sito WordPress, il modo più semplice per inserire il tag noindex a livello di una singola pagina, è quello di usare un plugin.
Ci sono plugin per la SEO come Rank Math e Yoast SEO che hanno proprio un’opzione per rendere molto semplice l’aggiunta del tag noindex. Ti mostro come usarli.
Impostare il tag noindex con Rank Math
Per prima cosa vediamo come impostare il tag noindex su una singola pagina o articolo.
Nota: per seguire la spiegazione passo passo, devi prima aver installato e attivato Rank Math sul tuo sito.
Apri in modifica la pagina che ti interessa e clicca sull’icona di Rank Math per far aprire il pannello di destra. A questo punto clicca sull’icona della cassetta degli attrezzi per aprire la scheda Avanzate.
Dalla sezione “Meta Robot” attiva la spunta su Noindex, vedrai che automaticamente viene rimossa quella su Index.
Clicca su “Salva” per salvare le modifiche.
Se, invece, vuoi impostare il tag noindex su più pagine rapidamente, puoi sfruttare le azioni di gruppo, questa opzione è però disponibile solo con la versione Pro di Rank Math.
Vai alla lista delle pagine o degli articoli e seleziona le risorse che vuoi modificare.
Clicca sul menu a tendina Azioni di gruppo e seleziona Imposta su noindex (trovi l’opzione sotto la lista Rank Math), quindi clicca su “Applica” e agli articoli selezionati verrà aggiunto il tag noindex.
Impostare il tag noindex con Yoast SEO
Se utilizzi Yoast SEO sul tuo sito WordPress, ti farà piacere sapere che puoi gestire il tag noindex sulle singole pagine direttamente con questo plugin.
Dopo aver installato e attivato il plugin, vedrai il box Yoast SEO attivabile dal pulsante in alto a destra oppure il box in fondo all’editor.
Scorri fino alla sezione “Avanzate” e vedrai l’opzione “Vuoi permettere ai motori di ricerca di mostrare questi contenuti nei risultati di ricerca?“, per attivare il tag noindex devi selezionare “No”.
Dopodiché ti basta salvare le modifiche usando il pulsante “Salva“.
Consigli per usare il tag noindex ed evitare gli errori più comuni
Il tag noindex è molto utile, ma al tempo stesso deve essere usato con una certa cautela. D’altra parte stiamo suggerendo ai motori di ricerca di rimuovere dei contenuti dall’indice, per cui dovremmo farlo solo con cognizione di causa per evitare di arrivare alla deindicizzazione di pagine importanti per errore.
Ci sono alcune cose a cui dovresti prestare particolare attenzione.
Non usare il tag noindex per i contenuti duplicati
Se hai pagine molto simili tra loro o duplicate, è sbagliato utilizzare il tag noindex.
L’opzione migliore, e quella consigliata da Google stesso, è quella di utilizzare il tag rel canonical (rel=”canonical”).
In questo modo vai a specificare qual è l’URL preferito, appunto quello indicato come canonico, e indichi correttamente che le altre sono versioni diverse delle stessa pagina.
L’uso del tag rel canonical è particolarmente utile quando abbiamo parametri nelle URL, ma anche URL multipli che rimandano allo stesso contenuto.
Attenzione ai conflitti tra file robots e tag noindex
Come viene sottolineato dalla documentazione per sviluppatori di Google, il tag noindex deve poter essere letto dai crawler dei motori di ricerca, se vuoi che venga rispettato.
Uno degli errori più frequenti che si fa nell’utilizzare questo tag è l’uso combinato della direttiva disallow nel file robots.
Vediamo un esempio pratico. Voglio che la pagina seguente non venga indicizzata.
supporthost.com/wordpress/come-usare-wordpress/Per farlo, aggiungo il tag noindex alla pagina.
Devo quindi assicurarmi che la stessa pagina non sia bloccata tramite file robots, in questo caso specifico andrò a controllare che non ci sia una direttiva come questa:
User-agent: *
Disallow: /wordpress/come-usare-wordpress/Nota che la direttiva può essere a livello di singola pagina o anche di percorsi precedenti, per capire meglio come funziona attraverso esempi pratici, leggi la guida al file robots.txt.
Se la pagina viene bloccata a livello di file robots, stiamo impedendo la scansione, ma la pagina potrà continuare ad essere mostrata nei risultati di ricerca e apparirà in questo modo con l’indicazione:
"Nessuna informazione disponibile per questa pagina"
Risolvere problemi legati al tag noindex
È importante verificare lo stato di indicizzazione delle pagine e sapere come fare a forzare la scansione quando il tag noindex non viene rilevato.
Andiamo a vedere come fare a trovare le pagine con impostato il tag noindex e come richiedere la scansione in modo che il tag venga letto dai crawler.
Verificare le pagine con tag noindex
Ci sono diversi modi per tenere sotto controllo lo stato di indicizzazione delle pagine del nostro sito.
Idealmente sarebbe bene programmare delle analisi SEO periodiche in cui si va a monitorare la situazione.
Vediamo adesso alcuni modi per individuare le pagine con il tag noindex:
- usare la Search Console di Google;
- affidarsi a strumenti di monitoraggio;
- usare Rank Math.
Trovare le pagine in noindex tramite Search Console
La Search Console di Google è un ottimo strumento per verificare l’indicizzazione delle pagine del nostro sito.
In particolare ci permette sia di fare un controllo mirato sui singoli URL che avere una lista di pagine escluse in base al tag noindex.
Per ottenere tutta la lista ci basta:
- accedere alla Search Console;
- aprire il report “Pagine” sotto Indicizzazione;
- cliccare nell’elenco “Perché le pagine non sono indicizzate” sulla voce “Esclusa in base al tag “noindex”“.
Questo ci permetterà di ottenere tutta la lista di pagine che sono escluse dall’indicizzazione per la presenza del tag.
Per testare un singolo URL:
- accedi alla Search Console;
- digita o incolla l’URL nella barra in alto e dai Invio;
- verifica nella sezione Scansione cosa riporta la voce “Indicizzazione consentita”.
In questo esempio la pagina è esclusa in base al tag noindex e viene, infatti, riportato “No: “noindex” rilevato nel meta tag “robots”“.
Usare strumenti di terze parti per il monitoraggio continuo
Strumenti per la SEO come Ahrefs ci permettono di attivare il monitoraggio degli errori sul sito.
Puoi iscriverti a Webmaster Tools di Ahrefs, una suite disponibile anche in versione gratuita (limitata) che consente di fare un audit del sito. Ogni volta che viene eseguita un’analisi, riceveremo notifiche via email degli errori rilevati sul sito e potremo andare a vedere tutti i dettagli.
Questo strumento è particolarmente utile per monitorare errori 404 imprevisti e anche, naturalmente, per la presenza del tag noindex.
Usare Rank Math per avere una lista delle pagine con tag noindex
Se hai usato Rank Math per impostare pagine e articoli in noindex, puoi ottenere la lista delle risorse a cui è applicato il tag in maniera abbastanza rapida.
Apri la lista delle pagine (Pagine > Tutte le pagine) o degli articoli (Articoli > Tutti gli articoli) e dal menu a tendina “Rank Math” seleziona “Articoli in noindex” e dopo clicca “Filtra“.
In questo modo avrai tutta la lista.
Questo sistema ti permette di trovare le pagine per cui hai impostato il tag noindex. Per assicurarti che il tag sia stato letto correttamente dai motori di ricerca, però, conviene sempre andare a controllare direttamente dalla Search Console con i metodi che ti ho mostrato prima.
Come richiedere la scansione per bloccare l’indicizzazione delle pagine
Finché i crawler dei motori di ricerca non vanno a scansionare le pagine, non possono trovare il tag noindex. Questo vuol dire che se avevi una pagina inizialmente indicizzata e che veniva mostrata nei risultati di ricerca e, in seguito, hai impostato il tag noindex, finché la pagina non viene nuovamente sottoposta a scansione, potrebbe continuare ad essere mostrata nella SERP.
Se vogliamo provare ad accelerare i tempi conviene usare lo strumento Controllo URL dalla Search Console.
Con questo tool, possiamo sia assicurarci che il tag noindex sia stato inserito correttamente, proprio come abbiamo visto nelle sezioni precedenti. Inoltre, possiamo richiedere che venga scansionata di nuovo cliccando su “Richiesta di Indicizzazione“.
Conclusioni
Il tag noindex può essere molto utile per aiutarci a rimuovere dall’indice pagine di scarso valore. È importante, però, utilizzarlo con attenzione per non rischiare di dimenticarlo attivo ad esempio dopo una migrazione o modifiche al sito. Ora dovresti avere le idee più chiare sull’utilizzo di questo tag e sugli errori da non commettere.
Per quali pagine del tuo sito usi il tag noindex? Lascia un commento per farcelo sapere.
Lascia un commento