Cum scoți corect o pagină din Google (și greșeala care blochează totul)
· Cosmin Puiu· 3 min de citit
Cea mai frecventă greșeală: pui noindex pe pagină și o blochezi din robots.txt, ca să fii sigur. Rezultatul e că Google nu poate citi noindexul și pagina rămâne în index.
Uneori vrei ca o pagină să dispară din Google: o campanie încheiată, o pagină de test ajunsă public, filtre care generează mii de URL-uri, o secțiune veche.
Există mai multe metode. Se comportă diferit, iar combinarea greșită a două dintre ele e problema pe care o găsim cel mai des.
Mai întâi, ce nu mai funcționează
Din 1 septembrie 2019, Google nu mai acceptă directiva noindex în fișierul robots.txt. Nici nofollow și nici crawl-delay.
Nu au fost niciodată directive oficiale - erau nedocumentate, respectate neoficial. Google le-a oprit odată cu standardizarea protocolului robots.txt.
Dacă ai moștenit un site vechi, merită o verificare: reguli de tipul Noindex: /ceva/ în robots.txt nu fac absolut nimic astăzi.
Metodele care funcționează
1. Meta robots noindex - varianta implicită
În <head>-ul paginii:
<meta name="robots" content="noindex" />
Sau, pentru fișiere care nu sunt HTML (PDF-uri, de exemplu), prin antetul HTTP X-Robots-Tag: noindex.
Condiția esențială: Google trebuie să poată accesa pagina ca să vadă eticheta. Ceea ce ne aduce la greșeala clasică de mai jos.
2. Codurile 404 și 410
Dacă pagina chiar nu mai există, un 410 Gone e mai clar decât un 404 și scoate pagina din index de obicei mai repede. Un 404 spune „nu găsesc”; un 410 spune „a fost, nu mai e, nu mai reveni”.
De folosit doar când pagina e definitiv eliminată. Dacă mai are trafic sau link-uri externe, mai bine un redirect 301 către echivalentul cel mai apropiat.
3. Protecție cu parolă
Cea mai sigură metodă pentru conținut care nu trebuie să fie public deloc. Ce e în spatele unui login nu poate fi indexat, indiferent de altceva.
E și singura potrivită pentru mediile de test - care ajung în Google mult mai des decât ar crede lumea.
4. Eliminarea temporară din Search Console
În Search Console există o unealtă de eliminare temporară. Scoate URL-ul din rezultate în câteva ore, dar doar pentru aproximativ șase luni.
E o măsură de urgență, nu o soluție. O folosești când ceva a ajuns public din greșeală și ai nevoie să dispară acum, apoi implementezi metoda permanentă.
Greșeala care blochează totul
Cea mai frecventă, și cea mai contraintuitivă:
Pui
noindexpe pagină și, ca să fii sigur, o blochezi și din robots.txt cuDisallow.
Rezultatul e opusul celui dorit. Disallow îi interzice lui Google să acceseze pagina. Dacă nu o poate accesa, nu poate vedea eticheta noindex. Iar dacă pagina are link-uri din altă parte, poate rămâne în index - afișată fără descriere, cu mențiunea că informația nu e disponibilă.
Regula: ori blochezi accesul, ori pui noindex. Niciodată amândouă pe aceeași pagină.
Ordinea corectă când vrei să faci ambele: pui întâi noindex, aștepți să fie recrawlată și scoasă din index, apoi adaugi Disallow dacă mai e nevoie.
Disallow nu înseamnă deindexare
Merită subliniat separat, pentru că e o confuzie foarte răspândită. Disallow în robots.txt controlează parcurgerea, nu indexarea.
O pagină blocată din robots.txt poate apărea în rezultate dacă alte site-uri fac link către ea. Google nu știe ce conține, dar știe că există.
Robots.txt e util pentru altceva: să nu irosești bugetul de crawl pe zone fără valoare - filtre, căutări interne, coșul de cumpărături.
Cât durează
Depinde de cât de des e recrawlată pagina. Pentru una importantă, zile. Pentru una îngropată adânc, săptămâni sau mai mult.
Poți grăbi lucrurile cerând inspectarea URL-ului în Search Console, dar nu poți forța nimic. Dacă ai nevoie de o dispariție imediată, folosești eliminarea temporară în paralel.
Ce alegi, în funcție de situație
- Pagină veche, fără trafic, dispărută definitiv → 410.
- Pagină înlocuită de alta → redirect 301, nu ștergere.
- Pagină utilă vizitatorilor dar nu pentru căutare (mulțumim pentru comandă, politici interne) → noindex.
- Mediu de test → parolă, întotdeauna.
- Mii de URL-uri din filtre → canonical către pagina principală, plus Disallow dacă irosesc bugetul de crawl.
- Ceva confidențial ajuns public → eliminare temporară acum, apoi parolă sau 410.
Sunt decizii care par mărunte și au efecte mari - am văzut site-uri cu jumătate din pagini scoase din index printr-o singură linie greșită. Se verifică într-un audit SEO și se rezolvă în zona de SEO tehnic.