Robots Meta Tag
Znacznik w head, który steruje indeksowaniem strony i zachowaniem robotów wyszukiwarek.
Robots Meta Tag
Definicja
Robots Meta Tag to znacznik HTML implementowany w sekcji <head> dokumentu, umożliwiający sterowanie indeksacją na poziomie pojedynczego adresu URL (page-level). Pozwala na precyzyjne instruowanie robotów wyszukiwarek (crawlers), czy dana strona ma zostać dodana do indeksu oraz w jaki sposób mają być traktowane linki wychodzące.
Kluczowe wartości (Dyrektywy)
- index – Wartość domyślna. Zezwala na dodanie strony do indeksu wyszukiwarki.
- noindex – Blokuje indeksowanie strony. URL nie pojawi się w wynikach wyszukiwania (SERP), mimo że robot może go odwiedzić.
- follow – Zezwala robotom na podążanie za linkami znajdującymi się na stronie i przekazywanie im autorytetu (link equity/PageRank).
- nofollow – Instruuje roboty, aby nie podążały za linkami na stronie i nie przekazywały im wartości SEO.
- noarchive – Zapobiega wyświetlaniu linku do wersji "Kopia" (Cached) w wynikach wyszukiwania.
Różnica: Robots Meta Tag vs. robots.txt
Zrozumienie różnicy między tymi mechanizmami jest krytyczne dla technicznego SEO:
- robots.txt: Steruje dostępem (crawlingiem). Służy głównie do zarządzania budżetem indeksowania (Crawl Budget). Nie gwarantuje usunięcia strony z indeksu (URL może zostać zaindeksowany na podstawie linków zewnętrznych).
- Robots Meta Tag: Steruje indeksacją. Jest twardą dyrektywą nakazującą usunięcie lub niedodawanie treści do indeksu.
Uwaga krytyczna: Aby dyrektywa noindex w Robots Meta Tag została odczytana i zastosowana przez robota Google, strona nie może być zablokowana w pliku robots.txt. Blokada w robots.txt uniemożliwia robotowi pobranie strony, a tym samym odczytanie meta tagu, co może skutkować zaindeksowaniem adresu URL bez zawartości.
Zastosowanie
- Strony techniczne: Panele logowania, strony resetowania hasła, koszyki zakupowe, środowiska testowe (staging).
- Wewnętrzne wyniki wyszukiwania: Zapobieganie indeksowaniu dynamicznie generowanych stron o niskiej wartości (thin content), co mogłoby prowadzić do zjawiska "spider trap".
- Duplikacja treści: Strony z parametrami sortowania/filtrowania, wersje do druku lub inne duplikaty, w przypadkach gdy
rel="canonical"jest niewystarczający. - Landing Pages PPC: Strony dedykowane kampaniom płatnym, które nie powinny być widoczne w ruchu organicznym.
Przykładowy Kod HTML
Implementacja w sekcji <head> dla strony, która nie ma być w indeksie, ale ma przekazywać moc linkom:
<meta name="robots" content="noindex, follow" />Twoje strony "noindex" nadal są w wynikach wyszukiwania Google?
📞 Zadzwoń: +48 602 131 233