Robots Meta Tag → Znacznik w head, który steruje indeksowaniem strony i zachowaniem robotów wyszukiwarek.
robots.txt → Plik sterujący dostępem robotów do zasobów serwisu. Kontroluje crawl, nie daje pewnego noindex.