Dobrą praktyką jest wykluczanie pewnych stron z indeksowania przez roboty, ponieważ nie wszystkie podstrony serwisu powinny znaleźć się w wyszukiwarce. Jednak występują sytuacje, w których wartościowe elementy witryny są wykluczone z indeksowania poprzez zapis w pliku robots.txt, według noindex X-Robots czy też noindex meta tag.

Może to być spowodowane nieprofesjonalnymi działaniami, złymi założeniami strategicznymi czy też błędem wykorzystywanego narzędzia. Wykluczenie ważnych podstron z unikalną treścią jest zdecydowanie jednym z tych aspektów, których z pewnością należy się wystrzegać. To właśnie tego rodzaju content jest najbardziej wartościowy w oczach algorytmu Google.

Dlaczego badamy strony indeksowane z ograniczeniami?

Odpowiedź jest banalnie prosta – w celu weryfikacji, czy umyślnie lub nieumyślnie ktoś nie wykluczył wartościowych treści, które powinny zostać zaindeksowane. Sprawdzamy, czy blokowane są wyłącznie te podstrony, które powinny.

Badanie aspektu stron indeksowanych z ograniczeniami to także zadanie dla specjalisty SEO, w którym różnorodne narzędzia mogą stanowić jedynie wskazówkę. Niezbędne jest sprawdzenie treści przez człowieka w celu weryfikacji tego, czy dana podstrona została słusznie wykluczona z indeksowania.