Blokowanie witryny przed indeksacją, blokowanie przed pozycjonowaniem witryny
Czasami zachodzi taka potrzeba jeśli np. nasza witryna jest kopią nowszej wersji pod innym adresem – i chcemy uniknąć tzw oznaczenia przez Google.com jako duplicate content. Takie oznaczenie może bardzo negatywnie wpłynąć na nasze pozycje, bo Google.com może uznać, że umyślnie to wykonaliśmy, aby sztucznie zawyżać pozycje.
W tym celu najlepiej wykonać następujące czynności:
1) w katalogu głównym umieszczamy plik robots.txt o treści:
User-agent: * Disallow: /
2) w katalogu głównym umieszczamy plik .htaccess (z kropką na początku nazwy) o treści:
Options -Indexes
3) prewencyjnie między znacznikiem:
<head>
a
</head>
witryny umieszczamy wpis:
<meta name="robots" content="noindex">
