Поисковые системы: Запрет индексации сайта

Если вы хотите запретить индексацию всего сайта поисковыми системами, добавьте следующие строки в файл robots.txt:

User-agent: *
Disallow: /

Если нужно запретить индексацию определённого каталога или файла, используйте следующий формат:

User-agent: *
Disallow: /путь/к/каталогу/
Disallow: /путь/к/файлу.html

Запретить для определённого робота:

User-agent: Googlebot
Disallow: /

Одному роботу разрешить, другому запретить:

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Disallow: /

Другие способы запрета индексации

Метатег robots в HTML-коде страницы укажет поисковым системам, что эту страницу не нужно индексировать

<meta name="robots" content="noindex">

HTTP-заголовок "X-Robots-Tag" можно использовать для запрета индексации на уровне сервера. Пример для сервера nginx:

location /путь/ {
	add_header X-Robots-Tag "noindex, nofollow";
}

Атрибут "nofollow" в теге ссылки для запрета индексации определённых ссылок на странице:

<a href="ссылка" rel="nofollow">Текст ссылки</a>