Если Вы не хотите видеть в логах Вашего сайта строчки о том, что не найден файл favicon.ico - нарисуйте фавиконку к своему сайту. Достаточно удачную программку для рисования ICO файлов можно взять тут (архив следует распаковать в корень диска C: и запустить оказавшийся после этого в корне диска файл snico.vbs - он создаст иконку на рабочем столе).
Для того, чтобы фавиконка правильно воспринималась, настоятельно
рекомендуется наличие в заглавной странице вашего сайта в секции HEADER строки:
<LINK REL="SHORTCUT ICON" href="http://gfns.net/favicon.ico">
(вместо gfns.net укажите свой домен)
<link rel="apple-touch-icon" href="touch-icon-iphone.png" />
<link rel="apple-touch-icon" sizes="72x72" href="touch-icon-ipad.png" />
<link rel="apple-touch-icon" sizes="114x114" href="touch-icon-iphone-retina.png" />
<link rel="apple-touch-icon" sizes="144x144" href="touch-icon-ipad-retina.png" />
Если Вы только что пришли на наш хостинг, и на Вашем доменном имени Вы пока видите только страничку "Under Construction" со ссылкой на нас - то именно такой файл robots.txt уже лежит в корне Вашего сайта. Вы можете оставить его как есть, а можете редактировать его так, как Вам удобно, придерживаясь нижеописанных рекомендаций.
Как запретить индексацию определенных
страниц?
Разрешения и запрещения на индексацию берутся всеми
поисковыми системами из файла robots.txt, находящегося в
корневом каталоге сервера. Запрет на индексацию ряда страниц может
появиться, например, из соображений секретности или из желания не
индексировать одинаковые документы в разных кодировках. Чем меньше
ваш сервер, тем быстрее робот его обойдет. Поэтому запретите в файле
robots.txt все документы, которые не имеет смысла индексировать
(например, файлы статистики или списки файлов в директориях).
Обратите особое внимание на CGI или ISAPI скрипты - Yandex
индексирует их наравне с другими документами.
Детальное описание спецификации файла можно прочитать на странице: "Стандарт исключений для роботов".
При написании robots.txt обратите внимание на следующие часто
встречающиеся ошибки:
Disallow
. Так, приведенный
ниже файл robots.txt не запрещает ничего:
Disallow:
/cgi-bin
|
Disallow: /forum
" игнорируется,
поскольку перед ней нет строки с полем User-Agent
.
User-Agent:
* |
Disallow
может запретить
индексирование документов только с одним префиксом. Для запрета
нескольких префиксов нужно написать несколько строк. Например,
нижеприведенный файл запрещает индексирование документов,
начинающихся с "/cgi-bin
/forum
", которых, скорее всего, не существует (а не
документов с префиксами "/cgi-bin
" и "/forum
").
User-Agent:
*
|
Disallow
записываются не
абсолютные, а относительные префиксы. То есть файл:
User-Agent:
*
|
запрещает, например, индексирование документа
http://www.myhost.ru/www.myhost.ru/cgi-bin/counter.cgi
,
но НЕ запрещает индексирование документа
http://www.myhost.ru/cgi-bin/counter.cgi
.
Disallow
указываются именно
префиксы, а не что-нибудь еще. Так, файл:
User-Agent:
* |
запрещает индексирование документов, начинающихся с символа " * " (которых в природе не существует), и сильно отличается от файла:
User-Agent:
* |
который запрещает индексирование всего сайта.
Если вы хотите, чтобы не индексировался один конкретный документ
- достаточно добавить дополнительный тег <META>
в HTML-код вашей
страницы (внутри тега <HEAD>
):
<META NAME="ROBOTS"
CONTENT="NOINDEX">
Тогда данный документ также не будет проиндексирован.
Вы также можете использовать тэг
<META NAME="ROBOTS"
CONTENT="NOFOLLOW">
Он означает, что робот поисковой машины не должен идти по ссылкам c данной страницы.