Matt Cutts о robots.txt

Matt Cutts в видео-лекции на тему robots.txt отвечает на вопросы вроде:

• Почему, файл запрещённый для индексирования присутствует в индексе гугла?
• Как скрыть файлы от пауков Google?

Кстати очень удобный инструмент для тестирования robots.txt можно найти в панели вебмастера от Яндекса.

1. Эмиль:

   Октябрь 13, 2009 в 19:39

   Насчет Яндексовского инструмента для тестирования роботса — приведенная в статье ссылка годиться лишь если вы тестируйте свой собственный сайт. А между тем у Яндекса есть общедоствупный инструмент с помощью которого можно проверить корректность robots.txt для любого сайта — http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

   Ответить

• Релевантные площадки в SAPE
• Светлое будущее систем идентификации
• Эмулятор поискового бота
• Создание фотоколлажей онлайн: фотофания и другие
• Топ дигга и СМО от профи
• Куда слить русский кино-трафик – партнёрские программы
• Твиттер + большой блог