Matt Cutts о robots.txt
Matt Cutts в видео-лекции на тему robots.txt отвечает на вопросы вроде:
- Почему, файл запрещённый для индексирования присутствует в индексе гугла?
- Как скрыть файлы от пауков Google?
Кстати очень удобный инструмент для тестирования robots.txt можно найти в панели вебмастера от Яндекса.
| Tweet |
|
|
Оставить комментарий
Раздел: Поисковые системы, SEO
Alex Hodinar и компания
 | Получайте трафик и ссылки с социалок! Скрипт для быстрого получения трафика. |
 | WordPress плагин для перелинковки под трафик Хотите увеличить трафик на своём блоге? |
Насчет Яндексовского инструмента для тестирования роботса — приведенная в статье ссылка годиться лишь если вы тестируйте свой собственный сайт. А между тем у Яндекса есть общедоствупный инструмент с помощью которого можно проверить корректность robots.txt для любого сайта — http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml