На примере одного из продвигаемых интернет-магазинов покажу, как работает файл robots.txt и какую ошибку нельзя допускать.

Какой он был, такой он и остался…

После запуска новой паблик-версии магазина я набралась терпения и стала ждать, когда же старые страницы начнут выпадать из индекса… Но через 2 недели с удивлением заменила, что этого не происходит Не стоит говорить, что “прошло слишком мало времени”, так как в моем случае это отмазка.
Итак…

Что обнаружила методом простого анализа robots.txt в Яндексе и Google:

Содержимое старого robots.txt не запрещало индексацию нужных URL’ов:

User-agent: Yandex
Disallow: /*_openstat
Disallow: /*from=adwords

Host: domain.ru
Sitemap: http://domain.ru/sitemap.xml

User-agent: Googlebot
Disallow: /*_openstat
Disallow: /*from=adwords

User-Agent: *
# catalogs
Disallow: /css/
Disallow: */css/
Disallow: /js/
Disallow: */js/
Disallow: /product/
Disallow: */product/
Disallow: /home/
Disallow: */home/
Disallow: /i/
Disallow: */i/
Disallow: /phpMyAdmin1/
Disallow: /sessions/
Disallow: /?
# files
Disallow: */.html
Disallow: */searchProduct.html
Disallow: */advancedSearch.html
Disallow: /simage.php

Немного поэкспериментировав, поняла как исправить ошибки в robots.txt и в таком виде он заработал:

User-agent: Yandex
# catalogs
Disallow: /css/
Disallow: */css/
Disallow: /js/
Disallow: */js/
Disallow: /product/
Disallow: */product/
Disallow: /home/
Disallow: */home/
Disallow: /i/
Disallow: */i/
Disallow: /phpMyAdmin1/
Disallow: /sessions/
Disallow: /?
Disallow: /*_openstat
Disallow: /*from=adwords
# files
Disallow: */.html
Disallow: */searchProduct.html
Disallow: */advancedSearch.html
Disallow: /simage.php

Host: domain.ru
Sitemap: http://domain.ru/sitemap.xml

User-agent: Googlebot
# catalogs
Disallow: /css/
Disallow: */css/
Disallow: /js/
Disallow: */js/
Disallow: /product/
Disallow: */product/
Disallow: /home/
Disallow: */home/
Disallow: /i/
Disallow: */i/
Disallow: /phpMyAdmin1/
Disallow: /sessions/
Disallow: /?
Disallow: /*_openstat
Disallow: /*from=adwords
# files
Disallow: */.html
Disallow: */searchProduct.html
Disallow: */advancedSearch.html
Disallow: /simage.php

User-Agent: *
# catalogs
Disallow: /css/
Disallow: */css/
Disallow: /js/
Disallow: */js/
Disallow: /product/
Disallow: */product/
Disallow: /home/
Disallow: */home/
Disallow: /i/
Disallow: */i/
Disallow: /phpMyAdmin1/
Disallow: /sessions/
Disallow: /?
# files
Disallow: */.html
Disallow: */searchProduct.html
Disallow: */advancedSearch.html
Disallow: /simage.php

Вывод:

Прописывайте Disallow: для каждого User-agent отдельно.

А так же…

Не забудьте подписаться на блог или следить за новыми твиттами!