Готовый шаблон robots





User-agent: Yandex Allow: /cgi-bin Disallow: / # запрещает скачивать все, кроме страниц начинающихся с ‘/cgi-bin’ Для остальных поисковиков вам придется перечислять все закрытые документы. Как минимум одна директива Disallow должна присутствовать для каждого поля User-agent, чтобы robots.txt считался верным. Никогда еще настройка мета-тегов не была такой быстрой и удобной! SEO специалисту не придется искать и «бегать» по всему интернет-магазину, чтобы настроить мета-теги.

Похожие записи: