Письмо Googlebot не может получить доступ к файлам CSS и JS на сайте


Leave a comment  →
   by admin    Leave a comment  →

Cегодня, 28.07.15, многие вебмастера получили необычную и массовую рассылку от Google, в которой было указано, что «Googlebot не может получить доступ к файлам CSS и JS на сайте [url]»

Текст письма:

«Веб-мастеру сайта [url]

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.»

Это письмо всерьез всполошило интернет-сообщество. Некоторые посчитали, что это глюк Google, а некоторые уже давно выполняют рекомендации Google. А пока можем посоветовать директивы для robots.txt, позволяющие следовать рекомендациям:

  1. Находим, где у нас лежат файлы css\js, отвечающие за работоспособность сайта.
  2. С помощью инструмента проверки Google определяем, доступны ли эти файлы в robots.txt
  3. Если данные файлы заблокированы robots.txt, высветится строчка директивы запрещения.
  4. Все, что остается добавить к этой директиве \*.css, \.js

Пример по robots.txt для Joomla:

Файлы стиля лежат в /templates/my-template/css/style.css

При проверке инструментом Google в robots.txt Joomla подсветится строчка и будет выглядеть так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Что будет означать, что наш файл стиля запрещен для поисковых систем. Решаем проблему, дописав в конце:

Allow: /templates/*.css

Что будет означать допуск ко всем файлам css внутри папки templates (включая все подпапки). Аналогичным образом и для ваших систем управления и папок.

1 Star2 Stars3 Stars4 Stars5 Stars (2 votes, average: 5,00 out of 5)
Загрузка...

*