Джон Мюллер, специалист отдела качества поиска Google, поделился описанием того, как алгоритмы поисковика обрабатывают сайты на JavaScript (включая AJAX) и Progressive Web Apps.

И вот они, советы:

  1. Не пытайтесь обмануть Googlebot, прибегая к помощи клоакинга. Чтобы сделать содержимое сайта доступным для всех пользователей, используйте техники feature detection и progressive enhancement.
  2. Остерегайтесь редиректов на страницы, не поддерживающиеся браузером. При необходимости используйте polyfill – скрипты, эмулирующие спецификации HTML5 или CSS3, и позволяющие браузеру правильно отображать контент.
  3. Для указания канонического URL используйте атрибут rel=canonical (если контент размещен на нескольких URL-ах).
  4. Не используйте устаревшую схему сканирования AJAX на новых сайтах.
  5. Избегайте использования «#» в URL-ах, так как Googlebot редко индексирует такие адреса.
  6. Используйте Сканер Google для сайтов в Search Console для проверки того, как Googlebot видит страницы.
  7. Удостоверьтесь, что все запрашиваемые ресурсы не закрыты от индексации в файле robots.txt., а также нет внутренних ссылок на закрытые файлы (пост в тему!). Сканер Google для сайтов покажет заблокированные ресурсы.
  8. Ограничьте количество встроенных ресурсов, запрашиваемых для отображения страницы (число JavaScript-файлов и ответов сервера).
  9. Google поддерживает использование JavaScript для предоставления тайтлов, метаописаний и метатегов robots, структурированных и других метаданных.

*Не забывайте, что другие поисковые системы могут не поддерживать JavaScript или использовать другие подходы при индексации таких страниц.
Джон Мюллер также отметил, что вышеперечисленные рекомендации не являются чем-то новым для специалистов. Однако в будущем — они останутся актуальными.

Источник: Search Engine Roundtable (link)