Google Indexing – это API, который позволяет веб-мастерам передавать страницы для индексации в поисковой системе (ПС) Гугл.
Зачем нужен Google Indexing API
Основные функции GI API:
-
Передача запросов на индексацию добавленного или обновленного контента.
-
Уведомление Google о важных изменениях на сайте.
-
Ускорение тестов ранжирования контента в Google.
Индексы API подходит для различных типов данных, включая веб-страницы, новости, статьи в блоге и другие типы контента. Гугл применяет различные методы для индексации:
-
Программный индекс – Google использует автоматические краулеры для сканирования веб-страниц и определения их содержимого.
-
Индексация через Sitemap – API изучает данные Sitemap, которые включают сведения о структуре и содержимом веб-ресурсов, чтобы упростить процесс сканирования.
-
Индексация через ссылки – приложение использует бэклинки, найденные на других веб-страницах, для обнаружения и проверки нового контента.
Indexing-скрипт позволяет отсылать запросы на переобход конкретных URL напрямую в Google и улучшает видимость в поисковой выдаче.
Что понадобится для настройки Google Indexing API?
Корректная настройка существенно упростит процедуру индексации сайта, что улучшит его ранжирование. Наиболее важный этап в процессе – получение ключа API и токена к нему.
Что такое ключ API и где его искать
Это уникальный идентификатор, который нужен для аутентификации запросов к API. Ключ API позволяет Google идентифицировать и отслеживать использование программы вашим приложением или сервисом.
Ключ позволит создавать автоматические запросы к Google Indexing API для добавления нового или дополненного контента. Чтобы он правильно работал, важно пройти верификацию.
Для подтверждения прав на веб-домен в Google Search Console пользователь может использовать различные методы, включая добавление мета-тега на сайт, загрузку файла HTML на сервер сайта или настройку DNS-записей. После успешной верификации пользователь получает доступ к различным инструментам и ресурсам GSC для мониторинга и управления сайтом, в том числе и к Indexing API.
Google Indexing API – настройка сервиса шаг за шагом
Процесс настройки не слишком сложный, однако рассмотрим его детально. Алгоритм содержит много маленьких шагов, в которых легко запутаться новичку. Начало настройки Google Indexing API зависит от наличия у вас учетной записи в Google. Если ее нет, перейдите на google.com и зарегистрируйтесь. После появления учетной записи с ней можно входить во все сервисы экосистемы Google, включая диск, почту, документы и консоли.
Создание проекта
-
Процедура начинается с создания проекта. Перейдите на ресурс Google Cloud Platform. Если ранее вы не создавали проекты, потребуется делать их с нуля. В верхней панели нажмите кнопку Select a project.
- Если вы заранее подготовили проект для отладки, выберите его. В противном случае, в правой верхней части всплывающего окна нажмите кнопку New Project.
- Далее появится новое окно, где необходимо ввести имя проекта, его ID, а также закрепить его в определенной локации. Место расположения выбирается нажатием кнопки BROWSE. После указания всех данных нужно кликнуть на CREATE. Важно! ID-идентификатор – это индивидуальный код проекта, который нельзя будет откорректировать после создания.
Создание сервисного аккаунта
Откройте готовый проект и перейдите в раздел IAM & Admin. В левой боковой панели перейдите в раздел Service Accounts. В верхней панели нажмите на кнопку «Create service account». Она позволяет сделать учетку в проекте, под которой вы будете работать в дальнейшем.
Важно! Select a role – это опциональная настройка. Достаточно кликнуть «Continue», чтобы пропустить шаг и перейти к следующим параметрам отладки.
Создание ключа Google Indexing API
После выполнения всех шагов выше мастер настройки аккаунта автоматически возвратит вас на начальную страницу вкладки «Service Accounts».
-
В строке сервисного аккаунта есть меню, обозначенное тремя точками, расположенными вертикально. Нажмите на него и выберите раздел «Manage Keys».
-
Здесь можно добавить уже имеющийся ключ или создать новый. Так как у вас еще нет аутентификационного ключа, его нужно создать с нуля. Нажмите на «Add Key» и затем «Create New Key»
- Ключ будет сгенерирован системой. При этом система попросит выбрать его тип. Существует всего два варианта: JSON или P12. Рекомендуем выбирать первую разновидность как наиболее популярную и универсальную.
-
В конце нужно нажать кнопку «Create», после чего файл с ключом загрузится автоматически. Далее потребуется только доработать скрипт для работы API. Этот алгоритм разберем ниже.
Важно! С ключами учетных записей API нужно обходиться осторожно:
-
Если ключ станет известен злоумышленникам, они могут применить его для несанкционированного доступа к вашему API и связанным данным.
-
При хранении в небезопасном месте, например, в открытом тексте в коде приложения или в открытом доступе на публичном репозитории, ключ API также может быть скомпрометирован.
-
Если ключ не ограничен по времени действия или по разрешениям, скамеры могут использовать его для получения доступа ко всем функциям вашего API в любое время.
Чтобы избежать проблем, используйте механизмы аутентификации и авторизации, такие как токены доступа, храните данные в защищенной среде, регулярно обновляйте их и ограничивайте права доступа к данным.
Как настроить скрипт
Подготовка к настройке скрипта
-
Используйте официальные инструкции Google для настройки доступа к API-индексированию в Google Cloud Platform.
-
JSON-файл, который содержит ваш ключ и учетные данные, сохраните под названием service_account.json
-
Откройте urls.txt и вставьте в него адреса страниц, которые нужно проиндексировать.
Проверьте, что у вас подтверждены права владения ресурсом. Без этого отправить страницы на индексацию не выйдет. Подтвердить права владения доменом можно в Центре вебмастеров или в Google Search Console.
Настройка скрипта
-
Чтобы настроить скрипт для работы с индексом API, необходимо его создать. Скачайте готовый вариант в GitHub: просто перейдите по ссылке и загрузите файл нажатием кнопок, указанных на скриншоте ниже.
-
Распакуйте архив и найдите в папке файл service-account.json.
- Теперь откройте JSON-файл, скачанный из Google Cloud Platform (например, с помощью блокнота). Скопируйте его содержание в файл service-account.json. Сохраните service-account.json
-
Зайдите в свой аккаунт, используя данные своей учетной записи, и откройте раздел «Настройки».
-
В подгруппе «Общие» перейдите в «Пользователи и разрешения». Откройте файл service_account.json и скопируйте данные из строки client.email.
-
Распределите права между перечисленными адресами – укажите владельца, администраторов и обычных пользователей. Для начала достаточно указать только владельца проекта, чтобы он мог изменять список URL-адресов для индексации и управлять данными аккаунта.
Теперь нужно переключиться на Google Cloud Platform, найти в перечне нужный сервисный аккаунт и проверить, что у него стоит статус Enabled.
-
npm install requests;
-
npm audit fix;
-
npm audit fix --force.
Запуск скрипта для API
На заключительном этапе настройки необходимо заполнить данные для индексации, то есть сообщить программе, какие именно страницы сайта нужно добавить в поисковую систему.
-
Откройте папку с файлом, загруженным с GitHub, и в списке данных найдите файл под именем url.txt. Откройте его как обычный файл. Автоматически он открывается через блокнот, WordPad, Notepad или другую схожую программу.
-
В этот файл нужно вручную добавить адреса всех страниц, которые будут отправляться на индексацию. Как сказано выше, добавлять можно как совсем новые страницы, так и старые, на которых недавно обновлялись данные. Если не хотите собирать URL вручную, воспользуйтесь специальными программами.
-
После добавления всех нужных адресов, выделите их, зажмите на клавиатуре клавишу Shift, через правую кнопку мыши запустите контекстное меню и откройте терминал. Таким образом, новые URL-адреса автоматически добавятся в консоль для переобхода и добавления в индекс.
Важно! За один раз API принимает не более 100 URL, поэтому если сайт очень крупный, добавлять данные нужно поэтапно. Проверить информацию об адресах и их доступности можно через файл index.js. Откройте его из папки, скачанной на GitHub, и проверьте, что у всех добавленных адресов есть строчка «HTTP/1.1.200 ОК». Код сервера 200 обозначает, что адрес корректен и доступен на сервере.
Вот и все. Теперь вы можете использовать Google Indexing API, чтобы улучшить видимость своего сайта, а также ускорить реакцию ПС на обновление новостей и данных. Применение автоматизации позволит сэкономить время на выполнение других важных задач по оптимизации и продвижению проекта!
FAQ: частые вопросы пользователей
-
Google Indexing API — что это и зачем он нужен?
Приложение представляет собой скрипт, совместимый с инструментами поисковика Google и используется веб-мастерами для того, чтобы ускорить индексацию страниц сайта через краулер.
-
Сколько времени занимает индексирование сайта без использования API?
Согласно данным от разработчиков ПС Google, если на сайте менее 500 страниц, он будет полностью добавлен в поисковую выдачу как минимум за 3 недели. Далее время индексации растет в прямой пропорции с количеством URL-адресов в проекте. Например, если вы индексируете интернет-каталог, где более 25 тысяч страниц, на полную проверку веб-портала может уйти до одного года.
-
Какие преимущества API дает пользователю?
В стандартном режиме краулер не особенно отличается скоростью обхода страниц на сайтах, так как число веб-ресурсов растет ежедневно. Использование программного интерфейса API позволяет моментально заявить поисковым ботам о наличии новой информации на вашем сайте, которая будет добавлена в индекс в кратчайшие сроки.
-
Кто может использовать приложение?
Чаще всего моментальное обновление требуется для владельцев новостных ресурсов. Однако оно подходит для блогов и сайтов, где часто добавляются товары, статьи и т.д.
-
После запуска скрипта выходит код ошибки 403 — что делать?
В данном случае разработчик рекомендует предоставить сервисному аккаунту права владельца. Этот шаг мы разбирали в инструкции выше. Если ошибка возникает при установленных правах владельца, внимательно просмотрите настройки учетной записи в Google Search Console.
-
Почему при запуске скрипта выходит ошибка номер 429?
Данный код указывает на то, что вы добавили для индексации слишком много URL-адресов одновременно. Не рекомендуется добавлять более 100 страниц в одном пакете, иначе это приведет к превышению допустимой квоты. Чтобы избежать ошибки, рекомендуется сделать несколько параллельных запросов к API и в каждом из запросов разместить по 100 URL.