Google Indexing API

Скрипт полезен для владельцев сайтов, поскольку позволяет им информировать ПС о важных изменениях на веб-ресурсах. 

Зачем нужен Google Indexing API

Основные функции GI API:

• Передача запросов на индексацию добавленного или обновленного контента.

• Уведомление Google о важных изменениях на сайте.

• Ускорение тестов ранжирования контента в Google.

Индексы API подходит для различных типов данных, включая веб-страницы, новости, статьи в блоге и другие типы контента. Гугл применяет различные методы для индексации:

• Программный индекс – Google использует автоматические краулеры для сканирования веб-страниц и определения их содержимого.

• Индексация через Sitemap – API изучает данные Sitemap, которые включают сведения о структуре и содержимом веб-ресурсов, чтобы упростить процесс сканирования.

• Индексация через ссылки – приложение использует бэклинки, найденные на других веб-страницах, для обнаружения и проверки нового контента.

Передача релевантных данных помогает странице более точно отображаться в результатах поиска. А сам процесс обработки данных можно полностью автоматизировать, что сокращает время и усилия, обычно затрачиваемые на ручную индексацию каждой страницы.

Что понадобится для настройки Google Indexing API? 

Корректная настройка существенно упростит процедуру индексации сайта, что улучшит его ранжирование. Наиболее важный этап в процессе – получение ключа API и токена к нему. 

Что такое ключ API и где его искать

Его можно получить через Google Cloud Console. Чтобы это сделать, потребуется пройти регистрацию и подключить к работе свой проект. Ключ может быть получен владельцами или администраторами проекта, а также лицами, допущенными к администрированию.

Ключ позволит создавать автоматические запросы к Google Indexing API для добавления нового или дополненного контента. Чтобы он правильно работал, важно пройти верификацию.

Для подтверждения прав на веб-домен в Google Search Console пользователь может использовать различные методы, включая добавление мета-тега на сайт, загрузку файла HTML на сервер сайта или настройку DNS-записей. После успешной верификации пользователь получает доступ к различным инструментам и ресурсам GSC для мониторинга и управления сайтом, в том числе и к Indexing API.

Google Indexing API – настройка сервиса шаг за шагом

Процесс настройки не слишком сложный, однако рассмотрим его детально. Алгоритм содержит много маленьких шагов, в которых легко запутаться новичку. Начало настройки Google Indexing API зависит от наличия у вас учетной записи в Google. Если ее нет, перейдите на google.com и зарегистрируйтесь. После появления учетной записи с ней можно входить во все сервисы экосистемы Google, включая диск, почту, документы и консоли. 

Создание проекта

1. Процедура начинается с создания проекта. Перейдите на ресурс Google Cloud Platform. Если ранее вы не создавали проекты, потребуется делать их с нуля. В верхней панели нажмите кнопку Select a project.

Работа с Google Cloud Platform
Работа с Google Cloud Platform
2. Если вы заранее подготовили проект для отладки, выберите его. В противном случае, в правой верхней части всплывающего окна нажмите кнопку New Project.
Работа с Google Cloud Platform
Работа с Google Cloud Platform
3. Далее появится новое окно, где необходимо ввести имя проекта, его ID, а также закрепить его в определенной локации. Место расположения выбирается нажатием кнопки BROWSE. После указания всех данных нужно кликнуть на CREATE. Важно! ID-идентификатор – это индивидуальный код проекта, который нельзя будет откорректировать после создания. 

Создание сервисного аккаунта

Откройте готовый проект и перейдите в раздел IAM & Admin. В левой боковой панели перейдите в раздел Service Accounts. В верхней панели нажмите на кнопку «Create service account». Она позволяет сделать учетку в проекте, под которой вы будете работать в дальнейшем.

Чтобы учетная запись была уникальной и не путалась с аккаунтами других пользователей, присвойте ей подходящие имя и описание. Идентификатор можно оставить тот, который присвоила система, или же создать новый, более уникальный. После внесения всех необходимых данных нажмите «Create and continue» в нижней части рабочего окна. 
После этого потребуется указать уровень доступа. В данном окне мастера отладки потребуется выбрать роль, которую данная учетка играет в проекте. Укажите подходящий вариант и кликните на «Continue», если хотите раздать доступ к учетки на несколько email-адресов, или «Done», если вам это не нужно. 

Следующий пункт отладки – Grant users access to this service account – также опциональный. Он используется для предоставления доступа по ссылке или с иным типом разрешения. В этом разделе роли владельцев доступа делятся на администраторов и пользователей.

Создание ключа Google Indexing API

После выполнения всех шагов выше мастер настройки аккаунта автоматически возвратит вас на начальную страницу вкладки «Service Accounts». 

1. В строке сервисного аккаунта есть меню, обозначенное тремя точками, расположенными вертикально. Нажмите на него и выберите раздел «Manage Keys». 

Работа с Google Cloud Platform
Работа с Google Cloud Platform

2. Здесь можно добавить уже имеющийся ключ или создать новый. Так как у вас еще нет аутентификационного ключа, его нужно создать с нуля. Нажмите на «Add Key» и затем «Create New Key»

Работа с Google Cloud Platform
Работа с Google Cloud Platform
3. Ключ будет сгенерирован системой. При этом система попросит выбрать его тип. Существует всего два варианта: JSON или P12. Рекомендуем выбирать первую разновидность как наиболее популярную и универсальную. 

4. В конце нужно нажать кнопку «Create», после чего файл с ключом загрузится автоматически. Далее потребуется только доработать скрипт для работы API. Этот алгоритм разберем ниже. 

Важно! С ключами учетных записей API нужно обходиться осторожно:

• Если ключ станет известен злоумышленникам, они могут применить его для несанкционированного доступа к вашему API и связанным данным.

• При хранении в небезопасном месте, например, в открытом тексте в коде приложения или в открытом доступе на публичном репозитории, ключ API также может быть скомпрометирован.

• Если ключ не ограничен по времени действия или по разрешениям, скамеры могут использовать его для получения доступа ко всем функциям вашего API в любое время.

Чтобы избежать проблем, используйте механизмы аутентификации и авторизации, такие как токены доступа, храните данные в защищенной среде, регулярно обновляйте их и ограничивайте права доступа к данным.

Как настроить скрипт 

Подготовка к настройке скрипта

1. Используйте официальные инструкции Google для настройки доступа к API-индексированию в Google Cloud Platform.

2. JSON-файл, который содержит ваш ключ и учетные данные, сохраните под названием service_account.json

3. Откройте urls.txt и вставьте в него адреса страниц, которые нужно проиндексировать.

Настройка скрипта

1. Чтобы настроить скрипт для работы с индексом API, необходимо его создать. Скачайте готовый вариант в GitHub: просто перейдите по ссылке и загрузите файл нажатием кнопок, указанных на скриншоте ниже. 

Загрузка скрипта с GitHub
Загрузка скрипта с GitHub

2. Распакуйте архив и найдите в папке файл service-account.json.

service-account.json
service-account.json
3. Теперь откройте JSON-файл, скачанный из Google Cloud Platform (например, с помощью блокнота). Скопируйте его содержание в файл service-account.json. Сохраните service-account.json

Чтобы скрипт работал успешно, его необходимо связать с Google Search Console:

1. Зайдите в свой аккаунт, используя данные своей учетной записи, и откройте раздел «Настройки». 

2. В подгруппе «Общие» перейдите в «Пользователи и разрешения». Откройте файл service_account.json и скопируйте данные из строки client.email. 

3. Распределите права между перечисленными адресами – укажите владельца, администраторов и обычных пользователей. Для начала достаточно указать только владельца проекта, чтобы он мог изменять список URL-адресов для индексации и управлять данными аккаунта.

Теперь нужно переключиться на Google Cloud Platform, найти в перечне нужный сервисный аккаунт и проверить, что у него стоит статус Enabled.

Чтобы управлять файлом с ключами и файлом с адресами индексируемых страниц, необходимо скачать редактор Node.js. Перейдите по ссылке на сайт разработчика и установите библиотеку на свой компьютер. Откройте папку с исходными данными приложения и запустите PowerShell. Сразу после запуска наберите команды ниже и нажмите Enter.

• npm install requests;

• npm audit fix;

• npm audit fix --force.

После выполнения этих инструкций библиотека должна установиться, что позволит запускать и редактировать скрипты.

Запуск скрипта для API

На заключительном этапе настройки необходимо заполнить данные для индексации, то есть сообщить программе, какие именно страницы сайта нужно добавить в поисковую систему. 

1. Откройте папку с файлом, загруженным с GitHub, и в списке данных найдите файл под именем url.txt. Откройте его как обычный файл. Автоматически он открывается через блокнот, WordPad, Notepad или другую схожую программу. 

2. В этот файл нужно вручную добавить адреса всех страниц, которые будут отправляться на индексацию. Как сказано выше, добавлять можно как совсем новые страницы, так и старые, на которых недавно обновлялись данные. Если не хотите собирать URL вручную, воспользуйтесь специальными программами.

3. После добавления всех нужных адресов, выделите их, зажмите на клавиатуре клавишу Shift, через правую кнопку мыши запустите контекстное меню и откройте терминал. Таким образом, новые URL-адреса автоматически добавятся в консоль для переобхода и добавления в индекс. 

Вот и все. Теперь вы можете использовать Google Indexing API, чтобы улучшить видимость своего сайта, а также ускорить реакцию ПС на обновление новостей и данных. Применение автоматизации позволит сэкономить время на выполнение других важных задач по оптимизации и продвижению проекта!

FAQ: частые вопросы пользователей

• Google Indexing API — что это и зачем он нужен? 

Приложение представляет собой скрипт, совместимый с инструментами поисковика Google и используется веб-мастерами для того, чтобы ускорить индексацию страниц сайта через краулер. 

• Сколько времени занимает индексирование сайта без использования API? 

Согласно данным от разработчиков ПС Google, если на сайте менее 500 страниц, он будет полностью добавлен в поисковую выдачу как минимум за 3 недели. Далее время индексации растет в прямой пропорции с количеством URL-адресов в проекте. Например, если вы индексируете интернет-каталог, где более 25 тысяч страниц, на полную проверку веб-портала может уйти до одного года. 

• Какие преимущества API дает пользователю? 

В стандартном режиме краулер не особенно отличается скоростью обхода страниц на сайтах, так как число веб-ресурсов растет ежедневно. Использование программного интерфейса API позволяет моментально заявить поисковым ботам о наличии новой информации на вашем сайте, которая будет добавлена в индекс в кратчайшие сроки. 

• Кто может использовать приложение? 

Чаще всего моментальное обновление требуется для владельцев новостных ресурсов. Однако оно подходит для блогов и сайтов, где часто добавляются товары, статьи и т.д.

• После запуска скрипта выходит код ошибки 403 — что делать? 

В данном случае разработчик рекомендует предоставить сервисному аккаунту права владельца. Этот шаг мы разбирали в инструкции выше. Если ошибка возникает при установленных правах владельца, внимательно просмотрите настройки учетной записи в Google Search Console. 

• Почему при запуске скрипта выходит ошибка номер 429? 

Данный код указывает на то, что вы добавили для индексации слишком много URL-адресов одновременно. Не рекомендуется добавлять более 100 страниц в одном пакете, иначе это приведет к превышению допустимой квоты. Чтобы избежать ошибки, рекомендуется сделать несколько параллельных запросов к API и в каждом из запросов разместить по 100 URL.