Мы знаем, насколько вебмастеров и оптимизаторов волнует проблема индексации страниц в Google, поэтому, увидев этот кейс, не могли пройти мимо.
Эксперты ANT-TEAM рассказывают пошаговые действия, которые помогли ввести большое количество страниц в индекс с помощью индексатора Google.
Описанный метод подойдет вебмастерам, так как требует доступа к Google Search Console.
Дано: интернет-магазин с 10 000 страниц в индексе из 70 000.
Задача: проиндексировать остаток.
Стандартные методы ускорения индексации
Чтобы поисковые системы индексировали сайт, нужно выполнить несколько условий:
Все эти способы были применены до середины 2021 года. Вот так изменилась видимость сайта в ПС Яндекс:
Но, как видим, проделанная работа никак не повлияла на индексацию в ПС Google:
На скриншоте видно, что в индексе Google остаются все те же 10 000 страниц, которые были там изначально.
Google Indexing API
В начале сентября 2021 года создано ТЗ программисту на индексатор на основе вот этого поста в Telegram (здесь ссылка на код, инструкция по запуску и дополнительные рекомендации). Можно воспользоваться вот этой обновленной версией.
Этот индексатор позволяет отправлять в Google сразу по 200 запросов. Но при задаче на индексацию в 60 000 страниц это очень низкий лимит. До начала работы с API надо было настроить аналитику и донастроить индексатор.
Подготовка к использованию индексатора
Для запуска нового индексатора создан актуальный список страниц, которые необходимо отправить Google-боту. В этом кейсе использовали такой набор инструментов:
Результат выглядел так:
На индексацию отправлялись ссылки, где в индексе стоял 0.
Также надо настроить аналитику, чтобы отслеживать ход индексации через API:
Чтобы отслеживать, когда ссылка отправлена и когда бот ее посетил, был создан дашборд в Google Data Studio:
Донастройка индексатора
По умолчанию через Google Indexing API можно отправлять только по 200 ссылок в день. Ознакомиться с квотами и способом увеличения можно в блоге Google.
Чтобы обойти это ограничение, команда ANT-TEAM.RU попробовала регистрацию нового аккаунта Google и подключение его к индексатору. Для этого потребовалось изменить исходный код индексатора. Его модификация доступна здесь. Для работы кода в корне необходимо создать папку “json_keys”, куда затем поместить все json-ключи, выданные Google после регистрации новых аккаунтов.
Это позволило сразу увеличить квоту. Каждый новый аккаунт добавлял +200 ссылок на отправку в день. Далее индексатор работал с 32 аккаунтами Google, чтобы отправлять в день 6000+ ссылок.
Результаты работы индексатора отображены на скриншоте из Google Search Console:
Результаты использования Google Indexing API
Основная цель — ввести в индекс Google как можно больше страниц. После запуска массовой отправки ссылок с 32 аккаунтов Google проиндексировал 24 000 страниц за 10 дней:
Вот как изменилась видимость сайта в Google:
Алгоритм по настройке Google Indexing API:
Данный метод позволяет быстро проиндексировать большой объем страниц. Исходная версия кода поможет тем, кто работает с небольшим количеством страниц и вкладывается в стандартную квоту — 200 ссылок за один день.
Этот кейс также доступен в Дзене Миралинкс!
Источник: blog.miralinks.ru