Анализ логов сервера для SEO
Анализ логов — разбор журналов веб-сервера, в которых записан каждый запрос к сайту, включая запросы поисковых роботов. Это единственный источник, показывающий, что робот делал на самом деле, а не что показывают сводные отчёты.
Что видно только в логах
- Какие страницы робот обходит чаще всего — и не тратит ли он бюджет на мусор.
- Какие важные страницы он не посещал месяцами.
- Какие коды ответа он получает: 404, 500, цепочки редиректов.
- Сколько времени сервер отвечал именно роботу.
- Не притворяется ли роботом кто-то посторонний.
Как выглядит работа
- Возьмите логи за две-четыре недели — обычно это файлы access.log на сервере.
- Отфильтруйте запросы поисковых роботов по user-agent и проверьте их по официальным диапазонам адресов: подделка распространена.
- Сгруппируйте по разделам сайта и посмотрите распределение обхода.
- Сопоставьте со списком страниц, которые вам важны.
- Уберите из обхода то, что туда попадать не должно, — фильтры, сортировки, служебные адреса.
| Находка в логах | Что обычно означает |
|---|---|
| Половина обхода — страницы фильтров | Фасетная навигация съедает бюджет обхода |
| Робот ходит по старым адресам | Внутри сайта остались ссылки на редиректы |
| Много ответов 5xx роботу | Сервер не выдерживает обход — позиции могут просесть |
| Важный раздел не посещался | Он слабо связан перелинковкой |
Чем заменить, если логов нет
Частично — отчётом об индексировании в Search Console: он показывает статусы страниц и причины исключения. Это не заменяет логи, но позволяет найти большинство типовых проблем без доступа к серверу.
Бюджет обхода простыми словами
Бюджет обхода — количество страниц, которое робот готов обойти на сайте за период. Он зависит от того, насколько быстро отвечает сервер и насколько ценным поиск считает сайт. Увеличить его напрямую нельзя, но можно перестать тратить впустую: убрать из обхода дубли, служебные адреса и бесконечные сочетания параметров.
Практический признак нехватки бюджета — новые страницы неделями не попадают в индекс, хотя технически с ними всё в порядке.