Аналіз логів сервера для SEO
Аналіз логів — розбір журналів веб-сервера, в яких записаний кожен запит до сайту, включаючи запити пошукових роботів. Це єдине джерело, що показує, що робот робив насправді, а не що показують зведені звіти.
Що видно тільки в логах
- Які сторінки робот обходить найчастіше — і не витрачає чи він бюджет на сміття.
- Які важливі сторінки він не відвідував місяцями.
- Які коди відповіді він отримує: 404, 500, ланцюги редиректів.
- Скільки часу сервер відповідав саме роботу.
- Не прикидається чи роботом хтось сторонній.
Як виглядає робота
- Візьміть логи за два-четири тижні — зазвичай це файли access.log на сервері.
- Відфільтруйте запити пошукових роботів за user-agent і перевірте їх за офіційними діапазонами адрес: підробка поширена.
- Сгрупуйте за розділами сайту і подивіться розподіл обходу.
- Співвіднесіть зі списком сторінок, які вам важливі.
- Приберіть з обходу те, що туди потрапляти не повинно, — фільтри, сортування, службові адреси.
| Знахідка в логах | Що зазвичай означає |
|---|---|
| Половина обходу — сторінки фільтрів | Фасетна навігація з'їдає бюджет обходу |
| Робот ходить по старим адресам | Всередині сайту залишилися посилання на редиректи |
| Багато відповідей 5xx роботу | Сервер не витримує обходу — позиції можуть просісти |
| Важливий розділ не відвідувався | Він слабо пов'язаний перелінковкою |
Чим замінити, якщо логів немає
Частково — звітом про індексацію в Search Console: він показує статуси сторінок і причини виключення. Це не замінює логи, але дозволяє знайти більшість типових проблем без доступу до сервера.
Бюджет обходу простими словами
Бюджет обходу — кількість сторінок, яке робот готовий обійти на сайті за період. Він залежить від того, наскільки швидко відповідає сервер і наскільки цінним пошук вважає сайт. Збільшити його безпосередньо не можна, але можна перестати витрачати даремно: прибрати з обходу дублікати, службові адреси і безкінечні комбінації параметрів.
Практичний признак нестачі бюджету — нові сторінки тижнями не потрапляють в індекс, хоча технічно з ними все в порядку.