Analiza logów serwera dla SEO
Analiza logów — rozbiór dzienników serwera www, w których zapisano każde żądanie do strony, w tym żądania robotów wyszukiwarek. To jedyne źródło, które pokazuje, co robot naprawdę robi, a nie co pokazują zbiorcze raporty.
Co widać tylko w logach
- Jakie strony robot odwiedza najczęściej — i czy nie marnuje budżetu na śmieci.
- Jakie ważne strony nie były odwiedzane przez miesiące.
- Jakie kody odpowiedzi otrzymuje: 404, 500, łańcuchy przekierowań.
- Ile czasu serwer odpowiadał dokładnie robotowi.
- Czy ktoś obcy nie udaje robota.
Jak wygląda praca
- Weź logi z dwóch do czterech tygodni — zazwyczaj są to pliki access.log na serwerze.
- Przefiltruj żądania robotów wyszukiwarek według user-agent i sprawdź je według oficjalnych zakresów adresów: fałszerstwo jest powszechne.
- Grupuj według sekcji strony i zobacz rozkład crawl.
- Porównaj z listą stron, które są dla Ciebie ważne.
- Usuń z crawl to, co tam nie powinno trafić — filtry, sortowania, adresy serwisowe.
| Znalezisko w logach | Co zazwyczaj oznacza |
|---|---|
| Pół crawl — strony filtrów | Nawigacja fasetowa zjada budżet crawl |
| Robot chodzi po starych adresach | Na stronie pozostały linki do przekierowań |
| Dużo odpowiedzi 5xx dla robota | Serwer nie wytrzymuje crawl — pozycje mogą spaść |
| Ważna sekcja nie była odwiedzana | Jest słabo powiązana linkowaniem wewnętrznym |
Czym zastąpić, jeśli logów nie ma
Częściowo — raportem o indeksowaniu w Search Console: pokazuje statusy stron i przyczyny wykluczenia. To nie zastępuje logów, ale pozwala znaleźć większość typowych problemów bez dostępu do serwera.
Budżet crawl prostymi słowami
Budżet crawl — liczba stron, które robot jest gotów odwiedzić na stronie w danym okresie. Zależy od tego, jak szybko odpowiada serwer i jak wartościowa jest strona w oczach wyszukiwarki. Nie można go zwiększyć bezpośrednio, ale można przestać marnować: usunąć z crawl duplikaty, adresy serwisowe i nieskończone kombinacje parametrów.
Praktycznym znakiem braku budżetu jest to, że nowe strony przez tygodnie nie trafiają do indeksu, chociaż technicznie wszystko z nimi w porządku.