Spis treści
Co to są i jak sprawdzić logi serwera?
Każde żądanie skierowane względem Twojej strony jest zapisywane w pliku dziennika na serwerze. Dzięki temu możesz dokładnie zobaczyć jak wyszukiwarki takie jak Google, indeksują Twoją witrynie.
Wszystko, co musisz zrobić, to wyeksportować te dane i je odpowiednio filtrować.
Co można wyczytać z analizy logów serwera?
Dobra analiza logów serwera i podjęcie odpowiednich działań pomoże Ci poprawić SEO dla Twojej witryny.
Dzięki analizie logów dowiesz się:
- Ile marnuje się tzw. „crawl budget-u” i gdzie. Budżet indeksowania jest często marnowany na nieistotne strony.
- Gdzie występują błędy takie jak błędy 404 i 500 aby je poprawić. Zbyt wiele odpowiedzi błędów kodu, może spowodować że Google ograniczy indeksowanie Twojej witryny, a być może nawet twoje pozycje w rankingu wyszukiwania.
- Zlokalizujesz strony, które nie są często indeksowane. Może się zdarzyć że zapomnisz umieścić url strony która uznajesz za wartościową, w strukturze serwisu . Zapomniałeś czy też podałeś w strukturze błędnie jej adres, taki „czeski błąd”.
- Rozpoznasz zbyt duże zasoby statyczne
Pliki dziennika, jako jedyne, zawierają w 100% dokładne informacje w jaki sposób wyszukiwarki przemierzają Twoją witrynę.
Analiza logów jest jednym z aspektów technicznych SEO, a poprawienie problemów występujących w logach pomoże w osiągnięciu wyższych pozycji w rankingu, zwiększeniu ruchu, konwersji i sprzedaży.
Zdobyta wiedza z logów Twojej strony z dziennika serwera jest lepsza niż z jakichkolwiek innych dostępnych zewnętrznych narzędzi indeksujących.
Rezultatem prac opartych na analizach logów jest wyższa wydajność Twojej strony dla SEO.
Wstawianie parametrów do adresów URL, zwykle używanych w śledzeniu stron w celach marketingowych, często powoduje, że wyszukiwarki marnują budżety na indeksowanie, indeksując różne adresy URL o tej samej treści.
Co znajdziesz w logach serwera
Przeglądarka tłumaczy adres URL na 3 części:
- Protokół
- Nazwa serwera
- Nazwa pliku
Wygląd pliku dziennika zależy od typu serwera i używanych konfiguracji (Apache, IIS itp.), Ale istnieją elementy rekordu, które zawsze można znaleźć:
- IP serwera
- Agent użytkownika
- Znacznik czasu (data i godzina)
- Kod stanu HTTP
- Metoda (GET / POST)
- Żądany adres URL (URL + zapytanie URL)
- Polecający (zewnętrzna strona z której przybywa użytkownik)
Można dodać dodatkowe atrybuty, takie jak:
- Nazwa hosta
- Pobrane bajty
- Zajęty czas
- Żądanie / adres IP klienta
Wskaźniki które należy przeglądać w plikach dziennika w celu poprawy SEO.
Objętość indeksowania botów
Objętość indeksowania botów odnosi się do liczby żądań wysłanych przez roboty indeksujące wyszukiwarek. Objętość indeksowania botów może pokazać, czy strona została zindeksowana przez konkretną wyszukiwarkę.
Marnotrawstwo budżetu indeksowania
Budżet indeksowania odnosi się do liczby stron, które wyszukiwarka będzie indeksować w Twojej witrynie w określonym przedziale czasu, zwykle w ciągu dnia. Budżet ten jest powiązany z autorytetem domeny i proporcjonalny do przepływu kapitału linków przez stronę internetową.
Ten budżet indeksowania jest często marnowany na nieistotne strony. Załóżmy, że nasz budżet to 1000 stron dziennie. Chcesz, aby te 1000 stron, które zostały zindeksowane, pojawiły się w SERP-ach. Boty mogą jednak indeksować stare strony, duplikaty stron, strony przekierowane lub inne strony, które nie są ważne dla Twojej strategii SEO. Jeśli masz świeżą treść, którą chcesz zindeksować, ale nie masz już budżetu, Google nie zindeksuje tej nowej treści. Dzięki analizie logów możesz obserwować, gdzie wydajesz budżet na indeksowanie.
Tymczasowe przekierowania 302
Tego rodzaju przekierowania nie są zoptymalizowane pod kątem SEO, ponieważ wykorzystują duży budżet na indeksowanie.
Wyszukiwarki często wracają, aby sprawdzić, czy tymczasowe przekierowanie jest nadal dostępne ze starego adresu URL na nowy.
Preferuj stałe przekierowania 301. Analiza danych dziennika może pomóc w wykryciu tych przekierowań.
Błędy kodu odpowiedzi serwera
Analiza danych dziennika może również pomóc w wykryciu błędnych statusów, takich jak 4xx i 5xx, które mogą mieć zły wpływ na SEO. Zrozumienie różnych kodów stanu HTTP może pomóc Ci uzyskać wyższą pozycję.
Priorytet indeksowania
Dzięki analizie logów dowiesz się także czy poprawić priorytet indeksowania urli w mapie witryny XML lub też poprawić wewnętrzną strukturę linków. Zapobiec ignorowaniu przez Google niektórych stron lub sekcji Twojej witryny.
Wykonując analizę logów serwera możesz zauważyć adresy stron, które nie są często indeksowane przez boty. Na przykład, jeśli chcesz, aby określony post na blogu był zauważony i pojawiał się na zapytanie w wynikach wyszukiwania w wyszukiwarce Google, ale znajduje się on w katalogu, który Google odwiedza tylko raz na 6 miesięcy, stracisz możliwość zdobycia bezpłatnego ruchu związanego z wyszukiwaniem z tego konkretnego postu do 6 miesięcy, zanim Google przyjdzie, by go ponownie zindeksować.
Twoja strona nie ma jeszcze mapy XML ? Teraz już wiesz dlaczego powinna ją mieć.
Indeksowanie zduplikowanych adresów URL
Parametry adresów URL, takie jak filtry lub śledzenie, mogą powodować marnowanie budżetu na indeksowanie, ponieważ w tym przypadku wyszukiwarki indeksują różne adresy URL o tej samej treści.
GSC – Parametry w URL-ach
W narzędziach dla webmasterów w „Parametry w URL-ach” – https://www.google.com/webmasters/tools/crawl-url-parameters , Google umożliwia właścicielom witryn określenie maksymalnie 15 parametrów, które powinien zignorować podczas indeksowania witryny.
Google wymienia parametry, które znalazł w adresach URL w Twojej witrynie i pyta się czy Twoim zdaniem są one ważne czy nie. Sugeruje odpowiednie działania które możesz potwierdzić lub odrzucić, zmieniając na inne. Możesz także dodawać parametry, których nie ma na liście.
Data ostatniego indeksowania
Analiza pliku dziennika może wskazać, kiedy Google ostatnio odwiedził określoną stronę, którą chcesz szybko zindeksować.
Czas między pierwszym zindeksowaniem a pierwszym ruchem organicznym
Jeśli regularnie monitorujesz swoje dzienniki, możesz także śledzić, ile czasu zajmuje między opublikowaniem treści, czasem jej indeksowania, a czasem uzyskania pierwszych bezpłatnych wyników. Umożliwi to skonfigurowanie kalendarza treści dla kampanii sezonowych lub wydarzeń z określoną datą. Program „Screaming Frog SEO Log File Analyser” zrobi to chyba najlepiej i najczytelniej.
Budżet indeksowania
Jak powiedzieliśmy wcześniej, budżet indeksowania jest dość powiązany z autorytetem domeny i proporcjonalny do przepływu kapitału linków przez stronę internetową. Ponieważ Google nie chce marnować czasu na indeksowanie stron w niskiej jakości witrynie, będziesz musiał monitorować aktywność Googlebota w czasie rzeczywistym, aby sprawdzić, czy boty spędzają wystarczająco dużo czasu na twoich stronach.
Zmiany w aktywności bota na twojej stronie internetowej są wczesnym znakiem ostrzegawczymi zmian algorytmu lub zmian stron, które wpływają na SEO Twojej strony. Dzięki analizie dziennika możesz wykryć zmiany, zanim staną się problemami.
Pomocne:
Raport od Google, Stan w indeksie – https://support.google.com/webmasters/answer/7440203?hl=pl
Programy pomocne w analizie logów serwera:
Jest wiele programów które pomogą w analizie logów serwera.
Wymienię te popularne i naszym zdaniem najlepsze:
- Screaming Frog Log Analyzer – https://www.screamingfrog.co.uk/log-file-analyser/
- GamutLogViewer – http://www.gamutsoftware.com/index.php/download
- Splunk – http://www.splunk.com/download
- program Excel – wymaga wtyczek i dobrej znajomości obsługi Excel-a. Dzieki Excel-owi uzyskamy najlepsze wyniki analiz.
Polecamy program Screaming Frog Log Analyzer. Uznaliśmy ze jest on najbardziej optymalny, do pracy przy analizie logów serwera, dla osób mniej obeznanych z EXCEL-em i średnio zaawansowanych w SEO.
Nie będziemy opisywać tego programu, obejrzyj film
Aktualnie pracujemy nad bardzo rozbudowanym opisem pomocnym a analizie logów serwera, zawierającym komendy, przykłady i opisy oparte na przykładach podjętych działań, wynikłych z analizy logów serwera, dla stron naszych klientów.
Pytania i odpowiedzi:
Czym jest analiza logów serwera w kontekście SEO?
Analiza logów serwera w SEO polega na badaniu plików dziennika serwera, aby zrozumieć, jak roboty wyszukiwarek i użytkownicy interagują z witryną. Pozwala to na identyfikację problemów z indeksowaniem, monitorowanie aktywności botów oraz optymalizację struktury strony.
Dlaczego analiza logów serwera jest ważna dla SEO?
Analiza logów serwera dostarcza szczegółowych informacji o zachowaniu robotów wyszukiwarek na stronie. Pozwala to na wykrycie błędów, takich jak strony zwracające kody 404, oraz na optymalizację budżetu indeksowania, co przekłada się na lepszą widoczność w wynikach wyszukiwania.
Jakie informacje można uzyskać z logów serwera?
Z logów serwera można uzyskać dane o liczbie odwiedzin, unikalnych użytkownikach, czasie trwania wizyt, używanych przeglądarkach, systemach operacyjnych, a także o błędach HTTP i aktywności robotów wyszukiwarek.
Jakie narzędzia są używane do analizy logów serwera?
Do analizy logów serwera stosuje się narzędzia takie jak Screaming Frog Log File Analyser, AWStats czy GoAccess. Pozwalają one na przetwarzanie i interpretację danych z logów w kontekście SEO.
Jak analiza logów serwera wpływa na optymalizację crawl budget?
Analiza logów serwera umożliwia identyfikację, które strony są najczęściej odwiedzane przez roboty wyszukiwarek i czy budżet indeksowania nie jest marnowany na nieistotne adresy URL. Dzięki temu można zoptymalizować strukturę witryny, aby ważne strony były częściej indeksowane.
Jakie błędy można wykryć dzięki analizie logów serwera?
Analiza logów serwera pozwala wykryć błędy takie jak kody 404 (strona nie znaleziona), 500 (błąd serwera), pętle przekierowań czy problemy z wydajnością strony.
Czy analiza logów serwera pomaga w identyfikacji problemów z indeksowaniem?
Tak, analiza logów serwera pozwala zidentyfikować, które strony są rzadko odwiedzane przez roboty wyszukiwarek, co może wskazywać na problemy z indeksowaniem tych stron.
Jak często powinno się przeprowadzać analizę logów serwera pod kątem SEO?
Częstotliwość analizy logów serwera zależy od wielkości i dynamiki witryny. Dla dużych serwisów zaleca się regularne, nawet codzienne analizy, podczas gdy mniejsze strony mogą wymagać rzadszych przeglądów.
Czy analiza logów serwera może pomóc w wykrywaniu ataków na stronę?
Tak, logi serwera rejestrują nietypowe aktywności, takie jak próby nieautoryzowanego dostępu czy skanowanie portów, co pozwala na wczesne wykrycie i reakcję na potencjalne zagrożenia.
Jakie są najlepsze praktyki w analizie logów serwera dla SEO?
Najlepsze praktyki obejmują regularne monitorowanie logów, identyfikację i naprawę błędów, optymalizację crawl budget oraz wykorzystanie specjalistycznych narzędzi do analizy danych.
Czy analiza logów serwera jest konieczna dla każdej witryny?
Chociaż nie jest to konieczne dla każdej witryny, analiza logów serwera jest szczególnie przydatna dla dużych serwisów oraz stron z problemami z indeksowaniem czy wydajnością.
Jakie dane są rejestrowane w logach serwera?
Logi serwera rejestrują adresy IP odwiedzających, daty i godziny żądań, żądane URL-e, kody odpowiedzi serwera, informacje o przeglądarkach i systemach operacyjnych oraz źródła ruchu.
Czy analiza logów serwera może pomóc w optymalizacji szybkości ładowania strony?
Tak, analiza logów pozwala zidentyfikować strony z długimi czasami odpowiedzi, co umożliwia podjęcie działań optymalizacyjnych w celu poprawy szybkości ładowania.
Jakie są najczęstsze błędy wykrywane podczas analizy logów serwera?
Najczęstsze błędy to kody 404 (strona nie znaleziona), 500 (błąd serwera), problemy z przekierowaniami oraz błędy wynikające z nieprawidłowej konfiguracji serwera.
Czy analiza logów serwera może pomóc w optymalizacji linkowania wewnętrznego?
Tak, analiza logów umożliwia identyfikację stron, które są rzadko odwiedzane przez roboty, co może wskazywać na potrzebę poprawy linkowania wewnętrznego do tych stron.
Jakie są korzyści z analizy logów serwera dla dużych witryn?
Dla dużych witryn analiza logów serwera pozwala na efektywne zarządzanie crawl budget, identyfikację problemów z indeksowaniem oraz monitorowanie aktywności botów i użytkowników.
Czy analiza logów serwera może pomóc w identyfikacji niechcianych botów?
Tak, analiza logów pozwala wykryć nietypowe wzorce ruchu, które mogą wskazywać na obecność niechcianych botów, co umożliwia podjęcie działań zapobiegawczych.
Jakie narzędzia są polecane do analizy logów serwera pod kątem SEO?
Polecane narzędzia to Screaming Frog Log File Analyser, AWStats, GoAccess oraz narzędzia wbudowane w platformy hostingowe, takie jak cPanel czy Plesk.
Czy analiza logów serwera jest trudna do przeprowadzenia?
Analiza logów serwera wymaga pewnej wiedzy technicznej, ale z pomocą odpowiednich narzędzi i praktyki staje się bardziej przystępna nawet dla mniej doświadczonych użytkowników.
Jakie są najważniejsze wskaźniki do monitorowania w logach serwera?
Najważniejsze wskaźniki to liczba odwiedzin, unikalne IP, kody odpowiedzi HTTP, częstotliwość odwiedzin botów wyszukiwarek, czas odpowiedzi serwera oraz strony generujące najwięcej błędów.
Czy analiza logów serwera pozwala na identyfikację zduplikowanych treści?
Tak, analiza logów serwera może pomóc zidentyfikować strony z podobnymi adresami URL odwiedzanymi przez boty, co może wskazywać na problem z duplikacją treści.
Jakie znaczenie dla SEO ma wykrywanie błędów 404 w logach serwera?
Wykrywanie błędów 404 w logach serwera pozwala na szybką reakcję, np. poprzez poprawę linków wewnętrznych lub ustawienie przekierowań, co zapobiega utracie wartości SEO oraz poprawia doświadczenie użytkowników.
Czy analiza logów serwera może pomóc w migracji witryny?
Tak, analiza logów serwera przed i po migracji pozwala monitorować aktywność botów, wykrywać błędy oraz upewnić się, że wszystkie ważne strony są dostępne i poprawnie indeksowane.
Jakie są różnice między danymi z Google Search Console a logami serwera?
Google Search Console dostarcza informacje o ruchu z wyszukiwarki, natomiast logi serwera rejestrują wszystkie żądania do serwera, w tym aktywność botów i ruch spoza wyszukiwarek.
Czy analiza logów serwera jest potrzebna przy optymalizacji technicznej SEO?
Tak, analiza logów serwera to kluczowy element optymalizacji technicznej SEO, ponieważ dostarcza szczegółowych informacji o problemach z indeksowaniem, błędach i aktywności robotów.
Jak logi serwera wpływają na wykrywanie problemów z przekierowaniami?
Analiza logów serwera pozwala na identyfikację przekierowań wielokrotnych lub pętli przekierowań, które mogą obniżać wydajność strony i prowadzić do strat w SEO.
Czy analiza logów serwera wspiera proces audytu SEO?
Tak, analiza logów serwera to istotny element audytu SEO, który umożliwia ocenę technicznej wydajności strony, identyfikację błędów oraz optymalizację pod kątem crawl budget.
Jak logi serwera pomagają w zrozumieniu interakcji botów z witryną?
Analiza logów pozwala zrozumieć, które strony są odwiedzane przez boty, jak często to się dzieje oraz czy nie marnują one budżetu indeksowania na nieistotne strony.
Czy analiza logów serwera jest wymagana do wdrożenia pliku robots.txt?
Nie jest to wymagane, ale analiza logów serwera może pomóc sprawdzić, czy reguły w pliku robots.txt są przestrzegane przez boty wyszukiwarek, co zapewnia lepszą kontrolę nad indeksowaniem strony.
Autor: Robert Wiertel
Linkedin: https://www.linkedin.com/in/wiertel