Knock, knock, AI! Roboty AI w logach serwera
Knock, knock, AI! to moja aplikacja, która z logów Twojego serwera pokazuje, które roboty AI naprawdę czytają Twoje strony. Instalujesz ją raz, w jednym folderze na serwerze domeny, a panel w przeglądarce pokazuje wizyty robotów i to, którą wersję strony odczytały.
Po co ta aplikacja
Test z High Five, AI! mówi, czy roboty AI mogą wejść na Twoją stronę. To jednak symulacja, a pewność dają dopiero logi serwera. Knock, knock, AI! czyta te logi i pokazuje, które roboty AI (ChatGPT, Claude, Perplexity, Google i inne) rzeczywiście czytają Twoje strony. Pisałem ją dla właścicieli i opiekunów stron oraz dla agencji SEO.
Co pokazuje panel
Panel w przeglądarce ma sześć widoków. Każdy odpowiada na inne pytanie.
| Widok | Na jakie pytanie odpowiada |
|---|---|
| Wizyty | Które roboty czytają które strony. |
| Dostęp | Czy roboty mają wstęp do strony głównej. |
| Aktualność | Jaki jest Knock Score i jak wygląda aktualność całego serwisu. |
| Ruch z AI (beta) | Ilu ludzi przychodzi z odpowiedzi AI. |
| Strony | Jak wygląda każda strona z sitemap. |
| Błędy | Które adresy zwracają robotom błąd i jak to naprawić. |
Siódmy widok, Strona, nie ma pozycji w menu. Otwierasz go z pola adresu albo z wiersza tabeli Strony i sprawdzasz, czy roboty mają aktualną wersję jednej strony.
Prawdziwy robot czy podróbka
Nazwa robota w logu to za mało, bo każdy może się pod nią podpisać. Dlatego aplikacja sprawdza adres IP wizyty na liście, którą publikuje dostawca robota. Wizyta jest potwierdzona, niepotwierdzona (możliwa podróbka) albo bez listy, gdy dostawca nie publikuje użytecznej listy. Aplikacja nie odpytuje DNS. W panelu przełączasz widok między samymi potwierdzonymi wizytami a wszystkimi.
Którą wersję strony przeczytał robot
Robot na stronie ma jeden z trzech stanów: aktualna, starsza albo brak potwierdzonego odczytu. Gdy panel nie umie tego ustalić, mówi to wprost zamiast zgadywać. Dla robota, który został w tyle, pokazuje też, co zmieniło się od jego odczytu: ile słów dodano i usunięto. Wersje stron panel ustala z rozmiarów odpowiedzi w logu, a dla witryn statycznych także z tekstów stron.
Knock Score
Knock Score to liczba od 0 do 100: dla ilu Twoich stron każda platforma AI pobrała aktualną wersję. Mierzy więc pobranie strony przez roboty, a nie to, co model „wie”. Pobranie nie gwarantuje też, że strona zostanie użyta. W wyniku liczy się tylko robot wyszukiwarkowy każdej platformy i tylko odczyty potwierdzone. Panel pokazuje wynik jako licznik w widoku Wizyty i jako kartę z linią po dniach w widoku Aktualność.
Jak to działa i co potrzebujesz
To aplikacja PHP w jednym folderze na serwerze domeny: bez bazy danych, dane leżą w zwykłych plikach, a panel jest za hasłem. Wgrywasz folder, otwierasz jego adres i przechodzisz siedem kroków konfiguracji w przeglądarce. Zajmuje to kilkanaście minut.
Potrzebujesz PHP 8.2 lub nowszego, prawa zapisu w folderze aplikacji, crona w panelu hostingu i dostępu do logu dostępowego serwera. Aplikacja nie ustawia crona, tylko pokazuje, co wpisać. Rozumie logi Apache i nginx, a format rozpoznaje sama. Z logów nic nie wychodzi z Twojego serwera: ani adresy IP odwiedzających, ani User-Agenty.
Uczciwe ograniczenia
- Blokady w Cloudflare i odpowiedzi z pamięci podręcznej nie docierają do serwera, więc nie ma ich w logu.
- Wiele serwerów trzyma logi około 7 dni. Wizyty, które zniknęły z logu, zanim cron je skopiował, nie wrócą.
- Pełnej pewności co do wersji strony nie ma, a nowa wersja jest znana dopiero przy pierwszej odpowiedzi na nią, więc aktualność spóźnia się za zmianą.
- Widok Dostęp i sprawdzanie Common Crawl korzystają z mojej usługi api.adinspire.com. Reszta działa bez niej.
Licencja
Aplikacja jest darmowa. Licencja Free Use Licence pozwala instalować ją i używać na własnych stronach oraz na stronach klientów. Nie wolno jej sprzedawać, rozpowszechniać w zmienionej wersji ani wydawać pod inną nazwą. Aplikacja jest dostarczana bez gwarancji.