pajączki

czytając w GBloguPL o robots.txt (pliczek, który mówi, które strony wolno indexować) trafiłem na listę pajączków: 298 – trochę tych robocików biega po sieci… Googlebot nie czuje się samotny 🙂

ciekawe, że wget też jest na tej liście… no ale rzeczywiście, z odpowiednim skryptem, do utrzymywania mirror’a spokojnie wystarczy…

Reklamy

Skomentuj

Proszę zalogować się jedną z tych metod aby dodawać swoje komentarze:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Wyloguj / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Wyloguj / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Wyloguj / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Wyloguj / Zmień )

Connecting to %s


%d blogerów lubi to: