pajączki

czytając w GBloguPL o robots.txt (pliczek, który mówi, które strony wolno indexować) trafiłem na listę pajączków: 298 – trochę tych robocików biega po sieci… Googlebot nie czuje się samotny🙂

ciekawe, że wget też jest na tej liście… no ale rzeczywiście, z odpowiednim skryptem, do utrzymywania mirror’a spokojnie wystarczy…

Skomentuj

Please log in using one of these methods to post your comment:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s


%d bloggers like this: