Comments on: Blokowanie zalewu robotów MSNu http://diary.braniecki.net/2010/02/05/blokowanie-zalewu-robotow-msnu/ Open-source development violates almost all known management theories. Sat, 03 Sep 2011 18:43:33 +0000 hourly 1 http://wordpress.org/?v=3.3.1 By: Emanuel http://diary.braniecki.net/2010/02/05/blokowanie-zalewu-robotow-msnu/comment-page-1/#comment-52620 Emanuel Sun, 18 Apr 2010 22:25:22 +0000 http://diary.braniecki.net/?p=1068#comment-52620 Niezwykle drapieżny jest MSFT 207.46. Potrafi nawet 10-krotnie przebić Googlebota w dziennej liczbie zapytań i włazi wszędzie "z buciorami". Jest co kilka minut, za każdym razem inne IP i udawanie innej przeglądarki, przez 24h na dobę. Zachowuje się jak natrętny kameleon. Chciałem z nim kiedyś delikatnie... ale nic nie pomagało - skuteczne jest tylko całkowite wycięcie 207.46.0.0/16 na poziomie serwera... i po sprawie :) <code>iptables -I INPUT -s 207.46.0.0/16 -j DROP</code> Odtąd spokój. Niezwykle drapieżny jest MSFT 207.46. Potrafi nawet 10-krotnie przebić Googlebota w dziennej liczbie zapytań i włazi wszędzie “z buciorami”. Jest co kilka minut, za każdym razem inne IP i udawanie innej przeglądarki, przez 24h na dobę. Zachowuje się jak natrętny kameleon. Chciałem z nim kiedyś delikatnie… ale nic nie pomagało – skuteczne jest tylko całkowite wycięcie 207.46.0.0/16 na poziomie serwera… i po sprawie :)
iptables -I INPUT -s 207.46.0.0/16 -j DROP
Odtąd spokój.

]]> By: HARY http://diary.braniecki.net/2010/02/05/blokowanie-zalewu-robotow-msnu/comment-page-1/#comment-50478 HARY Sun, 14 Feb 2010 13:04:32 +0000 http://diary.braniecki.net/?p=1068#comment-50478 Zauważyłem to samo (msnbota w ubranku IE) sporo wcześniej, natomiast nie skojarzyłem, że zmiana nastąpiła po tym, jak wyciąłem go w robots.txt. Z bandytów rodzimych również Szukacz olewa robots. Jako ciekawostkę polecam też sprawdzić w logach, co przychodzi z amazon.com i OVH(94.23.) Są bardzo twórczy w wymyślaniu User-Agent. Zauważyłem to samo (msnbota w ubranku IE) sporo wcześniej, natomiast nie skojarzyłem, że zmiana nastąpiła po tym, jak wyciąłem go w robots.txt.

Z bandytów rodzimych również Szukacz olewa robots.

Jako ciekawostkę polecam też sprawdzić w logach, co przychodzi z amazon.com i OVH(94.23.) Są bardzo twórczy w wymyślaniu User-Agent.

]]> By: mazdac http://diary.braniecki.net/2010/02/05/blokowanie-zalewu-robotow-msnu/comment-page-1/#comment-50148 mazdac Fri, 05 Feb 2010 23:54:22 +0000 http://diary.braniecki.net/?p=1068#comment-50148 miałem coś podobnego z tym że była to pierwsza indeksacja gógla (oczywiście nie właził tam gdzie nie powinien) ale równie mocno dotknął mnie spadek parametrów łącza (bez regułek w tablesach lub konfigu serwera, wysysa calutkie), aktualizacje były już mniej zasobożerne. A msn i wp trzeba wycinać, takie zachowanie jest nie do przyjęcia. miałem coś podobnego z tym że była to pierwsza indeksacja gógla (oczywiście nie właził tam gdzie nie powinien) ale równie mocno dotknął mnie spadek parametrów łącza (bez regułek w tablesach lub konfigu serwera, wysysa calutkie), aktualizacje były już mniej zasobożerne. A msn i wp trzeba wycinać, takie zachowanie jest nie do przyjęcia.

]]> By: Maciej Piechotka http://diary.braniecki.net/2010/02/05/blokowanie-zalewu-robotow-msnu/comment-page-1/#comment-50128 Maciej Piechotka Fri, 05 Feb 2010 17:12:50 +0000 http://diary.braniecki.net/?p=1068#comment-50128 Hmm. Skoro obroną google było to że można wyłączyć kopiowanie treści przez plik robots.txt to oznacza że wp/msn. PS. W dokumentacji MSN znalazłem Crawl-delay (nigdzie indziej nie znalazłem opisu). Czy on też nie działa? I tak przy okazji - kto chciałby wpisywać minimalny czas indeksowania w sekundach? A dodanie wprost msnbot zamiast *? No i może przed sądem po prostu wysłać list z <del>pogrózkami</del> wyjaśnieniem sytłacji... Hmm. Skoro obroną google było to że można wyłączyć kopiowanie treści przez plik robots.txt to oznacza że wp/msn.

PS. W dokumentacji MSN znalazłem Crawl-delay (nigdzie indziej nie znalazłem opisu). Czy on też nie działa? I tak przy okazji – kto chciałby wpisywać minimalny czas indeksowania w sekundach? A dodanie wprost msnbot zamiast *? No i może przed sądem po prostu wysłać list z pogrózkami wyjaśnieniem sytłacji…

]]> By: Grzegorz http://diary.braniecki.net/2010/02/05/blokowanie-zalewu-robotow-msnu/comment-page-1/#comment-50120 Grzegorz Fri, 05 Feb 2010 15:34:06 +0000 http://diary.braniecki.net/?p=1068#comment-50120 Zastanawiam się czy to nie podpada pod jakiś paragraf, czy mówiąc w prostu nie da się postraszyć sądem właściciela bota? Zastanawiam się czy to nie podpada pod jakiś paragraf, czy mówiąc w prostu nie da się postraszyć sądem właściciela bota?

]]>