[web] - bloccare bot in htaccess

[danix]

Ciao a tutti,
ho notato nei log di un sito che curo che uno spider è un po' troppo invadente, il suo user agent è panscient e volevo bloccarlo in qualche modo... siccome non da retta al robots.txt ho pensato di bloccarlo con l'htaccess, ma qui mi sono un attimo impantanato (non sono un guru)...

Questa è la direttiva che ho trovato dopo un po' di google:

Codice: Seleziona tutto

SetEnvIfNoCase User-agent "Panscient"
spammer=yes
<limin GET POST PUT>
Order allow,deny
deny from env=spammer
allow from all
</limit>

Il problema è che usando questa direttiva il server mi restituisce un bel 501... cosa ho sbagliato??

Sullo stesso sito dove ho trovato questa c'erano anche dei suggerimenti per bloccare l'ip o il range in cui opera questo bot, ma, se possibile, vorrei evitare di bloccare degli ip per non rischiare di tagliare fuori qualcuno che con il bot non ha nulla a che vedere...



Mi date una mano??

[danix]

Mi rispondo da solo... ho googlato ancora un po' e ho trovato sulla reference di apache alcuni esempi, ne ho adattato uno in questo modo:

Codice: Seleziona tutto

SetEnvIfNoCase User-agent "^Panscient" bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

e sembra funzionare, nel senso che posso accedere da browser al sito... resta però da vedere se il bot riuscirà ad accedervi ancora...

Aspetto qualche conferma e poi metto risolto...


Ciau

[teox99]

ciao,
scusa la curiosita'... ma in che senso e' invadente?

[fanfani]

puoi fare un test cambiando la stringa useragent del browser,
se non riesci a visualizzare il sito la cosa funziona.

ad es. con links da linea di comando

Codice: Seleziona tutto

$ links -fake-user-agent Panscient http://nome.sito.dom

[danix]

ciao,
scusa la curiosita'... ma in che senso e' invadente?

nel senso che è molto pesante in termini di richieste e poi fa delle query che non esistono anche in directory in cui non dovrebbe guardare e che io ho bloccato con il robots.txt... In ogni caso, uno spider che non rispetta quel file andrebbe bloccato a priori...

@fanfani:
grazie della dritta, adesso provo...