Ricerca Google "Mi sento fortunato" da shell con wget

Forum dedicato alla programmazione.

Moderatore: Staff

Regole del forum
1) Citare in modo preciso il linguaggio di programmazione usato.
2) Se possibile portare un esempio del risultato atteso.
3) Leggere attentamente le risposte ricevute.
4) Scrivere i messaggi con il colore di default, evitare altri colori.
5) Scrivere in Italiano o in Inglese, se possibile grammaticalmente corretto, evitate stili di scrittura poco chiari, quindi nessuna abbreviazione tipo telegramma o scrittura stile SMS o CHAT.
6) Appena registrati è consigliato presentarsi nel forum dedicato.

La non osservanza delle regole porta a provvedimenti di vari tipo da parte dello staff, in particolare la non osservanza della regola 5 porta alla cancellazione del post e alla segnalazione dell'utente. In caso di recidività l'utente rischia il ban temporaneo.
Rispondi
Avatar utente
anycolouryoulike
Packager
Packager
Messaggi: 1158
Iscritto il: ven 10 ago 2007, 0:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10

Ricerca Google "Mi sento fortunato" da shell con wget

Messaggio da anycolouryoulike »

Se ad esempio voglio cercare "prova" faccio:

Codice: Seleziona tutto

wget http://www.google.it/search?q=prova
Ma come fare a scaricare direttamente il primo risultato?

Mi serve per uno script per taggare automaticamente la musica prendendo i dati da un sito come http://rateyourmusic.com/.
Se interessa quando è finito poi lo posto.

Avatar utente
conraid
Staff
Staff
Messaggi: 13630
Iscritto il: gio 14 lug 2005, 0:00
Nome Cognome: Corrado Franco
Slackware: current64
Desktop: kde
Località: Livorno
Contatta:

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggio da conraid »

ci aggiungi alla fine
&btnI

wget http://www.google.it/search?q=prova&btnI

naturalmente non "prendi" il primo risultato, ma vieni rediretto al primo sito trovato, come succede con "Mi sento fortunato"

Avatar utente
anycolouryoulike
Packager
Packager
Messaggi: 1158
Iscritto il: ven 10 ago 2007, 0:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggio da anycolouryoulike »

conraid ha scritto:ci aggiungi alla fine
&btnI

wget http://www.google.it/search?q=prova&btnl

naturalmente non "prendi" il primo risultato, ma vieni rediretto al primo sito trovato, come succede con "Mi sento fortunato"
A me non funziona né usando il link né con wget:

Codice: Seleziona tutto

wget 'http://www.google.it/search?q=prova&btnl'
--2010-05-05 13:56:13--  http://www.google.it/search?q=prova&btnl
Resolving www.google.it... 72.14.234.104
Connecting to www.google.it|72.14.234.104|:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2010-05-05 13:56:14 ERROR 403: Forbidden.

Avatar utente
conraid
Staff
Staff
Messaggi: 13630
Iscritto il: gio 14 lug 2005, 0:00
Nome Cognome: Corrado Franco
Slackware: current64
Desktop: kde
Località: Livorno
Contatta:

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggio da conraid »

è una I (i maiuscola) l'ultima
http://www.google.it/search?q=prova&btnI
se lo metti in firefox funziona, con wget no, come se avesse qualche filtro google
anche mettendo l'url completo che viene mandato a google con mi sento fortunato
http://www.google.it/search?hl=it&sourc ... =&gs_rfai=
da lo stesso errore

prova a giocare con le opzioni di wget

Avatar utente
sardylan
Linux 3.x
Linux 3.x
Messaggi: 993
Iscritto il: mar 24 apr 2007, 9:21
Nome Cognome: Luca Cireddu
Slackware: current 64bits
Kernel: 3.16
Desktop: KDE 4.14
Distribuzione: Debian - CLFS
Località: Cagliari
Contatta:

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggio da sardylan »

Da Errore 403... Che non sia fatto apposta usando l'user agent...

Avatar utente
conraid
Staff
Staff
Messaggi: 13630
Iscritto il: gio 14 lug 2005, 0:00
Nome Cognome: Corrado Franco
Slackware: current64
Desktop: kde
Località: Livorno
Contatta:

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggio da conraid »

sì, va modificato l'user agent

wget -U "User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.4) Gecko/20100413 Firefox/3.6.4" "http://www.google.it/search?q=test&btnI"

Avatar utente
anycolouryoulike
Packager
Packager
Messaggi: 1158
Iscritto il: ven 10 ago 2007, 0:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggio da anycolouryoulike »

Grazie a entrambi delle risposte!
Però non capisco perché a seconda di cosa si cerchi funzioni come una ricerca normale:

Codice: Seleziona tutto

wget -U "User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.4) Gecko/20100413 Firefox/3.6.4" "http://www.google.it/search?q=bbc+sessions+site%3Arateyourmusic.com&btnI"
--2010-05-06 19:00:42--  http://www.google.it/search?q=bbc+sessions+site%3Arateyourmusic.com&btnI
Resolving www.google.it... 72.14.234.104
Connecting to www.google.it|72.14.234.104|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `search?q=bbc+sessions+site:rateyourmusic.com&btnI'

    [  <=>                                                                                                                                ] 41,273       179K/s   in 0.2s

2010-05-06 19:00:42 (179 KB/s) - `search?q=bbc+sessions+site:rateyourmusic.com&btnI' saved [41273]
Secondo voi faccio prima a estrapolare il primo risultato con sed e scaricarlo separatamente?

Rispondi