Repository 32bit  Forum
Repository 64bit  Wiki

Ricerca Google "Mi sento fortunato" da shell con wget

Forum dedicato alla programmazione.

Moderatore: Staff

Regole del forum
1) Citare in modo preciso il linguaggio di programmazione usato.
2) Se possibile portare un esempio del risultato atteso.
3) Leggere attentamente le risposte ricevute.
4) Scrivere i messaggi con il colore di default, evitare altri colori.
5) Scrivere in Italiano o in Inglese, se possibile grammaticalmente corretto, evitate stili di scrittura poco chiari, quindi nessuna abbreviazione tipo telegramma o scrittura stile SMS o CHAT.
6) Appena registrati è consigliato presentarsi nel forum dedicato.

La non osservanza delle regole porta a provvedimenti di vari tipo da parte dello staff, in particolare la non osservanza della regola 5 porta alla cancellazione del post e alla segnalazione dell'utente. In caso di recidività l'utente rischia il ban temporaneo.

Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda anycolouryoulike » mar mag 04, 2010 15:44

Se ad esempio voglio cercare "prova" faccio:
Codice: Seleziona tutto
wget http://www.google.it/search?q=prova
Ma come fare a scaricare direttamente il primo risultato?

Mi serve per uno script per taggare automaticamente la musica prendendo i dati da un sito come http://rateyourmusic.com/.
Se interessa quando è finito poi lo posto.
Avatar utente
anycolouryoulike
Packager
Packager
 
Messaggi: 1158
Iscritto il: gio ago 09, 2007 23:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda conraid » mar mag 04, 2010 15:53

ci aggiungi alla fine
&btnI

wget http://www.google.it/search?q=prova&btnI

naturalmente non "prendi" il primo risultato, ma vieni rediretto al primo sito trovato, come succede con "Mi sento fortunato"
Avatar utente
conraid
Staff
Staff
 
Messaggi: 11976
Iscritto il: mer lug 13, 2005 23:00
Località: Livorno
Nome Cognome: Corrado Franco
Slackware: current

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda anycolouryoulike » mer mag 05, 2010 12:55

conraid ha scritto:ci aggiungi alla fine
&btnI

wget http://www.google.it/search?q=prova&btnl

naturalmente non "prendi" il primo risultato, ma vieni rediretto al primo sito trovato, come succede con "Mi sento fortunato"
A me non funziona né usando il link né con wget:
Codice: Seleziona tutto
wget 'http://www.google.it/search?q=prova&btnl'
--2010-05-05 13:56:13--  http://www.google.it/search?q=prova&btnl
Resolving www.google.it... 72.14.234.104
Connecting to www.google.it|72.14.234.104|:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2010-05-05 13:56:14 ERROR 403: Forbidden.
Avatar utente
anycolouryoulike
Packager
Packager
 
Messaggi: 1158
Iscritto il: gio ago 09, 2007 23:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda conraid » mer mag 05, 2010 13:08

è una I (i maiuscola) l'ultima
http://www.google.it/search?q=prova&btnI
se lo metti in firefox funziona, con wget no, come se avesse qualche filtro google
anche mettendo l'url completo che viene mandato a google con mi sento fortunato
http://www.google.it/search?hl=it&sourc ... =&gs_rfai=
da lo stesso errore

prova a giocare con le opzioni di wget
Avatar utente
conraid
Staff
Staff
 
Messaggi: 11976
Iscritto il: mer lug 13, 2005 23:00
Località: Livorno
Nome Cognome: Corrado Franco
Slackware: current

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda sardylan » mer mag 05, 2010 15:54

Da Errore 403... Che non sia fatto apposta usando l'user agent...
Avatar utente
sardylan
Linux 2.6
Linux 2.6
 
Messaggi: 993
Iscritto il: mar apr 24, 2007 8:21
Località: San Vito (Cagliari)
Nome Cognome: Luca Cireddu
Slackware: current 64bits
Kernel: 3.1.2
Desktop: KDE 4.5.5
Distribuzione: Debian - CLFS

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda conraid » mer mag 05, 2010 16:53

sì, va modificato l'user agent

wget -U "User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.4) Gecko/20100413 Firefox/3.6.4" "http://www.google.it/search?q=test&btnI"
Avatar utente
conraid
Staff
Staff
 
Messaggi: 11976
Iscritto il: mer lug 13, 2005 23:00
Località: Livorno
Nome Cognome: Corrado Franco
Slackware: current

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda anycolouryoulike » gio mag 06, 2010 18:01

Grazie a entrambi delle risposte!
Però non capisco perché a seconda di cosa si cerchi funzioni come una ricerca normale:
Codice: Seleziona tutto
wget -U "User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.4) Gecko/20100413 Firefox/3.6.4" "http://www.google.it/search?q=bbc+sessions+site%3Arateyourmusic.com&btnI"
--2010-05-06 19:00:42--  http://www.google.it/search?q=bbc+sessions+site%3Arateyourmusic.com&btnI
Resolving www.google.it... 72.14.234.104
Connecting to www.google.it|72.14.234.104|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `search?q=bbc+sessions+site:rateyourmusic.com&btnI'

    [  <=>                                                                                                                                ] 41,273       179K/s   in 0.2s

2010-05-06 19:00:42 (179 KB/s) - `search?q=bbc+sessions+site:rateyourmusic.com&btnI' saved [41273]
Secondo voi faccio prima a estrapolare il primo risultato con sed e scaricarlo separatamente?
Avatar utente
anycolouryoulike
Packager
Packager
 
Messaggi: 1158
Iscritto il: gio ago 09, 2007 23:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10


Torna a Programmazione

Chi c’è in linea

Visitano il forum: Nessuno e 2 ospiti

cron