Repository 32bit  Forum
Repository 64bit  Wiki

Ricerca Google "Mi sento fortunato" da shell con wget

Forum dedicato alla programmazione.

Moderatore: Staff

Regole del forum
1) Citare sempre la versione di Slackware usata e la versione del Kernel. Questi dati aiutano le persone che possono rispondere.
2) Specificare sempre il tipo di shell (bash, sh, csh, etc...)
3) Leggere attentamente le risposte ricevute
4) Scrivere i messaggi con il colore di default, evitare altri colori.
5) Scrivere in Italiano o in Inglese, se possibile grammaticalmente corretto, evitate stili di scrittura poco chiari, quindi nessuna abbreviazione tipo telegramma o scrittura stile SMS o CHAT.
6) Appena registrati è consigliato presentarsi nel forum dedicato.

La non osservanza delle regole porta a provvedimenti di vari tipo da parte dello staff, in particolare la non osservanza dell'ultima regola porta alla cancellazione del post e alla segnalazione dell'utente. In caso di recidività l'utente rischia il ban temporaneo.

Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda anycolouryoulike » mar mag 04, 2010 16:44

Se ad esempio voglio cercare "prova" faccio:
Codice: Seleziona tutto
wget http://www.google.it/search?q=prova
Ma come fare a scaricare direttamente il primo risultato?

Mi serve per uno script per taggare automaticamente la musica prendendo i dati da un sito come http://rateyourmusic.com/.
Se interessa quando è finito poi lo posto.
Avatar utente
anycolouryoulike
Packager
Packager
 
Messaggi: 1158
Iscritto il: ven ago 10, 2007 0:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda conraid » mar mag 04, 2010 16:53

ci aggiungi alla fine
&btnI

wget http://www.google.it/search?q=prova&btnI

naturalmente non "prendi" il primo risultato, ma vieni rediretto al primo sito trovato, come succede con "Mi sento fortunato"
Avatar utente
conraid
Staff
Staff
 
Messaggi: 11904
Iscritto il: gio lug 14, 2005 0:00
Località: Livorno
Nome Cognome: Corrado Franco
Slackware: current

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda anycolouryoulike » mer mag 05, 2010 13:55

conraid ha scritto:ci aggiungi alla fine
&btnI

wget http://www.google.it/search?q=prova&btnl

naturalmente non "prendi" il primo risultato, ma vieni rediretto al primo sito trovato, come succede con "Mi sento fortunato"
A me non funziona né usando il link né con wget:
Codice: Seleziona tutto
wget 'http://www.google.it/search?q=prova&btnl'
--2010-05-05 13:56:13--  http://www.google.it/search?q=prova&btnl
Resolving www.google.it... 72.14.234.104
Connecting to www.google.it|72.14.234.104|:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2010-05-05 13:56:14 ERROR 403: Forbidden.
Avatar utente
anycolouryoulike
Packager
Packager
 
Messaggi: 1158
Iscritto il: ven ago 10, 2007 0:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda conraid » mer mag 05, 2010 14:08

è una I (i maiuscola) l'ultima
http://www.google.it/search?q=prova&btnI
se lo metti in firefox funziona, con wget no, come se avesse qualche filtro google
anche mettendo l'url completo che viene mandato a google con mi sento fortunato
http://www.google.it/search?hl=it&sourc ... =&gs_rfai=
da lo stesso errore

prova a giocare con le opzioni di wget
Avatar utente
conraid
Staff
Staff
 
Messaggi: 11904
Iscritto il: gio lug 14, 2005 0:00
Località: Livorno
Nome Cognome: Corrado Franco
Slackware: current

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda sardylan » mer mag 05, 2010 16:54

Da Errore 403... Che non sia fatto apposta usando l'user agent...
Avatar utente
sardylan
Linux 2.6
Linux 2.6
 
Messaggi: 993
Iscritto il: mar apr 24, 2007 9:21
Località: San Vito (Cagliari)
Nome Cognome: Luca Cireddu
Slackware: current 64bits
Kernel: 3.1.2
Desktop: KDE 4.5.5
Distribuzione: Debian - CLFS

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda conraid » mer mag 05, 2010 17:53

sì, va modificato l'user agent

wget -U "User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.4) Gecko/20100413 Firefox/3.6.4" "http://www.google.it/search?q=test&btnI"
Avatar utente
conraid
Staff
Staff
 
Messaggi: 11904
Iscritto il: gio lug 14, 2005 0:00
Località: Livorno
Nome Cognome: Corrado Franco
Slackware: current

Re: Ricerca Google "Mi sento fortunato" da shell con wget

Messaggioda anycolouryoulike » gio mag 06, 2010 19:01

Grazie a entrambi delle risposte!
Però non capisco perché a seconda di cosa si cerchi funzioni come una ricerca normale:
Codice: Seleziona tutto
wget -U "User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.4) Gecko/20100413 Firefox/3.6.4" "http://www.google.it/search?q=bbc+sessions+site%3Arateyourmusic.com&btnI"
--2010-05-06 19:00:42--  http://www.google.it/search?q=bbc+sessions+site%3Arateyourmusic.com&btnI
Resolving www.google.it... 72.14.234.104
Connecting to www.google.it|72.14.234.104|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `search?q=bbc+sessions+site:rateyourmusic.com&btnI'

    [  <=>                                                                                                                                ] 41,273       179K/s   in 0.2s

2010-05-06 19:00:42 (179 KB/s) - `search?q=bbc+sessions+site:rateyourmusic.com&btnI' saved [41273]
Secondo voi faccio prima a estrapolare il primo risultato con sed e scaricarlo separatamente?
Avatar utente
anycolouryoulike
Packager
Packager
 
Messaggi: 1158
Iscritto il: ven ago 10, 2007 0:00
Slackware: 12.2
Kernel: 2.6.34.8
Desktop: KDE 3.5.10


Torna a Programmazione

Chi c’è in linea

Visitano il forum: Google [Bot] e 1 ospite