Cluster

[rfringuello89]

Salve a tutti, è un po di tempo che mi interessa l'argomento cluster.. molto a livello di curiosità diciamo. E mi piacerebbe poterne realizzare uno anche solo con due computer. Volevo sapere se qualcuno di voi ha esperienze in questo ambito e se può darmi delle dritte, dei consigli, dirmi praticamente come si fa.
Grazie in anticipo a tutti.

[slux]

Ciao,
non sono un grande esperto di cluster,quello che ti posso suggerire è di leggere questo howto per CentOs. Le differenze non sembrano essere insormontabili per adattare il tutto a Slackware. http://www.howtoforge.com/high_availability_heartbeat_centos

[teox99]

forse prima di mettere su un Clustering di pc e' bene sapere alcune cose ed almeno essere sicuri di poter soddisfare dei piccoli requisiti come

Per ottenere un sistema di computer operanti come un cluster è necessario:
1. un sistema operativo in grado di far funzionare i computer come cluster (per esempio GNU/Linux, utilizzando OpenMosix)
2. hardware di rete ad elevate prestazioni
3. un algoritmo parallelizzabile.

ed aggiungerei anche un effettivo problema da parallelizzare!


comunque ci si puo' documentare meglio qui
http://it.wikipedia.org/wiki/Computer_cluster

il mio pare e' che magari potresti focalizzare i tuoi studi solo sull'ultimo punto e cercare di programmare per usare tutti i core di un processore, cosa piu' semplice e sensata in ambito casalingo/amatoriale.
---
pensa che a volte un clustering eccessivo (super computer con svariati blade) puo' addirittura essere meno performante di un uso perfetto di multicore di un unica piattaforma, per il semplice motivo che le risorse vengo disperse anche per sincronizzare il lavoro delle altre unita' con la relativa diminuzione di risorse per l'efettiva soluzione del problema!

[slux]

il mio pare e' che magari potresti focalizzare i tuoi studi solo sull'ultimo punto e cercare di programmare per usare tutti i core di un processore, cosa piu' semplice e sensata in ambito casalingo/amatoriale

Generalmente il cluster si usa per le applicazioni "mission critical",dove non puoi avere nemmeno un minuto di downtime(es:banche,e-commerce oppure sistemi di controllo di centrali elettriche etc).Pertanto ,spesso quello che si cerca,non è la prestazione pura,ma l'always on line,la continuità del servizio.
Esistono realtà anche più piccole, dove un cluster si dimostra comunque molto utile.
E' successo proprio a me ,lo scorso lunedì.Per i commercialisti il 16 del mese è giorno di scadenze,pagamenti F24,iva mensile etc.Tutto da trasmettere telematicamente all'agenzia dell'entrate.Il commercialista in questione si è trovato ,di punto in bianco, con il server fermo alle 10:00 del mattino .E non sto parlando di un semplice pc assemblato.E' un server biprocessore (non intendo 2 core, proprio 2 cpu fisiche) Intel Xeon ,con 2 alimentatori ridondanti, 4 dischi in raid.L'unica cosa che non era possibile raddoppiare era la motherboard.Indovinate cosa si è guastato? Tra preparare un nuovo pc (di fortuna) ripristinare i backup e configurare correttamente tutto in rete ,lo studio ha perso oltre 5 ore di lavoro.Ha finito di fare gli invii alle 22:00,proprio sul fil di lana!Con un cluster ,non si sarebbero accorti di niente o quasi.

[eth0]

Ciao ,

come puoi vedere da chi ti ha risposto prima di me, l'argomento cluster è abbastanza ampio e complesso; principalmente dovresti più o meno scegliere, in base alle tue esigenze, che tipologia di cluster vorresti tentare di mettere in piedi.

Ci sono sistemi di clustering utilizzati per svolgere sequenze di calcolo molto complesse e pesanti come ad esempio rendering video o calcoli scientifici (HPC), cluster che privilegiano l'affidabilità di un sistema/servizio (HA) utilizzati prevalentemente in webfarm e/o database ecc. ecc. e cluster implementati per suddividere il carico di lavoro su più macchine (Load Balancing).

Dirti come si creano questo tipo di sistemi, capirai, sarebbe abbastanza impegnativo; alcuni link interessanti te li posto qua sotto:

http://www.hpccommunity.org/

http://linuxhpc.org/

http://www.csm.ornl.gov/pvm/pvm_home.html

http://www.mcs.anl.gov/research/projects/mpich2/

http://www.linuxvirtualserver.org/

...e poi, il RE dei cluster:

http://www.cacr.caltech.edu/beowulf/tutorial/building.html

Io ne ho uno sviluppato con OpenMosix, ma il progetto è ormai morto e sepolto e l'ultima versione ritenuta stabile utilizza ancora kernel 2.4.x...
Se ti va di provare, a livello didattico è comunque interessante, ti posto un paio di link:

http://tldp.org/HOWTO/openMosix-HOWTO/

http://www.slacky.eu/wikislack/index.php?title=OpenMosix

A presto.

[ponce]

Io ne ho uno sviluppato con OpenMosix, ma il progetto è ormai morto e sepolto e l'ultima versione ritenuta stabile utilizza ancora kernel 2.4.x...
Se ti va di provare, a livello didattico è comunque interessante, ti posto un paio di link:

http://tldp.org/HOWTO/openMosix-HOWTO/

http://www.slacky.eu/wikislack/index.php?title=OpenMosix

http://www.mosix.org/
fino a 6 nodi e' gratuito
(il nostro, fatto con openmosix, e' sempre li' che gira dopo 6 anni: probabilmente ne tireremo su uno nuovo con questa versione)

[eth0]

http://www.mosix.org/
fino a 6 nodi e' gratuito (il nostro, fatto con openmosix, e' sempre li' che gira dopo 6 anni: probabilmente ne tireremo su uno nuovo con questa versione)

Grande! Questo non lo sapevo; in realtà mi servirebbe per 23 nodi di vecchi PC, ma sono troppo tentato di provarlo con un bel kernel 2.6... corro a leggere.

[ponce]

per le universita'/istituti di ricerca e' disponibile anche una versione senza limiti di nodi.

[lamarozzo]

per le universita'/istituti di ricerca e' disponibile anche una versione senza limiti di nodi.

Noi montiamo mosix su macchine virtuali e devo dire che va bene. Come gruppo versiamo una quota di sostegno a quelli del progetto e loro ci fanno avere sempre l'ultima versione.