Repository 32bit  Forum
Repository 64bit  Wiki

solaris 10, compressione filesystem

Area di discussione libera.

Moderatore: Staff

Regole del forum
1) Rispettare le idee altrui.
2) Evitare le offese dirette.
3) Leggere attentamente le risposte ricevute
4) Scrivere i messaggi con il colore di default, evitare altri colori.
5) Scrivere in Italiano o in Inglese, se possibile grammaticalmente corretto, evitate stili di scrittura poco chiari, quindi nessuna abbreviazione tipo telegramma o scrittura stile SMS o CHAT.
6) Appena registrati è consigliato presentarsi nel forum dedicato.

La non osservanza delle regole porta a provvedimenti di vari tipo da parte dello staff, in particolare la non osservanza della regola 5 porta alla cancellazione del post e alla segnalazione dell'utente. In caso di recidività l'utente rischia il ban temporaneo.

solaris 10, compressione filesystem

Messaggioda ZeroUno » mar feb 12, 2013 16:50

Ho un sistema solaris 8 (o 9) che usa vxfs sui filesystem aggiuntivi.

Ora questo filesystem si sta riempiendo e non possiamo più allargarlo (o farne uno nuovo).

L'idea è quella di usare la compressione del filesystem.

Purtroppo vxfs non lo supporta, ma mi sembra di capire che è possibile fare una compressione trasparente a livello di librerie di sistema.


Qualcuno ne sa qualcosa?
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg
Codice: Seleziona tutto
1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111
Avatar utente
ZeroUno
Staff
Staff
 
Messaggi: 4414
Iscritto il: ven giu 02, 2006 13:52
Località: Roma / Castelli
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current

Re: solaris 8, compressione filesystem

Messaggioda ZeroUno » mer feb 13, 2013 15:55

Ottimo... si è scoperto che il sistema è solaris 10, il che significa che posso proporre di utilizzare lo zfs (certo, richiede formattazione, ma è l'ottimale).
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg
Codice: Seleziona tutto
1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111
Avatar utente
ZeroUno
Staff
Staff
 
Messaggi: 4414
Iscritto il: ven giu 02, 2006 13:52
Località: Roma / Castelli
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current

Re: solaris 8, compressione filesystem

Messaggioda hashbang » gio feb 14, 2013 12:44

Concordo sullo zfs.

Consiglio inoltre, visto che stai usando Oracle Solaris, lzjb come algoritmo di compressione, invece di gzip. Sembra essere molto più performante di quest'ultimo.


Altro motivo per cui consiglio lo ZFS è fondamentalmente la deduplicazione. Se non ricordo male Solaris 10 non la supporta ancora, pur avendo una versione dello ZFS in grado di deduplicare dati. Comunque, se Oracle si deciderà a supportare la deduplicazione su Solaris 10, potreste attivare questa funzionalità per recuperare dello spazio su disco in aggiunta alla compressione.
Adoro il pragmatismo della lingua giapponese, è l'unica in cui per dire ad una ragazza che la ami le dici "suki". (cit.)
Avatar utente
hashbang
Packager
Packager
 
Messaggi: 1840
Iscritto il: ven giu 04, 2010 9:27
Località: Lecce
Nome Cognome: Luca De Pandis
Distribuzione: Windows 8.1 Pro

Re: solaris 8, compressione filesystem

Messaggioda miklos » gio feb 14, 2013 15:09

Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)
ho visto cose che voi astemi non potete immaginare
miklos
Linux 3.x
Linux 3.x
 
Messaggi: 1277
Iscritto il: lun lug 16, 2007 16:39
Località: Roma
Slackware: 14.1 64bit
Kernel: 3.16.3
Desktop: openbox 3.5.2

Re: solaris 8, compressione filesystem

Messaggioda ZeroUno » gio feb 14, 2013 15:25

prova brtfs o reiserfs

una volta avevo trovato un driver che "montava" una directory già montata ma quello che ci scriveva lo comprimeva, quindi si applicava a qualsiasi filesystem.
Però non ricordo cos'era (forse fusecompress)
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg
Codice: Seleziona tutto
1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111
Avatar utente
ZeroUno
Staff
Staff
 
Messaggi: 4414
Iscritto il: ven giu 02, 2006 13:52
Località: Roma / Castelli
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current

Re: solaris 8, compressione filesystem

Messaggioda hashbang » gio feb 14, 2013 16:12

miklos ha scritto:Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)
Io sono fondamentalmente di parte, perciò consiglio lo ZFS.
Non amo il Btrfs. Lo trovo scomodo e poco gestibile. Ad esempio le opzioni da passare al mount, anzichè averle registrate come fa lo zfs ecc.
Adoro il pragmatismo della lingua giapponese, è l'unica in cui per dire ad una ragazza che la ami le dici "suki". (cit.)
Avatar utente
hashbang
Packager
Packager
 
Messaggi: 1840
Iscritto il: ven giu 04, 2010 9:27
Località: Lecce
Nome Cognome: Luca De Pandis
Distribuzione: Windows 8.1 Pro

Re: solaris 8, compressione filesystem

Messaggioda masalapianta » gio feb 14, 2013 16:37

miklos ha scritto:Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)

fusecompress
Avatar utente
masalapianta
Iper Master
Iper Master
 
Messaggi: 2775
Iscritto il: dom lug 24, 2005 23:00
Località: Roma
Nome Cognome: famoso porco
Kernel: uname -r
Desktop: awesome
Distribuzione: Debian

Re: solaris 10, compressione filesystem

Messaggioda ZeroUno » ven feb 15, 2013 17:57

per tornare al topic iniziale, si è deciso di passare dall'attuale vxfs a zfs per poter abilitare la compressione.

Attualmente abbiamo i filesystem in vxfs4, e quindi non compressi, con sopra un mailserver con le caselle in formato maildir ad alto traffico.

Come sono secondo voi le performance di zfs compresso contro quelle di un vxfs versione 4?
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg
Codice: Seleziona tutto
1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111
Avatar utente
ZeroUno
Staff
Staff
 
Messaggi: 4414
Iscritto il: ven giu 02, 2006 13:52
Località: Roma / Castelli
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current

Re: solaris 8, compressione filesystem

Messaggioda hashbang » dom feb 17, 2013 9:00

Personalmente non ho mai usato il VERITAS, tuttavia posso dire che lo ZFS perde *leggermente* in I/O quando viene attivata la compressione, tant'è che alcuni per controbilanciare consigliano di disattivare l'access time (cosa che nel tuo caso non credo convenga).

Comunque sia io uso la compressione in aree critiche del sistema (come la root, la home e i dataset che contengono le zone su cui compilo) e non ho mai avuto problemi di sorta.
Adoro il pragmatismo della lingua giapponese, è l'unica in cui per dire ad una ragazza che la ami le dici "suki". (cit.)
Avatar utente
hashbang
Packager
Packager
 
Messaggi: 1840
Iscritto il: ven giu 04, 2010 9:27
Località: Lecce
Nome Cognome: Luca De Pandis
Distribuzione: Windows 8.1 Pro

Re: solaris 8, compressione filesystem

Messaggioda miklos » lun feb 25, 2013 10:11

Offtopic: perdonate l'ennesimo offtopic.. giuro che la smetto qui ed eventualmente apro un nuovo thread 8)
comunque ho provato fusecompress... devo dire che, in attesa che btrfs diventi piu' stabile, è una buona scelta su linux. lo sto provando su un piccolo filesystem dove tengo binari che di solito nn installaro system-wide e devo dire che oltre ad un buon 20% di spazio risparmiato, si guadagna anche un po' in velocità di caricamento da disco (ho un picci di un paio d'anni ma con una buona cpu).. mo provo su un installazione strapazzata a mettere sotto fusecompress /opt, /usr, /var e /tmp e vediamo che succede :D
ho visto cose che voi astemi non potete immaginare
miklos
Linux 3.x
Linux 3.x
 
Messaggi: 1277
Iscritto il: lun lug 16, 2007 16:39
Località: Roma
Slackware: 14.1 64bit
Kernel: 3.16.3
Desktop: openbox 3.5.2

Re: solaris 8, compressione filesystem

Messaggioda ZeroUno » lun feb 25, 2013 11:24

lo sai che non ci avevo pensato che paradossalmente ci si può guadagnare anche in velocità perché se é vero che serve più cpu é vero pure che serve meno i/o. Devo vedere come sta messo il mio server
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg
Codice: Seleziona tutto
1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111
Avatar utente
ZeroUno
Staff
Staff
 
Messaggi: 4414
Iscritto il: ven giu 02, 2006 13:52
Località: Roma / Castelli
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current

Re: solaris 8, compressione filesystem

Messaggioda miklos » lun feb 25, 2013 11:54

l'idea non è stata tutta farina del mio sacco :D
ho letto questo articolo che parlava di aumenti prestazionali legati alla compressione del filesystem (ci tengo a precisare che sono legati al caricamento in memoria dei programmi, non del picci in generale).
la variante è che anzichè usare aufs + squashfs (che sono scomodi in quanto ogni tot-tempo il filesystem va rigenerato) ho fatto una prova con fusecompress che ha grosso modo le stesse features ma nessun bisogno di essere rigenerato. comunque appena ne so di piu' vi faccio sapere (con pacchetti + wiki se la cosa funziona) :D
ho visto cose che voi astemi non potete immaginare
miklos
Linux 3.x
Linux 3.x
 
Messaggi: 1277
Iscritto il: lun lug 16, 2007 16:39
Località: Roma
Slackware: 14.1 64bit
Kernel: 3.16.3
Desktop: openbox 3.5.2

Re: solaris 10, compressione filesystem

Messaggioda ZeroUno » ven mar 01, 2013 16:16

Al momento la compressione di zfs sta risultanto abbastanza insoddisfacente.

Con solaris patchato al 2008 l'algoritmo di compressione è lzjb che ha un'alta velocità, ma a livello di compressione non è un granchè.
Per file grossi testuali è arrivato anche ad un rapporto 3:1, ma io ho un mailserver e quindi montagne di file piccoli, e al momento il rapporto di compressione è 1.38:1

A meno che non patcho zfs e allora mi supporta anche il protocollo gzip (che già devo patchare il cluster e il volume manager per poter far coesistere i filesystem attuali con lo zfs).
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg
Codice: Seleziona tutto
1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111
Avatar utente
ZeroUno
Staff
Staff
 
Messaggi: 4414
Iscritto il: ven giu 02, 2006 13:52
Località: Roma / Castelli
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current

Re: solaris 10, compressione filesystem

Messaggioda hashbang » ven mar 01, 2013 17:05

Con solaris patchato al 2008
Ah...io avevo dato per scontato che stessi usando Solaris 10u9 o addirittura 10u10.
EDIT: Comunque la compressione gzip c'è su Solaris 10 dalla 10/08.
Fa parte della ZFS SPA v5.

A questo punto l'unica soluzione che mi viene in mente è quella di provare con gzip. Hai 9 livelli a disposizione. Si parte dal più basso (maggiore velocità ma minore compressione) al più alto (minore velocità ma maggiore compressione).

Se fai
Codice: Seleziona tutto
# zfs set compression=gzip tank/dataset
di default userai il livello 6, che è un buon compromesso tra le due.
Adoro il pragmatismo della lingua giapponese, è l'unica in cui per dire ad una ragazza che la ami le dici "suki". (cit.)
Avatar utente
hashbang
Packager
Packager
 
Messaggi: 1840
Iscritto il: ven giu 04, 2010 9:27
Località: Lecce
Nome Cognome: Luca De Pandis
Distribuzione: Windows 8.1 Pro

Re: solaris 10, compressione filesystem

Messaggioda ZeroUno » ven mar 01, 2013 17:27

Solaris 10 8/07 patchato il 2008 non supporta gzip
Solaris 10 10/09 patchato il 2010 supporta gzip

Finora il filesystem è di 2G (compressi), 10607 directory, 354744 file per una media quindi di 5.88 kb a file, e rapporto di compressione 1.37x
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg
Codice: Seleziona tutto
1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111
Avatar utente
ZeroUno
Staff
Staff
 
Messaggi: 4414
Iscritto il: ven giu 02, 2006 13:52
Località: Roma / Castelli
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current

Prossimo

Torna a Libera

Chi c’è in linea

Visitano il forum: Nessuno e 2 ospiti