Pagina 1 di 2

solaris 10, compressione filesystem

Inviato: mar feb 12, 2013 16:50
da ZeroUno
Ho un sistema solaris 8 (o 9) che usa vxfs sui filesystem aggiuntivi.

Ora questo filesystem si sta riempiendo e non possiamo più allargarlo (o farne uno nuovo).

L'idea è quella di usare la compressione del filesystem.

Purtroppo vxfs non lo supporta, ma mi sembra di capire che è possibile fare una compressione trasparente a livello di librerie di sistema.


Qualcuno ne sa qualcosa?

Re: solaris 8, compressione filesystem

Inviato: mer feb 13, 2013 15:55
da ZeroUno
Ottimo... si è scoperto che il sistema è solaris 10, il che significa che posso proporre di utilizzare lo zfs (certo, richiede formattazione, ma è l'ottimale).

Re: solaris 8, compressione filesystem

Inviato: gio feb 14, 2013 12:44
da hashbang
Concordo sullo zfs.

Consiglio inoltre, visto che stai usando Oracle Solaris, lzjb come algoritmo di compressione, invece di gzip. Sembra essere molto più performante di quest'ultimo.


Altro motivo per cui consiglio lo ZFS è fondamentalmente la deduplicazione. Se non ricordo male Solaris 10 non la supporta ancora, pur avendo una versione dello ZFS in grado di deduplicare dati. Comunque, se Oracle si deciderà a supportare la deduplicazione su Solaris 10, potreste attivare questa funzionalità per recuperare dello spazio su disco in aggiunta alla compressione.

Re: solaris 8, compressione filesystem

Inviato: gio feb 14, 2013 15:09
da miklos
Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)

Re: solaris 8, compressione filesystem

Inviato: gio feb 14, 2013 15:25
da ZeroUno
prova brtfs o reiserfs

una volta avevo trovato un driver che "montava" una directory già montata ma quello che ci scriveva lo comprimeva, quindi si applicava a qualsiasi filesystem.
Però non ricordo cos'era (forse fusecompress)

Re: solaris 8, compressione filesystem

Inviato: gio feb 14, 2013 16:12
da hashbang
miklos ha scritto:Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)
Io sono fondamentalmente di parte, perciò consiglio lo ZFS.
Non amo il Btrfs. Lo trovo scomodo e poco gestibile. Ad esempio le opzioni da passare al mount, anzichè averle registrate come fa lo zfs ecc.

Re: solaris 8, compressione filesystem

Inviato: gio feb 14, 2013 16:37
da masalapianta
miklos ha scritto:Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)

fusecompress

Re: solaris 10, compressione filesystem

Inviato: ven feb 15, 2013 17:57
da ZeroUno
per tornare al topic iniziale, si è deciso di passare dall'attuale vxfs a zfs per poter abilitare la compressione.

Attualmente abbiamo i filesystem in vxfs4, e quindi non compressi, con sopra un mailserver con le caselle in formato maildir ad alto traffico.

Come sono secondo voi le performance di zfs compresso contro quelle di un vxfs versione 4?

Re: solaris 8, compressione filesystem

Inviato: dom feb 17, 2013 9:00
da hashbang
Personalmente non ho mai usato il VERITAS, tuttavia posso dire che lo ZFS perde *leggermente* in I/O quando viene attivata la compressione, tant'è che alcuni per controbilanciare consigliano di disattivare l'access time (cosa che nel tuo caso non credo convenga).

Comunque sia io uso la compressione in aree critiche del sistema (come la root, la home e i dataset che contengono le zone su cui compilo) e non ho mai avuto problemi di sorta.

Re: solaris 8, compressione filesystem

Inviato: lun feb 25, 2013 10:11
da miklos
Offtopic: perdonate l'ennesimo offtopic.. giuro che la smetto qui ed eventualmente apro un nuovo thread 8)
comunque ho provato fusecompress... devo dire che, in attesa che btrfs diventi piu' stabile, è una buona scelta su linux. lo sto provando su un piccolo filesystem dove tengo binari che di solito nn installaro system-wide e devo dire che oltre ad un buon 20% di spazio risparmiato, si guadagna anche un po' in velocità di caricamento da disco (ho un picci di un paio d'anni ma con una buona cpu).. mo provo su un installazione strapazzata a mettere sotto fusecompress /opt, /usr, /var e /tmp e vediamo che succede :D

Re: solaris 8, compressione filesystem

Inviato: lun feb 25, 2013 11:24
da ZeroUno
lo sai che non ci avevo pensato che paradossalmente ci si può guadagnare anche in velocità perché se é vero che serve più cpu é vero pure che serve meno i/o. Devo vedere come sta messo il mio server

Re: solaris 8, compressione filesystem

Inviato: lun feb 25, 2013 11:54
da miklos
l'idea non è stata tutta farina del mio sacco :D
ho letto questo articolo che parlava di aumenti prestazionali legati alla compressione del filesystem (ci tengo a precisare che sono legati al caricamento in memoria dei programmi, non del picci in generale).
la variante è che anzichè usare aufs + squashfs (che sono scomodi in quanto ogni tot-tempo il filesystem va rigenerato) ho fatto una prova con fusecompress che ha grosso modo le stesse features ma nessun bisogno di essere rigenerato. comunque appena ne so di piu' vi faccio sapere (con pacchetti + wiki se la cosa funziona) :D

Re: solaris 10, compressione filesystem

Inviato: ven mar 01, 2013 16:16
da ZeroUno
Al momento la compressione di zfs sta risultanto abbastanza insoddisfacente.

Con solaris patchato al 2008 l'algoritmo di compressione è lzjb che ha un'alta velocità, ma a livello di compressione non è un granchè.
Per file grossi testuali è arrivato anche ad un rapporto 3:1, ma io ho un mailserver e quindi montagne di file piccoli, e al momento il rapporto di compressione è 1.38:1

A meno che non patcho zfs e allora mi supporta anche il protocollo gzip (che già devo patchare il cluster e il volume manager per poter far coesistere i filesystem attuali con lo zfs).

Re: solaris 10, compressione filesystem

Inviato: ven mar 01, 2013 17:05
da hashbang
Con solaris patchato al 2008
Ah...io avevo dato per scontato che stessi usando Solaris 10u9 o addirittura 10u10.
EDIT: Comunque la compressione gzip c'è su Solaris 10 dalla 10/08.
Fa parte della ZFS SPA v5.

A questo punto l'unica soluzione che mi viene in mente è quella di provare con gzip. Hai 9 livelli a disposizione. Si parte dal più basso (maggiore velocità ma minore compressione) al più alto (minore velocità ma maggiore compressione).

Se fai

Codice: Seleziona tutto

# zfs set compression=gzip tank/dataset
di default userai il livello 6, che è un buon compromesso tra le due.

Re: solaris 10, compressione filesystem

Inviato: ven mar 01, 2013 17:27
da ZeroUno
Solaris 10 8/07 patchato il 2008 non supporta gzip
Solaris 10 10/09 patchato il 2010 supporta gzip

Finora il filesystem è di 2G (compressi), 10607 directory, 354744 file per una media quindi di 5.88 kb a file, e rapporto di compressione 1.37x