solaris 10, compressione filesystem

[ZeroUno]

Ho un sistema solaris 8 (o 9) che usa vxfs sui filesystem aggiuntivi.

Ora questo filesystem si sta riempiendo e non possiamo più allargarlo (o farne uno nuovo).

L'idea è quella di usare la compressione del filesystem.

Purtroppo vxfs non lo supporta, ma mi sembra di capire che è possibile fare una compressione trasparente a livello di librerie di sistema.


Qualcuno ne sa qualcosa?

[ZeroUno]

Ottimo... si è scoperto che il sistema è solaris 10, il che significa che posso proporre di utilizzare lo zfs (certo, richiede formattazione, ma è l'ottimale).

[hashbang]

Concordo sullo zfs.

Consiglio inoltre, visto che stai usando Oracle Solaris, lzjb come algoritmo di compressione, invece di gzip. Sembra essere molto più performante di quest'ultimo.


Altro motivo per cui consiglio lo ZFS è fondamentalmente la deduplicazione. Se non ricordo male Solaris 10 non la supporta ancora, pur avendo una versione dello ZFS in grado di deduplicare dati. Comunque, se Oracle si deciderà a supportare la deduplicazione su Solaris 10, potreste attivare questa funzionalità per recuperare dello spazio su disco in aggiunta alla compressione.

[miklos]

Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)

[ZeroUno]

prova brtfs o reiserfs

una volta avevo trovato un driver che "montava" una directory già montata ma quello che ci scriveva lo comprimeva, quindi si applicava a qualsiasi filesystem.
Però non ricordo cos'era (forse fusecompress)

[hashbang]

Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)

Io sono fondamentalmente di parte, perciò consiglio lo ZFS.
Non amo il Btrfs. Lo trovo scomodo e poco gestibile. Ad esempio le opzioni da passare al mount, anzichè averle registrate come fa lo zfs ecc.

[masalapianta]

Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)

fusecompress

[ZeroUno]

per tornare al topic iniziale, si è deciso di passare dall'attuale vxfs a zfs per poter abilitare la compressione.

Attualmente abbiamo i filesystem in vxfs4, e quindi non compressi, con sopra un mailserver con le caselle in formato maildir ad alto traffico.

Come sono secondo voi le performance di zfs compresso contro quelle di un vxfs versione 4?

[hashbang]

Personalmente non ho mai usato il VERITAS, tuttavia posso dire che lo ZFS perde *leggermente* in I/O quando viene attivata la compressione, tant'è che alcuni per controbilanciare consigliano di disattivare l'access time (cosa che nel tuo caso non credo convenga).

Comunque sia io uso la compressione in aree critiche del sistema (come la root, la home e i dataset che contengono le zone su cui compilo) e non ho mai avuto problemi di sorta.

[miklos]

Offtopic: perdonate l'ennesimo offtopic.. giuro che la smetto qui ed eventualmente apro un nuovo thread
comunque ho provato fusecompress... devo dire che, in attesa che btrfs diventi piu' stabile, è una buona scelta su linux. lo sto provando su un piccolo filesystem dove tengo binari che di solito nn installaro system-wide e devo dire che oltre ad un buon 20% di spazio risparmiato, si guadagna anche un po' in velocità di caricamento da disco (ho un picci di un paio d'anni ma con una buona cpu).. mo provo su un installazione strapazzata a mettere sotto fusecompress /opt, /usr, /var e /tmp e vediamo che succede

[ZeroUno]

lo sai che non ci avevo pensato che paradossalmente ci si può guadagnare anche in velocità perché se é vero che serve più cpu é vero pure che serve meno i/o. Devo vedere come sta messo il mio server

[miklos]

l'idea non è stata tutta farina del mio sacco
ho letto questo articolo che parlava di aumenti prestazionali legati alla compressione del filesystem (ci tengo a precisare che sono legati al caricamento in memoria dei programmi, non del picci in generale).
la variante è che anzichè usare aufs + squashfs (che sono scomodi in quanto ogni tot-tempo il filesystem va rigenerato) ho fatto una prova con fusecompress che ha grosso modo le stesse features ma nessun bisogno di essere rigenerato. comunque appena ne so di piu' vi faccio sapere (con pacchetti + wiki se la cosa funziona)

[ZeroUno]

Al momento la compressione di zfs sta risultanto abbastanza insoddisfacente.

Con solaris patchato al 2008 l'algoritmo di compressione è lzjb che ha un'alta velocità, ma a livello di compressione non è un granchè.
Per file grossi testuali è arrivato anche ad un rapporto 3:1, ma io ho un mailserver e quindi montagne di file piccoli, e al momento il rapporto di compressione è 1.38:1

A meno che non patcho zfs e allora mi supporta anche il protocollo gzip (che già devo patchare il cluster e il volume manager per poter far coesistere i filesystem attuali con lo zfs).

[hashbang]

Con solaris patchato al 2008

Ah...io avevo dato per scontato che stessi usando Solaris 10u9 o addirittura 10u10.
EDIT: Comunque la compressione gzip c'è su Solaris 10 dalla 10/08.
Fa parte della ZFS SPA v5.

A questo punto l'unica soluzione che mi viene in mente è quella di provare con gzip. Hai 9 livelli a disposizione. Si parte dal più basso (maggiore velocità ma minore compressione) al più alto (minore velocità ma maggiore compressione).

Se fai

Codice: Seleziona tutto

# zfs set compression=gzip tank/dataset

di default userai il livello 6, che è un buon compromesso tra le due.

[ZeroUno]

Solaris 10 8/07 patchato il 2008 non supporta gzip
Solaris 10 10/09 patchato il 2010 supporta gzip

Finora il filesystem è di 2G (compressi), 10607 directory, 354744 file per una media quindi di 5.88 kb a file, e rapporto di compressione 1.37x