solaris 10, compressione filesystem

Area di discussione libera.

Moderatore: Staff

Regole del forum
1) Rispettare le idee altrui.
2) Evitare le offese dirette.
3) Leggere attentamente le risposte ricevute
4) Scrivere i messaggi con il colore di default, evitare altri colori.
5) Scrivere in Italiano o in Inglese, se possibile grammaticalmente corretto, evitate stili di scrittura poco chiari, quindi nessuna abbreviazione tipo telegramma o scrittura stile SMS o CHAT.
6) Appena registrati è consigliato presentarsi nel forum dedicato.

La non osservanza delle regole porta a provvedimenti di vari tipo da parte dello staff, in particolare la non osservanza della regola 5 porta alla cancellazione del post e alla segnalazione dell'utente. In caso di recidività l'utente rischia il ban temporaneo.
Avatar utente
ZeroUno
Staff
Staff
Messaggi: 5441
Iscritto il: ven 2 giu 2006, 14:52
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current
Località: Roma / Castelli
Contatta:

solaris 10, compressione filesystem

Messaggio da ZeroUno »

Ho un sistema solaris 8 (o 9) che usa vxfs sui filesystem aggiuntivi.

Ora questo filesystem si sta riempiendo e non possiamo più allargarlo (o farne uno nuovo).

L'idea è quella di usare la compressione del filesystem.

Purtroppo vxfs non lo supporta, ma mi sembra di capire che è possibile fare una compressione trasparente a livello di librerie di sistema.


Qualcuno ne sa qualcosa?
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg

Codice: Seleziona tutto

1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111

Avatar utente
ZeroUno
Staff
Staff
Messaggi: 5441
Iscritto il: ven 2 giu 2006, 14:52
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current
Località: Roma / Castelli
Contatta:

Re: solaris 8, compressione filesystem

Messaggio da ZeroUno »

Ottimo... si è scoperto che il sistema è solaris 10, il che significa che posso proporre di utilizzare lo zfs (certo, richiede formattazione, ma è l'ottimale).
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg

Codice: Seleziona tutto

1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111

hashbang
Packager
Packager
Messaggi: 2020
Iscritto il: ven 4 giu 2010, 10:27
Nome Cognome: Luca De Pandis
Distribuzione: macOS/OpenBSD
Località: Lecce/Bergamo

Re: solaris 8, compressione filesystem

Messaggio da hashbang »

Concordo sullo zfs.

Consiglio inoltre, visto che stai usando Oracle Solaris, lzjb come algoritmo di compressione, invece di gzip. Sembra essere molto più performante di quest'ultimo.


Altro motivo per cui consiglio lo ZFS è fondamentalmente la deduplicazione. Se non ricordo male Solaris 10 non la supporta ancora, pur avendo una versione dello ZFS in grado di deduplicare dati. Comunque, se Oracle si deciderà a supportare la deduplicazione su Solaris 10, potreste attivare questa funzionalità per recuperare dello spazio su disco in aggiunta alla compressione.

ilmich
Master
Master
Messaggi: 1645
Iscritto il: lun 16 lug 2007, 17:39
Slackware: 15.0 64bit
Kernel: 5.15.27
Desktop: kde
Località: Roma

Re: solaris 8, compressione filesystem

Messaggio da ilmich »

Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)
#LiveSimple and #ProgramThings
https://github.com/ilmich
http://ilmich6502.it/

Avatar utente
ZeroUno
Staff
Staff
Messaggi: 5441
Iscritto il: ven 2 giu 2006, 14:52
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current
Località: Roma / Castelli
Contatta:

Re: solaris 8, compressione filesystem

Messaggio da ZeroUno »

prova brtfs o reiserfs

una volta avevo trovato un driver che "montava" una directory già montata ma quello che ci scriveva lo comprimeva, quindi si applicava a qualsiasi filesystem.
Però non ricordo cos'era (forse fusecompress)
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg

Codice: Seleziona tutto

1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111

hashbang
Packager
Packager
Messaggi: 2020
Iscritto il: ven 4 giu 2010, 10:27
Nome Cognome: Luca De Pandis
Distribuzione: macOS/OpenBSD
Località: Lecce/Bergamo

Re: solaris 8, compressione filesystem

Messaggio da hashbang »

miklos ha scritto:Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)
Io sono fondamentalmente di parte, perciò consiglio lo ZFS.
Non amo il Btrfs. Lo trovo scomodo e poco gestibile. Ad esempio le opzioni da passare al mount, anzichè averle registrate come fa lo zfs ecc.

Avatar utente
masalapianta
Iper Master
Iper Master
Messaggi: 2775
Iscritto il: lun 25 lug 2005, 0:00
Nome Cognome: famoso porco
Kernel: uname -r
Desktop: awesome
Distribuzione: Debian
Località: Roma
Contatta:

Re: solaris 8, compressione filesystem

Messaggio da masalapianta »

miklos ha scritto:Offtopic: scusate se vado un po' offtopic, ma piuttosto che aprire un nuovo post preferisco agganciarmi a questo qui.
sto cercando un filesystem compresso da usare su linux... l'unico che ho trovato in giro che sia in lettura/scrittura è questo zfs... è l'unica via percorribile oppure c'e' anche qualche altra alternativa?!?!?!? (lo chiedo perchè mi sarebbe piaciuta di piu' un qualcosa da agganciare, anche in user space tramite modulo fuse, al preesistente ext4)
fusecompress

Avatar utente
ZeroUno
Staff
Staff
Messaggi: 5441
Iscritto il: ven 2 giu 2006, 14:52
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current
Località: Roma / Castelli
Contatta:

Re: solaris 10, compressione filesystem

Messaggio da ZeroUno »

per tornare al topic iniziale, si è deciso di passare dall'attuale vxfs a zfs per poter abilitare la compressione.

Attualmente abbiamo i filesystem in vxfs4, e quindi non compressi, con sopra un mailserver con le caselle in formato maildir ad alto traffico.

Come sono secondo voi le performance di zfs compresso contro quelle di un vxfs versione 4?
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg

Codice: Seleziona tutto

1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111

hashbang
Packager
Packager
Messaggi: 2020
Iscritto il: ven 4 giu 2010, 10:27
Nome Cognome: Luca De Pandis
Distribuzione: macOS/OpenBSD
Località: Lecce/Bergamo

Re: solaris 8, compressione filesystem

Messaggio da hashbang »

Personalmente non ho mai usato il VERITAS, tuttavia posso dire che lo ZFS perde *leggermente* in I/O quando viene attivata la compressione, tant'è che alcuni per controbilanciare consigliano di disattivare l'access time (cosa che nel tuo caso non credo convenga).

Comunque sia io uso la compressione in aree critiche del sistema (come la root, la home e i dataset che contengono le zone su cui compilo) e non ho mai avuto problemi di sorta.

ilmich
Master
Master
Messaggi: 1645
Iscritto il: lun 16 lug 2007, 17:39
Slackware: 15.0 64bit
Kernel: 5.15.27
Desktop: kde
Località: Roma

Re: solaris 8, compressione filesystem

Messaggio da ilmich »

Offtopic: perdonate l'ennesimo offtopic.. giuro che la smetto qui ed eventualmente apro un nuovo thread 8)
comunque ho provato fusecompress... devo dire che, in attesa che btrfs diventi piu' stabile, è una buona scelta su linux. lo sto provando su un piccolo filesystem dove tengo binari che di solito nn installaro system-wide e devo dire che oltre ad un buon 20% di spazio risparmiato, si guadagna anche un po' in velocità di caricamento da disco (ho un picci di un paio d'anni ma con una buona cpu).. mo provo su un installazione strapazzata a mettere sotto fusecompress /opt, /usr, /var e /tmp e vediamo che succede :D
#LiveSimple and #ProgramThings
https://github.com/ilmich
http://ilmich6502.it/

Avatar utente
ZeroUno
Staff
Staff
Messaggi: 5441
Iscritto il: ven 2 giu 2006, 14:52
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current
Località: Roma / Castelli
Contatta:

Re: solaris 8, compressione filesystem

Messaggio da ZeroUno »

lo sai che non ci avevo pensato che paradossalmente ci si può guadagnare anche in velocità perché se é vero che serve più cpu é vero pure che serve meno i/o. Devo vedere come sta messo il mio server
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg

Codice: Seleziona tutto

1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111

ilmich
Master
Master
Messaggi: 1645
Iscritto il: lun 16 lug 2007, 17:39
Slackware: 15.0 64bit
Kernel: 5.15.27
Desktop: kde
Località: Roma

Re: solaris 8, compressione filesystem

Messaggio da ilmich »

l'idea non è stata tutta farina del mio sacco :D
ho letto questo articolo che parlava di aumenti prestazionali legati alla compressione del filesystem (ci tengo a precisare che sono legati al caricamento in memoria dei programmi, non del picci in generale).
la variante è che anzichè usare aufs + squashfs (che sono scomodi in quanto ogni tot-tempo il filesystem va rigenerato) ho fatto una prova con fusecompress che ha grosso modo le stesse features ma nessun bisogno di essere rigenerato. comunque appena ne so di piu' vi faccio sapere (con pacchetti + wiki se la cosa funziona) :D
#LiveSimple and #ProgramThings
https://github.com/ilmich
http://ilmich6502.it/

Avatar utente
ZeroUno
Staff
Staff
Messaggi: 5441
Iscritto il: ven 2 giu 2006, 14:52
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current
Località: Roma / Castelli
Contatta:

Re: solaris 10, compressione filesystem

Messaggio da ZeroUno »

Al momento la compressione di zfs sta risultanto abbastanza insoddisfacente.

Con solaris patchato al 2008 l'algoritmo di compressione è lzjb che ha un'alta velocità, ma a livello di compressione non è un granchè.
Per file grossi testuali è arrivato anche ad un rapporto 3:1, ma io ho un mailserver e quindi montagne di file piccoli, e al momento il rapporto di compressione è 1.38:1

A meno che non patcho zfs e allora mi supporta anche il protocollo gzip (che già devo patchare il cluster e il volume manager per poter far coesistere i filesystem attuali con lo zfs).
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg

Codice: Seleziona tutto

1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111

hashbang
Packager
Packager
Messaggi: 2020
Iscritto il: ven 4 giu 2010, 10:27
Nome Cognome: Luca De Pandis
Distribuzione: macOS/OpenBSD
Località: Lecce/Bergamo

Re: solaris 10, compressione filesystem

Messaggio da hashbang »

Con solaris patchato al 2008
Ah...io avevo dato per scontato che stessi usando Solaris 10u9 o addirittura 10u10.
EDIT: Comunque la compressione gzip c'è su Solaris 10 dalla 10/08.
Fa parte della ZFS SPA v5.

A questo punto l'unica soluzione che mi viene in mente è quella di provare con gzip. Hai 9 livelli a disposizione. Si parte dal più basso (maggiore velocità ma minore compressione) al più alto (minore velocità ma maggiore compressione).

Se fai

Codice: Seleziona tutto

# zfs set compression=gzip tank/dataset
di default userai il livello 6, che è un buon compromesso tra le due.

Avatar utente
ZeroUno
Staff
Staff
Messaggi: 5441
Iscritto il: ven 2 giu 2006, 14:52
Nome Cognome: Matteo Rossini
Slackware: current
Kernel: slack-current
Desktop: ktown-latest
Distribuzione: 01000000-current
Località: Roma / Castelli
Contatta:

Re: solaris 10, compressione filesystem

Messaggio da ZeroUno »

Solaris 10 8/07 patchato il 2008 non supporta gzip
Solaris 10 10/09 patchato il 2010 supporta gzip

Finora il filesystem è di 2G (compressi), 10607 directory, 354744 file per una media quindi di 5.88 kb a file, e rapporto di compressione 1.37x
Packages finder: slakfinder.org | Slackpkg+, per aggiungere repository a slackpkg

Codice: Seleziona tutto

1011010 1100101 1110010 1101111 - 0100000 - 1010101 1101110 1101111

Rispondi