Switch to full style
Linux, poslužitelj, mreže i sigurnost
Odgovori

Re: ZFS

11 pro 2013, 12:57

Koliko RAM-a ima taj server?
LZ4 bi treba biti brzi kod dekompresije i kompresije, ali veća kompresije je, kao što si rekao relativna samo za velike fileove.
http://wiki.illumos.org/display/illumos/LZ4+Compression

Scrub je dobar samo što kad imaš puno podataka onda navodno jako dugo traje.
Jesi li probao resilvering i snapshote?

Re: ZFS

11 pro 2013, 13:54

8 GB rama. zfs particija je 500 GB (zapravo na LVM-u). za sada je faktor deduplikacije 1.46 na nekoliko dana različitim dumpovima baze fajlova (kolekcija oko 539000 dokumenata). Kod ove egzibicije sam skužio koji će mi biti prvi korisni program u dugo vremena: parallel tar. Tar je super koristan ali je serijske prirode i totalno ne može iskoristiti brdo jezgri te time smao usporava problem. napisati ću vlstiti programčić koji će vršiti istu stvar kao i tar (brdo fajlova složiti u jedan i poslije ih rastvoriti), ali koji radi paralelno.

Re: ZFS

12 pro 2013, 15:39

Evo ga, zfs dedupliakcija je gotova, faktor 2.05., 2 dumpa baze fajlova, svaka veličine 60 GB i zauzeo je toliko mjesta za obje. Dakle, umjesto 120 GB, samo 60. Ovo zapravo sada može efektivno služiti kao superpozicija inkrementalnog i full backupa (dakle, imaš full backup pod cijenom inkrementalnog) za podatke i versioning control. Eto, tkao da mi se to sviđa.

Što se scruba tiče, nije bitno što traje dugo ili takve stvari. kada se sranje desi duljina trajanja nije bitna (čak i ako potraje par dana), jer će se sustav popraviti. Više puta mi se desilo da se pokvari particija koju ne možeš umountat bez prkeidanja servisa ili uopće (recimo root), bez kompletnog reseta. A nekada nije ni to moguće jer ne znaš da li će se komp točno rebootat. Tako da je scrub brutalna stvar i uopće mi nije jasno zašto to nemaju ext, jfs i xfs.

resilvering i snapshot nisam probao. ne znam ni što je reslivering, moram pogledati :D poslije ću napraviti još jednu 500 GB particiju i dodati je u pool, pa kada se replicira namjerno uništiti jenu, vratiti ju natrag i vidjeti kako se ponaša pod simuliranim raspadom diska.

Re: ZFS

12 pro 2013, 15:48

To je velika ušteda prostora.

Navodno ZFS loše radi kad je skoro pun/pun, ali koliko to zapravo ima utjecaja kad se radi o backupu?

Re: ZFS

12 pro 2013, 16:30

Nemam pojma. Ne znam jesam li spomenuo ili dovoljno naglasio, ali upravo je deduplikacija primarni razlog zašto želim preći na ZFS. Cilj je osigurati na 500 GB particiji 52 kopije (dakle, jedna tjedno) koje bi služile kao backup/versioning. Jedna kopija i zadnja nije dobra jer ako netko slučajn zezne dokument i ne primjeti se odmah, i u backupu će završtii loša kopija. Ovkao se može vraćati po tjedan dana i vidjeti kako je. Možda eventualno imati za zadnji tjedan dnevne kopije, ali je to za sada nerealan scenarij. Problem je što treba oko 4 sata da se napravi tar arhiva svih fajlova (jer je tar u stanju koristiti samo jednu jezgru), jedan sat za prijenos (backup server je samo na 100 mbit konekciji), i još oko 6 sati za dekompresiju (ne znam zašto traje tako dugo), a sva ostala rješenja traju po nekoliko dana. Urkatko, vidjet ću kako će ići rad sa parallenim tarom pa se nadam da će se poboljšati to.

Re: ZFS

13 pro 2013, 14:31

shrike je napisao/la:Nemam pojma. Ne znam jesam li spomenuo ili dovoljno naglasio, ali upravo je deduplikacija primarni razlog zašto želim preći na ZFS. Cilj je osigurati na 500 GB particiji 52 kopije (dakle, jedna tjedno) koje bi služile kao backup/versioning. Jedna kopija i zadnja nije dobra jer ako netko slučajn zezne dokument i ne primjeti se odmah, i u backupu će završtii loša kopija. Ovkao se može vraćati po tjedan dana i vidjeti kako je. Možda eventualno imati za zadnji tjedan dnevne kopije, ali je to za sada nerealan scenarij. Problem je što treba oko 4 sata da se napravi tar arhiva svih fajlova (jer je tar u stanju koristiti samo jednu jezgru), jedan sat za prijenos (backup server je samo na 100 mbit konekciji), i još oko 6 sati za dekompresiju (ne znam zašto traje tako dugo), a sva ostala rješenja traju po nekoliko dana. Urkatko, vidjet ću kako će ići rad sa parallenim tarom pa se nadam da će se poboljšati to.



zfs još nije ispeglan na linuxu, pa pitanje kako radi.
ovo sam i ja zamislio kao home backup rješenje, ali.....

Re: ZFS

27 sij 2014, 21:36

Je li tko upoznat s projektom Debian GNU/Linux ZFS Rescue Disc?

Last week Debian developer John Goerzen announced the availability a Debian rescue CD with specialist tools for repairing the ZFS file system in case of trouble


Detalji:
http://distrowatch.com/weekly.php?issue=20140127#news
http://changelog.complete.org/archives/ ... ched-btrfs
http://wiki.complete.org/ZFSRescueDisc
Odgovori