Sada je: 18 stu 2019, 17:42.
Linux, poslužitelj, mreže i sigurnost

Moderator/ica: Moderatori/ce

Re: ZFS
11 pro 2013, 12:57
Koliko RAM-a ima taj server?
LZ4 bi treba biti brzi kod dekompresije i kompresije, ali veća kompresije je, kao što si rekao relativna samo za velike fileove.
http://wiki.illumos.org/display/illumos/LZ4+Compression

Scrub je dobar samo što kad imaš puno podataka onda navodno jako dugo traje.
Jesi li probao resilvering i snapshote?
Lutherus je napisao/la:Ne postoje linuksi, postoji samo Linux i on je jedan i on je kernel.

Is Linux About Choice? || Pulsir - awesome blogging site :D
iv@n je napisao/la:Divide et impera i kako se kaže na latinskom da je ljudska glupost neuništiva.
Avatar
Postovi: 6781
Postovi: 6781
Pridružen/a: 06 lis 2011, 01:29
Lokacija: ~$
Podijelio/la zahvalu: 145 puta
Primio/la zahvalu: 58 puta
Spol: M
OS: Ovisi za sta
Re: ZFS
11 pro 2013, 13:54
8 GB rama. zfs particija je 500 GB (zapravo na LVM-u). za sada je faktor deduplikacije 1.46 na nekoliko dana različitim dumpovima baze fajlova (kolekcija oko 539000 dokumenata). Kod ove egzibicije sam skužio koji će mi biti prvi korisni program u dugo vremena: parallel tar. Tar je super koristan ali je serijske prirode i totalno ne može iskoristiti brdo jezgri te time smao usporava problem. napisati ću vlstiti programčić koji će vršiti istu stvar kao i tar (brdo fajlova složiti u jedan i poslije ih rastvoriti), ali koji radi paralelno.
Es gibt keinen Gott, kein Universum, keine menschliche Rasse, kein irdisches Leben, keinen Himmel, keine Hölle. Es ist alles ein Traum - ein grotesker und dummer Traum. Nichts existiert außer dir. Und du bist nur ein Gedanke - ein vagabundierender Gedanke, ein nutzloser Gedanke, ein heimatloser Gedanke, der verloren in der leeren Ewigkeit wandelt!
Avatar
Moderator
Postovi: 9916
Moderator
Postovi: 9916
Pridružen/a: 07 pro 2007, 18:07
Podijelio/la zahvalu: 158 puta
Primio/la zahvalu: 270 puta
Spol: Y
OS: utuntu 17.04
Re: ZFS
12 pro 2013, 15:39
Evo ga, zfs dedupliakcija je gotova, faktor 2.05., 2 dumpa baze fajlova, svaka veličine 60 GB i zauzeo je toliko mjesta za obje. Dakle, umjesto 120 GB, samo 60. Ovo zapravo sada može efektivno služiti kao superpozicija inkrementalnog i full backupa (dakle, imaš full backup pod cijenom inkrementalnog) za podatke i versioning control. Eto, tkao da mi se to sviđa.

Što se scruba tiče, nije bitno što traje dugo ili takve stvari. kada se sranje desi duljina trajanja nije bitna (čak i ako potraje par dana), jer će se sustav popraviti. Više puta mi se desilo da se pokvari particija koju ne možeš umountat bez prkeidanja servisa ili uopće (recimo root), bez kompletnog reseta. A nekada nije ni to moguće jer ne znaš da li će se komp točno rebootat. Tako da je scrub brutalna stvar i uopće mi nije jasno zašto to nemaju ext, jfs i xfs.

resilvering i snapshot nisam probao. ne znam ni što je reslivering, moram pogledati :D poslije ću napraviti još jednu 500 GB particiju i dodati je u pool, pa kada se replicira namjerno uništiti jenu, vratiti ju natrag i vidjeti kako se ponaša pod simuliranim raspadom diska.
Es gibt keinen Gott, kein Universum, keine menschliche Rasse, kein irdisches Leben, keinen Himmel, keine Hölle. Es ist alles ein Traum - ein grotesker und dummer Traum. Nichts existiert außer dir. Und du bist nur ein Gedanke - ein vagabundierender Gedanke, ein nutzloser Gedanke, ein heimatloser Gedanke, der verloren in der leeren Ewigkeit wandelt!
Avatar
Moderator
Postovi: 9916
Moderator
Postovi: 9916
Pridružen/a: 07 pro 2007, 18:07
Podijelio/la zahvalu: 158 puta
Primio/la zahvalu: 270 puta
Spol: Y
OS: utuntu 17.04
Re: ZFS
12 pro 2013, 15:48
To je velika ušteda prostora.

Navodno ZFS loše radi kad je skoro pun/pun, ali koliko to zapravo ima utjecaja kad se radi o backupu?
Lutherus je napisao/la:Ne postoje linuksi, postoji samo Linux i on je jedan i on je kernel.

Is Linux About Choice? || Pulsir - awesome blogging site :D
iv@n je napisao/la:Divide et impera i kako se kaže na latinskom da je ljudska glupost neuništiva.
Avatar
Postovi: 6781
Postovi: 6781
Pridružen/a: 06 lis 2011, 01:29
Lokacija: ~$
Podijelio/la zahvalu: 145 puta
Primio/la zahvalu: 58 puta
Spol: M
OS: Ovisi za sta
Re: ZFS
12 pro 2013, 16:30
Nemam pojma. Ne znam jesam li spomenuo ili dovoljno naglasio, ali upravo je deduplikacija primarni razlog zašto želim preći na ZFS. Cilj je osigurati na 500 GB particiji 52 kopije (dakle, jedna tjedno) koje bi služile kao backup/versioning. Jedna kopija i zadnja nije dobra jer ako netko slučajn zezne dokument i ne primjeti se odmah, i u backupu će završtii loša kopija. Ovkao se može vraćati po tjedan dana i vidjeti kako je. Možda eventualno imati za zadnji tjedan dnevne kopije, ali je to za sada nerealan scenarij. Problem je što treba oko 4 sata da se napravi tar arhiva svih fajlova (jer je tar u stanju koristiti samo jednu jezgru), jedan sat za prijenos (backup server je samo na 100 mbit konekciji), i još oko 6 sati za dekompresiju (ne znam zašto traje tako dugo), a sva ostala rješenja traju po nekoliko dana. Urkatko, vidjet ću kako će ići rad sa parallenim tarom pa se nadam da će se poboljšati to.
Es gibt keinen Gott, kein Universum, keine menschliche Rasse, kein irdisches Leben, keinen Himmel, keine Hölle. Es ist alles ein Traum - ein grotesker und dummer Traum. Nichts existiert außer dir. Und du bist nur ein Gedanke - ein vagabundierender Gedanke, ein nutzloser Gedanke, ein heimatloser Gedanke, der verloren in der leeren Ewigkeit wandelt!
Avatar
Moderator
Postovi: 9916
Moderator
Postovi: 9916
Pridružen/a: 07 pro 2007, 18:07
Podijelio/la zahvalu: 158 puta
Primio/la zahvalu: 270 puta
Spol: Y
OS: utuntu 17.04
Re: ZFS
13 pro 2013, 14:31
shrike je napisao/la:Nemam pojma. Ne znam jesam li spomenuo ili dovoljno naglasio, ali upravo je deduplikacija primarni razlog zašto želim preći na ZFS. Cilj je osigurati na 500 GB particiji 52 kopije (dakle, jedna tjedno) koje bi služile kao backup/versioning. Jedna kopija i zadnja nije dobra jer ako netko slučajn zezne dokument i ne primjeti se odmah, i u backupu će završtii loša kopija. Ovkao se može vraćati po tjedan dana i vidjeti kako je. Možda eventualno imati za zadnji tjedan dnevne kopije, ali je to za sada nerealan scenarij. Problem je što treba oko 4 sata da se napravi tar arhiva svih fajlova (jer je tar u stanju koristiti samo jednu jezgru), jedan sat za prijenos (backup server je samo na 100 mbit konekciji), i još oko 6 sati za dekompresiju (ne znam zašto traje tako dugo), a sva ostala rješenja traju po nekoliko dana. Urkatko, vidjet ću kako će ići rad sa parallenim tarom pa se nadam da će se poboljšati to.



zfs još nije ispeglan na linuxu, pa pitanje kako radi.
ovo sam i ja zamislio kao home backup rješenje, ali.....
Postovi: 155
Postovi: 155
Pridružen/a: 06 svi 2012, 11:59
Podijelio/la zahvalu: 0 puta
Primio/la zahvalu: 3 puta
Spol: M
OS: Fedora, Fedora server
Re: ZFS
27 sij 2014, 21:36
Je li tko upoznat s projektom Debian GNU/Linux ZFS Rescue Disc?

Last week Debian developer John Goerzen announced the availability a Debian rescue CD with specialist tools for repairing the ZFS file system in case of trouble


Detalji:
http://distrowatch.com/weekly.php?issue=20140127#news
http://changelog.complete.org/archives/ ... ched-btrfs
http://wiki.complete.org/ZFSRescueDisc
Abzeenth je napisao/la:Dobro onda. Baš me briga. Krepajte od offtopica.

jurastublic je napisao/la:Ovaj thread me podsjeća na krepanu mačku. Treba to pokupit lopatom i zakopat. Onda dezinficirati lopatu. :-D
Avatar
Moderator
Postovi: 5818
Moderator
Postovi: 5818
Pridružen/a: 25 ožu 2012, 14:29
Lokacija: ~/kauč
Podijelio/la zahvalu: 155 puta
Primio/la zahvalu: 250 puta
Spol: M
OS: Mint 17.3 Cimet

Na mreži
Trenutno korisnika/ca: / i 1 gost.