Koliko RAM-a ima taj server?
LZ4 bi treba biti brzi kod dekompresije i kompresije, ali veća kompresije je, kao što si rekao relativna samo za velike fileove.
http://wiki.illumos.org/display/illumos/LZ4+Compression
Scrub je dobar samo što kad imaš puno podataka onda navodno jako dugo traje.
Jesi li probao resilvering i snapshote?
Sada je: 28 ožu 2024, 09:51.
Moderator/ica: Moderatori/ce
27 post(ov)a
•
Stranica: 3/3. • 1, 2, 3
Lutherus je napisao/la:Ne postoje linuksi, postoji samo Linux i on je jedan i on je kernel.
Is Linux About Choice? || Pulsir - awesome blogging site
iv@n je napisao/la:Divide et impera i kako se kaže na latinskom da je ljudska glupost neuništiva.
8 GB rama. zfs particija je 500 GB (zapravo na LVM-u). za sada je faktor deduplikacije 1.46 na nekoliko dana različitim dumpovima baze fajlova (kolekcija oko 539000 dokumenata). Kod ove egzibicije sam skužio koji će mi biti prvi korisni program u dugo vremena: parallel tar. Tar je super koristan ali je serijske prirode i totalno ne može iskoristiti brdo jezgri te time smao usporava problem. napisati ću vlstiti programčić koji će vršiti istu stvar kao i tar (brdo fajlova složiti u jedan i poslije ih rastvoriti), ali koji radi paralelno.
Es gibt keinen Gott, kein Universum, keine menschliche Rasse, kein irdisches Leben, keinen Himmel, keine Hölle. Es ist alles ein Traum - ein grotesker und dummer Traum. Nichts existiert außer dir. Und du bist nur ein Gedanke - ein vagabundierender Gedanke, ein nutzloser Gedanke, ein heimatloser Gedanke, der verloren in der leeren Ewigkeit wandelt!
Evo ga, zfs dedupliakcija je gotova, faktor 2.05., 2 dumpa baze fajlova, svaka veličine 60 GB i zauzeo je toliko mjesta za obje. Dakle, umjesto 120 GB, samo 60. Ovo zapravo sada može efektivno služiti kao superpozicija inkrementalnog i full backupa (dakle, imaš full backup pod cijenom inkrementalnog) za podatke i versioning control. Eto, tkao da mi se to sviđa.
Što se scruba tiče, nije bitno što traje dugo ili takve stvari. kada se sranje desi duljina trajanja nije bitna (čak i ako potraje par dana), jer će se sustav popraviti. Više puta mi se desilo da se pokvari particija koju ne možeš umountat bez prkeidanja servisa ili uopće (recimo root), bez kompletnog reseta. A nekada nije ni to moguće jer ne znaš da li će se komp točno rebootat. Tako da je scrub brutalna stvar i uopće mi nije jasno zašto to nemaju ext, jfs i xfs.
resilvering i snapshot nisam probao. ne znam ni što je reslivering, moram pogledati poslije ću napraviti još jednu 500 GB particiju i dodati je u pool, pa kada se replicira namjerno uništiti jenu, vratiti ju natrag i vidjeti kako se ponaša pod simuliranim raspadom diska.
Što se scruba tiče, nije bitno što traje dugo ili takve stvari. kada se sranje desi duljina trajanja nije bitna (čak i ako potraje par dana), jer će se sustav popraviti. Više puta mi se desilo da se pokvari particija koju ne možeš umountat bez prkeidanja servisa ili uopće (recimo root), bez kompletnog reseta. A nekada nije ni to moguće jer ne znaš da li će se komp točno rebootat. Tako da je scrub brutalna stvar i uopće mi nije jasno zašto to nemaju ext, jfs i xfs.
resilvering i snapshot nisam probao. ne znam ni što je reslivering, moram pogledati poslije ću napraviti još jednu 500 GB particiju i dodati je u pool, pa kada se replicira namjerno uništiti jenu, vratiti ju natrag i vidjeti kako se ponaša pod simuliranim raspadom diska.
Es gibt keinen Gott, kein Universum, keine menschliche Rasse, kein irdisches Leben, keinen Himmel, keine Hölle. Es ist alles ein Traum - ein grotesker und dummer Traum. Nichts existiert außer dir. Und du bist nur ein Gedanke - ein vagabundierender Gedanke, ein nutzloser Gedanke, ein heimatloser Gedanke, der verloren in der leeren Ewigkeit wandelt!
To je velika ušteda prostora.
Navodno ZFS loše radi kad je skoro pun/pun, ali koliko to zapravo ima utjecaja kad se radi o backupu?
Navodno ZFS loše radi kad je skoro pun/pun, ali koliko to zapravo ima utjecaja kad se radi o backupu?
Lutherus je napisao/la:Ne postoje linuksi, postoji samo Linux i on je jedan i on je kernel.
Is Linux About Choice? || Pulsir - awesome blogging site
iv@n je napisao/la:Divide et impera i kako se kaže na latinskom da je ljudska glupost neuništiva.
Nemam pojma. Ne znam jesam li spomenuo ili dovoljno naglasio, ali upravo je deduplikacija primarni razlog zašto želim preći na ZFS. Cilj je osigurati na 500 GB particiji 52 kopije (dakle, jedna tjedno) koje bi služile kao backup/versioning. Jedna kopija i zadnja nije dobra jer ako netko slučajn zezne dokument i ne primjeti se odmah, i u backupu će završtii loša kopija. Ovkao se može vraćati po tjedan dana i vidjeti kako je. Možda eventualno imati za zadnji tjedan dnevne kopije, ali je to za sada nerealan scenarij. Problem je što treba oko 4 sata da se napravi tar arhiva svih fajlova (jer je tar u stanju koristiti samo jednu jezgru), jedan sat za prijenos (backup server je samo na 100 mbit konekciji), i još oko 6 sati za dekompresiju (ne znam zašto traje tako dugo), a sva ostala rješenja traju po nekoliko dana. Urkatko, vidjet ću kako će ići rad sa parallenim tarom pa se nadam da će se poboljšati to.
Es gibt keinen Gott, kein Universum, keine menschliche Rasse, kein irdisches Leben, keinen Himmel, keine Hölle. Es ist alles ein Traum - ein grotesker und dummer Traum. Nichts existiert außer dir. Und du bist nur ein Gedanke - ein vagabundierender Gedanke, ein nutzloser Gedanke, ein heimatloser Gedanke, der verloren in der leeren Ewigkeit wandelt!
shrike je napisao/la:Nemam pojma. Ne znam jesam li spomenuo ili dovoljno naglasio, ali upravo je deduplikacija primarni razlog zašto želim preći na ZFS. Cilj je osigurati na 500 GB particiji 52 kopije (dakle, jedna tjedno) koje bi služile kao backup/versioning. Jedna kopija i zadnja nije dobra jer ako netko slučajn zezne dokument i ne primjeti se odmah, i u backupu će završtii loša kopija. Ovkao se može vraćati po tjedan dana i vidjeti kako je. Možda eventualno imati za zadnji tjedan dnevne kopije, ali je to za sada nerealan scenarij. Problem je što treba oko 4 sata da se napravi tar arhiva svih fajlova (jer je tar u stanju koristiti samo jednu jezgru), jedan sat za prijenos (backup server je samo na 100 mbit konekciji), i još oko 6 sati za dekompresiju (ne znam zašto traje tako dugo), a sva ostala rješenja traju po nekoliko dana. Urkatko, vidjet ću kako će ići rad sa parallenim tarom pa se nadam da će se poboljšati to.
zfs još nije ispeglan na linuxu, pa pitanje kako radi.
ovo sam i ja zamislio kao home backup rješenje, ali.....
Je li tko upoznat s projektom Debian GNU/Linux ZFS Rescue Disc?
Detalji:
http://distrowatch.com/weekly.php?issue=20140127#news
http://changelog.complete.org/archives/ ... ched-btrfs
http://wiki.complete.org/ZFSRescueDisc
Last week Debian developer John Goerzen announced the availability a Debian rescue CD with specialist tools for repairing the ZFS file system in case of trouble
Detalji:
http://distrowatch.com/weekly.php?issue=20140127#news
http://changelog.complete.org/archives/ ... ched-btrfs
http://wiki.complete.org/ZFSRescueDisc
Abzeenth je napisao/la:Dobro onda. Baš me briga. Krepajte od offtopica.
jurastublic je napisao/la:Ovaj thread me podsjeća na krepanu mačku. Treba to pokupit lopatom i zakopat. Onda dezinficirati lopatu.
27 post(ov)a
•
Stranica: 3/3. • 1, 2, 3
Na mreži
Trenutno korisnika/ca: / i 5 gostiju.