DS1821+ met DSM7 mogelijkheid om dedup te doen?

[prodigy73]

Ik kom erachter dat DSM7 geen dedup mogelijkheid heeft voor de DS1821+. Heeft iemand ervaring om dit eventueel handmatig te doen via SSH of iets dergelijks?

Backups doet ie netjes dedup en bespaard 2.5 TB dus ben ik blij mee.

Helaas in mijn shared folders gaat het wat minder goed. Heb wat tools laten draaien... 9.15 TB aan dubbele/meervoudige bestanden die normaal voor dedup in aanmerking zouden komen. Ik zit nog ruim met ruimte maar vind het zo inefficiënt overkomen.

[Briolet]

Zit die optie niet meer in de "Storage Analyser"?


Via SSH:
In het package "SynoCli File Tools" zit wel jdupes en fdupes.  Beide om duplicaten te vinden.

Ik heb geen idee welke handiger is. De syno comunity weet het schijnbaar ook niet en hebben beide toegevoegd.

[prodigy73]

Dank je voor de info. Zijn ze alleen om de dupes te vinden om ook om de hardlinks te maken en daadwerkelijk plaats te besparen? Ik ga me proberen in te lezen. Dank je wel voor de goede richting.

[prodigy73]

Ik heb het gelezen maar dit is niet wat ik zoek. De tools die er beschreven staan verwijderen de duplicaten. Dat wil ik niet. Dedup is bedoeld om 1 bestand echt te hebben en de andere bestanden een hardlink. Het systeem denkt dat ze er zijn maar in werkelijk heb je maar 1 bestand op je volume staan. Bijv.

vmmachine1-hdd.vmx 1 TB groot

Als ik deze file 6x nodig heb kost dit nu 6 TB maar bij dedup maar 1 TB dus zou ik 5 TB besparen.

Elk 'modern' file systeem bied dit wel aan. Waarom Synology wel bij bepaalde modellen en andere weer niet. Geheugen en resources is een non-issue omdat je het ook periodiek kunt laten draaien. De eerste keer is intensief maar daarna niet meer.

[prodigy73]

Zit die optie niet meer in de "Storage Analyser"?

Zie https://kb.synology.com/en-au/DSM/help/DSM/StorageManager/volume_btrfs_dedup?version=7 en specifiek https://kb.synology.com/en-au/DSM/tutorial/Which_models_support_data_deduplication

Ik heb 4+32 GB aan geheugen dus die minimaal 16 GB zou ik aan voldoen.

[Briolet]

Hardlinks maken van duplicaten is natuurlijk tricky.

Stel dat gebruiker A en gebruiker B een formulier download om in te vullen. (b.v. een belastingformulier) dedup maakt er één file van plus een hardlink.  Vervolgens vult gebruiker A zijn formulier in. Als gebruiker B dan ook zijn formulier wil invullen, treft hij de inhoud van gebruiker A aan in zijn formulier.

Maar goed, als je de homes kunt uitsluiten, dan wordt het al minder tricky.

[Briolet]

Ik heb het gelezen maar dit is niet wat ik zoek. De tools die er beschreven staan verwijderen de duplicaten. Dat wil ik niet. .

Volgens de manual kun je jdupes met de parameter -B (--dedupe) runnen. Dit vereist een btrfs filesysteem, maar dan doet hij volgens mij wat je zoekt.

issue the btrfs same-extents ioctl to trigger a deduplication on disk. The program must be built with btrfs support for this option to be available

Of met de parameter -L (--Link-Hard)

replace all duplicate files with hardlinks to the first file in each set of duplicates

Dit vereist geen btrfs filesysteem

[prodigy73]

Oh mooi! Ik had niet de handleiding gelezen ! MERCI!

[Briolet]

Hardlinks maken van duplicaten is natuurlijk tricky.

Stel dat gebruiker A en gebruiker B een formulier download om in te vullen.…

Ik zie dat jdupes hier ook een parameter voor heeft. Met de '-p' parameter worden gelijke files met verschillende eigenaren, niet als duplicaten behandeld.

[prodigy73]

Heeft iemand dit een keertje gedaan en dus ervaring mee?

[Briolet]

Ik heb het net even getest. (Alleen het vinden zelf)

jdupes -r /volume1/homes

Dit duurt bijna een half uur en vind duizenden duplicaten omdat voor elke file metadata opgeslagen worden in een @eaDir folder. En die metadata is voor de meeste files behoorlijk gelijk. 

Vervolgens heb ik gekeken of ik de kleine files kan skippen. Volgens de manual moet dat kunnen met de -x parameter, maar de versie op de nas is blijkbaar een oudere versie die dat niet kan.

Dan getest met fdupes. Die heeft wel een size limiter

fdupes -r -G 10000 /volume1/homes

Bij mij vind hij vooral mail attachments omdat die in Home staan. Maar ook veel 'thumbs' files van afbeeldingen.