Synology-Forum.nl

Overige software => Data replicator & overige backupsoftware => Topic gestart door: FlipjeSR op 03 mei 2021, 14:09:20

Titel: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 14:09:20
Hallo allemaal, misschien hier iemand met hetzelfde fenomeen. Ik gebruik Active Backup for Business. Incrementeel en bewaar 12 versies van mijn Multimedia HDD op de Windows PC. De daadwerkelijke grootte op de PC is 3.68TB. Ik heb eigenlijk netto 20TB in de NAS zitten. Maar de Mutlimedia map op de NAS onder ActiveBackup zegt dat deze map 192.85 TB beslaat. Hoe kan dat nou. Ik dacht dat de eigenschappen van een folder in de filestation wel de juiste omvang aan zou geven. Ik zal wel erg simpel denken nu en zoek ook in versiebeheer enzo maar die 192 TB is toch echt niet juist. Het gaat dus om de data die onder de map ActiveBackupData staat. Ik heb ook een netwerkverbinding gemaakt om te kijken of Windows het anders uitleest maar daar is het ook echt 192TB. Is toch raar?
Iemand een tip?
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Briolet op 03 mei 2021, 14:13:05
Zal eerder een Windows probleem zijn. Volgens mij heb ik het vaker voorbij zien komen dat dit soort groottes volkomen verkeerd weergegeven wordt.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 14:16:02
@Briolet. Ja dat is mij bekend. Ik neem dat ook idd met een korreltje zout. Maar dit komt van de NAS zelf. Dus Filestation. en ook de App op mijn mobieltje laat onder details van die betreffende map die 192 TB zien. Daarom snap ik het niet.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Briolet op 03 mei 2021, 14:30:58
Als ook Filestation het fout heeft, zal er ergens een bitje fout staan. Wat verontrustend kan zijn omdat je daar later problemen mee krijgt.

Als je met ssh inlogt en een "du -c /volume1/[pad]" doet?  Waarbij [pad] het pad is naar de folder die te groot is. Welke grootte zie je dan voor die folder.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 14:57:03
Sorry voor dat ik het iets anders gedaan heb. ik ben niet erg goed in Putty, en ik nam even aan dat ik daarmee dat commando in moets geven wat jij schreef. Maar ik ben wel thuis in WinSCP en heb het daar even mee gedaan en de grootte laten berekenen van mijn Multimedia folder, en daar zegt WinSCP dat het 197.479 GB is. Dat is dus ook niet goed.  Dus toch even met Putty geprobeerd. Ik krijg daar tussen de regels een melding van Cannot Access. Maar list wel alle onderliggende folders. Maar eigenlijk weet ik niet eens hoe ik in moet loggen met Putty. Ik dacht dat je niet meer in kon loggen met Root? Ik log dus in met een Admin account. Dus niet Admin, want die is bij mij disabled. Misschien doe ik iets fout nu?
Zie wel de shotjes.
Bedankt hoor! Voor de hulp.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 14:57:42
En deze nog WinSCP
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Briolet op 03 mei 2021, 15:08:41
Maar waarom het terminal window als screenshot weergeven? Dat maakt alles onleesbaar klein. (Ik kan het dan wel downloaden en via een afbeelding-viewer uitvergroten, maar dat is mij doorgaans te veel werk)
Waarom niet gewoon het essentiële stuk tekst als tekst kopiëren en hier tonen. Ik snap nooit waarom iemand iets wat al tekst is, als plaatje wil weergeven.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 15:11:46
Ow, sorry. Ik dacht juist dat het niet zo netjes zou zijn hier een bult tekst neer te zetten omdat ik niet zo goed begreep wat je wilt zien. :-) Maar dan nu bij deze.

Mod: log verwijderd, zie onderstaand bericht.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 15:41:43
@Briolet
Sorry, zie na alles nog een keer bekijken dat er wat mis was gegaan in mijn commando. Nu het juiste en dan is dit het resultaat.
AarvdH@BELUJA-DS:~$ du -c /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia
2174735352      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2020-10-25_123348
2387265592      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2020-11-27_100001
2387282200      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2020-12-25_114408
2303519596      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-01-29_090001
2433596232      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-02-28_154432
2855420280      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-03-31_160001
2859008332      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-03_160001
2859181104      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-04_160002
2861477960      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-05_160002
2861658548      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-06_160001
2861636664      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-07_160001
2861636636      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-08_160100
2861636668      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-11_160055
2861636664      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-12_160053
2861636680      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-13_171442
3111443552      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-14_160050
3821848544      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-15_160100
3815743988      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-16_114055
3815627712      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-17_160000
3816820672      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-17_191319
3816809448      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-19_164557
3816922552      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-20_160054
3820457748      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-21_160055
3820452608      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-22_160243
3820452624      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-24_103946
3820452640      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-24_160002
3820452668      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-25_170052
3820452708      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-26_160001
3820452724      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-27_160001
3820453192      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-28_160002
12      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-30_100605
3820452796      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-30_101921
3820452792      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-04-30_160059
3820452752      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-05-01_160057
3819207656      /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia/ActiveBackup_2021-05-02_135851
112150737896    /volume1/ActiveBackupforBusiness/ActiveBackupData/PC-THERMALTAKE-I-Multimedia
112150737896    total

Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Briolet op 03 mei 2021, 15:45:24
Even tussen code tags gezet. Dat maakt die bulk tekst direct minder kolossaal. Voordeel is ook dat je dit soort tekst later ook nog via zoekopdrachten kunt terug vinden. in dit geval niet belangrijk, maar in veel andere gevallen heel handig.

Maar goed. Het totaal is 112.150.737.896 Byte. Dat is 112,15 GB.

De grootste backuptaak is 3.819.207.656 Byte. Dat is dus 3,8 GB

Dat klink alles normaal. En heel anders dan de 192.85 TB
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Briolet op 03 mei 2021, 15:56:52
De kans bestaat dat er ergens hard links gebruikt worden, waarbij meerdere hard links naar dezelfde file bij elkaar opgeteld worden.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 16:07:30
Hé? Hoe kan dat nou dan? Snap er nu helemaal niets meer van hoor. Dan blijven er voor mij twee dingen die ik niet snap.
1. De daadwerkelijke grootte van de te backuppen HDD beslaat 4.68TB aan data. Dus die moet er standaard toch al zijn? En dan daarna de incrementele backup van 20 versies. Jij schrijft du dat de grootste backuptaak 3,8 GB is. Dat is toch helemaal niets? Sorry Briolet ik snap het gewoon niet.
En het totaal is dan schrijf je, 112,15 GB. En dat terwijl de daadwerkelijke date al 3.68 TB is. Ik begrijp er niets van.

Dat van die hard links is me duidelijk. Daar heb ik ook e.e.a. over gelezen de laatste uren.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 16:27:44
@Briolet ,
Wat ik ook nareken, kijk en vergelijk met andere jobs. Het lijkt er wel heel erg op dat dit gewoon zo hoort. Welke reden dat dan ook maar mag hebben. Je schreef aan het begin van dit topic dat er misschien een bitje was omgevallen met bepaalde risicos. Maar het is met iedere job zo. Dus waar moet ik nu zoeken. Is een ticket een idee misschien? Ik heb namelijk ook alle documentatie als pdf binnen gehaald maar daar kan ik er niets over vinden.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Birdy op 03 mei 2021, 16:38:57
Zou een Ticket inleggen ;)
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 16:40:32
@Briolet .
Oke, ga ik dat doen. Bedankt voor je hulp tot zover. ik kom er hier op terug met een antwoord van hun kant.
Fijne avond
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Briolet op 03 mei 2021, 20:11:24
1. De daadwerkelijke grootte van de te backuppen HDD beslaat 4.68TB aan data. Dus die moet er standaard toch al zijn?

Klopt, maar niet in die directory. Waarschijnlijk zijn dat alleen de verschil bestanden. Of indexbestanden.

Als je 20 versies hebt van 4,7 TB, dan gaat het om een totaal van 90,4 TB als het allemaal afzonderlijke files waren. Ik ken dit backup programma niet, maar sommige Backup programma's gebruiken hard links bij een incremental backup. (b.v. Time Machine van Apple of Time Backup van Synology (wordt niet meer ondersteund)

Bij hard links schrijf je elke keer een 'volledige' versie weg. Bij veranderde files wordt dan de nieuwe file in de backup gezet en bij onveranderde files wordt alleen een hard link naar de vorige file gemaakt.

Als je dan op een botte manier de inhoud van alle folders optelt, kom je veel te hoog uit. Je moet ook naar de inode (https://rtfm.co.ua/en/what-is-hard-link-symlink-and-inode-in-linux/) kijken. Als je een file tegenkomt met een inode nummer dat je al gehad hebt, mag je die niet nog een keer meetellen met de totale grootte.
Als je groottes berekend op een gemounte share, zie je die inodes niet en zal het simpel optellen van alle groottes altijd falen.  Maar FileStation draait op de nas en zou daar rekening mee moeten houden.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 20:23:29
@Briolet, Ik snap het. Ik heb eens gekeken in die mappen van die betreffende job. En in iedere map staat een door het backup programma gecreëerde *. IMG, met de omvang van telkens mijn exacte data op de Multimedia HDD. En dat in al die mappen. Dus het is niet wat het lijkt denk ik. Ik ga helemaal met jouw verhaal mee. Maar heb ook een ticket ingeschoten. Wil het toch wel graag weten, en waarom dan ook hun eigen filestation de verkeerde info laat zien. Ik laat morgen ook eens de storage analyser lopen. Kijken wat die zegt over de map.
In ieder geval bedankt!
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Briolet op 03 mei 2021, 20:33:57
Ik heb het even getest en zie dat File Station ook buggy is. Ik heb een folder gemaakt met vijf files die allemaal een hard link van elkaar zijn:

$ ls -il Hardlinks
total 5205064
124108 drwxrwxrwx+ 2 root      root        4096 Apr  7  2020 @eaDir
 91306 -rwxrwxrwx+ 5 Briolet users 1065986971 Feb 19  2012 ZDFneo-1.flv
 91306 -rwxrwxrwx+ 5 Briolet users 1065986971 Feb 19  2012 ZDFneo-2.flv
 91306 -rwxrwxrwx+ 5 Briolet users 1065986971 Feb 19  2012 ZDFneo-3.flv
 91306 -rwxrwxrwx+ 5 Briolet users 1065986971 Feb 19  2012 ZDFneo-4.flv
 91306 -rwxrwxrwx+ 5 Briolet users 1065986971 Feb 19  2012 ZDFneo-5.flv

De eerste kolom zijn de inodes. Als grootte staat er 1065986971. Dus elke file is 1,07 GB groot. Maar dat het steeds dezelfde file is zie je aan de gelijke inodes. Dit is een uniek nummer voor elke file die onafhankelijk is van de naam van de file. Ik zie dat ook het 'ls' commando een fout maakt met de optelling en dit ook als 5 GB weergeeft. Het getal 5 geeft aan dar er steeds 5 files naar deze inode wijzen. Dat klopt in dit geval ook.

Het commando du (Disk Usage) doet het beter en geeft wel de corecte foder grootte weer en telt niets dubbel.:

$ du -c Hardlinks
8 Hardlinks/@eaDir
1041028 Hardlinks
1041028 total

Maar ook FileStation vergeet rekening te houden met hard links:

[attachimg=1]
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 03 mei 2021, 21:59:24
@Briolet, ik heb even flink zitten lezen vanavond en ook dingen geprobeerd op de NAS. Ik denk zelf dat er aan ieder besturingssysteem, Server of Workstation, Linux, Of Microsoft OS. Allemaal zullen ze hun mankementjes hebben. Vroeger was er nog een server OS "Novell" wat als robuust werd beschouwd, maar ook daar waren er dingetjes. Er worden ook niet voor niets met regelmaat updates uitgebracht voor alle besturingssystemen het kan ook nooit perfect zijn. En eerlijk gezegd ik hou heel erg van hobbyen met de systemen maar het is ook een beetje functioneel bij mij. Het werkt hier prima allemaal. Ook de backup van de workstations gaat prima al een half jaar nu. Ik werd ongerust toen je zei dat ik misschien eens tegen een probleem aan zou kunnen lopen. Dus wilde ik het fijne weten. Kijk, het maakt mij echt niet uit dat filestation 193TB meld. Ik weet 100% dat die grootte niet klopt omdat ik niet zoveel heb. Dat neemt niet weg dat ik wel graag zou willen weten hoe het komt. Ik ben dan ook benieuwd naar het antwoord van Synology support. Maar wel erg fijn dat je mee wilt denken. Ben al heel lang lid van het forum en vind er toch iedere keer weer een grootte hulp. En altijd erg leuk om mee te lezen.
Ik meld me als ik wat meer weet van Support.
Fijne avond.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 05 mei 2021, 10:31:21
@Briolet
Ik heb antwoord van Synology support. Ik zet het hier onder neer. Het is voor mij duidelijk nu. Jammer dat het huis eigen filestation er geen rekening mee houd. Maar ik had ook even verder kunnen kijken in de ActiveBackup package. Dan had ik het ook gezien en begrepen. Maar goed, misschien dat andere mensen in de toekomst ook wat hebben aan dit draadje.
Bedankt!

Citaat
Please check the actual backup size via Active Backup for Business>Storage>Global deduplication ratio>point to icon "i" to see the details.
If you using linux command or File station to calculate the ABB target size is incorrect, since that size is not dedupe. So the size will also different from your HDD size of the source server HDD. we are sorry for the confusion.
 
If there is any problem, please feel free to contact us.

Sincerely,

Technical Support Synology
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Briolet op 05 mei 2021, 13:00:26
Bij de Time Machine backups naar de nas gaat de grootte berekenen door FileStation wel goed.

Apple gebruikt ook hard links voor elke backup, maar maakt eerst een disk image in hfs+ formaat aan op de nas in de form van een sparsebundel. De backup gebeurt vervolgens op deze virtuele hfs+ schijf.
De nas ziet dat hele hfs+ formaat met hard links niet en ziet alleen de losse sparsebundel files.  ;)

Het blijft natuurlijk de vraag hoe FileStation moet optellen. Als ze identieke files maar één keer mee tellen gaan mensen ook daar weer over vallen omdat hun handmatige optelling weer niet klopt.

Wat dat betreft zou je naar de "opslag analyser" moeten kijken. Ik neem aan dat die wel correcte groottes berekend. Edit Niet dus. Ook opslag analiser rekent fout. In mijn test share met 5 hard links die allen naar dezelfde file van 1 GB wijzen, geeft hij een verbruik van 5 GB aan.

[attachimg=1]

Bij de tab 'Duplicaten' geeft hij ze wel aan als duplicaten, met de optie om de duplicaten te wissen. Maar juist bij hard-links is er geen noodzaak om duplicaten te wissen, omdat het alleen extra verwijzingen naar dezelfde locatie op de HDD betreft. Voor mij een teken dat die analyse nog voor verbetering vatbaar is.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 05 mei 2021, 13:35:00
Ja ik zie het, jij gaf al aan dat je zelf Active Backup niet gebruik. Maar heb al weer terug geschreven want ook de ABB Opslag laat in mijn geval niet het juiste zien. Ik heb namelijk geen werkstations met 64TB aan data. Dus ik wacht hun antwoord weer even af.
Ik ben wel blij dat het gewoon het uitlezen van het gebeuren betreft. En geen fout in mijn systeem. Maar het is niet netjes vind ik.
Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: FlipjeSR op 05 mei 2021, 15:39:37
@Briolet,
Ik heb een antwoord gekregen:

Citaat
Thank you for your reply.
Since you are using the PC backup, it will back up the entire disk/partition from the PC clients, and subsequent backups will using the VSS to only backup the changes and reduce the size by data deduplication.
You may check the detail from our admin guide (Page 12)

https://global.download.synology.com/download/Document/Software/AdminGuide/Package/ActiveBackup/All/enu/Syno_AdministratorsGuide_ActiveBackup_Business_enu.pdf

Dit had ik idd gelezen. Het verhaal is me helemaal duidelijk. Blijft wel een beetje een feit dat het niet echt een schoonheids prijs verdient.
Maar goed. Ik sluit het af. Systeem is Oké en de backups draaien prima. Heb al meerdere malen een restore van de OS partitie gedaan met het door hun aangeboden herstel media. (USB stick) Werkt echt perfect. En dat voor een stuk gratis meegeleverde software. Iets anders heb ik niet meer nodig hier thuis.
Heel erg bedankt voor het meedenken Briolet.
Tot de volgende keer denk ik dan maar :-)
Blijf gezond.

Titel: Re: Active backup for Business omvang Incrementele backup
Bericht door: Sylvester op 03 oktober 2022, 19:58:16
Effe oude koeien uit de sloot halen. Allé 't is te zeggen, ik heb ook zo'n koe.
Eén van mijn Nas'en zit voor 80% vol. Dus even checken waar dat zit.
Maar dan kom ik ook uit op de share waarin de ActiveBackup for Business zit.
Ook bij mij geeft die meer aan dan eigenlijk aanwezig. Hij geeft 8TB aan en er zit maar 4TB in de NAS, die voor 80% vol is.

Ik kan het niet zo direct afleiden uit dit topic. Hoe kan je nu in hemelsnaam terugvinden hoeveel deze share werkelijk in beslag neemt?