Synology-Forum.nl
Overige software => Data replicator & overige backupsoftware => Topic gestart door: MarcD op 09 februari 2018, 20:28:39
-
Ik maak een backup van 5TB muziek (op ds918+) naar mijn vorige NAS (Seagate PersonalCloud). Ik doe dat via Hyperbackup rsync. Dit duurt nu al een week (7 dagen) en de transfer is halfweg. Is dat normaal?
In de map Netbackup op Seagate PersonalCloud vind ik geen muziekfiles maar 2-bestanden, alle ongeveer 51 MB groot.
Kan iemand hier wat info over geven?
Dank je.
-
maar 2-bestanden
Wat zijn de namen van die bestanden ?
Op de Seagate is verder helemaal niets te vinden ?
-
Er staan enkele mappen in Netbackup: Config, Control, Guard, Pool en dan nog een 4-tal bestanden. In de map pool staan nu 25 mappen genummerd van 0 tot 24. In de 25 mappen staan enkel 2-bestanden: bv 1.bucket.2.
-
Ik ga even een testje doen, om te zien war rsync eigenlijk doet. ;D
-
Dank je. Ik bladerde ondertussen al even met Hyoer Backup Explorer, maar die vindt ook niks.
-
Welke van de twee heb je gebruikt ?
[attachimg=1]
PS: Ik heb dus geen Seagate PersonalCloud, alleen Synology dus, het zou anders eruit kunnen zien.
-
Ik heb beiden getest:
Bij de 1e keuze rsync, wordt het 1 file, n.l. <naam>.hbk
Bij de 2e keuze rsync copy (enkele versie) ziet het er zo uit:
[attachimg=2]
Waarbij de map music gewoon leesbaar is.
Omdat ik dus alleen Synology NASsen heb, kan ik:
[attachimg=1]
M.a.w., de structuur is geheel anders als je rsync gebruikt naar een niet Synology NAS.
Overigens, ik neem aan, dat je keuze 1 hebt gebruikt aangezien er met Buckets gewerkt wordt, kenmerkend voor een versie rsync en backup.
-
Ik bladerde ondertussen al even met Hyoer Backup Explorer, maar die vindt ook niks.
Dat kan, volgens mij, alleen als de rsync gereed is.
In de map Netbackup op Seagate PersonalCloud vind ik geen muziekfiles.
Dat klopt wel, want rsync maakt gebruik van buckets, die zijn opzich niet te lezen.
Hoe groot is de map Netbackup op Seagate ?
-
Herstel.......het zien er wel hetzelfde uit op m'n rsync NAS:
Kan de structuur alleen zien in Verkenner (of WinSCP):
[attachimg=1]
[attachimg=2]
DUS, blijft de vraag: Hoe groot is de map Netbackup op Seagate ?
(Mijn rsync backup is bijna 1 op 1 qua grootte van de map muziek.)
-
Misschien even ter aanvulling.
rsync is enkel een portable protocol, waardoor twee verschillend machines naar elkaar toe kunnen backuppen.
Wat de rsync applicatie aan de Seagate kant er mee doet zou er dus heel anders uit kunnen zien als wat de Synology rsync aanmaakt.
Er zijn in mijn ogen in dit geval twee mogelijkheden.
- De rsynsc werkt gewoon niet. Kijk eens in je Nas naar het netwerk gebruik.
- De bestanden op je Seagate zijn 'hidden' als hij nog bezig is.
-
Netbackup op Seagate = 0
-
LAN 1 = 30 kb/sec
-
Hidden stond aangevibkt.
Dys de bucket.2 bestanden tonen 51MB/stuk en er staan er duizenden in. Toch is de map Netbackup leeg?
-
Maar in de map Netbackup staat een map Synology_1.hbk en dat volume is (still counting), dus dat zal rond de 3TB draaien.
Hyper Backup zegt aan 56% (na 7,5 dagen) te zitten.
-
Dan moet het toch goedkomen, 5TB rsync, eerste run, is toch niet mis.
2e run, zal natuurlijk sneller gaan 8)
-
Als je gekozen hebt voor "een enkele versie" en rsync zou je eens kunnen kijken naar Free File Sync (FFS) voor je functionaliteit (muziek, heel veel relatief kleine bestanden, weinig veranderingen). Veel meer grip op voortgang en je kan het evt. in stapjes van 1 Tb doen.
IK gebruikte Hyper ook voor 3 Tb back-up, maar dat bleef lang duren en bracht ook andere back-up jobs in gevaar. Ben met FFS nu erg tevreden (en freeware). En ik kan goed bekijken hoe de voortgang is (snelheid/voortgang).
-
Er is niet gekozen voor "een enkele versie", dat is wel duidelijk.
-
Klopt, maar wat wil je hier nu over de tip mee zeggen? Dat is dan weer erg onduidelijk 8)
-
Ik reageer op "Als je gekozen hebt voor "een enkele versie" en rsync" dus, neem ik aan, dat TS niets aan "de tip" dus, valt er niets te zeggen over "de tip", dat is toch duidelijk ? ;)
Daarbij, "Free File Sync (FFS)" draait niet op de NAS dus, moet je de PC ook nog aan laten staan om van NAS naar NAS te kunnen syncen ;D
Of snap ik je niet.
-
Je leest als forum-user een vraag over een backup, die een week duurt en je hebt een idee/tip voor die persoon omdat je de situatie herkent. Je wilt graag helpen. Je neemt de moeite om dit op het forum te plaatsen en voor mijn gevoel ging je hier met "dat is toch wel duidelijk" niet echt vriendelijk mee om. Ik zie daar de toegevoegde waarde niet van.
MarcD is best mans genoeg om zelf te zeggen wat hij zelf de tip vond.
ik hou het hier ook bij. Zonde van de tijd.
-
Nou nou, lange tenen zeker.....zeker zonde. ::)
Ik ga er zeker vanuit dat TS mans genoeg is, ik probeer alleen maar te begrijpen wat je bedoelt (meedenken heet dat) maar goed, hou het hier maar bij. :thumbup:
-
De bucketfiles die op Seagate staan, die kan ik niet afspelen veronderstel ik?
Of komt er nog een zip aan te pas?
-
Je moet Backup Verkenner gebruiken, deze leest de Synology_1.hbk uit die op de Seagate staat.
[attach=1]
Je moet de .hbk zien als de "verpakking" van rsync/backup, en bestaat uit o.a. de configuratie files, en de buckets, waarin je files staan.
-
Vanmorgen geschrokken. Alles staat weer op 0. Een week backuppen, gisteren nog 56%, vandaag 0%. Ook via verkenner in Personal Cloud gekeken: mappen in Netbackup zijn leeg.
Synology NAS was opnieuw begonnen, heb de actie nu afgebroken.
Wat nu?
-
Dat is echt balen Marc! Misschien eerst beginnen om te kijken in de logfile (zie foto). Het is het meest rechtse icoontje. Ik heb 3 Tb aan music files (netjes geordend met Tagscanner) en daar ben je wel zuinig op.
sterkte!
-
Dat is zeker een tegenvaller.
Ik zou de huidige sync stoppen en eerst eens testen met een kleinere hoeveelheid, om te zien of de 2 NASsen wel goed kunnen samenwerken.
-
Goed advies van Birdy.
Ik zou overigens zo wie zo de bulk data gewoon kopiëren door een externe mount in FileStation op te zetten en een initiële kopie te maken met FileStation.
Dat gaat vele malen sneller.
Dan kun je daarna rsync gebruiken om de zaak in sync te houden.
-
Dan kun je daarna rsync gebruiken om de zaak in sync te houden.
Helaas gaat dit niet werken, TS gebruikt rsync met versie beheer, misschien kan het wel zonder versiebeheer.
-
Mee eens. Het is denk ik ook goed om er rekening mee te houden dat Hyper BP graag nog een integriteit controle wil uitvoeren op zijn gemaakte backups (zie plaatje). Met een paar gig is dat geen probleem, maar met de 5Tb kan dat wel anders zijn.
-
@MarcD Heb je in de logfile gekeken, of daar een indicatie is, waarom rsync opnieuw is begonnen ?
Soms wil het zijn, dat de logfile in HB niet alles laat zien dus, kijk ook even in /var/log/synolog/synobackup.log, voorbeeld (bij mij is het dus wel goed gegaan):
info 2018/02/09 21:54:14 SYSTEM: [Network][rsync Server 1] Backup task started.
info 2018/02/09 21:57:11 SYSTEM: [Network][rsync Server 1] Backup task finished successfully. [55 files scanned] [55 new files]
-
Kan je hier iets mee?
Herbeginnen op dezelfde manier heeft natuurlijk het gevaar dat-ie na een week weer afhaakt.
Back-up
Niveau Datum en tijd Gebruiker Gebeurtenis
Error 2018/02/11 08:04:54 SYSTEM [Network][rsync Server 1] Backup task was cancelled.
Error 2018/02/11 08:04:54 SYSTEM [Network][rsync Server 1] Backup data was cancelled.
Error 2018/02/11 08:04:52 SYSTEM [Network][rsync Server 1] Exception occurred while backing up data. (The backup task was cancelled.)
Error 2018/02/11 05:00:09 SYSTEM [Network][rsync Server 1] Failed to start integrity check.
Information 2018/02/11 01:18:02 SYSTEM [Network][rsync Server 1] Backup task started.
Error 2018/02/10 21:40:06 SYSTEM [Network][rsync Server 1] Failed to run backup task.
Error 2018/02/10 21:40:06 SYSTEM [Network][rsync Server 1] Failed to backup data.
Error 2018/02/10 21:40:02 SYSTEM [Network][rsync Server 1] Exception occurred while backing up data.
Warning 2018/02/10 01:18:03 SYSTEM [Network][rsync Server 1] Scheduled backup had been skipped because that task was running backup
Information 2018/02/04 13:32:51 SYSTEM [Network][rsync Server 1] Backup task started.
Information 2018/02/04 13:32:43 Marc Setting of backup task [rsync Server 1] was created to backup to [netbackup@PersonalCloud::NetBackup/Synology_1.hbk].
Information 2018/02/04 11:52:16 Marc Backup task [rsync Server 1] was removed.
Information 2018/02/04 11:51:51 Marc Setting of backup task [rsync Server 1] was created to backup to [music/Synology_1.hbk].
-
Herbeginnen op dezelfde manier heeft natuurlijk het gevaar dat-ie na een week weer afhaakt.
Je krijgt toch het advies om met een kleinere selectie te beginnen, niét alles backuppen maar minder bestanden.
-
Error 2018/02/10 21:40:06 SYSTEM [Network][rsync Server 1] Failed to run backup task.
Error 2018/02/10 21:40:06 SYSTEM [Network][rsync Server 1] Failed to backup data.
Error 2018/02/10 21:40:02 SYSTEM [Network][rsync Server 1] Exception occurred while backing up data.
Het zou fijn zijn, als Synology ook zou vermelden, wat dan die Exception was. ::)
Nu lijkt het op een "unkown" Exception.
Hier heb je dus helemaal niets aan.
-
Je krijgt toch het advies om met een kleinere selectie te beginnen.
IDD, zie hier (https://www.synology-forum.nl/data-replicator-overige-backupsoftware/netbackup-2-bestanden/msg244144/#msg244144) dus, testen.
-
het zijn inderdaad wel heel algemene logmeldingen. Wat mij nog te binnen schiet is de mogelijkheid dat je schijven in je Seagate errors hebben.
-
Net gestart met een kleine map: 2,5 GB.
Benieuwd...
-
Dat gaat prima.
Op PersonalCloud staan bucket.2 files.
Met de Back-up verkenner kan ik ze openen.
Dus in stukken back uppen? Hoe groot zou het pakket mogen zijn?
Kan ik rechtstreekls van de Personal Cloud spelen...wellicht niet?
-
Kan ik rechtstreekls van de Personal Cloud spelen...wellicht niet?
Die vraag hoort hier niet thuis, maak even een nieuw Topic, anders lopen onderwerpen door elkaar. ;)
-
Wat mij nog te binnen schiet is de mogelijkheid dat je schijven in je Seagate errors hebben.
Is een goeie, kan je dat op de Seagate ergens checken in log files, of zo ?
-
Iki heben een diagnostic_EpYKNn.tar file uit PersonalCloud gehaald. Daar staat heel wat in. Is er iets specifieks wat we nodig hedbben?
-
Ik heb geen verstand van PersonalCloud, jij ook niet ? ;)
Maar, een .tar file kun je wel uitpakken op je PC en dan maar kijken.
-
puur ter info: in sept 2017 zijn exact dezelfde logfouten gerapporteerd op dit forum. Er is toen een patch uitgebracht door Synology. Denk deze: Version: 2.1.5-0627
(2017-11-23)
Fixed an issue where backing up files to remote servers might fail.
-
Er stond blijkbaar een integriteitscontrole gescheduled om 5u vanmorgen (dat stond er automatisch in). Dat zou de fout kunnen geweest zijn - zie logfile van enkele antwoorden terug.
In elk geval is hij nu bezig de letter A te backuppen - rsync. Iets van een 250 GB.
-
Pakket A is klaar. Gelukt. Ook de integriteitscontrole werkte.
Ik ga nu wel 26 back ups hebben...
Bedankt voor jullie tips en kennis.
Marc
-
:thumbup: Als het niet anders kan, dan maar zo ;D
-
Veel Succes! :thumbup:
vraagje: hoe lang heeft HB nu gedaan over een 1/4 Tb? kan je die tijd dan weer terug vertalen naar die doorlooptijd van een week van de "grote" job?
-
2,5 uur. 1TB zou dan 10u zijn. 5TB 50u.
Vorige job was 56% klaar na 7 dagen.
-
Zo! Ik weet niet of je Seagate NAS in je eigen LAN zit of remote staat, en daarom weet ik eerlijk gezegd niet of HB zo handig product is. Wil je wel een backup (lees: versies) of wil je "altijd" een actuele copy? Je kan natuurlijk wel je "letters" variëren gedurende de week zodat b.v. de A B en C op Maandag etc.
ik doe dit: (zie image) binnen mijn netwerk van PC naar een DS1515+
-
Seagate NAS zit in LAN. Verschillende versies wil ik niet, altijd een actuele.
Ik wil bv elke week/maand alle nieuwe albums van Synology NAS gebackupt naar Seagate NAS.
-
Verschillende versies wil ik niet
Dacht dat je die wel gebruikte (.hbk), heb je nu voor de andere sync gekozen ?
-
@Marc: zo doe ik het ook. Met of nieuwe albums of een aangepaste FLAC/MP3 file (cover b.v.) of iets dergelijks. Dus veelal beperkte wijzigingen na een paar zware syncs in het begin. En wel eerlijk gezegd op mijn eigen initiatief als er voldoende changes zijn; dus niet via een schema. Laat maar horen als ik wat voor je moet nakijken. Ik stream hoofdzakelijk met de nas naar een Mede8er op een Denon.(ter info).
-
Neen, steeds dezelfde rsync.
-
Dan begrijp het niet meer. ;D
-
Ik wil morgen nog wel een job opnieuw starten. Die maakt een rsync van de DS1515+ naar een oude 710+. 270 GB ongeveer qua grootte (jouw letter A) en zonder dat er wijzigingen zijn geweest (hij heeft nl nét gelopen). Kijken hoeveel tijd dat kost. Of misschien een nieuwe job die alles er opnieuw opzet. Kijken hoe dat gaat. ik heb ooit met HB een backup job gehad op de 1515 met meer dan 2,5 Tb omdat ik over wilde stappen op BTFRS naar een WD extern en die bleef ook maar lopen... :twisted:
Net een vergelijk (sync) gemaakt (dus alleen checken!!!): 23 seconden over 200.000 objecten. Volume 1.1 Tb muziek files. Let op: Muteren gaat natuurlijk langer duren.
-
@Birdy
Ik heb altijd dezelfde rsyns gebruikt, niet de rsync copy (misschien zit ik daar al fout).
De 5TB backup is volgens mij mislukt omdat er op zondag 5 am een integriteitscontrole gescheduled stond. Blijkbaar is de back up gestopt op dat uur + alle files die al overgezet waren gedeleted.
Nu ga ik letter per letter (telkens ongeveer 250GB), en doe een integriteitscontrole achteraf per pakket.
Ik weet nog niet wat dat precies is die integriteitscontrole.
In elk geval heb ik het gevoel dat het nu vooruit gaat, zit aan letter C, nog 23 te gaan.
Alle op- en aanmerkingen steeds welkom. Bedankt voor je hulp so far, het was nodig.
-
Back-uptaak: Test
Back-updoel: 192.168.1.100 / Test / Test.hbk
Starttijd: ma, feb 12 2018 08:28:55
Duur: 2 Hour 56 Minute 30 Second
Omvang 273 Gb. Er is dus niets mis met je doorlooptijden van Hyper lijkt me zo. (met versiecontrole gedaan net als jij)
-
Ik heb altijd dezelfde rsyns gebruikt, niet de rsync copy (misschien zit ik daar al fout).
Je geeft NU zelf aan:
Verschillende versies wil ik niet
Dus, had je beter kunnen kiezen voor rsync copy:
[attachimg=1]
Bij rsync copy, kun je n.l. ook de copy direct in File Station lezen, bij rsync moet je Backup Verkenner gebruiken, i.v.m. versie beheer en manier van opslag (.hbk).
-
OK. Ik probeer het straks even.
Dank je.
-
rsync copy is inderdaad beter voor wat ik zocht.
Als ik later een nieuwe back up maak, overschrijft hij dan, of vult hij de nieuwe bestanden aan?
-
Je moet altijd zelf even testen (in het klein) of een gekozen optie, voor jouw werkt en doet wat je wilt.
Overigens, ik verwacht, dat een nieuwe rsync taak een nieuwe rsync wordt dus, de nieuwe weet niets van die andere rsync.