Kopiëren van de ene NAS naar de andere erg traag

[Takzy]

Korte uitleg:

Wij hebben een DS414 in gebruik als backup medium en netwerkstation. Werkt goed. Er zit 6 Tb aan schijven in. Er is een tweede NAS bijgehaald (DS216) om deze rol over te nemen, dan wordt de 414 ingezet als backup systeem welke ook de DS216 backupt.

Er moeten dus veel mappen en bestanden verplaatst worden van de ene naar de andere NAS. Zo'n 0.9 TB. (Ook wil men tevens testen hoe snel backups terug gezet kunnen worden van de ene op de andere NAS).

Wanneer ik via mijn PC de overdracht regel, kom ik op een snelheid via LAN (1000mbps) van ongeveer 125 kb per seconde. Let op, hierbij gaan de spullen van DS414 naar mijn computer naar DS216. Dit is een beetje te langzaam om werkbaar te zijn.

Ik heb zitten zoeken naar snellere methodes als direct copy, waarbij de data rechtstreeks van de ene NAS op de andere overgaat. In de file-station mount ik de andere NAS, en zet de bestanden met copy > paste over. Echter kom ik nu niet meer boven de 30kb per seconde uit.

Dit heb ik dus afgebroken, en getest of de LAN verbinding wel op beide NASsen op 1000 mbps staat, en dat staat goed. Ook zijn alle updates binnen gehaald, en de NASsen gerestart.

Als test is een video bestand van 6 gig van de PC rechtstreeks naar beide NASsen gekopieerd. De 414 haalt dan ongeveer 2.7 Mb per seconde, de 216 geeft 1.9 Mb per seconde. Nog niet erg snel, maar in ieder geval werkbaar.

Echter een nieuwe opdracht in file-station met een mount blijft weer hangen op 30-40kb per seconde. Dat betekent dat het overzetten van een dagbackup al langer dan 24 uur duurt, en dat levert praktische problemen op (de tweede backup start als de eerste nog bezig zou zijn)

Iemand enig idee wat ik fout doe? Of zijn er intelligenter manieren om bestanden over te zetten van de ene op de andere NAS. Let wel, het is geen synchroniseren, er is een nieuwe mappenstructuur gemaakt, dus deze keer moet ik het gewoon met slepen kunnen doen.

Het probleem zit er dus in wanneer de NASSEN onderling via een mount (ftp) gegevens overzetten. Via mijn PC is de snelheid al aanzienlijk hoger, wanneer ik een kopie van de ene NAS op mijn harde schijf zou zetten en daarna upload naar de andere NAS. Echter is dat een beetje zinloos...

[Robert Koopman]

Veel kleine bestandjes gaat een stuk langzamer dat een groot bestand.
Heb je het een uur of langer laten draaien of stopte je direct als je ziet dat het langzaam ging?

[Chatslet]

Mijn ervaring is dat NFS (bij voorkeur over udp) over het algemeen veel sneller is as FTP/CIFS/SMB.

[Takzy]

Veel kleine bestandjes gaat een stuk langzamer dat een groot bestand.
Heb je het een uur of langer laten draaien of stopte je direct als je ziet dat het langzaam ging?

Hij heeft nu zes uur gelopen, er is 708 Mb overgezet (=idd ongeveer 30 kilobyte per seconde / 130mb per uur)

Hij is nu afgebroken, want in dit tempo gaat 900 gig ongeveer 7200 uur duren...

De bestanden zijn wisselend van grootte. Er zitten veel grafische bestanden tussen de 1 en 5 mb bij, maar ook zips van enkele gigs

[Robert Koopman]

Dat is inderdaad wel erg langzaam!
Ik heb het zo toch ook gedaan, ging wel op goede snelheid.
Maar waar ligt dat nu aan?

[Birdy]

Deze methode zou de snelste moeten zijn:



En die heb je dus al geprobeerd. Overigens, dat is geen FTP maar CIFS maar goed, het loopt bij jou tergend langzaam.

Ik zou haast denken aan een netwerk probleem.

Wat je zou kunnen doen is je 2 NASsen en PC alleen aan een switch te hangen (klein netwerkje) dan nog eens testen via Externe Map Koppeling.
Je moet er alleen wel voor zorgen dat je NASsen en PC een vast adres hebben in dezelfde range.

[aliazzz]

Ik haal hier met een 1Gbps netwerk en hyper backup ruim 65MB/s (van DS415+ naar DS216Play).
Hoe zit jouw netwerk topologie in elkaar? (bekabeling, routers, switches etc)

[algernonz]

  Vervang de netwerkkabels die vanuit de NAS naar de switch lopen?

Als je dat hebt gefixt en je je backups nog sneller wilt maken -met foutcorrectie, gebruik dan rsync.
Er zijn heel wat leuke Synology-rsync tips op het Internet te vinden, van simpel vanaf de DSM gui, tot het wat complexere bakken van eigen scriptjes.

http://wiki.euserv.de/index.php/Guide_Backup_Synology_DiskStation_%28DSM5.0%29/en

[Ben(V)]

Niet ftp, noch nfs en zeker niet rync maar smb maakt de snelste data overdracht tussen twee Nassen mogelijk.

Je moet er wel voor zorgen data op beide Nassen smb 3 staat geconfigureerd en zeker geen smb 1.

Ik heb in het verleden uitgebreid gestest met een DS409 en een DS414 en haalde dan met grote bestanden een snelheid van zo'n 60MB/s en de bottleneck lag bij de DS409 want vanaf m'n pc naar de DS409 haalde ik diezelfde snelheid.
Pc naar DS414 haalde 108MB/s

Dus controleer je smb setting en test eerst eens met alleen een heel groot bestand, dat geeft je een indicatie of er iets anders aan de hand is.

De snelheid is namelijk extreem sterk afhankelijk van de soort data, heel veel .jpg bestanden zijn een ramp voor de snelheid.

[Takzy]

Ik heb getest vanaf mijn PC (dus PC naar NAS 1, en daarna PC naar NAS 2) met een videobestand van 6 gig. Dat ging met 2 a 3 Mb per seconde. (Zie startpost)

Ook heb ik getest met het verslepen in file-station van de ene naar de andere. Als ik dan in mijn netwerk-centrum kijk, zie ik dat de data over mijn PC loopt. Dat is inefficient, omdat de LAN kabel dat tegelijk up en down gebruikt wordt tussen de router en de PC.

Overigens zijn alle drie de devices (PC, NAS1 en NAS2) verbonden met een LAN kabel aan de router. (Standaard KNP experibox router, internet werd op dat moment niet of nauwelijks gebruikt)

Enne NFS, rsync, smb en dergelijke... We praten niet over het verschil tussen 40 Mb per seconde of 60 Mb per seconde, ik haal effectief 30 kilobyte per seconde (over zes uur continue gemeten). Dus ook jpeg, zip of avi speelt eigenlijk nog geen rol. Ik zou al heel blij zijn met 5 Mb per seconde!

Mijn LAN kabels zijn van Synology (behalve die van de PC), en kennelijk kunnen ze zeker 2 Mb per seconde halen, wanneer ik op een andere manier overzet. Echter moet de mappenstructuur aangepast worden, dus wil ik gewoon mappen kunnen slepen. (En ook is dit een beetje een test voor wanneer er bij een calamiteit snel een backup overgezet moet worden)

Door het grote verschil met overzetten naar een PC lijkt het erop dat de manier van overzetten fout gaat. Ik open de ene NAS in browser, start file-station, en mount de tweede NAS met admin account en wachtwoord. Daarna worden met copy>paste de bestanden aan een map op de andere NAS toegewezen, en ik laat de window met de current tasks openstaan (dus niet kopiëren op de achtergrond). Toch zijn de snelheden zo extreem laag, dat ik beter een bestand kan openen met notepad plus, dit aan iemand anders voorlezen aan de telefoon die het opnieuw intikt, om zo de bestanden opnieuw te genereren.

Ik ga morgen een andere router en andere kabels proberen.

[Takzy]

Wat de schuld nou heeft is onbekend, maar een oude sitecom router (54 megabit verbindingen) zonder internet met alleen de 2 nassen gekoppeld levert snelheden van rond de 7 MB per seconde op, en dat is genoeg. Geen kabels vervangen verder.

Het is kennelijk iets met de gebruikte router van KPN....