Synology-Forum.nl
Firmware => Synology DSM 7.0 => Topic gestart door: jr212 op 13 september 2021, 20:31:27
-
hoi
ik meen me te herinneren dat we bij dsm6 de data in de pakketten konden verplaatsen. Ik vind dat niet meer terug. Ik zou alle pakketten willen verplaatsen maar vooral de mariaDB data.
Jan
-
Je kunt ze niet verplaatsen. Hooguit backuppen, dan wissen en herstellen op een andere plek.
-
Ook de data van maria niet?
Nooit gekunnen?
-
Zoals Briolet al schreef: nee, verplaatsen kan niet. Backuppen weer wel.
Waarom wil je ze eigenlijk verplaatsen? (uit nieuwsgierigheid)
-
Je kunt wel Gedeelde mappen verplaatsen van bv volume1 naar volume2.
-
Nooit gekunnen?
Het enige wat sinds een paar jaar nieuw is, is dat je pakketten op een ander volume kunt installeren dan volume 1. Maar je moet ze nog steeds vanaf nul installeren. Of uit het pakketcentrum of uit de backup. MariaDB is wel een pakket dat ondersteunt wordt door Hyperbackup.
-
Vooral de database van maria dan. Ik heb een php script draaiende op mijn nas. Dat script duurt bijna 50 minuten op mijn beste nas wat veel te lang is.
Eigenlijk komt het hier op neer. Hoe beter de NAS hoe slechter de prestatie.
415play 5'
2415 7'
2419 46'
Daarom wil ik het naar een ssd verplaatsen om toch wat snelhied te kunnen winnen.
Gezien dit echt niet normaal is heb ik dit doorgestuurd naar synology en daar raken ze blijkbaar ook niet verder :(
De shares incl web zijn al verplaatst naar de SSD maar echt winst zit daar dan niet op.
Als er vrijwilligers zijn om zelf eens te testen hoe lang het bij jullie duurt. graag!
vereenvoudigd script en data: http://users.telenet.be/janr/webdata.zip
op mijn PC < 1minuut
Jan
-
Gezien het verschil in tijden denk ik dat je ergens een probleem met je script hebt op de nieuwe NAS.
Het plaatsen van een SSD is alleen maar symptoombestrijding, geen oplossing.
-
En een SSD in een NAS voor dataopslag zou ik sowieso niet doen, maar dat is een andere discussie.
-
Gezien het verschil in tijden denk ik dat je ergens een probleem met je script hebt op de nieuwe NAS.
Kan moeilijk. Script is op alle 4 hetzelfde (3 nassen + PC)
Zelfde php versie, zelfde apache versie
-
Soms kan het herschrijven van een script veel snelheid schelen. Niet alle programmeurs houden rekening met snelheid.
Zo had ik laatst een script gedownload dat steeds een sql database met zo'n 10000 IP adressen moest updaten. Dat script deed er minuten over omdat hij het element voor element toevoegde via een loop.
Bij herschrijven kon je dat gewoon als een heel blok aan IP adressen toevoegen en was het script in een paar seconden klaar. Teveel mensen denken dat zwaardere hardware de enige oplossing is. ;)
Edit:
Ik zie dat jouw script ook een lange reeks met INSERT opdrachten is. Dat is blijkbaar een opdracht met veel overhead. Volgens mij moet het ook hier kunnen dat zo'n hele reeks via één INSERT toegevoegd wordt. Maar ik ken te weinig van sql3 programmering om dat zo uit mijn mouw te schudden.
-
Uitgevoerd op een Ubuntu Box met nginx :
Restore gedaan!
Opdrachten: 28 933
Fouten: 0
Bestandsgrootte: 3 668 845
Duur: 00:00:46.752
Uitgevoerd op Syno ds211 met nginx :
Restore gedaan!
Opdrachten: 28 933
Fouten: 0
Bestandsgrootte: 3 668 845
Duur: 00:01:41.678
Ik zie dat er zowel InnoDB als MyISAM tabellen worden gebruikt.
Het zal niet veel uitmaken, maar voor de uniformiteit zou ik InnoDB met utf8mb4_general_ci overwegen.
-
Databestand is al iets ouder :) Ik moest iets kunnen doorgeven zonder privégegevens :)
Dat is nu aangepast naar alles 131 tabellen in InnoDB. Wel gewoon utf8_general_ci.
De tijden bij jou dat zijn normale tijden. Dank voor de test
-
De snelheid van het uitvoeren van een PHP script hangt er in dit geval vooral af van hoe vaak die met de database communiceerd. Mogelijk gaat die communicatie op een Ubuntu box sneller, omdat die multi-threading gebruikt en de NAS niet.
Het is mij niet duidelijk wat je precies met het script wilt doen.
Als je data van de ene database naar de andere database wilt verplaatsen, dan zou ik geen script gebruiken.
Je kunt gewoon in phpMyAdmin de export in import functie gebruiken. Export genereerd een SQL die optimaal is en je hoeft geen SQL te kennen.
In plaats van elke keer een insert te doen, kun je ook volstaan met 1x insert en dan de data voor elke rij:
INSERT INTO table_name (column_list)
VALUES
(value_list_1),
(value_list_2),
...
(value_list_n);
Dit scheelt waarschijnlijk de meeste tijd.
-
Ik heb maria even verwijderd en opnieuw toegevoegd aan een ssd (goodram) Script loopt nu in in 00:03:48.565 ipv 00:45:31.393
bijna 12 X sneller
Iets sneller dan de 2415 (00:04:23.719) maar nog altijd 4.5 keer zoveel als de 415play 00:00:49.951
Jan
Ik denk wel dat 1 insert met 19k records niet echt positief zal zijn. plus debuggen indien een fout
-
Ik heb eens ergens een script gedownload dat IP adressen in de blocklist van de nas zet. Als ik dat met de tor-list met 8500 IP adressen doe, kost hem dat meer dan een half uur. Dat script voegde in een loop elk IP adres apart met een INSERT toe.
Als ik diezelfde lijst via het menu in DSM toevoeg, kost het minder dan 2 seconden. Ik neem aan dat DSM het via 1 enkele INSERT toevoegt.
Dat is dus geen versnelling van een tiental procent, maar meer een factor 100 à 1000.
De INSERT heeft gewoon veel overhead. Waarschijnlijk omdat hij na elk gebruik de database weer opschoont en sorteert.
-
Als ik diezelfde lijst via het menu in DSM toevoeg
Waar staat dat menu in DSM?
Enniehoe.
Ik kwam een post uit 2016 tegen over het importeren van een 800MB database :
https://www.synology-forum.nl/maria-db/grote-database-import-(800-mb)-in-mariadb/msg205009/#msg205009
De query is nu iets anders met MariaDB.
Is nu zo :
/usr/local/mariadb10/bin/mysql -p -u root dvd < music_comics.sql
Om het uit te voeren moet je met een terminal programma inloggen op de NAS.
music_comics.sql staat in de home directory van de gebruiker.
dvd is de lege database.
De duur om zo te importeren wijkt niet veel af van het PHP script.