Webdav HTTPS neemt alle RAM in beslag

[Sylvester]

Ik heb het ooit ergens gelezen maar vind het niet meer terug.
In een DS716+ met 2 GB RAM zie ik dat WebDav bijna alle RAM (tot 90%) in beslag neemt als de HTTPS ingeschakeld staat (instellingen binnen WebDav.



Van zodra ik HTTPS afzet zie ik dat de gebruikte RAM terugvalt tot 18%.

Toch vreemd...?

Ik kan het ook niet reproduceren. Als ik de HTTPS terug inschakel, verandert er niets. Om één of andere reden is het pas na een tijdje dat hij alle geheugen in beslag neemt. Het is ook niet altijd evenveel.

[Babylonia]

Sterker nog, bij een NAS elders in gebruik heb ik juist alleen HTTPS ingesteld voor de veiligheid.
WebDAV is juist een uitermate efficiënt protocol gebleken voor de bij de server hoofdzakelijke "Office" data.
Maar ook bij up- en download van niet te grote filmbestanden blijkt het erg efficiënt te zijn.

Wel met gebruik van fatsoenlijke WebDAV Client software ----> RaiDrive

Zoals ik heb gemeld, WebDAV is meer een protocol voor "Office" achtige applicaties.
Heb je bijv. filmbestanden groter dan pakweg 2 GB, functioneert het niet. Daarvoor is het WebDAV protocol niet geschikt.
Daar ligt namelijk een beperking in het te verwerken bestandssysteem / connectie protocol en de grootte van bestanden.
Ik vermoed dat je daarmee een probleem hebt?    Zie bijv. ook informatie < HIER >

[Sylvester]

Of het met HTTPS veilige is of niet, dat doet hier niet ter zake.
Het heeft ook niets met grootte van een bestand te maken. Het zijn allemaal kleine bestanden die via WebDav gaan, en op het moment dat het zich voordoet is er niet eens beweging over WebDav.

[Babylonia]

Heb je "Raidrive" al geprobeerd als Client software, zoals geadviseerd ??

Heb zojuist een connectie gemaakt met een NAS DS218+ "op afstand" via WebDAV met  RaiDrive  als Client software.
Daarnaast als admin ook nog eens ingelogd via de normale 5001 https poort om te zien welke bronnen er gebruikt worden met de CPU.
Dat is gemiddeld  3-4%  met wat piekjes ertussen naar iets van meestal 10-12%, maar in het uiterste geval een enkel piekje op 20%
Wel in "idle" state, zonder bestanden te downloaden of iets anders via WebDAV uit te voeren.



Erna nog eens bekeken of een upload van een beperkt filmbestand nog effect heeft op de prestaties van de verbinding.
Mijn internetverbinding betreft een 100/100 Mbps account.

Zoals te zien is, heb ik echt een maximale verbinding met de NAS om bestanden over te zetten.
(Omrekenen naar Mbps is vermenigvuldigen met 8x van de getoonde waarde in MegaBYTE p/s

[Birdy]

en op het moment dat het zich voordoet is er niet eens beweging over WebDav.

Ik heb WebDav even geïnstalleerd, heb alle opties ingeschakeld (dus ook HTTPS) maar WebDav, en dit is het memory verbruik voor WebDav als er geen "beweging" is:
0.1   0:00.13 S /var/packages/WebDAVServer/target/usr/bin/httpd -DSSL -f /var/packages/WebDAVServer/target/etc/httpd/conf/httpd.conf-webdav
Dus 0.1% van 8GB

[Sylvester]

@Birdy  Ik maak middels cloudsync op 2 Synology DS 716+ gelijkaardige synchronisatie via WebDav. Het vreemde is dat ik dat probleem maar op 1 heb.

@Babylonia  Ik kan toch niet zo goed volgen. Waar zou ik die raidrive moeten testen? Ik gebruik webdav tussen verschillende NAS toestellen om via Cloud Sync vanalles te synchroniseren. Tevens heb je WebDav nodig om Calendar en nog andere dingen toe te passen. Het gaat om het RAM geheugen, niet om de processor activiteit. Processor activiteit beweegt nagenoeg niet met WebDav.

[Babylonia]

Ik gebruik webdav tussen verschillende NAS toestellen om via Cloud Sync vanalles te synchroniseren.

Dat heb je eerder er helemaal niet bijverteld. Hoe moeten wij dat weten?
Doorgaans wordt WebDAV gebruikt om op simpele wijze een PC / laptop via externe locatie,
de data op de NAS te benaderen met gebruikmaking van de Windows verkenner.

Synchroniseren tussen twee NAS-sen op afstand lijkt me WebDAV ook helemaal niet het geschikte protocol daarvoor?
Juist door de beperking in bestandsgroottes die het heeft.  Zoals eerder al aangehaald niet meer dan pakweg 2 GB.
Ik heb nog even gekeken of dat onder Linux (het OS van een NAS) anders zou zijn. Maar ook daarmee is dat niet het geval.

Misschien loopt daardoor je RAM vol??
Je hoeft maar enkele filmbestanden of bijv. ISO-bestanden groter dan die 2 GB op je NAS te hebben staan,
en het zal vastlopen als het die bestanden tegenkomt om over te zetten.

https://knowledge.ni.com/KnowledgeArticleDetails?id=kA00Z000000kHWVSA2

The maximum file size that can be transferred using the NI Linux Real-Time WebDAV server is 2 GB and it is not possible to increase it.
If you need to transfer the files and are not able to split or make the file smaller, you should look at using other transfer protocols such as SFTP/FTP.

https://www2.le.ac.uk/offices/itservices/ithelp/my-computer/files-and-security/work-off-campus/webdav/linux

i - information:  The maximum file size that can be transferred using WebDAV is limited to just under 2GB.

[Briolet]

Synchroniseren tussen twee NAS-sen op afstand lijkt me WebDAV ook helemaal niet het geschikte protocol daarvoor?
Juist door de beperking in bestandsgroottes die het heeft.  Zoals eerder al aangehaald niet meer dan pakweg 2 GB.

Dat klopt niet. WebDav heeft niet zo'n beperking. Ik kan gerust een 10 GB bestand via WebDav overzetten (via https):



Misschien dat jouw WebDav cliënt die beperking heeft, maar niet het WebDav protocol of de implementatie op de nas. (afp is wel 3x sneller met datzelfde bestand omdat WebDav allerlei checks doet om ook via een instabiel internet te kunnen werken)
En ik heb nog nooit grote geheugen effecten gezien. En bij mij staat WebDav (via https) al aan sinds ik de nas heb om mijn agenda's te synchroniseren.

[Babylonia]

Dat is dan nieuwe informatie voor mij.
Eerder heb ik onder "Windows" die limieten zelf wel eens uitgeprobeerd, met toen "NetDrive" client software.
En liep toen wel degelijk tegen die beschreven limieten op.

Tussen NAS'sen onderling met gebruik van WebDAV heb ik geen ervaring.
Vandaar dat ik het heb opgezocht, en kwam aan de informatie zoals in mijn eerdere reactie aangehaald.
Waarvan eentje van een Engelse universiteit. Ik dacht dat ik daar dan wel op zou kunnen vertrouwen.   
(Gaat dan wel om bepaalde WebDAV client software onder Linux, en niet om het protocol tussen NAS'sen ondeling).

Maar kennelijk is dat achterhaalde informatie.  Goed om te weten.   
Dan zit het probleem van het vollopen van de RAM kennelijk ergens anders in.

[Sylvester]

Ik heb inderdaad ook al files overgezet van (veel)meer dan 2GB.
Ondertussen zie ik dat de ram weer oploopt ondanks dat enkel http in webdav ingeschakeld is, dus zonder https.

[Birdy]

Ga met top in Terminal (ik gebruik Windows PuTTY) kijken en sorteer op %MEM middels shift + m en maak het scherm zo groot als mogelijk.
Dan zou je dit moeten zien:



Laat hiervan eens een printscreen zien.

[ufosyno]

Maar het oplopen van de RAM-bezetting is toch - op zich - geen enkel probleem?

Het kan zijn dat de webdav-transfers inderdaad wat RAM alloceren en niet correct vrijgeven, maar al later blijkt, dat het RAM weer voor wat anders nodig is, wordt het wel weer vrijgemaakt.Ik zie soortgelijk gedrag bijvoorbeeld ook bij het gebruik van de Antivirusscanner. Na afloop blijft het RAM ogenschijnlijk nagenoeg vol bezet, en na verloop van tijd wordt het weer wat "opgeschoond".

Het is wat anders als ook het SWAP-file helemaal volloopt... dan klopt er echt iets niet.