Sonarr: Post-processing python script geeft lib foutmelding

[Mirx]

Ik heb een python post-processing script aan Sonarrr toegevoegd om ondertitels uit de downloads te muxen (aanpassing van het NZBGet script).

Als ik het met de hand uitvoer is er niks aan de hand en werkt het als een zonnetje. Echter, als Sonarr het script aanroept wordt er een warning gegeneerd die verder de werking niet beinvloed, maar wel het hele Sonarr log vervuild.

|Error|python|ffmpeg: /volume1/@appstore/nzbdrone/lib/libz.so.1: no version information available (required by /lib/libavformat.so.56)
Daarna wordt de gehele ffmpeg processing ook als error gezien en beland dus als 6 pagina's in het log 

Het Sonarr package wordt gestart met een efwijkende library folder:
LD_LIBRARY_PATH=${SYNOPKG_PKGDEST}/lib

Dat resulteert in /volume1/@appstore/nzbdrone/lib/libz.so.1 -> libz.so.1.2.11
DSM heeft een lagere versie, namelijk /usr/lib/libz.so.1 -> libz.so.1.2.8

Iemand enig idee hoe ik de waarschuwing kan omzeilen?

[Ben(V)]

Misschien even het script plaatsen van hier is geen touw aan vast te knopen.
Het zal wel iets in de manier zijn waarop je ffmpeg aanroept.

[Mirx]

Voor zover ik heb kunnen vinden op stackoverflow e.d. is dit een generieke "fout" wanneer er versieverschillen zijn tussen libs waarmee iets gecompiled is en waar iets mee verwerkt wordt.

Dus ik dacht, ik voeg juist niet het script toe, dat leid alleen maar af. Zitten namelijk vast een zeker 100 domme dingen in omdat ik 1) aan het spelen ben 2) niet kan programmeren.

Ales is gebaseerd op https://www.synology-forum.nl/nzbget/post-proces-script-extract-subs-to-srt/15/ waar ffmpeg aangeroepen wordt via een call. Werkt in NZBGet ook zonder problemen, en hier eigenlijk ook behalve de waarschuwing met logfouten als gevolg.

Vanuit Sonarr wordt het aangeroepen met /usr/bin/python /volume1/Sonarr/extract-NL-EN-subs-Sonarr.py
Als ik handmatige input gebruik (# weghalen in script en dan sceneName en filePath meegeef in commando) dan geeft hij in de echo / print in ieder geval geen fouten.
Maarja, dan run ik het ook als mijn eigen user en libraries.

Code: [Selecteer]

#!/usr/bin/env python
#

###################################################################################################
### NZBGET POST-PROCESSING SCRIPT ###
# ###
# Script to rip srt/ssa subtitles out of .mkv files ###
# ###
# Used to extract English and Dutch subtitles. ###
# Processing files which contain multiple subtitle streams for the same language will fail. ###
# This is often the case with WEB-DL. ###
# "Fail-safe" process will extract the first subtitle to a dummy language tag .DE. ###
# This is done so external sources will still be searched for the respective language. ###
# ###
# !!! Make sure to alter your log file location !!! ###
# ###
###################################################################################################

import glob, re, argparse, os, sys
from subprocess import call
from datetime import datetime

# Get the paths from the environment variables
sceneName = os.environ.get("sonarr_episodefile_scenename")
filePath = os.environ.get("sonarr_episodefile_path")

#Parsing arguments to variable manually
#sceneName = sys.argv[1]
#filePath = sys.argv[2]

#Extracting the filename and extension
fileName = filePath.split("/")[-1]

#Not sure if needed, but it was for NZBGet post-processing
ffmpeg = 'ffmpeg'

#Logfile location
f1=open("/volume1/Sonarr/postprocess.log", "a")

#Timestamp variable for logfile
sttime = datetime.now().strftime("%Y%m%d_%H:%M:%S - ")

#POST-PROCESSING
if fileName.lower().endswith(".mkv"):
f1.write(sttime + fileName + " is een .mkv bestand, verwerking gestart.\n")
print "File is een .mkv bestand, verwerking gestart."
call ([ffmpeg, '-i', filePath, '-vn', '-an', '-map', '0:m:language:eng', re.sub(r".mkv", ".en.srt", filePath)])
if os.path.exists(re.sub(r".mkv", ".en.srt", filePath)):
if os.path.getsize(re.sub(r".mkv", ".en.srt", filePath)) < 1 * 1024:
os.remove(re.sub(r".mkv", ".en.srt", filePath))
f1.write(sttime + "Resultaat: Leeg bestand " + (re.sub(r".mkv", ".en.srt", fileName)) + " verwijderd, backup proces uitvoeren\n")
call ([ffmpeg, '-i', filePath, '-vn', '-an', '-map', '0:s:0', re.sub(r".mkv", ".en.srt", filePath)])
if os.path.exists(re.sub(r".mkv", ".en.srt", filePath)):
if os.path.getsize(re.sub(r".mkv", ".en.srt", filePath)) < 1 * 1024:
os.remove(re.sub(r".mkv", ".en.srt", filePath))
f1.write(sttime + "Resultaat: Leeg bestand backup proces " + (re.sub(r".mkv", ".en.srt", fileName)) + " verwijderd\n")
f1.write(sttime + "Resultaat: Ondertitel 1 naar " + (re.sub(r".mkv", ".en.srt", fileName)) + " gekopieerd, language tag kan fout zijn\n")
call ([ffmpeg, '-i', filePath, '-vn', '-an', '-map', '0:s:1', re.sub(r".mkv", ".de.srt", filePath)])
if os.path.exists(re.sub(r".mkv", ".de.srt", filePath)):
if os.path.getsize(re.sub(r".mkv", ".de.srt", filePath)) < 1 * 1024:
os.remove(re.sub(r".mkv", ".de.srt", filePath))
f1.write(sttime + "Resultaat: Leeg bestand backup proces " + (re.sub(r".mkv", ".de.srt", fileName)) + " verwijderd\n")
f1.write(sttime + "Resultaat: Ondertitel 2 naar " + (re.sub(r".mkv", ".de.srt", fileName)) + " gekopieerd, language tag kan fout zijn\n")
elif os.path.getsize(re.sub(r".mkv", ".en.srt", filePath)) > 1 * 1024:
f1.write(sttime + "Resultaat: Engelse ondertitel naar " + (re.sub(r".mkv", ".en.srt", fileName)) + " gekopieerd\n")
call ([ffmpeg, '-i', filePath, '-vn', '-an', '-map', '0:m:language:dut', re.sub(r".mkv", ".nl.srt", filePath)])
if os.path.exists(re.sub(r".mkv", ".nl.srt", filePath)):
if os.path.getsize(re.sub(r".mkv", ".nl.srt", filePath)) < 1 * 1024:
os.remove(re.sub(r".mkv", ".nl.srt", filePath))
f1.write(sttime + "Resultaat: Leeg bestand " + (re.sub(r".mkv", ".nl.srt", fileName)) + " verwijderd\n")
f1.write(sttime + "Resultaat: Nederlandse ondertitel naar " + (re.sub(r".mkv", ".nl.srt", fileName)) + " gekopieerd\n")
f1.write(sttime + "Verwerken " + fileName + " voltooid\n\n")
print "Verwerken van bestand is voltooid."
else:
f1.write(sttime + fileName + " is geen .mkv bestand, verwerking gestopt.\n\n")
print "File is geen .mkv bestand, verwerking gestopt."

f1.close()



[Mirx]

Op het Sonarr forum werd aangegeven dat de standaard stderr uit ffmpeg overgenomen wordt door Sonarr, en dat dus het redirecten van stderr naar een bestand of ombuigen naar stdout voldoende zou moeten zijn om de logvervuiling tegen te gaan.

Ik krijg dat echter in het call commando niet voor mekaar.

Commandline werkt

Code: [Selecteer]

ffmpeg -i /volume1/Sonarr/The\ Flash\ \(2014\)/The.Flash.2014.S04E17.INTERNAL.1080p.WEB.H264-DEFLATE-Obfuscated.mkv -vn -an -map 0:s:0 /volume1/Sonarr/The\ Flash\ \(2014\)/The.Flash.2014.S04E17.INTERNAL.1080p.WEB.H264-DEFLATE-Obfuscated.test.srt 2>&1
Maar vanuit een call krijg ik

Code: [Selecteer]

[NULL @ 0x15742e0] Unable to find a suitable output format for '2>&1'
2>&1: Invalid argument
Zelfs in een test script krijg ik het niet voor mekaar dat de optie goed wordt doorgegeven door de call functie. Dan maakt het niet uit of ik het via een variabele doe, of direct met “2>&1”

Code: [Selecteer]

#Parsing arguments to variable manually
sceneName = sys.argv[1]
filePath = sys.argv[2]
srt = sys.argv[3]
nodebug = "2>&1"

#Not sure if needed, but it was for NZBGet post-processing
ffmpeg = 'ffmpeg'

#POST-PROCESSING
call ([ffmpeg, '-i', filePath, '-vn', '-an', '-map', '0:s:0', srt, nodebug)
Dit lijkt dan wel weer te werken als ik handmatig probeer

Code: [Selecteer]

with open('/volume1/Sonarr/stderr.log', 'w') as f:
    call([ffmpeg, '-i', filePath, '-vn', '-an', '-map', '0:s:0', srt], stderr=f)
Maar heb liever iets dat het naar stdout redirect in plaats van een file.

Edit 1:

Code: [Selecteer]

call([ffmpeg, '-i', filePath, '-vn', '-an', '-map', '0:s:0', srt], stderr=sys.stdout.fileno()) lijkt met de hand te werken, eens kijken wat dat ik de Sonarr log doet vanavond.

[Ben(V)]

Een van de problemen met het extracten van subtitles uit een .mkv is dat ze vaak geen standaard taal benaming hebben en het met een script dus lastig is dat onderscheid te maken.
Soms zit staat er "NL" bij, soms  "Nederlands", soms "Dutch" maar ik heb ook bestanden waar "QenQ" bij staat.
Ffmpeg zelf kent alleen streamnumbers (eg. 0,1,2,3 enz).

Dus hoe wil je de subs die je extract de juiste extensie meegeven voor de juiste taal?

[Mirx]

Met de aanpassing blijft de aanpassing mooi in de debug van Sonarr in plaats van de error log, dus helemaal happy.

Een van de problemen met het extracten van subtitles uit een .mkv is dat ze vaak geen standaard taal benaming hebben en het met een script dus lastig is dat onderscheid te maken.
Soms zit staat er "NL" bij, soms  "Nederlands", soms "Dutch" maar ik heb ook bestanden waar "QenQ" bij staat.
Ffmpeg zelf kent alleen streamnumbers (eg. 0,1,2,3 enz).

Dus hoe wil je de subs die je extract de juiste extensie meegeven voor de juiste taal?

Jah klopt, die beperking, maar het is voor mij voornamelijk ook voor de engelse subs zodat:
1) Mijn LG TV meer opties heeft voor ondertitelaanpassingen
2) Autosub niet onnodig naar subs zoekt als er al subs in zitten

Sonarr zal zelden een versie met custom NL vinden omdat die bijna niet op de indexers staan. En custom language tags doen ze ook minder de laatste tijd.

-vn', '-an', '-map', '0:m:language:eng'
Dat deel extract alleen de subtitles (-vn = geen video, -an = geen audio) waardoor extracten op basis van language tag, welke dus wel moet overeenkomen.
Gaat fout met dubbele tracks, dus vandaar dat ik dan terugval op 0:s:0 en 0:s:1 wat 99% van de gevallen zal afvangen.

Mooiste zou zijn om eerst met ffprobe (niet beschikbaar als package) of ffmpeg "trial run" de language tags te verzamelen behorende bij de respectievelijke ondertitelstreams, en dan op basis van mogelijke matches de juiste 0:s:X -> .X.srt extract af te vuren.

[Ben(V)]

Hier een python script dat de subs uit de .mkv haalt.
Hij leest eerst informatie uit het .mkv bestand met ffmpeg en probeert dan de taalmatch te maken.
Wat er nu inzit match met Nederlands en Engels via steekwoorden.
Het is simpel steekwoorden om de taal te matchen toe te voegen als je andere hebt.

Code: (python) [Selecteer]

#!/usr/bin/env python
#

from re import findall
from subprocess import Popen, PIPE
from datetime import datetime
from os import environ

    # Get the video file name from the environment variables
filePath = environ.get("sonarr_episodefile_path")

    #Logfile location and open it unbuffered so you can read it during execution.
fp = open("/volume1/Sonarr/postprocess.log", "a",0)

    #Parsing arguments to variable manually, just the videofile name (path + file = ext) is needed.
#filePath = sys.argv[1]

    # If the ffmpeg excutable is in the path use this
ffmpeg = 'D:\\aaa\\ffmpeg.exe'
    # if you want to use an ffmpeg version from the SynoCommunity use this:
#ffmpeg = '/volume1/@appstore/ffmpeg/bin/ffmpeg'

    # This list contains possible subtitle stream identifiers for Dutch subtitles
nlIds = ['nl','nld','dut','dutch','qoq','qoq-team']

    #T his list contains possible subtitle stream identifiers for Dutch subtitles
enIds = ['en','eng','english']


    #Timestamp variable for logfile
sttime = datetime.now().strftime("%Y%m%d %H:%M:%S - ")
if not filePath.lower().endswith(".mkv"):
    fp.write("File is geen .mkv bestand.\n")
    fp.close()
    raise SystemExit
else:
    fp.write(sttime + "File is een .mkv bestand, verwerking gestart.\n")

    # First read the information from the video with ffmpeg.
    # ffmpeg writes this info to the stderr and not to stdout.
Cmd = [ffmpeg,'-i', filePath]
Merge = Popen(Cmd, stdout=PIPE, stderr=PIPE)
    # After the command is prepared we exute it and wait for it to finish with the communicate command
output,err = Merge.communicate()

    # ffmpeg writes to stderr
    # make lines insted of one large buffer
err= err.splitlines()

    # loop through the information lines, find the stream identifiers and count them
NonSubStreamCount = 0
for Line in err:
    if 'Stream #' in Line:
        NonSubStreamCount += 1
            # if it is a subtitle stream, get the stream info
        if 'Subtitle: subrip' in Line:
            NonSubStreamCount -= 1
                # use some regexes to find the stream info
            StreamNum = int(findall(r'\d+\.{0,1}\d*', Line)[1]) - NonSubStreamCount
            StreamLang = findall(r"\((.*?)\)", Line)[0]
                # compose the map identifiers for the ffmpeg command.
            Streamspec = '0:s:' + str(StreamNum)
                # try to identify the language and create the correct file extensie belonging to that language.
            Ext = ''
                # First we look to see if it is a dutch sub
            for Id in nlIds:
                if Id == StreamLang.lower():
                    Ext = '.srt'
                    break
                # If not a dutch sub see if it is an English sub
            if not Ext:
                for Id in enIds:
                    if Id == StreamLang.lower():
                        Ext = '.en.srt'
                        break
                # only Dutch or English subs we extract the sub to the correct file.
            if Ext:
                OutputFile = filePath[:-4] + Ext
                Cmd =[ffmpeg, '-loglevel','-32','-i', filePath,'-map',Streamspec,OutputFile]
                Merge = Popen(Cmd, stdout=PIPE, stderr=PIPE)
                sttime = datetime.now().strftime("%Y%m%d_%H:%M:%S - ")
                fp.write(sttime + 'Stream ' + Streamspec + ' taal = ' + StreamLang + '\n')
                output,err = Merge.communicate()
                if err:
                    fp.write('Problem extracting subtitle.\n')
                    fp.write(err + '\n')

    # close the logfile and exit back to Sonarr
fp.close()
raise SystemExit

PS Het ffmpeg command is simpelweg:

ffmpeg -i <videofile> -map 0:s:0 <srtfile>

Waarbij die 's' aangeeft dat je de subtitle stream bedoelt en tweede '0' aangeeft dat je dus de eerste subtitle stream wilt hebben.
Hierdoor heb je die ander opties allemaal niet nodig.

[Mirx]

Hahaha, dat klop jij er effe zo uit. 

Ga straks eens even lezen of ik snap wat je doet, en daarna een testrun uitvoeren. Nu eerst training volgen voor mij werk.

[Mirx]

Als ik het zo lees heb ik de volgende vragen, welke tijdens het testen misschien wel duidelijk worden:

Regel 60+24+27:
Aangezien je de language tag uit de Stream info haalt en niet uit de metadata title zijn de variabelen eigenlijk toch niet nodig?

Code: [Selecteer]

    Stream #0:2(eng): Subtitle: subrip
    Metadata:
      title           : English
    Stream #0:3(eng): Subtitle: subrip
    Metadata:
      title           : English (SDH)
-----------------------------------------------------------
    Stream #0:2(dut): Subtitle: subrip (default)
    Metadata:
      title           : Nederlands QoQ
Algemeen:

Wat gebeurd er met bestanden waarin 2 streams zitten met dezelfde language tag, zoals hierboven stream 0:2 English en 0:3 English SDH? Als ik het zo lees dan denk ik dat afhankelijk of FFMPEG standaard overschrijft:
- FFMPEG wacht op de keuze Y/N en processing stopt
- De eerste extract niet wordt overschreven, en je dus effectief alleen 0:2 extract
- De eerste extract wordt overschreven, en je dus effectief alleen 0:3 extract

Dat zou nog af te vangen zijn door een "if os.paths.exist OutputFile" escape in te bouwen.

Edit 1: Nummer 1 is de winnaar omdat er geen -y wordt meegegeven. Script hangt tijdens het verwerken van de 2e file. Omdat de gehele output in memory is, krijg je geen prompt, maar bij "y" invoeren gaat het wel verder.
Ook moest voor handmatig testen argv nog geimporteerd worden.

[Ben(V)]

Ok zal proberen het in het kort uit te leggen.

Eerst wordt het ffmpeg commando gegeven met allleen de -i specifier, het resultaat daar van wordt opgevangen in een buffer en per regel doorzocht.
Als er een regel gevonden wordt waarin een stream specifier staat, gaat hij kijken of het een subtitle stream is.
Zo'n regel is bijvoorbeeld:

  Stream #0:2(eng): Subtitle: subrip

Daarna leest hij welke stream het is welke taal, dat staat tussen haakjes achter de stream code. in dit geval dus 'eng'.

Die taalcode is echter niet standaard en is bepaalt door diegene die de .mkv heeft gemaakt, er kan vanalles of helemaal niets instaan.
Daarom het ik een lijst opgenomen die je makkelijk kunt uitbreiden als je erachter komt dat je ineens vreemde taalcodes hebt.

Ik heb nu standaard opgenomen dat Nederlandse subs een extensie '.srt' krijgen en Engelse subs '.en.srt' krijgen.
Als je video's hebt met meerdere Engelse subs zal hij alleen die subs eruit halen, waarvan er een match is met lijst (variable enIds).
Als er een video is met twee dezelfde taal specifiers (wat mogelijk is), dan zal hij eerst de eerste eruit halen en daarna de tweede er overheen schrijven zonder daar melding van te maken.
Je ziet dat wel in de log verschijnen.

[Ben(V)]

Snap niet wat je bedoelt met nummer 1 is de winnaar.

Hij doet helemaal niets in memory, je ziet alleen geen output omdat die naar een buffer gaat.
Als iets als postprocessscript moet werken heb je geen console en dus kan die output nergens heen.

Bij mijn weten overschrijft hij gewoon de files, het duurt alleen even, zeker als je meerdere subs eruit moet halen en omdat ffmpeg pas aan het eind een flush doet zie je die dat pas als hij klaar is.

[Mirx]

Waar je naar kijkt snapte ik al, maar ik kan me niet herinneren dat ik ooit aangepaste/foutieve language codes tegen gekomen ben, meestal zitten ze in de meta title te hacken. Ik dacht dat jij het eerder ook over de meta title had. Maar als jij dat wel bent tegengekomen snap ik je gedachte.

FFMPEG overschrijft bij mij in ieder geval niet standaard. Daarvoor moet ik de optie -y meegeven. Dat is ook het gedrag als ik ffmpeg zonder script uitvoer.

Code: [Selecteer]

Global options (affect whole program instead of just one file:
-y                  overwrite output files
-n                  never overwrite output files
Dus als ik het met de hand run op een bestand met 2x dezelfde language tag, dan stop hij bij de 2e track tot ik Y op de console ingeef. Wat ik dus ook alleen kan doen bij de handmatige test, want als postprocess zou hij dus blijven hangen.

En uit de log:

Code: [Selecteer]

20180412 17:00:06 - File is een .mkv bestand, verwerking gestart.
20180412_17:00:08 - Stream 0:s:0 taal = eng
20180412_17:00:50 - Stream 0:s:1 taal = eng
Problem extracting subtitle.
File '/volume1/Sonarr/The Flash (2014)/The.Flash.2014.S04E17.INTERNAL.1080p.WEB.H264-DEFLATE-Obfuscated.en.srt' already exists. Overwrite ? [y/N]

[Ben(V)]

Nee heb nog even getest maar hij overschrijft gewoon de .srt file.
Maar misschien is dat wel per ffmpeg versie verschillend.

Je kun gewoon het ffmpeg commando aan te passen en de '-y' optie toe te voegen.
Regel 79 wordt dan:

Cmd =[ffmpeg, '-loglevel','-32','-i', '-y', filePath,'-map',Streamspec,OutputFile]

PS Als het je er alleen maar om gaat om autosub te laten denken dat de Engelse sub er als is kun je eigenlijk veel beter een dummy file van 0 bytes aanmaken in plaats van de hele sub eruit muxen.

Je vervang dan regel 79 en 80 door.

open(OutputFile, "w",0).close()

[Mirx]

PS Als het je er alleen maar om gaat om autosub te laten denken dat de Engelse sub er als is kun je eigenlijk veel beter een dummy file van 0 bytes aanmaken in plaats van de hele sub eruit muxen.

De verschillen in mogelijkheden externe of embedded ondertitels op mijn LG TV zijn de belangrijkste reden, autosub is bijvangst.

Ik ga er nog even een beetje mee pielen. Nog paar ideetjes die ik wil uitproberen.

In ieder geval super bedankt voor de 99% versie.    Ook vanuit Sonarr gaat het goed.

Had ik zelf waarschijnlijk nooit uitgekomen, en het bij mijn eigen armoedige, maar overigens wel functionerende scriptje gehouden.
Zoveel wegen die naar Rome leiden, dat als je nooit bij de basis begonnen bent stackoverflow etc. ook niet altijd even duidelijk is.

Edit 1: Hierbij mijn iets getweakte versie. De -y moest in ieder geval op een ander plekje. Van de week weer verder spelen. https://pastebin.com/tfDfc1Ve

[Mirx]

Uiteindelijk is dit het script geworden:

    Extract subtitles with FFMPEG --> https://pastebin.com/FUUrcWf2

En mocht iemand met de Sonarr API willen spelen, hierbij een referentie scriptje om een JSON GET en POST uit te voeren.

    Trigger a rescanSeries on a second Sonarr instance --> https://pastebin.com/Yi7Bz2ji