Przy upskalowaniu przecież nie ma straty jakości
Można spróbować algorytmem Scale4X lub Spline64.
Jaki soft posiada takie algorytmy nie wiem, zacząłbym od AviDemux albo AviSynth. AviSynth ma na pewno Spline. Scale może być dostępne jako plugin.
Można też podpiąć ffdshow jako wejście do AviSyntha, on też ma sporo wbudowanych filtrów.