pierwsze co to zmieniłbym na twoim miejscu TMPGEnc na TMPGEnc Plus 2.520.54.163!!!
wcześniej też miałem kłopoty z tym programem ale na tej wersji wszystko chodzi bez zarzutu!!
p.s.
a zainstalowałeś z virtualduba -> AuxSetup.exe -> install handler
pozdrawiam