Przy VCD nie unikniesz tego typu artefaktów (w VCD bitrate video jest stały i bardzo niski ~1100). Przy SVCD jest już trochę lepiej o ile zastosujesz VBR a nie CBR. Dobre efekty powinny dać kombinacje z matrycą (nie jestem pewien czy w TMPGEnc można je swobodnie zminiać).
Przy tego typu konwersjach polecam
dvd2svcd Nie dość, że zautomatyzuje sporą część procesu to jeszcze pomoże dobrać optymalne paramtery.