[sobrus]

Rekompresja zawsze powoduje spadek jakości. Jak jest duży zależy od ustawień kodeka.
Jak dobrze ustawisz (nie za mały plik wynikowy) spadek jakości nie powinien być drastyczny.
Ale generalnie sposobu na to nie ma.

Chyba że przy zmianie formatu kopiujesz oryginalne strumienie. Ale z RMVB do AVI to raczej nie przejdzie.

Co do rozjeżdżania sie filmu, to RMVB jest po prostu problemogenny. Ten format bardzo ciężko skonwertować do "normalnych" przy pomocy zwykłych narzędzi.
Z tego co sie orientuje dopuszcza on coś takiego zmienne fps, co w AVI (i zazwyczaj) jest niedopuszczalne.
Zalecam unikanie tego formatu.