w pierwszym poście napisałeś, że chcesz odtwarzać na ps3 - xvid4psp posiada szablony ustawień dla kodowania pod ps3... ustaw taki szablon przejdź do custom settings i...
link konfiguracji x264 skup się na rozdziale
rate control (qp, bitrate, crf szczególnie) i powodzenia