да не получится из DVD прямо "вау UMD" качества. ставь PSP MP4 3.30 - 2 pass Ultra - 768kb/s
квадратов быть не должно (кроме тех что были в оригинале), но мутность картинки по-любому будет выше чем у UMD Video
ищи и конвертируй с HD источника. об этом уже множество раз говорилось.