Der VLC ist eh nich gut, stellt RGB im falschen Farbraum dar und nutzt langsame Decoder. Lieber den 32 Bit MPC-HC mit ffdshow Video/Audio und EHVR benutzen.
Spielst du eigentlich im Vollbild? Davon kann ich nur abraten, wegen Crashes bei vielen Leuten.