Para descodificar el flujo de bits de MPEG, resulta esencial realizar el proceso de codificado al revés. La información espacial se recupera del flujo de bits del codificado mediante un inversor DCT y un proceso de descuantificación. Esto reconstruye los coeficientes de frecuencia (tanto como el proceso de cuantificación del codificado permita). El decodificador reconstruye la información temporal de la imagen, utilizando los macrobloques transmitidos, mediante las relaciones que permiten restituir los macrobloques redundantes descartados durante el proceso de codificado. La posición de los macrobloques restituidos se obtiene de los vectores de movimiento, que se encuentran incluidos en el flujo binario de MPEG. El descodificador necesita dos memorias, una que contenga la imagen previa y otra que contenga la posterior.
