Estas explicaciones sacadas de la página de ayuda de Youtube pueden ser útiles:
¿Qué formatos de archivos de vídeo puedo subir?
YouTube acepta una gran variedad de formatos de archivo de vídeo, como .WMV, .AVI, .MOV y .MPG, utilizados por la mayoría de las cámaras digitales, videocámaras y teléfonos móviles.
Hemos descubierto que los archivos convertidos desde .wmv a uno de los otros formatos aceptados por nuestra página web tienen, por lo general, una calidad de reproducción inferior a la de otros formatos de archivo. Si tu vídeo de origen no tiene un formato de archivo .wmv, te recomendamos que lo codifiques directamente en MPEG4 (DivX, Xvid, SVQ3) a una resolución de 640x480, con audio MP3 (64 Kbps/mono). Si tu archivo de origen es un archivo .wmv con una frecuencia de bits elevada y una resolución alta, te recomendamos que conviertas el vídeo a formato MPEG4 a resolución completa y que, a continuación, ajustes el tamaño a 320x240 con un algoritmo de ajuste de tamaño de alta calidad. Esto puede ayudar a reducir el número de distorsiones en el vídeo final.