No solamente tienes que verificar que el contenedor (avi, mp4, etc) sea compatible con el móvil, también los codec de video/audio y la resolución deben ser compatibles.

Puedes usar un programa como el Free Nokia Video Converter Factory de Wonderfox para convertir los videos a los formatos compatibles con tu N8, este software trae una serie de perfiles con los ajustes recomendados para difrentes modelos de Nokia. También pudes ver los valores que usa de los codec y resolución y buscar los videos que tengan ese formato para no tener que convertirlos.

Aunque es un poco extraño, tengo un Nokia C7 y pocos videos he tenido que convertir, solo los que son extraidos de Blue Ray en HD, si me bajo algun dvdrip lo paso directamente sin problemas.