Performance audiovisuelle et pratique du VJing
Bases de l'image numérique
Nous allons préciser ici quelques principes fondamentaux liés à la nature de l'image numérique. L'appellation "image numérique" désigne toute image acquise, créée, traitée et stockée sous forme binaire : acquise par des convertisseurs analogiques-numériques, créée directement par des programmes informatiques, stockée sur un support informatique.
En effet quand l'image analogique type photographique comporte les trois notions, indice, icône et symbole1, l'image numérique n'a plus de relation directe de trace avec ce qui est représenté. Ainsi le numérique tend à conforter l'hypothèse que tout est simulation et que la réalité n'existe pas2. L'image numérique ne serait donc plus indice mais uniquement icône et symbole.
Dimensions
Source : wikimedia.org - Licence CC BY-SA 3.0
L'image est composée d’une matrice (tableau) de points à plusieurs dimensions, chaque dimension représentant une dimension spatiale (hauteur, largeur, profondeur), temporelle (durée) ou autre (par exemple, un niveau de résolution). Dans le cas des images à deux dimensions (le plus courant), les points sont appelés pixels.
Une image numérique peut être caractérisée par sa taille exprimée en points de base (ou pixels de base), ses dimensions réelles (exprimées en centimètres ou en pouces), sa résolution, qui s'exprime en points (ou pixels) par pouce (ppp ou, en anglais, dpi).
Dans le cas de pixels carrés, les trois valeurs sont liées entre elles. Il suffit de connaître la valeur de deux d'entre elles pour déterminer la valeur de la troisième :
Taille en pixels = Résolution x Dimensions réelles
Dimensions réelles = Taille en pixels / Résolution
Résolution = Taille en pixels / Dimensions réelles
La définition d'une image est définie par le nombre de points la composant. En image numérique, cela correspond au nombre de pixels qui compose l'image en hauteur (axe vertical) et en largeur (axe horizontal) : 200 pixels par 450 pixels par exemple, abrégé en 200 × 450.
La résolution d'une image est définie par un nombre de pixels par unité de longueur de la structure à numériser. Ce paramètre est défini lors de la numérisation, et dépend principalement des caractéristiques du matériel utilisé lors de la numérisation. Plus le nombre de pixels par unité de longueur de la structure à numériser est élevé, plus la quantité d'information qui décrit cette structure est importante et plus la résolution est élevée. La résolution d'une image numérique définit le degré de détail de l’image. Ainsi, plus la résolution est élevée, meilleure est la restitution. Cependant, pour une même dimension d'image, plus la résolution est élevée, plus le nombre de pixels composant l'image est grand. Le nombre de pixels est proportionnel au carré de la résolution, étant donné le caractère bidimensionnel de l'image : si la résolution est multipliée par deux, le nombre de pixels est multiplié par quatre. Augmenter la résolution peut entraîner des temps de visualisation plus longs, et conduire à une taille trop importante du fichier contenant l'image et à de la place excessive occupée en mémoire.
| FORMAT | RÉSOLUTION | FORMAT PIXEL ÉCRAN
|
DÉFINITION |
| NTSC
|
640 x 480 | carré | SD Simple Définition
|
| DV NTSC
|
720 x 480 | rectangulaire | SD Simple Définition
|
| DV NTSC 16/9
|
720 x 480 | rectangulaire | SD Simple Définition |
| PAL
|
768 x 576 | carré | SD Simple Définition |
| DV PAL
|
720 x 576 | rectangulaire | SD Simple Définition |
| DV PAL 16/9
|
720 x 576 | rectangulaire | SD Simple Définition |
| HD WXGA
|
1280 x 720 | carré | HD Haute Définition
|
| HD Full
|
1920 x 1080 | carré | HD Haute Définition |
| 2K D-Cinéma
|
2048 x1080 | carré | HD Haute Définition |
| 4K D-Cinéma
|
4096 x2160 | carré | HD Haute Définition |
| Super Hi-vision
|
7680 x4096 | carré | HD Haute Définition |
Espace colorimétrique
Ce terme décrit la manière dont est codée la couleur pour tous les pixels d'une image. À l'intérieur d'un fichier vidéo ou image, c'est souvent le codec qui détermine l'espace utilisé (par exemple le MJPEG stockera l'image en YUV et l'Animation+ en RVBA). Lors du traitement, des conversions sont possibles et ces espaces offrent des possibilités et ont des performances variables selon les cas d'utilisation. Cela sera géré automatiquement dans la plupart des programmes de VJing. Certains logiciels tels que PureData permettent de le gérer manuellement.
L'espace le plus commun est basé sur une synthèse additive des couleurs, c'est-à-dire que l'addition des trois composantes R, V, et B à leur valeur maximum donne du blanc, à l'instar de la lumière. Le mélange de ces trois couleurs à des proportions diverses permet de reproduire à l'écran une part importante du spectre visible.
L'espace des niveaux de gris ne comprend qu'une seule couche et ne permet donc que le codage d'une image en noir et blanc. Comme le RVB, le YUV est également composé de 3 canaux, le canal Y pour la luminance et les canaux U et V pour la chrominance.
Source : fr.wikipedia.org/wiki/Image_numérique
Canal Alpha
On peut attribuer à une image un canal supplémentaire, appelé canal alpha, qui définit le degré de transparence de l'image. Il s'agit d'un canal similaire aux canaux traditionnels définissant les composantes de couleur, codé sur un nombre fixe de bits par pixel. On échelonne ainsi linéairement la translucidité d'un pixel, de l'opacité à la transparence. On parlera ainsi d'espace de couleur RVBA (ou RGBA) pour une image RVB ayant un canal alpha.
Source : fr.wikipedia.org/wiki/Image_numérique
Ratio d'aspect
Le ratio d'aspect (ou aspect ratio) désigne le rapport de la largeur d'une image par sa hauteur. Les plus courants sont 4:3 (normes PAL et NTSC) et 16:9 (normes PAL, NTSC et HD), mais nombre d'écrans informatiques ont des ratio de 5:4 et 16:10, afin principalement de pouvoir afficher une image dans l'un des standards vidéo précités tout en laissant un espace pour l'interface informatique proprement dite.
Le ratio d'aspect de pixel (pixel aspect ratio ou PAR) désigne le rapport de la largeur d'un pixel par sa hauteur. ce terme est apparu avec l'apparition de pixels rectangulaires sur certaine caméras et écran. Un exemple de cela aujourd'hui pour enregistrer du 1080p en 16/9 : certaines caméras proposent deux codecs, MP4 à 1440x1080 et AVCHD 1920x1080. Le PAR du premier est de 1.33, indiquant que lors de la lecture, l'image doit être étirée horizontalement pour atteindre le 16/9 de l'image à afficher, alors que le second propose des pixels carrés avec un PAR de 1. On peut dire que le PAR correspond à l'anamorphose* à appliquer à l'image lors de son affichage.
Codec
Un codec* est un procédé logiciel de compression/décompression d'un signal numérique.
Le codec sélectionné conditionne la taille du fichier résultant mais aussi sa qualité de restitution ainsi que le temps et les ressources (processeur ou mémoire) nécessaires pour que l'ordinateur le décompresse.
C'est un traitement numérique qui réduit le volume d'information d'un fichier ou d'un flux de données numériques et permet de le reconstituer avec ou sans altération. On peut ainsi distinguer deux formes de codec:
- Les codecs sans perte : une compression mathématique ré-encode le fichier son ou vidéo initial pour qu'il nécessite moins d'espace disque. La décompression restituera à l'identique le fichier initial à partir du fichier compressé.
- Les codecs avec perte : La décompression ne sera alors pas capable de recréer le contenu initial sans l'altérer. Dans la pratique, s'agissant de contenu audio et vidéo, on s'efforce néanmoins de reconstituer un contenu acceptable pour les sens humains en profitant au maximum de leur tolérance (ou de leur relative insensibilité) à certaines variations.
La compression spatiale utilisée dans les codecs d'image est une opération intra-image qui consiste à réduire le volume d'informations par détection des pixels similaires d'une même zone.
La compression temporelle, quant à elle, est une technique de compression inter-image et donc propre à l'image en mouvement. Cette technique tire partie de la redondance d'informations entre les images consécutives pour réduire la quantité de données nécessaires à la restitution de la séquence. Les séquences ainsi compressées temporellement contiennent généralement des images-clés* à intervalles réguliers.
Exemple de réglage d'export dans le programme Blender avec le codec H264. Sous le curseur, le réglage du GOP est établi à 1, ce qui permet de forcer le calcul d'une image-clé pour chaque image.
Pour la lecture de fichiers vidéo avec sauts fréquents en différents points de la séquence comme pour la lecture accélérée ou en arrière ou pour "scratcher" dans la séquence vidéo, les codecs préconisés pour la préparation des séquences vidéo utilisées en VJing seront ceux qui ne font pas de compression temporelle. Citons par exemple le MJPEG (Motion-JPEG) et le Photo-JPEG, ou le H.264 en forçant une image-clé à chaque image.
Notons également que certains codecs propriétaires sont utilisés pour la décompression de fichier HD. Le H.264 profite d'une accélération matérielle au moyen d'un chip dédié sur les cartes graphiques actuelles. Le Apple Pro Res distribue la décompression sur plusieurs cœurs du CPU*, profitant des architectures de processeur multicœurs.