Une image est un tenseur

Une photo numérique est une grille de pixels (picture elements). En niveaux de gris (grayscale), chaque pixel est un nombre : 0 pour noir, 255 pour blanc avec 8 bits par pixel. En couleur, chaque pixel a trois canaux (channels) rouge, vert, bleu (RGB). Une image de hauteur $H$ et de largeur $W$ est donc un tenseur de forme (H, W, 3) dans les bibliothèques d'images (PIL, OpenCV, matplotlib) et (3, H, W) dans PyTorch, qui met les canaux d'abord (channels first). Un lot (batch) d'images a la forme (B, 3, H, W).

La profondeur de bits (bit depth) fixe le nombre de niveaux : 8 bits donnent $2^8=256$ valeurs par canal, soit ${256}^3\approx 16,7$ millions de couleurs. Les images médicales ou astronomiques montent à 12 ou 16 bits.

Espaces couleur

RVB n'est qu'un repère parmi d'autres. Passer en niveaux de gris est une projection linéaire : la luminance perçue pondère le vert plus fort, car l'œil y est plus sensible :

C'est un produit scalaire entre le vecteur couleur du pixel et un vecteur de poids fixe : exactement ce que fait un neurone, sauf que ces poids-là ont été réglés par des psychophysiciens au lieu d'être appris. D'autres espaces (HSV : teinte, saturation, valeur ; YCbCr pour la compression JPEG) séparent la lumière de la couleur.

Préparer une image pour un réseau

1. Convertir en flottants dans $[0,1]$ en divisant par 255.
2. Normaliser par canal : soustraire la moyenne et diviser par l'écart-type de chaque canal, calculés sur le jeu d'entraînement. Les valeurs d'ImageNet, que tout le monde réutilise pour les modèles pré-entraînés, sont $\mu =(\mathrm{0,485};\mathrm{0,456};\mathrm{0,406})$ et $\sigma =(\mathrm{0,229};\mathrm{0,224};\mathrm{0,225})$.
3. Redimensionner (resize) à la taille attendue, souvent 224×224, en gardant le rapport d'aspect puis en recadrant (crop) au centre.

Un modèle pré-entraîné sur des images normalisées d'une certaine façon attend exactement la même normalisation. L'oublier est le bug le plus fréquent du transfer learning (CV 4.1).

L'histogramme

L'histogramme compte combien de pixels prennent chaque valeur. Il décrit l'exposition : une photo sous-exposée a toute sa masse à gauche. L'égalisation d'histogramme (histogram equalization) applique à chaque pixel la fonction de répartition empirique, ce qui étale les valeurs sur toute la plage et augmente le contraste. C'est la même idée que la transformation par la fonction de répartition en probabilités : si $X$ a pour répartition $F$, alors $F(X)$ est uniforme.

Filtrer : le geste qui mène à la convolution

Un filtre (kernel) est une petite matrice, typiquement 3×3, qu'on fait glisser sur l'image. En chaque position, on fait le produit scalaire entre le filtre et le patch de pixels sous lui :

Ce calcul s'appelle la corrélation croisée (cross-correlation). Les réseaux de neurones l'appellent « convolution » par abus de langage ; la vraie convolution retourne le filtre, ce qui ne change rien quand le filtre est appris.

• Flou moyen (box blur) : tous les coefficients valent $1/9$. Chaque pixel devient la moyenne de son voisinage : le bruit diminue, les détails aussi.
• Flou gaussien : coefficients tirés d'une gaussienne 2D, plus de poids au centre. Moins d'artefacts que le flou moyen.
• Sobel : $K_x=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)$ mesure la variation horizontale, $K_y=K_x^{\mathrm{\top }}$ la verticale. La norme $\sqrt{G_x^2+G_y^2}$ donne la force des contours. C'est une dérivée numérique centrée (MATH 6.1), lissée dans la direction perpendiculaire.

Pendant quarante ans, la vision par ordinateur a consisté à concevoir ces filtres à la main (Sobel, Canny, SIFT, HOG). Le tournant de 2012 : un CNN apprend ses filtres par descente de gradient, et ses premières couches retrouvent d'elles-mêmes des détecteurs de contours et de couleurs ressemblant à Sobel et Gabor.