- En mathématiques, la convolution est une opération effectuée sur deux fonctions (f et g) pour produire une troisième fonction. La convolution est l’une des opérations les plus importantes en traitement du signal et des images. Elle pourrait fonctionner en 1D (par exemple, le traitement de la parole), en 2D (par exemple, le traitement de l’image) ou en 3D (traitement vidéo).
- En traitement d’image, la convolution est le processus de transformation d’une image en appliquant un noyau sur chaque pixel et ses voisins locaux sur toute l’image. Le noyau est une matrice de valeurs dont la taille et les valeurs déterminent l’effet de transformation du processus de convolution.
- Le processus de convolution comprend les étapes suivantes. (1)Il place la matrice du noyau sur chaque pixel de l’image (en s’assurant que le noyau complet se trouve dans l’image), multiplie chaque valeur du noyau avec le pixel correspondant sur lequel il se trouve. (2) Ensuite, il additionne les valeurs multipliées résultantes et renvoie la valeur résultante comme nouvelle valeur du pixel central. (3)Ce processus est répété sur toute l’image.
- Comme nous le voyons dans l’image, un noyau 3×3 est convolué sur une image source 7×7. L’élément central du noyau est placé sur le pixel source. Le pixel source est ensuite remplacé par une somme pondérée de lui-même et des pixels environnants. La sortie est placée dans la valeur du pixel de destination. Dans cet exemple, à la première position, nous avons 0 dans le pixel source et 4 dans le noyau. 4×0 vaut 0, puis en passant au pixel suivant, nous avons 0 et 0 aux deux endroits. 0x0 est 0. Puis à nouveau 0x0 est 0. Ensuite, au centre, il y a 1 dans l’image source et 0 dans la position correspondante du noyau. 0x1 est 0. 0x1 est 0. Puis à nouveau 0x1 est 0. Puis 0x0 est 0 et 0x1 est 0 et à la dernière position c’est -4×2 qui est -8. Maintenant en additionnant tous ces résultats nous obtenons -8 comme réponse donc la sortie de cette opération de convolution est -8. Ce résultat est mis à jour dans l’image de destination.
- La sortie du processus de convolution change avec les valeurs changeantes du noyau. Par exemple, un noyau d’identité présenté ci-dessous, lorsqu’il est appliqué à une image par convolution, n’aura aucun effet sur l’image résultante. Chaque pixel conservera sa valeur d’origine, comme le montre la figure suivante.
.
Un noyau d’accentuation comme celui-ci lorsqu’il est appliqué à une image par convolution, aura un effet d’accentuation de l’image sur l’image résultante. Les valeurs précises peuvent être personnalisées pour différents niveaux de netteté comme le montre la figure suivante.
.
Le noyau de flou gaussien comme ceci lorsqu’il est appliqué à une image par convolution, va appliquer un effet de flou gaussien à l’image résultante.
.
De même que l’on peut faire varier les valeurs du Kernel pour obtenir différents niveaux d’effets, la taille du Kernel peut également être modifiée pour façonner l’effet de la convolution.En augmentant la taille de la matrice du noyau, la localité spatiale influençant la valeur résultante de chaque pixel est augmentée, car des pixels plus éloignés sont intégrés à l’équation. Il y a beaucoup plus de Kernels qui sont utilisés dans le traitement de l’image comme la détection des bords, le gaufrage, la rotation, etc.
6. La convolution est le concept clé des réseaux neuronaux convolutifs. Les réseaux neuronaux convolutifs (CNN) sont un type de réseau neuronal profond. Un CNN comprend une couche de convolution, une couche de mise en commun et une couche entièrement connectée. Au niveau de la couche de convolution, un CNN applique une convolution à ses entrées à l’aide d’une matrice de noyau qu’il calibre par apprentissage. C’est pourquoi les CNN sont très performants pour la correspondance des caractéristiques des images et la classification des objets. Les paramètres de la couche de convolution consistent en un ensemble de noyaux apprenables. Chaque noyau est une petite matrice qui s’étend sur toute la profondeur du volume d’entrée. Au cours de la passe avant, nous convulsons chaque noyau sur la largeur et la hauteur de l’image d’entrée et calculons les produits scalaires entre les valeurs des pixels de la source et du noyau aux positions correspondantes.