- Matematiikassa konvoluutio on kahdelle funktiolle (f ja g) suoritettava operaatio, jonka avulla saadaan kolmas funktio. Konvoluutio on yksi tärkeimmistä operaatioista signaalin- ja kuvankäsittelyssä. Se voi toimia 1D:ssä (esim. puheenkäsittely), 2D:ssä (esim. kuvankäsittely) tai 3D:ssä (videonkäsittely).
- Kuvankäsittelyssä konvoluutio on prosessi, jossa kuva muunnetaan soveltamalla ydintä jokaiseen pikseliin ja sen paikallisiin naapureihin koko kuvassa. Ydin on arvomatriisi, jonka koko ja arvot määräävät konvoluutioprosessin muunnosvaikutuksen.
- Konvoluutioprosessi sisältää seuraavat vaiheet. (1) Se sijoittaa ydinmatriisin kuvan jokaisen pikselin päälle (varmistaen, että koko ydin on kuvan sisällä), kertoo jokaisen ytimen arvon sillä vastaavalla pikselillä, jonka päällä se on. (2) Sitten lasketaan yhteen tuloksena saadut kerrotut arvot ja palautetaan tuloksena saatu arvo keskipikselin uudeksi arvoksi. (3) Tämä prosessi toistetaan koko kuvan yli.
- Kuten kuvasta näemme, 3×3-kerneli konvoluutioidaan 7×7-lähdekuvan yli. Ytimen keskielementti sijoitetaan lähdepikselin päälle. Sen jälkeen lähdepikseli korvataan itsensä ja ympäröivien pikselien painotetulla summalla. Tulos sijoitetaan kohdepikselin arvoon. Tässä esimerkissä ensimmäisessä kohdassa lähdepikselissä on 0 ja ytimessä 4. 4×0 on 0, sitten siirryttäessä seuraavaan pikseliin meillä on 0 ja 0 molemmissa paikoissa. 0x0 on 0. Sitten taas 0x0 on 0. Seuraavaksi keskellä on 1 lähdekuvassa ja 0 ytimen vastaavassa kohdassa. 0x1 on 0. Sitten taas 0x1 on 0. Sitten 0x0 on 0 ja 0x1 on 0 ja viimeisessä paikassa on -4×2, joka on -8. Laskemalla kaikki nämä tulokset yhteen saamme vastaukseksi -8, joten tämän konvoluutio-operaation tulos on -8. Tämä tulos päivitetään kohdekuvaan.
- Konvoluutioprosessin tulos muuttuu ytimen arvojen muuttuessa. Esimerkiksi alla esitetty Identity Kernel, kun sitä sovelletaan kuvaan konvoluution avulla, ei vaikuta tuloksena olevaan kuvaan. Jokainen pikseli säilyttää alkuperäisen arvonsa, kuten seuraavassa kuvassa näkyy.
Tällainen terävöitysydin, kun sitä sovelletaan kuvaan konvoluution avulla, saadaan aikaan kuvan terävöittävä vaikutus tuloksena olevaan kuvaan. Tarkat arvot voidaan mukauttaa eri terävyystasoja varten, kuten seuraavassa kuvassa on esitetty.
Tällainen Gaussin sumeusydän, kun sitä sovelletaan kuvaan konvoluution avulla, soveltaa tuloksena syntyvään kuvaan Gaussin sumeusvaikutusta.
Juuri niin kuin Kernelin arvoja voidaan vaihdella eritasoisten vaikutusten aikaansaamiseksi, Kernelin kokoa voidaan myös muuttaa konvoluution vaikutuksen muokkaamiseksi.Kasvattamalla Kernel-matriisin kokoa kunkin pikselin tuloksena saatavaan arvoon vaikuttava spatiaalinen paikallisuus lisääntyy, kun kauempana olevat pikselit vedetään mukaan yhtälöön. Kuvankäsittelyssä käytetään monia muitakin kerneleitä, kuten reunan havaitsemisessa, kohokuvioinnissa, rotaatiossa jne.
6. Konvoluutio on konvoluutionaalisten neuroverkkojen keskeinen käsite. Convolutional Neural Networks (CNN) on eräänlainen syvä neuroverkko. CNN koostuu konvoluutiokerroksesta, poolointikerroksesta ja täysin yhdistetystä kerroksesta. Konvoluutiokerroksessa CNN soveltaa konvoluutiota syötteisiinsä käyttäen ydinmatriisia, jonka se kalibroi harjoittelun avulla. Tästä syystä CNN:t ovat erittäin hyviä kuvien ominaisuuksien yhteensovittamisessa ja objektien luokittelussa. Konvoluutiokerroksen parametrit koostuvat joukosta opittavia ytimiä. Jokainen ydin on pieni matriisi, joka ulottuu syötetilavuuden koko syvyyden läpi. Eteenpäin suuntautuvassa läpiviennissä kukin ydin konvolvoidaan tulokuvan leveyden ja korkeuden yli ja lasketaan pistetuotot lähteen ja ytimen pikseliarvojen välillä vastaavissa paikoissa.