Sekunnin pilkkoja

Fyysisen ympäristömme digitaaliseksi pistepilveksi muuntava halpa etäisyyskamera on kuuma tutkimusaihe ympäri maailmaa. Yksi maailman kärkiryhmistä toimii Oulun yliopistossa.

Professori Juha Kostamovaaran ryhmällä on takataskussaan kaksi valttia: erittäin nopea laservalonlähde sekä vuosi­kymmenien kokemus laseretäisyysmittauksista. Kun Henna Ruokamo vuonna 2015 huomasi, että Kostamovaaran ryhmässä oli tarjolla väitöskirja­projekti etäisyyskamerateknologian parissa, päätti taitava elektroniikka­suunnittelija tarttua tilaisuuteen.

Ruokamo oli aikanaan tehnyt diplomityönsä samaiseen laboratorioon, sen jälkeen hän oli suunnittelutöissä niin ST Microelectronicsilla kuin ST-Ericssonilla.

Ruokamon väitöstyön aiheena oli rakentaa uudella periaatteella toimiva sensori etäisyysmittaukseen. Rakenteeltaan se olisi kuin tavallisen digikameran kuvakenno, mutta pikseleiden värin sijasta se mittaisi kohteiden etäisyyttä kamerasta.

Käytännössä sekunnin pilkkominen miljardisosiin on varsin vaikeaa. 

Kiinnostavan haasteen kruunasi Ruokamon saama neljän vuoden tutkijakoulurahoitus.

– Sain keskittyä rauhassa itse väitöstyöhön, Henna Ruokamo kertoo.

Teoria helppoa, käytäntö vaikeaa

Valon kulkuaikaan perustuvan etäisyyskameran periaate on erittäin yksinkertainen: lähetä valon nopeudella kulkeva laserpulssi kohteeseen, mittaa milloin kohteesta heijastunut valo palaa takaisin kuvakennolle ja laske kulkuajan perusteella kyseisen pikselin havaitseman kohteen etäisyys.

Käytännössä sekunnin pilkkominen miljardisosiin on varsin vaikeaa. 

Ruokamon väitöstyössään testaama aikaportitustekniikka pärjää hyvin yksinkertaisella ilmaisimella. Se ei kerro suoraan valon kulkuaikaa, vaan ainoastaan sen, onko ilmaisin vastaanottanut valofotonin vai ei. 

Henna Ruokamo kytkee virrat rakentamaansa laitteistoon ja asettuu kameran eteen koekaniiniksi. Laitteiston laservalonlähde alkaa lähettää lyhyitä 100 pikosekunnin – siis kolmen sentin mittaisia – laserpulsseja kohti tutkijaa.

Ruokamo selittää, että sensori toimii kuin ultranopea kameran suljin: se avataan laserpulssin lähettämisen jälkeen vain sekunnin miljardisosan mittaisen aikaportin ajaksi. 

– Jos vastaanottimelle ei tule fotoneita, tiedämme ettei ensimmäisen 15 sentin etäisyydellä linssistä ole kohdetta, Ruokamo kertoo.

Aikaportitustekniikassa sensorin aktivointiaikaa viivästetään askel kerrallaan, kunnes koko mittaussyvyys on skannattu läpi. Jos aktivointia viivästetään esimerkiksi 200 pikosekuntia kerrallaan, tulee koko mittaussyvyys skannattua 3 sentin askelin.

Uudet teknologiat perustuvat valon kulkuajan mittaukseen.

Ruokamon suunnitteleman pikkuruisen 5 x 5 millimetrin kokoisen kuvakennon tuottama lopputulos näkyy reaaliajassa tietokoneen ruudulla: karkeapikselinen videokuva kättään heiluttavasta tutkijasta. Kunkin pikselin väri kertoo kohteen etäisyyden kameran linssistä. 

Etäisyysmittaus avaa kännykän

Etäisyyskamera ei ole mikään uusi keksintö. Varhaiset teknologiat imitoivat ihmistä, jonka syvyysnäkö perustuu kahteen silmään. Karttojen laatimisessa on vuosikymmeniä käytetty kahdella kameralla kuvattuja stereoilmakuvia, joista voidaan määrittää maaston korkeus.

Uudet teknologiat perustuvat valon kulkuajan mittaukseen. Laserkeilaimia käytetään jo yleisesti ympäristön 3D-mallinnuksessa, mutta pyöriviin peileihin perustuvat laitteet ovat suuria ja kalliita.

Ilman liikkuvia osia valmistetut, digikameroita muistuttavat etäisyyskamerat ovat nekin jo arkitekniikkaa. Esimerkiksi uusimpien kännyköiden lukituksen avaava kasvojentunnistus perustuu kasvoista napattuun 3D-kuvaan.

Toinen esimerkki on Microsoft Kinect -liikeohjain, jonka 3D-liikkeentunnistusta voi käyttää esimerkiksi peleissä. Peliohjaimena toimivat pelaajan liikkeet kameran edessä. Teknologia toimii kohtuullisesti lähietäisyydellä, mutta ei kirkkaassa luonnonvalossa. 

Oululaistutkijat kehittävätkin jo seuraavan sukupolven tekniikkaa etäisyysmittauksiin. Tavoitteena on miniatyyrikokoinen täysin elektroninen 3D-etäisyysmittauslaite.

Laitteen pitää olla halpa valmistaa, tarkkuuden senttimetriluokkaa ja virrankulutuksen vähäistä.

Laitteen pitää olla halpa valmistaa, tarkkuuden senttimetriluokkaa ja virrankulutuksen vähäistä. Kinectin tapaiset jatkuvaa laservaloa lähettävät laitteet kuluttavat paljon tehoa.

Ruokamon etäisyyskamerassa virrankulutus on painettu milliwattiluokkaan käyttämällä erittäin lyhyitä laserpulsseja. 

– Meidän tutkimusryhmämme vahvuus on oma custom made -laser. Erittäin lyhyt ja voimakas laserpulssi auttaa kirkkaassa valaistuksessa. 

Yksi fotoni riittää

Ruokamon etäisyyskameran ilmaisimena toimii puolijohdekomponentti nimeltä SPAD (Single photon avalanche diode).

Kun nykyisissä etäisyyskameroissa tarvitaan etäisyyden mittaukseen jopa tuhansia kohteesta heijastuneita fotoneja, riittää SPAD-ilmaisimelle jopa yksi ainoa kohteesta sironnut fotoni.

– SPADeilla on paljon hyviä ominaisuuksia: fotonin saapumisajankohdan voi mitata tarkasti ja niistä voi tehdä pikselimatriiseja edullisilla mikropiiritekniikoilla, Ruokamo kertoo.

Kun Ruokamo pääsi viimein tekemään mittauksia, seurasi pettymys.

Kun Henna Ruokamo aloitti väitöstyönsä vuonna 2015, hänen piti lähteä liikkeelle sananmukaisesti puhtaalta pöydältä. 80 x 25 pikselin kokoiselle kuvasensorille ja sen tarvitsemalle ohjauselektroniikalle ei ollut esikuvia. Kun pienen puolijohdepiirin piirustukset olivat valmiit, lähti resepti tehtaalle, ja alkoi odotus. 

– Valmistuksessa meni useampi kuukausi. Sillä aikaa suunnittelin piirilevyn kuvasensorin ympärille.

Kun Ruokamo pääsi viimein tekemään mittauksia, seurasi pettymys. Kuvasensori ei toiminut. 

Designia piti korjata – ja odottaa jälleen. Vasta toinen prototyyppi alkoi tuottaa odotettuja tuloksia. Odotusaika ei mennyt hukkaan. Ruokamo suunnitteli sillä aikaa älykästä ohjauselektroniikkaa, joka nopeutti piirin toimintaa.

– Sensori on jaettu 40 erilliseen lohkoon, joista jokaisessa on 50 pikseliä. Lohkot voivat seurata eri etäisyyksillä olevia kohteita, Ruokamo selvittää, ja alkaa heiluttaa kättään etäisyyskameran edessä.

Sensoria ohjaava elektroniikka osaa lukittua liikkuvaan käteen, ja mittaus nopeutuu. Demoa seuraava professorikin innostuu.

Demoa seuraava professorikin innostuu.

– Vaikka sensorin toimintaperiaate on yksinkertainen, sen toimintaa voidaan sopeuttaa ohjauselektroniikalla helposti kohteen vaatimuksiin. Tämä on yksi Ruokamon kehittämän vastaanotinarkkitehtuurin ominaispiirteistä, Kostamovaara intoilee.

– Se oli yksi väitöstyön hienoista hetkistä, kun sain ensimmäistä kertaa pikselien ohjausalgoritmin toimimaan ja jopa nopeasti liikkuvan kohteen seuraaminen onnistui, Ruokamo muistelee.  

Tuskin taskuun

Mutta miten laite toimii kirkkaassa valaistuksessa, joka on kompastuskivi herkille SPAD-sensoreille?

Ruokamon työtä ohjaava Kostamovaara napsauttaa päälle aurinkosimulaattorin, kaksi kirkasta halogeenivaloa, ja koko laboratorio kylpee valossa. 

Oletus on, että kirkas valo tukkisi etäisyyskameran ilmaisimen, eikä laserpulsseja enää erottaisi taustakohinasta.

Etäisyyskuva tutkijasta säilyy kuitenkin ruudulla entisellään. 

– Koska fotoneja ilmaisevat sensorit ovat aktivoituna vain hyvin lyhyen ajan kerrallaan, tämä sietää hyvin taustavaloa, Ruokamo selittää.

Ylistävää palautetta

Henna Ruokamon väitöstilaisuus joulukuussa 2019 oli menestys. Esimakua tulevasta antoi se, että yksi väitöskirjan tutkimusartikkeleista päätyi julkaistavaksi IEEE Journal of Solid-State Circuits -lehdessä. 

– Se on meidän alamme arvostetuin julkaisu. Olihan se hienoa, että he olivat kiinnostuneita tutkimuksestani.

Ruokamon väitöstilaisuudessa vastaväittäjä kehui työtä niin, että yleisö äityi aplodeihin, vaikka se ei ole tapana. 

– Hän kehui työn laaja-alaisuutta, IC-piirin suunnittelusta aina toimivaan prototyyppiin.

Nelivuotisen väitöskirjaprojektin aikana Ruokamon kehittämä teknologia on edennyt lähemmäs käytännön sovelluksia. Nyt yksinkertaisia SPAD-etäisyyssensoreja saa jo valmiina komponentteina, ja niitä käytetään esimerkiksi uusissa kännyköissä aistimaan, pidetäänkö puhelinta korvalla vai katsotaanko sen näyttöä. 

Yksi Ruokamon tutkiman aikaportitusteknologian valteista on se, että elektroniikaltaan hyvin yksinkertaisen sensorin kokoa on helppo kasvattaa. Väitöskirjan demolaite oli kooltaan vaatimattomat 2 000 pikseliä, mutta paljon tätä suurempien pikselimatriisien valmistus ei ole ongelma.

Pian väitöstilaisuuden jälkeen ilmestyikin tutkimuspaperi, jossa kameravalmistaja Canonin ja sveitsiläisen tekniikan yliopisto EPFL:n tutkijat kertovat valmistaneensa ensimmäisen megapikseliluokan etäisyyskameran, joka toimii samalla aikaportitustekniikalla kuin Ruokamon protolaite. 

– Se on hieno saavutus.

Tosin Ruokamo epäilee, että laite tuskin pystyy samoihin kuvausnopeuksiin kuin hänen laitteensa.

Onko väitöskirjan teknologia siis muutaman vuoden päästä meillä jokaisella taskussa?

– Tämän laitteen tarkkuus ei ehkä riitä kännyköihin. Enemmänkin ajattelemme tätä autonomisiin autoihin, koneisiin ja robotteihin, Ruokamo pohtii.