Raziskovalna skupina z Univerze v Cambridgeu je razvila robotski sistem, ki s pomočjo strojnega učenja bere Braillovo pisavo. Izsledke raziskave so objavili v reviji IEEE Robotics and Automation Letters.

Blazinice na konicah naših prstov so prepredene z živčnimi končiči, s katerimi lahko zaznamo drobcene razlike v teksturi, pritisku in vlažnosti. Izjemna občutljivost je še bolje razvita pri osebah z okvarjenim vidom, ki s prsti berejo Braillovo pisavo. Razvoj robotov, ki so oponašali človeški dotik, je do sedaj direktno sledil človeški biologiji. Z mnogo majhnimi tipali so zaznavali kombinacije pik, ki sestavljajo Braillovo pisavo. V tokratni raziskavi pa so ubrali drugačen pristop: za zaznavanje teksture so uporabili že obstoječ svetlobni senzor. Tipalna plošča senzorja se dotakne površine in se zato preoblikuje. Kamera, nameščena tik za ploščo, pa sproti slika teksturo površine oziroma črko. 

Senzor je namenjen branju površine, ki je nepremična, a raziskovalci in raziskovalke so v danem poskusu oponašali drsenje prsta po vrstici Braillove pisave. Senzor so zato pritrdili na robotsko roko, ki se je vodoravno premikala po besedilu. Branje z robotsko roko je bilo hitrejše, kot če bi senzor posebej slikal vsako posamezno črko oziroma kombinacijo pik. Z večjo hitrostjo pa se je povečevala tudi zamegljenost slike v konici robotskega prsta. Pri višji hitrosti drsenja robotske roke čez besede so bile slike zamegljene in pisava v mnogih primerih ni bila prepoznavna. Da bi sistem robotske roke in senzorja prepoznal slike črk, so razvili model strojnega učenja, ki je slike poostril. Zbrali so slike besedila, nato pa simulirali zamegljenost pisave med slikanjem, kar so uporabili za učenje modela. 

Z ostrimi slikami so program lahko naučili prepoznavanja kombinacij pik oziroma črk. Branje je dodatno otežila želja ekipe, da bi senzor gladko drsel po vrstici. Enak znak se je tako pojavil na več slikah, na nekaterih pa je bil viden le del znaka, kar je onemogočalo enotno klasifikacijo. Vsaki sliki so zato v modelu ocenili negotovost glede na to, koliko znaka se na njej vidi. Slikam so nato dodelili statistične uteži, jih sešteli in nato klasificirali znak. Končna klasifikacija je tako sledila vsem slikam določenega znaka, s tem da so bile tiste slike, na katerih je bil viden cel znak, v predvidevanju vredne več.

Končni sistem robotske roke, senzorja in strojnega učenja je Braillovo pisavo lahko bral s hitrostjo tristo petnajst besed na minuto in natančnostjo sedeminosemdeset odstotkov. To je mnogo hitreje od ljudi, ki Brailla preberejo v povprečju sto dvajset besed na minuto, in hitreje kot prej razviti senzorji, ki so brali s hitrostjo petnajst besed na minuto.

Braillovo pisavo je z robotom bral vajenec Leon.

vir slike: https://pixabay.com/illustrations/point-finger-robot-space-future-70146…