Googles tillgÀnglighetsapp anvÀnder AI för att ge anvÀndarna en röst med bara en blick

Googles praktiska Look to Speak-app Àr nu tillgÀnglig pÄ ytterligare 17 sprÄk

Smartphones Àr extremt anvÀndbara och blir smartare och snabbare för varje dag. Men trots det kan de fortfarande vara svÄrnavigerade för anvÀndare med tal- eller motoriska funktionsnedsÀttningar. Nyligen publicerade Google en uppdatering av sin Voice Access-funktion som förbÀttrar grÀnssnittet och gör det lÀttare att navigera med bara ljudet av din röst. Men för anvÀndare som kanske inte kan prata eller fysiskt interagera med sin enhet har ett litet team pÄ Google kommit pÄ en lösning.

Med hjÀlp av maskininlÀrning och expertis hos logopeden Richard Cave, har teamet designat en ny funktion som heter Look to Speak som kan hjÀlpa anvÀndare att kommunicera enklare med sina smartphones. Funktionen, som Àr en del av Experiment with Google, lÄter anvÀndare vÀlja olika fraser genom att titta Ät vÀnster eller höger. Beroende pÄ var en anvÀndare tittar, kommer svaren att begrÀnsas tills rÀtt fras finns kvar. AnvÀndare bekrÀftar sina val genom att titta utanför skÀrmen eller ta en paus genom att titta upp. NÀr en fras har valts lÀser telefonen upp den.

Funktionen Àr enkel och ganska intuitiv. Det förlitar sig pÄ smarttelefonens förmÄga att upptÀcka var en anvÀndare tittar, nÄgot som sker helt och hÄllet pÄ enheten för att skydda integriteten. Den enda aspekten av systemet som fortfarande krÀver fysisk interaktion med smartphonen Àr nÀr en anvÀndare vill Àndra instÀllningar som att anpassa fraser och justera ögonblickskÀnsligheten. Detta skulle sannolikt fortfarande bero pÄ hjÀlp frÄn en arbetsför medhjÀlpare.

“Look To Speak kan fungera dĂ€r andra kommunikationsenheter inte lĂ€tt kan gĂ„”

Enligt teammedlemmen Zedebee Pedersen var Access ett stort fokus vid utvecklingen av den hĂ€r funktionen, och teamet fokuserade pĂ„ att “skapa enkla grĂ€nssnitt för mindre enheter som smartphones, som inte förlitar sig pĂ„ extern hĂ„rdvara…”. Att sĂ€tta ett sĂ„dant hĂ€r system pĂ„ en smartphone ger icke-verbala anvĂ€ndare möjlighet att bĂ€ttre kommunicera i ett antal situationer dĂ€r det annars skulle vara för svĂ„rt, till exempel utomhus eller i kollektivtrafiken. Och med framvĂ€xten av billiga, men Ă€ndĂ„ kraftfulla smartphones i Ă„r, har ett stort urval av billiga alternativ att fĂ„ tillgĂ„ng till en funktion som denna Ă€nnu enklare. Men Richard Cave ser Look to Speak som mer av en följeslagare till större dedikerade system.

“Vi ersĂ€tter inte all den hĂ€r typen av tunga hjĂ€lpprylar eftersom det finns mycket funktionalitet dĂ€r. Look to Speak Ă€r för de dĂ€r viktiga korta meddelanden dĂ€r den andra kommunikationsenheten inte kan gĂ„.”

För att utveckla ett system som Look to Speak Ă€r det viktigt att fĂ„ verklig anvĂ€ndarinput, sĂ„ Cave och teamet pĂ„ Google arbetade med olika grupper och individer för att testa appen, inklusive en artist som heter Sarah som anvĂ€nder ett ögonblickssystem för att kommunicera. Videon visar hur anvĂ€ndaren skulle stĂ€lla in systemet, vilket krĂ€ver att anvĂ€ndaren stĂ€ller upp sitt ansikte mot ett avsnitt som Ă€r markerat pĂ„ skĂ€rmen sĂ„ att systemet kan ta en exakt avlĂ€sning av deras ansikte. Genom att anvĂ€nda systemet kunde Sarah framgĂ„ngsrikt anvĂ€nda smarttelefonen för att sĂ€ga frasen “Jag heter Sarah” och “Vad Ă€r pĂ„ gĂ„ng?”. En andra anvĂ€ndare visades anvĂ€nda Look to Speak, och efter att instruktören uppmanats att prova, svarade anvĂ€ndaren framgĂ„ngsrikt med “LĂ„t oss göra det.”

Look to Speak Àr tillgÀngligt för enheter som kör Android 9.0 och senare. Intresserade kan hitta mer information eller prova applikationen pÄ g.co/looktospeak. Kolla in videon nedan för att se hur Sarah hjÀlpte teamet att testa Look to Speak.