Vedci z ETH Zürich používajú umelú inteligenciu na vývoj presnejších dotykových obrazoviek

Menej chýb pri písaní pri dotyku na klávesnici smartphonu: Vedci z ETH Zürich vo Švajčiarsku vyvinuli nové riešenie umelej inteligencie (AI), ktoré umožňuje dotykovým obrazovkám snímať s osemkrát vyšším rozlíšením ako súčasné zariadenia. Vďaka AI ich riešenie dokáže oveľa presnejšie odvodiť miesto, kde sa prsty dotýkajú obrazovky.

Poznáme to asi všetci: ak chcete rýchlo napísať správu na svojom smartfóne, niekedy klepnete na nesprávne písmeno na malej klávesnici – alebo na inom tlačidle vstupu v aplikácii. Ale nielen my. Dotykové senzory, ktoré detekujú vstup prstov na dotykovej obrazovke, sa od prvého uvedenia na trh v mobilných telefónoch príliš nezmenili.

Naproti tomu obrazovky smartphonov a tabletov teraz poskytujú bezprecedentnú vizuálnu kvalitu, čo je s každou novou generáciou zariadení ešte zreteľnejšie: vyššia vernosť farieb, vyššie rozlíšenie, ostrejší kontrast. Napríklad iPhone najnovšej generácie má rozlíšenie displeja 2532×1170 pixelov. Dotykový senzor, ktorý integruje, však dokáže detekovať vstup iba s rozlíšením okolo 32×15 pixelov – to je takmer 80-krát nižšie ako rozlíšenie displeja: Ako uviedol Christian Holz, profesor počítačovej vedy ETH z laboratória Sensing, Interaction & Perception Lab (SIPLAB) v rozhovore v sérii „Spotlights“ oddelenia informatiky na ETH: „A sme tu a pýtame sa, prečo robíme toľko chýb pri písaní na malej klávesnici? Myslíme si, že by sme mali byť schopní vyberať objekty s presnosťou pixelov prostredníctvom dotyku, ale to určite neplatí.“

Spoločne so svojím doktorandom Paulom Strelim vyvinul Holz umelú inteligenciu (AI) s názvom „CapContact“, ktorá poskytuje dotykovým obrazovkám super-rozlíšenie, aby mohli spoľahlivo zistiť, kedy a kde sa prsty skutočne dotýkajú povrchu displeja, s oveľa vyššou presnosťou ako súčasné zariadenia. Tento týždeň predstavili svoje nové riešenie umelej inteligencie na konferencii o ľudských faktoroch vo výpočtových systémoch ACM CHI 2021.

Rozpoznáva, kde sa prsty dotýkajú obrazovky

Vedci z ETH vyvinuli AI pre kapacitné dotykové obrazovky, čo sú typy dotykových obrazoviek používané vo všetkých našich mobilných telefónoch, tabletoch a notebookoch. Senzor detekuje polohu prstov podľa toho, že elektrické pole medzi čiarami senzora sa mení v dôsledku blízkosti prsta pri dotyku s povrchom obrazovky. Pretože kapacitné snímanie inherentne zachytáva túto blízkosť, nedokáže v skutočnosti zistiť skutočný kontakt – čo je však dostatočné na interakciu, pretože intenzita meraného dotyku exponenciálne klesá s rastúcou vzdialenosťou prstov.

Snímanie kapacity nebolo nikdy navrhnuté tak, aby vyvodzovalo s presnosťou miesto, kde sa na obrazovke skutočne vyskytuje dotyk, hovorí Holz: Ako dodal: „Zisťuje iba blízkosť našich prstov.“ Dotykové obrazovky dnešných zariadení tak interpolujú miesto, kde sa vstup vykonáva prstom z hrubých meraní blízkosti. Vedci sa vo svojom projekte zamerali na riešenie oboch nedostatkov týchto všadeprítomných senzorov: Na jednej strane museli zvýšiť v súčasnosti nízke rozlíšenie senzorov a na druhej strane museli zistiť, ako presne odvodiť príslušnú kontaktnú plochu medzi prstom a povrchom displeja z kapacitných meraní.

Preto „CapContact“, nová metóda vyvinutá spoločnosťou Streli a Holz na tento účel, kombinuje dva prístupy: Na jednej strane používajú dotykové obrazovky ako obrazové snímače. Podľa Holza je dotyková obrazovka v podstate hĺbková kamera s veľmi nízkym rozlíšením, ktorá vidí až asi osem milimetrov. Hĺbkový fotoaparát nezachytáva farebné obrázky, ale zaznamenáva obraz, ako blízko sú objekty. Na druhej strane program „CapContact“ využíva tento poznatok na presnú detekciu kontaktných oblastí medzi prstami a povrchmi pomocou nového algoritmu hlbokého učenia, ktorý vyvinuli vedci.

Viac informácií:

CapContact: Super-resolution Contact Areas from Capacitive Touchscreens – project page