Spatio-Temporal Vision for Human-Robot Interaction using Deep Learning

Industrielle mobile robotter har i årevis været en del af produktionsflowet på fabrikker over hele verden. De mangler imidlertid de nødvendige funktioner til at bevæge sig fra de kontrollerede miljøer i fabrikshaller til ukontrollerede miljøer på f.eks. hospitaler eller plejehjem. Servicerobotter er en anden klasse af mobile robotter, som har til formål at operere i disse ukontrollerede miljøer ved hjælp af bedre egenskaber til menneske-robot-interaktion osv. At operere i sådanne miljøer kræver konstant semantisk information om omgivelserne, herunder menneskers og objekters positur.

Efterhånden som mobile processorenheder har oplevet en eksponentiel stigning i processorkraft, og store mængder af træningsdata er blevet frigivet til offentligheden, er dybe neurale netværk begyndt at overgå alle andre algoritmer i billedgenkendelsesopgaver. Neurale netværk kan bruges til at vurdere tilstanden af omgivende personer og objekter, herunder deres positur, størrelse og hastighed, hvilket giver robotten en masse oplysninger at basere sin adfærd på. I denne afhandling præsenteres et såkaldt "SPA-map": et system til detektering af semantik, forudsigelse af fremtidige tilstande og estimering af affordances.

En af de adfærdsmønstre, som SPA-mappet muliggør, er social navigation. Ved at kombinere semantiske oplysninger om omgivende mennesker med social adfærdsteori skabes en adfærd, der forudsiger fremtidige kollisionspunkter mellem mennesker og robotten, hvilket gør den i stand til at undgå disse punkter på forhånd.

SPA-mappet er testet på robotterne SMOOTH og Health-CAT, to servicerobotter, som blev designet og bygget i løbet af denne afhandling. SMOOTH-robotten brugte SPA-mappet til at løse tre forskellige opgaver: opsamling og transport af vasketøj, vejvisning til ældre mennesker og servering af drikkevarer. Health-CAT robotten blev brugt til at samle testdata fra et hospital.