Neu­es Kon­zept für die Akti­vie­rung künst­li­cher Hän­de durch Aug­men­ted Reality

S. Hazubski, H. Hoppe, A. Otte
Die Wiederherstellung der Handbewegung für Menschen mit Amputationen, Lähmungen oder Schlaganfällen ist ein wichtiger Bereich der orthopädietechnischen Forschung und Entwicklung. Zwar haben sich elektrodenbasierte Systeme, die den Input aus dem Gehirn oder dem Muskel nutzen, als erfolgreich erwiesen; diese Systeme sind jedoch tendenziell teuer und der Umgang mit ihnen schwer zu erlernen. In diesem Artikel wird ein laufendes medizintechnisches Projekt der Hochschule Offenburg vorgestellt, bei dem Augmented Reality (AR) für eine neuartige Steuerung von motorisierten Handorthesen sowie Handprothesen benutzt wird. In diesem System wird die Prothese von einer – in eine AR-Brille integrierten – Kamera getrackt; gleichzeitig werden virtuelle Steuerelemente über die Brille eingeblendet. Mit diesen kann der Patient durch Kopfbewegungen interagieren und vielfältige Öffnungs- und Schließbefehle für die Prothese oder Orthese eingeben. Das visuelle System muss zwar noch mit Patienten getestet werden, aber die geringen Kosten, die einfache Bedienung und der Verzicht auf Elektroden machen das System zu einer vielversprechenden Lösung für die Wiederherstellung der Handfunktion.

Ein­lei­tung

Seit Men­schen­ge­den­ken arbei­tet man an Arm- und Bein­pro­the­sen 1. Der von Pli­ni­us dem Älte­ren beschrie­be­ne aus Eisen gefer­tig­te Ersatz der rech­ten Hand des römi­schen Offi­ziers und Poli­ti­kers Mar­cus Ser­gi­us Silus, der Ende des 3. Jahr­hun­derts v. Chr. gelebt hat, ist ver­mut­lich die ältes­te Über­lie­fe­rung einer Hand­pro­the­se 2. Ob sie wirk­lich exis­tier­te, lässt sich nur mut­ma­ßen. Die bei­den „Eiser­nen Hän­de“ des Reichs­rit­ters Götz von Ber­li­chin­gen (1480–1562) hin­ge­gen sind erhal­ten und im Schloss­mu­se­um Jagst­hau­sen zu besich­ti­gen. Sie sind die wohl berühm­tes­ten his­to­ri­schen künst­li­chen Hän­de über­haupt und auch heu­te noch wegen ihrer aus­ge­klü­gel­ten Mecha­nik, ihrer ein­fa­chen Bedien­bar­keit und ihrer guten All­tags­taug­lich­keit ein­drucks­voll 3 4 5. Die Steue­rung der Fin­ger erfolg­te bei den Götz-Hän­den noch pas­siv, d. h. mit Hil­fe der gesun­den Hand. Heu­te sind die Pro­the­sen moto­ri­siert und wer­den bis­lang durch elek­tro­den­ba­sier­te Sys­te­me gesteu­ert, die Signa­le vom Gehirn oder den Mus­keln ver­wen­den 6. Die­se Sys­te­me haben ihre Funk­ti­ons­fä­hig­keit zwar erfolg­reich unter Beweis gestellt, sind aber sehr teu­er, zeit­in­ten­siv in der Ein­rich­tung (Kali­brie­rung) sowie stör­an­fäl­lig. Außer­dem fällt es den Betrof­fe­nen oft schwer, den Umgang mit ihnen zu erler­nen, was die Akzep­tanz für sol­che Sys­te­me bei den Pati­en­ten ein­schränkt 7 8. Ziel der For­scher der Hoch­schu­le Offen­burg ist es daher, ein robus­te­res Sys­tem zur Ansteue­rung von Hand­pro­the­sen zu ent­wi­ckeln, das all­tags­taug­lich ist und den Bedürf­nis­sen der Pati­en­ten gerecht zu wer­den ver­sucht. Dafür wur­de ein neu­es Ver­fah­ren zur Ansteue­rung moto­ri­sier­ter Hand­pro­the­sen ent­wi­ckelt, das auf Aug­men­ted Rea­li­ty (erwei­ter­ter Rea­li­tät) basiert 9 und auf jeg­li­che myo­elek­tri­sche Steue­rung ver­zich­tet. Die­ses Ver­fah­ren wur­de in der Zeit­schrift Sci­en­ti­fic Reports ver­öf­fent­licht 9 und soll hier – auf Anfra­ge der Zeit­schrift ORTHOPÄDIE TECHNIK – der inter­es­sier­ten Leser­schaft in einer detail­lier­ten Zusam­men­fas­sung vor­ge­stellt werden.

Vor­stel­lung des Systems

In die­sem neu ent­wi­ckel­ten Ver­fah­ren kann die visu­ell wahr­ge­nom­me­ne Umge­bung durch ein­ge­blen­de­te Objek­te, wie bei­spiels­wei­se Steu­er­flä­chen, erwei­tert wer­den (Abb. 1). Die­se ein­ge­blen­de­ten Objek­te wer­den über eine Aug­men­ted-Rea­li­ty-Bril­le immer orts­fest, d. h. bei­spiels­wei­se neben der Pro­the­se, ange­zeigt. Dass die Ein­blen­dung der Objek­te immer in unmit­tel­ba­rer Nähe zur Pro­the­se erfolgt, wird durch eine in die Aug­men­ted-Rea­li­ty-Bril­le inte­grier­te Kame­ra und einen ent­spre­chen­den Algo­rith­mus rea­li­siert: Die Pro­the­se wird mit sie­ben Infra­rot-LEDs (Pro­the­sen­mar­ker) aus­ge­stat­tet, die in LED-Tri­pletts ange­ord­net sind. Sofern die LEDs im Kame­ra­bild sicht­bar sind, kann der Algo­rith­mus mit­tels „pose esti­ma­ti­on“ 10 die Posi­ti­on (Trans­la­ti­on) und die Ori­en­tie­rung (Rota­ti­on) der Pro­the­se ermit­teln. Die­se Daten (Trans­for­ma­tio­nen) kön­nen ver­wen­det wer­den, um die Pro­the­se im 3D-Raum zu ver­fol­gen und die vir­tu­el­len Ele­men­te mit­tels der Bril­le kon­ti­nu­ier­lich an der rich­ti­gen Stel­le einzublenden.

Ori­en­tie­rung und Posi­ti­on der Pro­the­se kön­nen umge­kehrt dazu ver­wen­det wer­den, Bewe­gun­gen des Kop­fes des Benut­zers zu bestim­men, was einer Bewe­gung der Kame­ra in Bezug auf den Pro­the­sen­mar­ker ent­spricht. Somit kann eine fes­te vir­tu­el­le Linie senk­recht zur Bril­le, wel­che die Blick­rich­tung des Benut­zers dar­stellt, dem Nut­zer als Cur­sor die­nen, der sich durch Bewe­gun­gen des Kop­fes ver­fah­ren lässt. Der Benut­zer erhält durch den Cur­sor somit die Mög­lich­keit, Befeh­le auf das vir­tu­el­le Kom­man­do­feld zu „zeich­nen“, wel­che die Effek­to­ren der Pro­the­se steu­ern. Das Sys­tem nutzt die natür­li­che Blick­rich­tung der Betrof­fe­nen, um mit die­sen vir­tu­el­len Steu­er­flä­chen zu inter­agie­ren. Denn ein Mensch, der etwas grei­fen will, schaut in der Regel ohne­hin in die Rich­tung des zu grei­fen­den Gegen­stands und sei­ner Hand. Orthe­sen- oder Pro­the­sen­trä­ger müs­sen daher weder etwas wesent­lich Neu­es erler­nen noch sich beson­ders konzentrieren.

In Abbil­dung 2 sind bei­spiel­haft zwei ver­schie­de­ne Mög­lich­kei­ten für visu­el­le Steue­rungs­me­cha­nis­men dar­ge­stellt: Bei­den Mecha­nis­men ist gemein, dass der Nut­zer einen vir­tu­el­len Cur­sor mit sei­ner Blick­rich­tung – der Aus­rich­tung des Kop­fes – bewegt. Beim Sys­tem mit recht­ecki­ger Steu­er­flä­che (Abb. 2a) wird der Cur­sor über die orts­fest zur Pro­the­se ein­ge­blen­de­te Flä­che geführt. Dabei wird aus­ge­wer­tet, über wel­che der vier Kan­ten die Steu­er­flä­che betre­ten und über wel­che Kan­te sie wie­der ver­las­sen wird. Ein­tritts- sowie Aus­tritts­kan­te bestim­men das zuge­hö­ri­ge Kom­man­do. Bei­spiels­wei­se löst eine leich­te Kopf­be­we­gung von links nach rechts durch das Kom­man­do­feld das Schlie­ßen der Hand, eine leich­te Kopf­be­we­gung in die ent­ge­gen­ge­setz­te Rich­tung das Öff­nen der Hand aus.

In einem ande­ren Sys­tem mit run­der Steu­er­flä­che (Abb. 2b) muss der Nut­zer den Kom­man­do­mo­dus zunächst akti­vie­ren, indem er den Cur­sor auf das run­de Kom­man­do­feld führt, das eben­falls orts­fest über der Pro­the­se schwebt. Dort ras­tet der Cur­sor ein. Ab die­sem Moment wer­den die wei­te­ren Kopf­be­we­gun­gen des Nut­zers als Kom­man­do inter­pre­tiert. Durch akti­ves Bewe­gen des Cur­sors gegen die­sen schein­ba­ren Wider­stand ent­steht eine „vir­tu­el­le Span­nung“. Deren Stär­ke und Rich­tung wer­den ver­wen­det, um die Pro­the­se ent­spre­chend weit zu schlie­ßen bzw. zu öff­nen. So wird die Pro­the­se bei­spiels­wei­se durch eine Bewe­gung des Kop­fes nach rechts geschlos­sen, wäh­rend eine Bewe­gung nach links sie wie­der öff­net. Durch eine leich­te ruck­ar­ti­ge Bewe­gung, die vom Beschleu­ni­gungs­sen­sor der Bril­le erfasst wird, ver­lässt der Nut­zer den Kom­man­do­mo­dus wieder.

Für alle vor­ge­stell­ten Steue­run­gen gilt, dass die vir­tu­el­len Ele­men­te rela­tiv klein in Bezug zur Umge­bung sind und somit nur dann sicht­bar wer­den bzw. im Blick­feld erschei­nen, wenn der Pati­ent expli­zit in Rich­tung der Pro­the­se blickt. Dadurch wird einer­seits das Risi­ko für unbe­ab­sich­tig­te Akti­vie­run­gen der Pro­the­se mini­miert und ande­rer­seits der Nut­zer nicht durch andau­ern­de Ein­blen­dun­gen im Blick­feld belästigt.

In den meis­ten Fäl­len ist es sicher­lich am sinn­volls­ten, die vir­tu­el­len Steu­er­ele­men­te in der Nähe der Pro­the­se ein­zu­blen­den. Es spricht aus tech­ni­scher Sicht jedoch nichts dage­gen, die­se Ele­men­te vom Nut­zer – je nach All­tags­si­tua­ti­on – an eine ande­re Stel­le sei­ner Umge­bung ver­schie­ben zu las­sen, bei­spiels­wei­se, um bei Bild­schirm­ar­beit nicht jedes Mal auf die Pro­the­se schau­en zu müssen.

Ver­su­che

Die bis­he­ri­gen Ver­su­che wur­den an einem Sty­ro­por­kopf (Abb. 1) durch­ge­führt, der manu­ell über eine Stan­ge bewegt wur­de – eine kli­ni­sche Stu­die mit stan­dar­di­sier­ten Tests an Pati­en­ten fand bis­lang noch nicht statt. Es wur­den zwei ver­schie­de­ne End­ef­fek­to­ren getes­tet (Abb. 3):

  • Ein 3D-gedruck­tes Greif­sys­tem (Abb. 3a) ermög­licht gesun­den Pro­ban­den, die visu­el­le Steue­rung zu tes­ten. Das Greif­sys­tem wird vom Nut­zer wie ein Hand­schuh getra­gen. Es ent­hält zwei ver­schie­de­ne LED-Kon­fi­gu­ra­tio­nen (Ober­sei­te und lin­ke Sei­te). Dadurch wird ermög­licht, die Pro­the­se auch bei star­ker Dre­hung der Hand wei­ter­hin zu tra­cken. Für die­ses Greif­sys­tem wur­de das oben auf­ge­führ­te recht­ecki­ge Steue­rungs­sys­tem ver­wen­det (vgl. Abb. 2a), da es bis zu 16 ver­schie­de­ne Griff­kom­bi­na­tio­nen ermög­licht, die von dem Greif­sys­tem rea­li­siert wer­den können.
  • Der zwei­te End­ef­fek­tor ist eine kom­mer­zi­ell erhält­li­che moto­ri­sier­te Hand­orthe­se, und zwar das Modell „Neo­Ma­no“ der Fir­ma Neof­ect (San Fran­cis­co, Kali­for­ni­en, USA; Abb. 3b), bei der nur der Zei­ge- und Mit­tel­fin­ger durch einen Motor gleich­zei­tig betä­tigt wer­den und der Dau­men starr bleibt. Für die­ses Greif­sys­tem wur­de das Sys­tem mit run­der Steu­er­flä­che ver­wen­det (vgl. Abb. 2b), da hier das prä­zi­se Schlie­ßen bzw. Öff­nen der Pro­the­se im Fokus steht. In einem Video wird das Sys­tem in Betrieb gezeigt 11.

Ergeb­nis­se

In den Tests konn­te gezeigt wer­den, dass orts­fes­te Ein­blen­dun­gen in Bezug zur Pro­the­se bzw. Orthe­se mög­lich sind. Dies gilt auch, wenn die Pro­the­se bewegt wird – die Ein­blen­dung ver­bleibt in der­sel­ben rela­ti­ven Posi­ti­on zur Pro­the­se und bewegt sich dem­entspre­chend mit. Des Wei­te­ren konn­te gezeigt wer­den, dass nur mini­ma­le Kopf­be­we­gun­gen not­wen­dig sind, um Befeh­le mit aus­rei­chen­der Genau­ig­keit auf den Kom­mando­ele­men­ten zu zeich­nen 9.

Fazit

Zwar muss das hier vor­ge­stell­te visu­el­le Ver­fah­ren noch in einer kli­ni­schen Stu­die getes­tet wer­den, aber die nied­ri­gen Kos­ten, die Ein­fach­heit der Bedie­nung und der Ver­zicht auf stör­an­fäl­li­ge Elek­tro­den machen das Sys­tem zu einer viel­ver­spre­chen­den Lösung zur Wie­der­her­stel­lung der Hand­funk­ti­on. Durch den Ein­satz künst­li­cher Intel­li­genz soll die Ver­ar­bei­tung der Befeh­le über­dies robus­ter und für den Pati­en­ten per­so­na­li­sier­bar wer­den. An bei­den Aspek­ten – der kli­ni­schen Stu­die mit stan­dar­di­sier­ten Tests zur Eva­lua­ti­on des Sys­tems sowie dem Ein­satz künst­li­cher Intel­li­genz – wird der­zeit an der Hoch­schu­le Offen­burg gearbeitet.

Für die Autoren:
Prof. Dr. med. Andre­as Otte
Peter-Osyp­ka-Insti­tut für Medizintechnik
Fakul­tät Elek­tro­tech­nik, Medizintechnik
und Infor­ma­tik
Hoch­schu­le Offenburg
Bad­str. 24, D‑77652 Offenburg
andreas.otte@hs-offenburg.de

Begut­ach­te­ter Beitrag/reviewed paper

Zita­ti­on
Hazub­ski S, Hop­pe H, Otte A. Neu­es Kon­zept für die Akti­vie­rung künst­li­cher Hän­de durch Aug­men­ted Rea­li­ty. Ortho­pä­die Tech­nik, 2021; 72 (7): 40–42
  1. Ohne­mus D, Otte A. Med­ico-his­to­ri­cal fin­dings of (neu­ro-) pro­sthe­tics: an online sur­vey. Arch Kri­mi­nol, 2014; 234 (5–6): 201–208
  2. Wei­nert O, Otte A. Die eiser­ne Hand des römi­schen Offi­ziers Mar­cus Ser­gi­us Silus (Ende des 3. Jahr­hun­derts v. Chr.) – eine 3‑D Com­pu­ter-Aided Design (CAD)-Simulation. Arch Kri­mi­nol, 2018; 242(5–6): 184–192
  3. Qua­si­g­roch G. Die Hand­pro­the­sen des frän­ki­schen Reichs­rit­ters Götz von Ber­li­chin­gen. 1. Fort­set­zung: Die Erst­hand. Z der Ges für hist Waf­fen- und Kos­tüm­kun­de, 1982; 24: 17–33
  4. Qua­si­g­roch G. Die Hand­pro­the­sen des frän­ki­schen Reichs­rit­ters Götz von Ber­li­chin­gen. 2. Fort­set­zung: Die Zweit­hand. Z der Ges für hist Waf­fen- und Kos­tüm­kun­de, 1983; 25: 103–120
  5. Otte A. 3D Com­pu­ter-Aided Design Recon­s­truc­tions and 3D Mul­ti-Mate­ri­al Poly­mer Repli­ca Prin­tings of the First “Iron Hand” of Fran­co­ni­an Knight Gott­fried (Götz) von Ber­li­chin­gen (1480–1562): An Over­view. Pro­sthe­sis, 2020; 2: 304–312
  6. McMullen DP et al. Demons­tra­ti­on of a semi-auto­no­mous hybrid brain-machi­ne inter­face using human int­ra­cra­ni­al EEG, eye track­ing, and com­pu­ter visi­on to con­trol a robo­tic upper limb pro­sthe­tic. IEEE tran­sac­tions on neu­ral sys­tems and reha­bi­li­ta­ti­on engi­nee­ring: a publi­ca­ti­on of the IEEE Engi­nee­ring in Medi­ci­ne and Bio­lo­gy Socie­ty, 2014; 22: 784–796
  7. Otte A. Smart Neu­ro­pro­sthe­tics Beco­ming Smar­ter, but Not for Ever­yo­ne? ECli­ni­cal Medi­ci­ne, 2018; 2–3: 11–12
  8. Soe­ka­dar SR et al. Hybrid EEG/EOG-based brain/neural hand exo­ske­le­ton res­to­res ful­ly inde­pen­dent dai­ly living acti­vi­ties after quad­ri­ple­gia. Sci Robot, 2016; 1: eaag3296
  9. Hazub­ski S, Hop­pe H, Otte A. Elec­tro­de-free visu­al prosthesis/exoskeleton con­trol using aug­men­ted rea­li­ty glas­ses in a first pro­of-of-tech­ni­cal­con­cept stu­dy. Sci Rep, 2020; 10: 16279
  10. Strze­letz S, Hazub­ski S, Moc­te­zu­ma JL, Hop­pe H. Fast, robust, and accu­ra­te mono­cu­lar peer-to-peer track­ing for sur­gi­cal navi­ga­ti­on. Inter­na­tio­nal Jour­nal of Com­pu­ter Assis­ted Radio­lo­gy and Sur­gery, 2020; 10.1007/s11548-019–02111‑z
  11. Video: Hand pro­sthe­tic con­trol­led via aug­men­ted rea­li­ty. Rese­arch Squa­re, 2020 https://www.researchsquare.com/article/rs-107496/v1.
Tei­len Sie die­sen Inhalt