Hand­pro­the­sen­steue­rung durch Blick­ver­fol­gung und Objekterkennung

H. Müller, M. Atzori
Der Artikel beschreibt das an der Fachhochschule Westschweiz (HES-SO) in Sierre (Kanton Wallis) angesiedelte Forschungsprojekt „MeganePro“, in dem ein sogenannter Eyetracker zur Blickverfolgung und eine Kamera aus der Perspektive eines Menschen mit Amputation benutzt werden, um eine Handprothese zu steuern. Die auf diese Weise gewonnenen Informationen werden zusätzlich zur klassischen Elektromyografie (sEMG) eingesetzt. Dabei werden die Objekte im Sichtfeld der Person mittels Eyetracker-Brille identifiziert und mittels Auge-Hand-Koordination festgestellt, welches Objekt gegriffen wird (in der Regel wird ein Objekt etwa 400 ms vor dem Griff mit den Augen fixiert). Dadurch kann die Steuerung der experimentellen Prothese verbessert werden.

Die Daten des For­schungs­pro­jek­tes sind frei ver­füg­bar 1 2 3 und erlau­ben es ande­ren For­schern, an ver­schie­de­nen Aspek­ten des Pro­jek­tes wei­ter­zu­ar­bei­ten – sei es bezüg­lich Objekt­er­ken­nung, Hand­steue­rung mit Elek­tro­myo­gra­fie, Beschleu­ni­gungs­sen­so­ren oder Ein­be­zie­hung des Eyetrackers.

Anzei­ge

Ein­lei­tung

Es gibt ver­schie­de­ne Steue­rungs­sys­te­me für Handprothesen:

  • Habi­tus­pro­the­sen, die zusätz­lich even­tu­ell ein Werk­zeug oder einen Haken auf­wei­sen, um ein­fa­che Funk­tio­nen zu übernehmen;
  • mecha­ni­sche Eigen­kraft­pro­the­sen, die z. B. mit einer Schul­ter­be­we­gung gesteu­ert wer­den (also nicht „natür­lich“); die­se kön­nen z. B. per Motor gesteu­er­te Öff­nen- oder Schließ­be­we­gun­gen ausführen;
  • bei myo­elek­tri­schen Pro­the­sen mes­sen Elek­tro­den auf der Haut die Mus­kel­po­ten­zia­le im ver­blie­be­nen Arm 4.

Myo­elek­tri­sche Pro­the­sen bie­ten nor­ma­ler­wei­se die größ­te Funk­ti­ons­viel­falt, auch wenn die Hand kom­plett fehlt: Alle Fin­ger­mus­keln bis auf die des Dau­mens enden am Ellen­bo­gen, sind also zumin­dest theo­re­tisch ver­füg­bar und kön­nen in der Regel über die ent­spre­chen­den Neu­ro­nen wei­ter­hin gesteu­ert wer­den, auch wenn nach einer Ampu­ta­ti­on eine Reor­ga­ni­sa­ti­on im Gehirn statt­fin­det. Mus­kel­si­gna­le kön­nen auf der Haut, direkt am Mus­kel oder auch im Gehirn ent­nom­men wer­den 5, wobei nur die Posi­tio­nie­rung der Elek­tro­den auf der Haut ein nicht­in­va­si­ves Ver­fah­ren ist. In der Rea­li­tät lie­gen die Abbruch­ra­ten in der pro­the­ti­schen Reha­bi­li­ta­ti­on nach Ampu­ta­ti­on der obe­ren Extre­mi­tä­ten immer noch nach­weis­lich hoch (auch in aktu­el­len Stu­di­en über 40 %) 6. Als anhal­ten­de Grün­de für den Ver­zicht auf eine Pro­the­se der obe­ren Extre­mi­tä­ten wer­den neben einer ungüns­ti­gen Stumpf­si­tua­ti­on oder einem zu hohen Pro­the­sen­ge­wicht ins­be­son­de­re die Aspek­te Bequem­lich­keit und Funk­ti­on genannt 7.

In meh­re­ren For­schungs­pro­jek­ten wur­den bereits Robo­ter­ar­me mit fünf ein­zeln steu­er­ba­ren Fin­gern ent­wi­ckelt, deren Kon­struk­ti­ons­de­tails teils kos­ten­los aus dem Inter­net her­un­ter­ge­la­den und die dann mit­tels 3D-Druck erstellt wer­den kön­nen 8. Sie ver­ur­sa­chen nied­ri­ge­re Kos­ten als pro­fes­sio­nel­le Pro­the­sen, wei­sen aller­dings häu­fig nicht die glei­che Robust­heit auf und haben auch ande­re Män­gel, etwa eine lang­sa­me Griff­ge­schwin­dig­keit, eine limi­tier­te Griff­kraft oder eine begrenz­te pro­por­tio­na­le Kon­trol­le. Die­se Pro­the­sen erlau­ben aber eine gro­ße Anzahl an Bewe­gun­gen mit einer „natür­li­chen“ Steuerung.

Zusätz­lich zu elek­tri­schen Mus­kel­po­ten­zia­len kön­nen noch wei­te­re Signa­le zur Steue­rung von Hand­pro­the­sen ver­wen­det werden:

  • kli­ni­sche Para­me­ter 9,
  • Beschleu­ni­gungs­sen­so­ren 10,
  • eine Kame­ra in der Pro­the­se 11 oder
  • eine „intel­li­gen­te Bril­le“ mit Kame­ra 12.

Sowohl das soge­nann­te Maschi­nel­le Ler­nen als auch „Deep Lear­ning“ 13 erlau­ben es, zumin­dest in der For­schung sehr gute Resul­ta­te zu erzie­len, wozu aber in der Regel eine exak­te Kali­brie­rung bei jeder Benut­zung not­wen­dig ist, da eine exak­te Posi­tio­nie­rung und exter­ne Fak­to­ren die Qua­li­tät der Bewe­gungs­er­ken­nung beein­flus­sen. Eine sol­che regel­mä­ßi­ge Kali­brie­rung führt in der Pra­xis aber zu Schwie­rig­kei­ten, des­halb wird auch zukünf­tig mehr For­schung benö­tigt, um Kali­brie­run­gen zu limi­tie­ren und sta­bi­le Resul­ta­te zu erzielen.

Metho­den

Im Fol­gen­den wird das Set­up beschrie­ben, das inner­halb des For­schungs­pro­jekts „Mega­ne­Pro“, finan­ziert vom Schwei­zer Natio­nal­fonds, erstellt wurde.

Inner­halb des Pro­jekts wur­den ver­schie­de­ne Tech­ni­ken erprobt sowie unter­schied­li­che Hand­be­we­gun­gen und diver­se Objek­te in den Expe­ri­men­ten ver­wen­det. Vor­ran­gi­ges Ziel des Pro­jek­tes ist es, rea­lis­ti­sche täg­li­che Akti­vi­tä­ten von Men­schen mit Han­dam­pu­ta­ti­on zu ver­ein­fa­chen, um die Ent­wick­lung von Hand­pro­the­sen zu verbessern.

Gerä­te zur Datenerfassung

Im Pro­jekt wur­den ver­schie­de­ne sEMG-Elek­tro­den ver­wen­det und getes­tet 14. Für die Haupt­tests mit einer gro­ßen Zahl von Per­so­nen mit Ampu­ta­ti­on und dem Eye­tra­cker 15 wur­den „Trigno“-Elektroden des Her­stel­lers Del­sys benutzt, die auch Beschleu­ni­gungs­sen­so­ren beinhal­ten 16 17 und das Signal kabel­los über­tra­gen. Abbil­dung 1 zeigt das Set­up mit den Elek­tro­den, die auf den Arm geklebt wer­den, ver­schie­de­ne Objek­te, die von den Pro­ban­den gegrif­fen wer­den sol­len, sowie einen Bild­schirm, der die Signa­le visualisiert.

Für die Blick­ver­fol­gung wird ein Eye­tra­cker „Tobii Pro“ (Tobii AB, Schwe­den) mit Kame­ra für das Sicht­feld der Pro­ban­din­nen und Pro­ban­den mit Ampu­ta­ti­on benutzt (Abbil­dung 2). Die Aus­wahl die­ses Eye­tra­ckers für die Zwe­cke des Pro­jekts beruht auf einer detail­lier­ten Ana­ly­se in 18, in der unter­schied­li­che Gerä­te mit­ein­an­der ver­gli­chen werden.

Alle Daten wer­den auf einem Lap­top erfasst und müs­sen dann syn­chro­ni­siert wer­den, da die Fre­quen­zen der gemes­se­nen Wer­te sehr unter­schied­lich sind (sEMG, Beschleu­ni­gungs­sen­so­ren, Kame­ra, Blick­ver­fol­gung). Die Auf­ga­ben, die die Pro­ban­den mit Ampu­ta­ti­on zu absol­vie­ren haben, wer­den akus­tisch per Soft­ware in der vor­ab gewähl­ten Spra­che erläu­tert (auf Ita­lie­nisch, Deutsch, Fran­zö­sisch oder Eng­lisch), damit die Test­per­so­nen nicht mit den Augen den Vor­ga­ben auf einem Bild­schirm fol­gen müssen.

Pro­to­koll zur Datenregistrierung

Das detail­lier­te Pro­to­koll für die Daten­er­fas­sung wird in 19 beschrie­ben. Es wer­den Objek­te vor der Test­per­son plat­ziert, die in der Regel mit jeweils unter­schied­li­chen Griff­ar­ten gegrif­fen wer­den (Bei­spie­le: Tas­se, Mes­ser, Stift; eine Tas­se kann mit­tig zum Trin­ken oder von oben gegrif­fen wer­den, wenn man sie woan­ders hin­stellt). Die Aktio­nen wer­den in der gewähl­ten Spra­che vor­ge­ge­ben. Dabei kön­nen glei­che Objek­te auf ver­schie­de­ne Arten gegrif­fen wer­den (dies wird jeweils in den Instruk­tio­nen mit­ge­teilt), und die glei­chen Griff­ar­ten kön­nen bei ver­schie­de­nen Objek­ten benutzt wer­den. Eine genaue Beschrei­bung des Pro­to­kolls befin­det sich in 20.

Zwi­schen zwei Grif­fen wird stets eine Ruhe­pau­se ein­ge­legt, was auch erlaubt, die ver­schie­de­nen Griff­ar­ten zu tren­nen. Pro­ban­den ohne Ampu­ta­ti­on grei­fen die Objek­te tat­säch­lich; Test­per­so­nen mit Ampu­ta­ti­on ver­su­chen, die Bewe­gun­gen gedank­lich und phy­sisch so natür­lich wie mög­lich aus­zu­füh­ren, ohne dass das Objekt dabei tat­säch­lich gegrif­fen wird – es wird dabei kei­ne Pro­the­se benutzt, aber der Arm wird in die Rich­tung des Objek­tes bewegt. Dadurch wird ein Ein­fluss der phy­si­schen Pro­the­se auf die Signa­le limi­tiert (zum Bei­spiel durch eine Ver­zö­ge­rung der Bewe­gung, das Gewicht der Pro­the­se und die Qua­li­tät der Bewe­gungs­er­ken­nung). Auf der ande­ren Sei­te wird die Bewe­gung nicht been­det, da das Objekt nicht wirk­lich gegrif­fen und gehal­ten wird.

Alle Daten wer­den auf­ge­zeich­net, sodass die Bear­bei­tung spä­ter auch off­line mög­lich ist. Mehr über die unter­schied­li­chen Griff­ar­ten ist dem Bei­trag in 21 zu entnehmen.

In der wis­sen­schaft­li­chen Lite­ra­tur sind die Resul­ta­te der Erken­nung prä­zi­ser Grif­fe von Per­so­nen mit Ampu­ta­ti­on, die in den jewei­li­gen Publi­ka­tio­nen beschrie­ben wer­den, nur schwer ver­gleich­bar, denn in jedem Expe­ri­ment wer­den ande­re Grif­fe und Objek­te sowie eine unter­schied­li­che Anzahl an Grif­fen benutzt. Bei eini­gen Expe­ri­men­ten wird eine Prä­zi­si­on von 90 % erreicht – jedoch mit nur weni­gen Griff­ty­pen. Bei kom­ple­xen Expe­ri­men­ten dage­gen wer­den häu­fig nied­ri­ge­re Prä­zi­si­ons­ra­ten erzielt. Um die am bes­ten geeig­ne­ten Tech­ni­ken und Ansät­ze zu ermit­teln, ist ein Ver­gleich, der auf einem ein­heit­li­chen Daten­satz basiert, daher wich­tig. Aus die­sem Grund wird die im beschrie­be­nen Pro­jekt erar­bei­te­te Daten­bank mit Grif­fen frei zur Ver­fü­gung gestellt. In den zugrun­de lie­gen­den Expe­ri­men­ten wur­den bewusst sehr kom­ple­xe Mus­ter (z. B. „sit­zend“ vs. „ste­hend“) und rela­tiv vie­le Grif­fe und Objek­te ver­wen­det, um das Poten­zi­al der For­schung zum Maschi­nel­len Ler­nen auf­zu­zei­gen. Dies soll­te im nächs­ten Schritt auch zu kom­ple­xe­ren kom­mer­zi­el­len Pro­the­sen führen.

Resul­ta­te

Haupt­re­sul­tat des Pro­jek­tes ist die Daten­bank 22, die alle in den Expe­ri­men­ten gewon­ne­nen Daten von 15 Per­so­nen mit Ampu­ta­ti­on und 30 Kon­troll­pa­ti­en­ten ohne Ampu­ta­ti­on für die For­schung ver­füg­bar macht. Die Daten­sät­ze ent­hal­ten die jewei­li­gen sEMG-Signa­le, die Beschleu­ni­gungs­sen­so­ren, Vide­os des Blick­fel­des sowie die dyna­mi­sche Blick­ver­fol­gung der Pro­ban­den – sowohl gra­fisch in Form eines Krei­ses inner­halb der Bil­der als auch digi­tal mit den Koor­di­na­ten der Blickverfolgung.

Abbil­dung 3 zeigt einen Screen­shot aus einem der Vide­os mit dem Blick­feld eines Pro­ban­den, das nach­träg­lich mit einer auto­ma­ti­schen Objekt­er­ken­nung bear­bei­tet wur­de, um die Ana­ly­se zu ver­ein­fa­chen. So kön­nen erkann­te Objek­te wie in der Abbil­dung zu erken­nen mit einem Recht­eck mar­kiert und im Video mit dem Typ des Objek­tes getrackt wer­den (in Abbil­dung 3 Fla­sche, Tas­se, Hand). Es wer­den dabei alle Objek­te erkannt, also auch die Hand, denn die­se ist eben­falls ein Objekt, das aber in die­sem Fall nicht gegrif­fen wer­den kann, obwohl die Test­per­so­nen es manch­mal fixie­ren. Der klei­ne Kreis zeigt den Fixa­ti­ons­punkt an, also wohin die Test­per­son ihren Blick rich­tet. Die­ser Fixa­ti­ons­punkt bewegt sich stän­dig, umfasst aber regel­mä­ßig län­ge­re (etwa 400 ms) Fokus­sie­run­gen auf bestimm­te Objek­te, z. B. kurz bevor die­se gegrif­fen werden.

In einer ers­ten Stu­die wur­de das Blick­mus­ter von Test­per­so­nen mit und ohne Ampu­ta­ti­on ana­ly­siert, wobei sich inter­es­san­te klei­ne Ver­än­de­run­gen erga­ben 23: So sind zwar die Augen­be­we­gungs­mus­ter zwi­schen Pro­ban­den mit und ohne Ampu­ta­ti­on ähn­lich, Test­per­so­nen mit Ampu­ta­ti­on wei­sen aber eine etwas län­ge­re Span­ne zwi­schen Fixie­rung und Griff auf (1000 ms anstel­le von 550 ms).

Eine wei­te­re Daten­ana­ly­se ist der­zeit (Stand: Dezem­ber 2020) in Arbeit 24, bei der für jede Bewe­gung auto­ma­tisch erfasst wird, wel­ches Objekt die jewei­li­ge Test­per­son etwa 500 ms vor der Greif­be­we­gung fixiert hat. Da für jedes Objekt nur eine limi­tier­te Anzahl von Grif­fen besteht (zum Bei­spiel kann eine Tas­se ent­we­der von oben oder mit­tig gegrif­fen wer­den), kann die Aus­wahl der idea­ler­wei­se von der Pro­the­se aus­zu­füh­ren­den Bewe­gung ein­ge­engt wer­den. Das führt zu einer deut­li­chen Qua­li­täts­stei­ge­rung der Bewe­gungs­er­ken­nung, obwohl noch nicht alle Objek­te und Fixie­run­gen kor­rekt erkannt wer­den (die Objekt­er­ken­nung ist für etwa 90 % der zu grei­fen­den Objek­te kor­rekt). Aller­dings hat sich inner­halb des Pro­jekts die kor­rek­te Erken­nung kom­ple­xer Grif­fe bei Men­schen mit Ampu­ta­ti­on von etwa 63 auf 79 %, bei Pro­ban­den ohne Ampu­ta­ti­on von 73 auf 80 % erhöht. Die­se Resul­ta­te der Benut­zung der Blick­feld­ka­me­ra für die Steue­rung sind dem Bei­trag 25 zu entnehmen.

Test anhand einer Prothese

Um auf­zu­zei­gen, dass die erstell­ten Algo­rith­men mit einer phy­si­schen Pro­the­se tat­säch­lich in Echt­zeit funk­tio­nie­ren, hat das Pro­jekt­team eine sol­che per 3D-Druck erstellt und die­se mit vier Pro­ban­den mit Ampu­ta­ti­on und einer limi­tier­ten Anzahl von Objek­ten getes­tet 26. Die Fixie­rung am Arm erfolg­te dabei der Ein­fach­heit hal­ber mit einem auf­ge­trenn­ten Kunst­stoff­rohr; ein Myo-Arm­band wur­de als Elek­tro­de benutzt. Es wur­den dabei aber nur vier Bewe­gun­gen der Fin­ger benutzt, um den Test zu ver­ein­fa­chen. Die getes­te­ten Bewe­gun­gen und Objek­te kön­nen Abbil­dung 4 ent­nom­men wer­den. Mit nur etwa 10 Minu­ten Trai­ning konn­ten die Pro­ban­den mit Han­dam­pu­ta­ti­on die Pro­the­se sehr gut benut­zen und alle gestell­ten Auf­ga­ben erle­di­gen, wobei dies aller­dings teil­wei­se erst im zwei­ten oder drit­ten Ver­such gelang.

Bei die­sem Test wur­de die Druck­stär­ke auf die Objek­te nicht vari­iert – inso­fern erfolg­te das Feed­back für die Test­per­so­nen dabei nur visu­ell. Aber allein das hilft schon, da die Pro­ban­den ihre „gedach­ten“ Bewe­gun­gen dadurch etwas vari­ie­ren kön­nen. Es wird also kei­ne pro­por­tio­na­le Signal­kon­trol­le durch­ge­führt, auch wenn das mit den Signa­len der Elek­tro­den und den in die Hand ein­ge­bau­ten Druck­sen­so­ren durch­aus mög­lich wäre.

Dis­kus­si­on

Die auf­wen­di­ge Daten­er­fas­sung mit einem kom­ple­xen Pro­to­koll und 45 Pro­ban­den hat ins­ge­samt drei Jah­re in Anspruch genom­men, aber die Ver­füg­bar­keit der Daten 27 28 wird sicher­lich zu wei­te­ren Ergeb­nis­sen in der Daten­ana­ly­se füh­ren. Die Ein­be­zie­hung von Video­tech­nik mit Objekt­er­ken­nung und Blick­ver­fol­gung bei der Steue­rung einer Pro­the­se könn­te, wie in den Expe­ri­men­ten ohne Pro­the­sen­be­nut­zung gezeigt wur­de, zu deut­lich bes­se­ren Resul­ta­ten bei der Erken­nung von Grif­fen und damit der Steue­rung von Pro­the­sen füh­ren und auch deren Robust­heit erhö­hen, obwohl noch nicht alle Objek­te kor­rekt erkannt wer­den. Hier besteht noch Poten­zi­al für deut­lich bes­se­re Resul­ta­te, wenn For­scher aus den Berei­chen Objekt­er­ken­nung, Maschi­nel­les Ler­nen und Pro­the­sen­steue­rung zusammenarbeiten.

Fazit und Ausblick

Die­ser Arti­kel beschreibt ein For­schungs­pro­jekt, bei dem Blick­ver­fol­gung und Objekt­er­ken­nung ein­ge­setzt wer­den, um in Zukunft die Kon­trol­le von Hand­pro­the­sen zu ver­bes­sern. Die Daten des Pro­jek­tes wer­den frei zur Ver­fü­gung gestellt 29, und die Ver­fas­ser hof­fen, damit wei­te­re For­schung zu sti­mu­lie­ren, denn eine so mas­si­ve Daten­er­fas­sung (hier mit 15 Men­schen mit und 30 Men­schen ohne Ampu­ta­ti­on) geht mit einem hohen Auf­wand ein­her. Wenn For­schungs­grup­pen die­ser Schritt abge­nom­men wird, ist davon aus­zu­ge­hen, dass die For­schung im Bereich Hand­pro­the­tik dadurch sehr erleich­tert wird. Da das For­schungs­feld mul­ti­dis­zi­pli­när ist, kön­nen sich For­scher ent­we­der auf ihren Bereich kon­zen­trie­ren (z. B. Objekt­er­ken­nung oder Maschi­nel­les Ler­nen unter­schied­li­cher Signa­le) oder in ande­ren Berei­chen mit einer wei­te­ren For­schungs­grup­pe zusam­men­ar­bei­ten, um funk­tio­nel­le Hand­pro­the­sen zu erstellen.

Der Autor:
Prof. Dr. Hen­ning Müller
HES-SO Valais
Tech­no-Pôle 3, CH-3960 Sierre
Schweiz
henning.mueller@hevs.ch

Begut­ach­te­ter Beitrag/reviewed paper

Zita­ti­on
Mül­ler H, Atz­ori M. Hand­pro­the­sen­steue­rung durch Blick­ver­fol­gung und Objekt­er­ken­nung. Ortho­pä­die Tech­nik, 2021; 72 (5): 50–55
  1. Atz­ori M, Gijs­berts A, Cas­tel­li­ni C, Capu­to B, Hager AGM, Elsig S, Mül­ler H, et al. Elec­tro­myo­gra­phy data for non-inva­si­ve natu­ral­ly-con­trol­led robo­tic hand prosthe­ses. Sci­en­ti­fic Data, 2014; 1 (1): 1–13;
  2. Atz­ori M, Gijs­berts A, Hey­nen S, Hager AGM, Deriaz O, van der Smagt P, Mül­ler H, et al. Buil­ding the Nin­apro data­ba­se: A resour­ce for the bio­ro­bo­tics com­mu­ni­ty. 4th IEEE RAS EMBS Inter­na­tio­nal Con­fe­rence on Bio­me­di­cal Robo­tics and Bio­me­cha­tro­nics (Bio­Rob), Rome, June, 2012: 1258–1265;
  3. Atz­ori M, Gijs­berts A, Kuz­bor­skij I, Elsig S, Hager AGM, Deriaz O, Capu­to B, et al. Cha­rac­te­riz­a­ti­on of a bench­mark data­ba­se for myoelectric move­ment clas­si­fi­ca­ti­on. IEEE Tran­sac­tions on Neural Sys­tems and Reha­bi­li­ta­ti­on Engi­nee­ring, 2014; 23 (1): 73–83
  4. Atz­ori M, Mül­ler H. Con­trol capa­bi­li­ties of myoelectric robo­tic prosthe­ses by hand ampu­tees: a sci­en­ti­fic rese­arch and mar­ket over­view. Fron­tiers in Sys­tems Neu­ro­sci­ence, 2015; 9: 162
  5. Mic­e­ra S, Car­pa­ne­to J, Ras­po­po­vic S. Con­trol of hand prosthe­ses using peri­pheral infor­ma­ti­on. IEEE Reviews in Bio­me­di­cal Engi­nee­ring, 2010; 3: 48–68
  6. Sal­min­ger S, Sti­no H, Pich­ler LH, Gstoett­ner C, Stur­ma A, May­er JA, Szivak M, Asz­mann OC. Cur­rent rates of prost­he­tic usa­ge in upper-limb ampu­tees – have inno­va­tions had an impact on device accep­t­ance? Disa­bil Reha­bil, 2020; 30: 1–12. doi: 10.1080/09638288.2020.1866684. PMID: 33377803 [Epub ahead of print]
  7. Smail LC, Neal C, Wil­kins C, Pack­ham TL. Com­fort and func­tion remain key fac­tors in upper limb prost­he­tic aban­don­ment: fin­dings of a scoping review. Disa­bil Reha­bil Assist Tech­nol, 2020; 19: 1–10. doi: 10.1080/ 17483107.2020.1738567. PMID: 32189537 [Epub ahead of print]
  8. Cogno­lato M, Atz­ori M, Mar­che­sin C, Mar­an­gon S, Fac­cio D, Tien­go C, Bas­set­to F, Gas­sert R, Petro­ne N, Mül­ler H. Mul­ti­func­tion con­trol and eva­lua­ti­on of a 3D prin­ted hand prost­he­sis with the Myo arm­band by hand ampu­tees. bio­R­xiv, 2018 [pre­print]. doi: 10.1101/445460
  9. Atz­ori M, Gijs­berts A, Cas­tel­li­ni C, Capu­to B, Mit­taz Hager AG, Elsig S, Mül­ler H, et al. Effect of cli­ni­cal para­me­ters on the con­trol of myoelectric robo­tic prost­he­tic hands. Jour­nal of Reha­bi­li­ta­ti­on Rese­arch & Deve­lo­p­ment, 2016; 53 (3): 345–358
  10. Bla­na D, Kyria­cou T, Lam­brecht JM, Chad­wick EK. Fea­si­bi­li­ty of using com­bi­ned EMG and kine­ma­tic signals for prost­he­sis con­trol: A simu­la­ti­on stu­dy using a vir­tu­al rea­li­ty envi­ron­ment. Jour­nal of Elec­tro­myo­gra­phy and Kine­sio­lo­gy, 2016; 29: 21–27
  11. DeGol J, Akhtar A, Man­ja B, Bretl T. Auto­ma­tic grasp selec­tion using a came­ra in a hand prost­he­sis. 38th Annu­al Inter­na­tio­nal Con­fe­rence of the IEEE Engi­nee­ring in Medi­ci­ne and Bio­lo­gy Socie­ty (EMBC), Chi­ca­go, August, 2016: 431–434
  12. Gior­da­ni­ello F, Cogno­lato M, Gra­zia­ni M, Gijs­berts A, Gre­go­ri V, Saet­ta G, Capu­to B. Mega­ne pro: myoelectri­ci­ty, visu­al and gaze tracking data acqui­si­ti­ons to impro­ve hand prost­he­tics. Inter­na­tio­nal Con­fe­rence on Reha­bi­li­ta­ti­on Robo­tics (ICORR), Lon­don, July, 2017: 1148–1153
  13. Atz­ori M, Cogno­lato M, Mül­ler H. Deep lear­ning with con­vo­lu­tio­nal neural net­works app­lied to elec­tro­myo­gra­phy data: A resour­ce for the clas­si­fi­ca­ti­on of move­ments for prost­he­tic hands. Fron­tiers in Neu­roro­bo­tics, 2016; 10: 9
  14. Atz­ori M, Mül­ler H. Con­trol capa­bi­li­ties of myoelectric robo­tic prosthe­ses by hand ampu­tees: a sci­en­ti­fic rese­arch and mar­ket over­view. Fron­tiers in Sys­tems Neu­ro­sci­ence, 2015; 9: 162
  15. Atz­ori M, Gijs­berts A, Kuz­bor­skij I, Elsig S, Hager AGM, Deriaz O, Capu­to B, et al. Cha­rac­te­riz­a­ti­on of a bench­mark data­ba­se for myoelectric move­ment clas­si­fi­ca­ti­on. IEEE Tran­sac­tions on Neural Sys­tems and Reha­bi­li­ta­ti­on Engi­nee­ring, 2014; 23 (1): 73–83
  16. Atz­ori M, Gijs­berts A, Cas­tel­li­ni C, Capu­to B, Hager AGM, Elsig S, Mül­ler H, et al. Elec­tro­myo­gra­phy data for non-inva­si­ve natu­ral­ly-con­trol­led robo­tic hand prosthe­ses. Sci­en­ti­fic Data, 2014; 1 (1): 1–13
  17. Cogno­lato M, Gijs­berts A, Gre­go­ri V, Saet­ta G, Gia­co­mi­no K, Hager AGM, Gig­li A, Fac­cio D, Tien­go C, Bas­set­to F, Capu­to B. 2020. Gaze, visu­al, myoelectric, and iner­ti­al data of grasps for intel­li­gent prost­he­tics. Sci­en­ti­fic Data, 2020; 7 (1):1–15
  18. Cogno­lato M, Atz­ori M, Mül­ler H. Head-moun­ted eye gaze tracking devices: An over­view of modern devices and recent advan­ces. Jour­nal of Reha­bi­li­ta­ti­on and Assis­ti­ve Tech­no­lo­gies Engi­nee­ring, 2018; 5: 2055668318773991
  19. Cogno­lato M, Gijs­berts A, Gre­go­ri V, Saet­ta G, Gia­co­mi­no K, Hager AGM, Gig­li A, Fac­cio D, Tien­go C, Bas­set­to F, Capu­to B. 2020. Gaze, visu­al, myoelectric, and iner­ti­al data of grasps for intel­li­gent prost­he­tics. Sci­en­ti­ficDa­ta, 2020; 7 (1):1–15
  20. Cogno­lato M, Gijs­berts A, Gre­go­ri V, Saet­ta G, Gia­co­mi­no K, Hager AGM, Gig­li A, Fac­cio D, Tien­go C, Bas­set­to F, Capu­to B. 2020. Gaze, visu­al, myoelectric, and iner­ti­al data of grasps for intel­li­gent prost­he­tics. Sci­en­ti­ficDa­ta, 2020; 7 (1):1–15
  21. Piz­zo­la­to S, Taglia­pie­tra L, Cogno­lato M, Reg­gia­ni M, Mül­ler H, Atz­ori M. Com­pa­ri­son of six elec­tro­myo­gra­phy acqui­si­ti­on set­ups on hand move­ment clas­si­fi­ca­ti­on tasks. PloS One, 2017; 12 (10): e0186132
  22. Cogno­lato M, Gijs­berts A, Gre­go­ri V, Saet­ta G, Gia­co­mi­no K, Hager AGM, Gig­li A, Fac­cio D, Tien­go C, Bas­set­to F, Capu­to B. 2020. Gaze, visu­al, myoelectric, and iner­ti­al data of grasps for intel­li­gent prost­he­tics. Sci­en­ti­fic Data, 2020; 7 (1):1–15
  23. Gre­go­ri V, Cogno­lato M, Saet­ta G, Atz­ori M, Capu­to B, Gijs­berts A. On the Visuo­mo­tor Beha­vi­or of Ampu­tees and Able-Bodi­ed Peop­le During Grasping. Fron­tiers in Bio­en­gi­nee­ring and Bio­tech­no­lo­gy, 2019; 7: 316
  24. Cogno­lato M, Atz­ori M, the Mega­ne­Pro Con­sor­ti­um, Gas­sert R, Mül­ler H. Moda­li­ty Inte­gra­ti­on based on Eye-hand Coor­di­na­ti­on to Impro­ve Hand Prost­he­sis Con­trol. Fron­tiers, 2021 [under review]
  25. Saet­ta G, Cogno­lato M, Atz­ori M, Fac­cio D, Gia­co­mi­no K, Hager AGM, Brug­ger P, et al. Gaze, beha­vio­ral, and cli­ni­cal data for phan­tom lim­bs after hand ampu­ta­ti­on from 15 ampu­tees and 29 con­trols. Sci­en­ti­fic Data, 2020; 7 (1): 1–14
  26. Smail LC, Neal C, Wil­kins C, Pack­ham TL. Com­fort and func­tion remain key fac­tors in upper limb prost­he­tic aban­don­ment: fin­dings of a scoping review. Disa­bil Reha­bil Assist Tech­nol, 2020; 19: 1–10. doi: 10.1080/17483107.2020.1738567. PMID: 32189537 [Epub ahead of print]
  27. Cogno­lato M, Gijs­berts A, Gre­go­ri V, Saet­ta G, Gia­co­mi­no K, Hager AGM, Gig­li A, Fac­cio D, Tien­go C, Bas­set­to F, Capu­to B. 2020. Gaze, visu­al, myoelectric, and iner­ti­al data of grasps for intel­li­gent prost­he­tics. Sci­en­ti­fic Data, 2020; 7 (1):1–15
  28. Cogno­lato M, Gra­zia­ni M, Gior­da­ni­ello F, Saet­ta G, Bas­set­to F, Brug­ger P, Atz­ori M, et al. Semi-auto­ma­tic trai­ning of an object reco­gni­ti­on sys­tem in sce­ne came­ra data using gaze tracking and acce­le­ro­me­ters. In: Liu M, Chen H, Vin­c­ze M (eds). Com­pu­ter Visi­on Sys­tems (ICVS, Shen­zhen, 2017). Cham: Sprin­ger, 2017: 175–184
  29. Cogno­lato M, Gijs­berts A, Gre­go­ri V, Saet­ta G, Gia­co­mi­no K, Hager AGM, Gig­li A, Fac­cio D, Tien­go C, Bas­set­to F, Capu­to B. 2020. Gaze, visu­al, myoelectric, and iner­ti­al data of grasps for intel­li­gent prost­he­tics. Sci­en­ti­fic Data, 2020; 7 (1):1–15
Tei­len Sie die­sen Inhalt