Auto­ma­ti­sie­rung der Bewe­gungs­ana­ly­se mit güns­ti­ger Hardware

R. Dreesen
Im Bereich der Medizin und des Sports werden menschliche Bewegungsabläufe beobachtet und analysiert, um Pathologien zu erkennen oder um Bewegungen zu optimieren. Durch technische Messsysteme werden solche Bewegungen objektiv aufgezeichnet und dauerhaft dokumentiert. In diesem Artikel wird gezeigt, wie Videos von Bewegungen automatisch analysiert und ausgewertet werden können. Eine Schlüsselkomponente ist dabei ein neues Verfahren zur Erkennung von Markern. Im Folgenden wird zunächst ein Überblick über bestehende Systeme vermittelt. Im Anschluss wird das neue Verfahren zur automatischen Markererkennung skizziert. Darüber hinausgehend wird die Berechnung von Trajektorien und die automatische Auswertung der gewonnenen Messwerte demonstriert. Der Artikel schließt mit einem umfassenden Beispiel. Der Beitrag basiert auf einem Vortrag auf der OT-World, für den der Autor den Best-Paper-Preis des Kongresses erhalten hat.

Stand der Technik

Um das neue Ver­fah­ren ein­ord­nen zu kön­nen, wer­den zunächst die ver­schie­de­nen Klas­sen von Bewe­gungs­ana­ly­se­sys­te­men vor­ge­stellt. Abbilung 1 zeigt ihre Struk­tur zur bes­se­ren Ori­en­tie­rung auf:

Einordnung der Systeme zur Bewegungsanalyse.
Abb. 1 Ein­ord­nung der Sys­te­me zur Bewegungsanalyse.

Mark­erlo­se Systeme

Bei mark­erlo­sen Sys­te­men wird ein Pati­ent gleich­zei­tig aus vie­len ver­schie­de­nen Per­spek­ti­ven gefilmt. Dafür wer­den ca. 10 bis 20 Kame­ras und ein ein­far­bi­ger, gut aus­ge­leuch­te­ter Raum benö­tigt, in dem sich nur der Pati­ent befin­det. Aus den 16 simul­ta­nen Auf­nah­men wird das Volu­men des Pati­en­ten berech­net. Man kann sich das Volu­men als ein 3D-Foto eines Men­schen vor­stel­len. Statt eines Pixels (2D-Qua­drat) besteht die­se Auf­nah­me aus vie­len klei­nen Wür­feln („Voxel” = „Volu­me Pixel”). Die­se Auf­nah­me lässt sich aber noch nicht für eine Bewe­gungs­ana­ly­se nut­zen, die auf bio­me­tri­schen Para­me­tern beruht.

In einem wei­te­ren Schritt muss des­halb die Pose eines Mensch-Modells geschätzt wer­den, die sich mit dem Volu­men deckt. Die Prä­zi­si­on die­ses Schrit­tes ist mit­tel­mä­ßig. Eine wei­te­re Ein­schrän­kung bringt die Volu­men­be­rech­nung mit sich, für die in der Regel das soge­nann­te Space-Car­ving-Ver­fah­ren 1 („space car­ving” zu Deutsch wört­lich „Raum­schnit­zen”) ver­wen­det wird. Bild­lich gespro­chen kön­nen mit die­sem Ver­fah­ren nur Volu­men dar­ge­stellt wer­den, die sich mit einer Laub­sä­ge fer­ti­gen lie­ßen, Löcher und Ril­len ver­schwin­den also. Demons­tra­ti­ons­vi­de­os zei­gen des­halb häu­fig Kampf­sport­ler, die breit­bei­nig ste­hen und die Arme weit absprei­zen. Bei anlie­gen­den Extre­mi­tä­ten wür­den die­se näm­lich mit dem Kör­per ver­schmel­zen und könn­ten im zwei­ten Schritt des­halb schlecht iden­ti­fi­ziert werden.

Strei­fen­licht­pro­jek­ti­on

Ein wei­te­res mark­erlo­ses Sys­tem, das kurz erwähnt wer­den soll­te, ist die Strei­fen­licht­pro­jek­ti­on 2. Dabei wird eine Fol­ge von Strei­fen­mus­tern auf einen Gegen­stand pro­ji­ziert und von einer Kame­ra aus einer ande­ren Per­spek­ti­ve gefilmt. Aus der Ver­zer­rung der Strei­fen auf dem Gegen­stand wird die Ent­fer­nung berech­net. Es ergibt sich so ein 2,5‑D-Bild, das einer Höhen­kar­te ent­spricht. Man erhält also nur Infor­ma­tio­nen von einer Sei­te des Patienten.

Sys­te­me mit Markern

Bei mar­ker­ba­sier­ten Sys­te­men wer­den Mar­ker am Kör­per des Pati­en­ten ange­bracht. In der Regel wer­den sie auf ana­to­mi­sche Refe­renz­punk­te geklebt, die durch Pal­pa­ti­on ermit­telt wer­den. Durch die Pal­pa­ti­on wird ein Bezug zur Ana­to­mie her­ge­stellt, der mark­erlo­sen Sys­te­men ver­bor­gen bleibt. Mar­ker­ba­sier­te Sys­te­me las­sen sich grob in akti­ve und pas­si­ve Sys­te­me unterteilen.

Akti­ve Marker

Bei den akti­ven Sys­te­men wer­den LEDs oder Ultra­schall­sen­der am Kör­per ange­bracht, die aktiv ein Signal aus­sen­den. Die Sys­te­me bie­ten den Vor­teil einer ein­fa­chen Signal­ver­ar­bei­tung, aller­dings kön­nen die Sen­so­ren durch das Gewicht der Elek­tro­nik und der Bat­te­rien als stö­rend emp­fun­den werden.

Retro­re­fle­xi­ve Marker

Pas­si­ve Sys­te­me ver­wen­den nur opti­sche Mar­ker. In der Wis­sen­schaft haben sich bis­her retro­re­fle­xi­ve Mar­ker eta­bliert, die mit einer spe­zi­el­len Folie beschich­tet sind, die Licht in die Rich­tung der Quel­le zurück­wirft. Die­sen Effekt kennt man zum Bei­spiel von Ver­kehrs­schil­dern. Um ihn zu nut­zen, ver­wen­den typi­sche Sys­te­me Infra­rot­ka­me­ras mit ring­för­mig dar­um ange­brach­ten Infra­rot­schein­wer­fern (Infra­rot-LEDs). Die Mar­ker erschei­nen dadurch als sehr hel­le Punk­te in einem ansons­ten recht dunk­len Bild. Die­se Punk­te las­sen sich durch Soft­ware ein­fach loka­li­sie­ren 3. Damit kei­ne Feh­ler­ken­nun­gen ent­ste­hen, muss das Bild aber ansons­ten dun­kel sein. Auf­nah­men im Frei­en oder glän­zen­de Ober­flä­chen (Fuß­bo­den) sind problematisch.

Mus­ter­ba­sier­te Marker

Bei mus­ter­ba­sier­ten Sys­te­men wer­den han­dels­üb­li­che Kame­ras und bestimm­te Mus­ter wie ein Kreuz oder Kreis­ring als Mar­ker ver­wen­det. Um sol­che Mus­ter zu ver­ar­bei­ten, gibt es zwei Klas­sen von Ver­fah­ren: Track­ing (dt. „Ver­fol­gung”) und Erkennung.

Mar­ker­ver­fol­gung

Bei der Mar­ker­ver­fol­gung (Track­ing 4) klickt der Anwen­der zu Beginn der Auf­nah­me auf jeden Mar­ker. Die­se wer­den dann von Video­bild zu Video­bild ver­folgt, bis sie nicht mehr sicht­bar sind oder sich ihre Dar­stel­lung ver­än­dert hat. Dazu genügt auch ein kurz­fris­ti­ges Ver­de­cken durch einen Arm, einen Schat­ten oder eine Refle­xi­on. In die­sem Fall muss der Benut­zer die Mar­ker erneut ankli­cken. Track­ing­ver­fah­ren sind gene­risch und kön­nen mit ver­schie­de­nen Mus­tern als Mar­ker ver­wen­det wer­den. Aller­dings ist stets eine Inter­ak­ti­on des Benut­zers not­wen­dig, die erheb­li­che Arbeits­zeit ver­schlin­gen kann.

Mar­ker­er­ken­nung

Ein Erken­nungs­ver­fah­ren hin­ge­gen loka­li­siert Mar­ker auto­ma­tisch, also ohne Inter­ak­ti­on des Benut­zers. Hier­für wur­den bis­her Algo­rith­men ver­wen­det, die eine Vor­la­ge des Mar­kers Pixel für Pixel mit jeder Stel­le des Bil­des ver­gli­chen. Auch die­ses Ver­fah­ren („Pat­tern-Matching”) ist recht gene­risch. Durch den pixel­wei­sen Ver­gleich ist es aller­dings nicht beson­ders tole­rant gegen­über Grö­ßen­un­ter­schie­den, Ver­zer­run­gen und Stö­run­gen (Schat­ten, Refle­xio­nen). Die Erken­nungs­ra­te hängt daher stark von der Qua­li­tät der Auf­nah­me ab.

Im Fol­gen­den wird ein neu­es Erken­nungs­ver­fah­ren vor­ge­stellt, das auch bei wid­ri­gen Auf­nah­me­be­din­gun­gen gute Ergeb­nis­se lie­fert. Als Mar­ker wer­den dabei Kreis­rin­ge ver­wen­det. Bevor das Ver­fah­ren beschrie­ben wird, soll kurz auf die prin­zi­pi­el­len Schwie­rig­kei­ten der Bild­ver­ar­bei­tung ein­ge­gan­gen werden.

Ver­fah­ren zur Markererkennung

Die Schwie­rig­kei­ten der Bildverarbeitung

Beim Anle­gen eines E‑Mail-Kon­tos muss man häu­fig ein paar ver­zerr­te Zah­len abtip­pen, wie in Abbil­dung 2 zu sehen. Grund dafür ist die Kom­ple­xi­tät der Bild­ver­ar­bei­tung. Men­schen kön­nen die Zah­len recht gut erken­nen, Com­pu­ter hin­ge­gen nicht. Mit der Ein­ga­be bewei­sen sie, dass sie ein Mensch sind. Der Betrei­ber schützt sich durch die­se soge­nann­ten Captchas vor bös­ar­ti­gen Com­pu­ter-Pro­gram­men, die sonst mas­sen­haft Kon­ten anle­gen, um Wer­bung (Spam) zu verschicken.

Die Erken­nung eines Mar­kers ist ein ähn­li­ches Pro­blem. Auf den ers­ten Blick scheint sie nicht beson­ders schwie­rig zu sein. Selbst ein klei­nes Kind kann die­se Auf­ga­be lösen. Das liegt aller­dings dar­an, dass wir als Men­schen sehr gut Bil­der ana­ly­sie­ren kön­nen. So erken­nen die meis­ten in Abbil­dung 3 nicht vier unab­hän­gi­ge schwar­ze Flä­chen, son­dern ein schwar­zes Kreuz, das mit­tig von einem hel­len Kreis ver­deckt wird. Feh­len­des wird also auto­ma­tisch ergänzt. Eben­so wer­den Refle­xio­nen, Schat­ten und Ver­zer­run­gen unbe­wusst kom­pen­siert. Opti­sche Täu­schun­gen nut­zen dies aus, um eine fal­sche Wahr­neh­mung zu provozieren.

Im Gegen­satz zu einem Men­schen „sieht” ein Com­pu­ter hin­ge­gen nur eine Fol­ge von Zah­len. Abbil­dung 4 zeigt die vor­he­ri­ge Abbil­dung als „8-×-8-Pixel-Bild”, wobei der Wert 255 der Far­be Weiß und der Wert 0 der Far­be Schwarz ent­spricht. Einem Men­schen fällt es nun eben­falls schwer aus­zu­rech­nen, was hier abge­bil­det wird.

Bei bis­he­ri­gen Sys­te­men hat man des­halb ver­sucht, die Pro­ble­me der Bild­ver­ar­bei­tung durch zwei Maß­nah­men zu umge­hen: ers­tens durch Ver­wen­dung von Spe­zi­al­ka­me­ras und beson­de­ren Mar­kern, die als sehr hel­le Punk­te dar­ge­stellt wer­den und des­halb algo­rith­misch ein­fach zu loka­li­sie­ren sind, zwei­tens durch Benut­zer­inter­ak­ti­on, wodurch die schwie­ri­gen Tei­le der Bild­ver­ar­bei­tung vom Com­pu­ter auf den Benut­zer über­tra­gen wer­den. Als Benut­zer muss man also zwi­schen hohen Anschaf­fungs­kos­ten für Spe­zi­al­hard­ware und hohem Arbeits­auf­wand für die Ana­ly­se abwä­gen. Der fol­gen­de Algo­rith­mus ver­folgt des­halb das Ziel einer auto­ma­ti­schen Mar­ker­er­ken­nung (ohne Inter­ak­ti­on) bei Ver­wen­dung han­dels­üb­li­cher Kame­ras und simp­len Markern.

Mar­ker

Als Mar­ker wer­den Kreis­rin­ge ver­wen­det. Sie sind ein ein­fa­ches Mus­ter, das auch bei gerin­ger Auf­lö­sung einer Kame­ra noch gut erkannt wer­den kann. Auf der ande­ren Sei­te trägt es genü­gend Infor­ma­ti­on, um nicht zufäl­lig in einem Bild ent­hal­ten zu sein. Ein Punkt erfüllt die­ses Kri­te­ri­um nicht.

Nor­ma­li­sie­rung des Bildes

Das Ver­fah­ren sucht unab­hän­gig in jedem ein­zel­nen Bild des Vide­os nach Mar­kern. Abbil­dung 5 zeigt oben ein Ori­gi­nal­bild eines Vide­os. Durch ein extre­mes Weit­win­kel­ob­jek­tiv der Kame­ra (GoPro HD Hero2) ist es stark ton­nen­för­mig ver­zeich­net. Im ers­ten Schritt des Ver­fah­rens erzeugt eine Ver­zeich­nungs­kor­rek­tur 5 dar­aus ein ver­zer­rungs­frei­es Bild. Der Effekt lässt sich gut an den Leis­ten im Hin­ter­grund nach­voll­zie­hen. Wie man an den Rän­dern des Bil­des erkennt, ist die Auf­nah­me aber noch sehr ungleich­mä­ßig aus­ge­leuch­tet. Eine adap­ti­ve Hel­lig­keits­an­pas­sung kor­ri­giert dies und erzeugt ein nor­ma­li­sier­tes Bild, das sich durch einen guten Kon­trast und homo­ge­ne Hel­lig­keit auszeichnet.

Erken­nung der Marker

Auf die­ser Grund­la­ge kann nun durch eine Kan­ten­de­tek­ti­on 6 ein Kan­ten­bild berech­net wer­den. Eine Kan­te (wei­ße Linie) ist dabei das Resul­tat einer star­ken Farb­än­de­rung im Aus­gangs­bild. Wie die Ver­grö­ße­rung des Knies zeigt, erge­ben sich für einen Mar­ker also zwei Kan­ten – ein Kreis auf der Innen­sei­te und ein Kreis auf der Außen­sei­te des ursprüng­li­chen Kreisrings.

Die­se Krei­se (im All­ge­mei­nen Ellip­sen) wer­den durch eine Ellip­sen­de­tek­ti­on erkannt. Jede Ellip­se ist dabei durch den Mit­tel­punkt, die Radi­en und die Rota­ti­on ein­deu­tig bestimmt. Von nun an wird also nicht mehr mit vie­len Pixeln, son­dern mit weni­gen geo­me­tri­schen Para­me­tern gerechnet.

Im letz­ten Schritt, der Mar­ker­su­che, wer­den nun Paa­re von Ellip­sen gesucht, die zusam­men einen Mar­ker erge­ben. Die Ellip­sen müs­sen also bezüg­lich Mit­tel­punkt, Aus­rich­tung und Ver­hält­nis der Radi­en zuein­an­der pas­sen. Jedes Paar reprä­sen­tiert nun einen Mar­ker. Ellip­sen, die kein Paar bil­den, wer­den hin­ge­gen ver­wor­fen. Im Bei­spiel sind das jene, die sich aus den wei­ßen Punk­ten auf dem Lauf­band ergeben.

Mar­ker­da­ten­satz

Der resul­tie­ren­de Mar­ker­da­ten­satz ent­hält neben den geo­me­tri­schen Daten auch die Wahr­schein­lich­keit für die Erken­nung eines tat­säch­li­chen Mar­kers. Bei der Auf­nah­me eines Mar­kers unter Ide­al­be­din­gun­gen liegt die­se bei 100 %. Mit stei­gen­den Stö­run­gen wie Refle­xi­on, Ver­de­ckung und Ver­zer­rung nimmt die Wahr­schein­lich­keit ab. Bei einer gerin­gen Wahr­schein­lich­keit kann es sich schließ­lich auch um ande­re Gegen­stän­de im Hin­ter­grund han­deln, die zufäl­lig eine gewis­se Ähn­lich­keit mit einem Mar­ker haben. Über einen Schwell­wert kann der Anwen­der so ech­te Mar­ker von stö­ren­den Mus­tern indi­vi­du­ell abgrenzen.

Robust­heit der Markererkennung

Um die Robust­heit des Algo­rith­mus zu über­prü­fen, wur­de die Test­sze­ne in Abbil­dung 6 ver­wen­det. Die Mar­ker in der Sze­ne sind für das mensch­li­che Auge ein­fach zu erken­nen, für einen Algo­rith­mus ent­hält sie jedoch vie­le Hür­den. So ist zum Bei­spiel die Bild­qua­li­tät der 20-Euro-Web­cam und die Beleuch­tung pro­ble­ma­tisch. Zudem pro­vo­zie­ren stö­ren­de Mus­ter im Hin­ter­grund Fehlerkennungen.

Wie man sieht, wer­den sowohl klei­ne als auch sehr gro­ße Mar­ker bei unter­schied­li­cher per­spek­ti­vi­scher Ver­zer­rung zuver­läs­sig erkannt. Das gilt auch bei einer teil­wei­sen Ver­de­ckung eines Mar­kers. Ein gewis­ses Maß an (Bewegungs-)Unschärfe und Bild­rau­schen ist eben­so zuläs­sig wie auch ande­re Ver­fäl­schun­gen. Bei dem Mar­ker im Vor­der­grund zeigt sich zum Bei­spiel ein star­kes Über­schwin­gen in der Hel­lig­keit am lin­ken und rech­ten Rand des Kreis­rin­ges. Bei genau­er Betrach­tung sind auch Arte­fak­te durch die Bild­kom­pres­si­on der Web­cam zu erken­nen. Wei­te­re Pro­ble­me kön­nen durch die Beleuch­tung her­vor­ge­ru­fen wer­den. Der Algo­rith­mus ist des­halb gegen­über Refle­xio­nen auf dem Mar­ker tole­rant. Auch kon­trast­schwa­che Mar­ker in schlecht aus­ge­leuch­te­ten Bil­dern wer­den erkannt.

Ande­rer­seits ist die Rate an Feh­ler­ken­nun­gen sehr gering. Der Algo­rith­mus ist recht robust gegen­über unru­hi­gen Hin­ter­grün­den und Mus­tern, wie sie in der Abbil­dung zahl­reich zu sehen sind. So pro­vo­zie­ren die wei­ßen Augen des Fisches und das schwarz­wei­ße Blu­men­mus­ter im Hin­ter­grund Feh­ler­ken­nun­gen. Der Buch­sta­be „o” soll­te jedoch im Hin­ter­grund ver­mie­den wer­den, weil er der Defi­ni­ti­on eines Kreis­rin­ges entspricht.

Tra­jek­to­ri­en­be­rech­nung

Nach der Mar­ker­er­ken­nung sind für jedes ein­zel­ne Stand­bild die Posi­tio­nen der Mar­ker bekannt. Für eine Bewe­gungs­ana­ly­se wer­den aber für jeden Mar­ker Infor­ma­tio­nen über sei­ne Bewe­gung benö­tigt, also sei­ne Posi­ti­on in Abhän­gig­keit von der Zeit. Die­se Orts­kur­ve wird auch als „Tra­jek­to­rie” bezeich­net. Um sie zu ermit­teln, muss die Bewe­gung des Mar­kers von Video­bild zu Video­bild ver­folgt wer­den. Für einen Mar­ker lässt sich die­ses Pro­blem ein­fach lösen. Bei meh­re­ren optisch glei­chen Mar­kern kön­nen jedoch schnell Ver­wech­se­lun­gen auf­tre­ten. Pro­ble­ma­tisch ist hier eine gerin­ge Kame­ra­fre­quenz bei schnel­len Bewe­gun­gen und gerin­gen Markerabständen.

In Abbil­dung 7 ist ein Bei­spiel mit zwei Mar­kern zu sehen. Vom ers­ten Bild (grün) zum zwei­ten Bild (schwarz) bewe­gen sich die Mar­ker A und B so weit, dass sich A’ nahe der Posi­ti­on von B befin­det. Eine ein­fa­che Ver­fol­gung wür­de des­halb zu dem Fehl­schluss kom­men, dass sich B nach links unten bewegt hat. Abbil­dung 8 zeigt ein extre­mes Anwen­dungs­bei­spiel mit 15 dicht bei­ein­an­der­lie­gen­den Mar­kern auf einer Plat­te. Die Plat­te wur­de durch den Auf­nah­me­be­reich der Kame­ra gewor­fen, wel­che die Bewe­gung mit einer Fre­quenz von 50 Hz auf­ge­zeich­net hat. Für die Dau­er der betrach­te­ten Flug­pha­se von 0,48 Sekun­den erge­ben sich so 24 Video­bil­der. Wie man in Abbil­dung 9 erkennt, über­schrei­tet der Ver­satz der Mar­ker zwi­schen zwei Video­bil­dern (das Fol­ge­bild ist blass ein­ge­blen­det) deut­lich die Abstän­de zwi­schen den Mar­kern. Durch ein mehr­stu­fi­ges Ver­fah­ren gelingt es, auch der­art schwie­ri­ge Bei­spie­le zu lösen. Wie man an den para­bel­för­mi­gen Tra­jek­to­ri­en erkennt, wer­den alle Mar­ker kor­rekt verfolgt.

Daten­ana­ly­se

Die berech­ne­ten Tra­jek­to­ri­en sind bereits eine gute Grund­la­ge für die Bewer­tung von Bewe­gun­gen. Häu­fig benö­tigt der Benut­zer aber noch wei­te­re Infor­ma­tio­nen, die aus den Posi­ti­ons­ver­läu­fen meh­re­rer Mar­ker berech­net wer­den kön­nen. Ein typi­sches Bei­spiel ist der zeit­li­che Ver­lauf eines Win­kels oder die Beschleu­ni­gung eines Mar­kers. Sol­che Daten­ver­ar­bei­tungs­pro­zes­se kön­nen durch den Benut­zer selbst ange­legt wer­den. Ein Pro­zess kann dann ohne wei­te­re Inter­ak­ti­on für belie­big vie­le Ana­ly­sen aus­ge­führt wer­den. Dabei wer­den Mar­ker auto­ma­tisch benannt, die defi­nier­ten Berech­nun­gen aus­ge­führt und ein PDF-Doku­ment mit den Ergeb­nis­sen erzeugt.

Zur Berech­nung ste­hen unter ande­rem fol­gen­de Ope­ra­tio­nen zur Verfügung:

  • Ver­lauf des Win­kels, der durch drei Mar­ker ein­ge­schlos­sen wird (z. B. Kniewinkel)
  • Ver­lauf des abso­lu­ten Win­kels zwei­er Mar­ker (z. B. Win­kel zwi­schen ISG-Markern)
  • Ver­lauf des Abstan­des zwei­er Marker
  • Ver­lauf der x- und y‑Koordinate eines Markers
  • zeit­li­che Ablei­tung eines belie­bi­gen Ver­laufs (z. B. Geschwin­dig­keit, Beschleunigung)
  • Abschät­zung der Ent­fer­nung eines Markers
  • Iden­ti­fi­ka­ti­on von Pha­sen in einem Ver­lauf (z. B. Schrittphasen)
  • Fil­te­rung eines Ver­laufs (z. B. Glättung)

Die Ope­ra­tio­nen kön­nen in einem Pro­zess belie­big häu­fig ver­wen­det und kom­bi­niert werden.

Bei­spiel

In die­sem Bei­spiel wer­den zwei ISG-Mar­ker bei nor­ma­lem Gang betrach­tet. Zur Auf­zeich­nung durf­te freund­li­cher­wei­se das Lauf­band der Fir­ma Türk in Stutt­gart genutzt werden.

Im Fol­gen­den liegt der Fokus auf dem Ana­ly­se­sys­tem, also nicht auf medi­zi­ni­schen Aspek­ten. Abbil­dung 10 zeigt die auto­ma­ti­sche Durch­füh­rung der Mar­ker­er­ken­nung. Es wur­den 600 voll­stän­di­ge Video­bil­der in ca. zwei Minu­ten aus­ge­wer­tet. Abbil­dung 11 zeigt das gesam­te Video­bild mit dem unru­hi­gen Hin­ter­grund. Das Video wur­de mit einer Kame­ra GoPro HD Hero2 auf­ge­zeich­net, die auf eine Auf­nah­me­fre­quenz von 120 Hz ein­ge­stellt war. Zu sehen ist das Ergeb­nis der Ver­zeich­nungs­kor­rek­tur. Abbil­dung 12 zeigt eine Ver­grö­ße­rung der Tra­jek­to­rie für einen Schritt. Obwohl die Kur­ve nicht gefil­tert wur­de, hat sie trotz der schlech­ten Auf­lö­sung einen glat­ten Ver­lauf mit gerin­gem Rau­schen und ent­hält kei­nen Aus­rei­ßer. Durch den Ver­zicht auf eine Fil­te­rung blei­ben auch feins­te Ver­läu­fe der Tra­jek­to­rie sicht­bar, wie man in der Ver­grö­ße­rung eines ein­zel­nen Mar­kers in Abbil­dung 13 gut erkennt.

Die Abbil­dung demons­triert auch die prä­zi­se Berech­nung der Mar­ker­po­si­tio­nen trotz gerin­ger Auf­lö­sung und unschar­fem Bild. Die Mar­ker­er­ken­nung bestimmt nicht ein­fach ein Pixel als Mit­tel­punkt, son­dern auch eine Posi­ti­on dar­in. Die­se Eigen­schaft nennt man „Sub­pi­xel-Genau­ig­keit”. Die Auf­lö­sung der Tra­jek­to­rie ist also höher als die Auf­lö­sung des zugrun­de lie­gen­den Video­ma­te­ri­als. Was sich zunächst para­dox anhört, lässt sich algo­rith­misch durch die Berück­sich­ti­gung der Pixel­far­ben errei­chen. Wie wert­voll die so gewon­ne­nen Infor­ma­tio­nen sind, zeigt sich in der fol­gen­den Aus­wer­tung: Ohne Sub­pi­xel-Genau­ig­keit sprän­ge die Tra­jek­to­rie schlag­ar­tig von Pixel zu Pixel.

Für die wei­te­re Bear­bei­tung wur­de ein­ma­lig ein Ana­ly­se­pro­zess defi­niert, der die fol­gen­den Dia­gram­me erzeugt hat. Das damit erzeug­te Dia­gramm in Abbil­dung 14 zeigt die Bewe­gungs­rich­tung des lin­ken (L) und des rech­ten ® ISG-Mar­kers, wobei 0° einer Bewe­gung nach oben, –90° einer Bewe­gung nach links und +90° einer Bewe­gung nach rechts ent­spricht. Sowohl +180° als auch –180° beschrei­ben eine Bewe­gung nach unten. Die schein­bar unste­ti­gen Gra­phen sind durch die­se Äqui­va­lenz tat­säch­lich stetig.

Zusätz­lich sind in dem Dia­gramm durch ver­ti­ka­le Lini­en die Zeit­punk­te mar­kiert, zu denen der Mit­tel­punkt zwi­schen L und R ver­ti­kal sei­nen Tief­punkt erreicht. Das ent­spricht unge­fähr (nicht genau) dem Zeit­punkt des Fer­sen­auf­sat­zes. Für die gege­be­ne Auf­zeich­nung decken sich die­se Zeit­punk­te in etwa mit den Rich­tungs­än­de­run­gen von links nach rechts, also einem Durch­lauf eines Viel­fa­chen von 180°.

Das Dia­gramm in Abbil­dung 15 zeigt den zeit­li­chen Ver­lauf des Becken­winkels auf. Der Becken­winkel gibt die Rota­ti­on der ISG-Mar­ker zur Hori­zon­ta­len gegen den Uhr­zei­ger­sinn an. Ein posi­ti­ver Win­kel beschreibt also eine Kip­pung nach links und ein nega­ti­ver Win­kel eine Kip­pung nach rechts.

Obwohl der Ver­lauf nicht geglät­tet wur­de und die ISG-Mar­ker dicht bei­ein­an­der lie­gen (30 Pixel), bewegt sich das Rau­schen des Win­kels im Bereich von nur 0,2°. Ohne Sub­pi­xel-Genau­ig­keit wür­de der Win­kel hin­ge­gen in Schrit­ten von ca. 2° (= atan (1/30)) sprin­gen. Die Durch­schnitts­li­nie im Dia­gramm zeigt eine all­ge­mei­ne Linkskip­pung des Beckens um 4 °. In den Rand­be­rei­chen ist der Durch­schnitt wegen unzu­rei­chen­der Daten nicht definiert.

Neben die­sen Dia­gram­men wur­den noch wei­te­re erzeugt, unter ande­rem für die Höhe der Mar­ker ein­schließ­lich Ablei­tun­gen und für die Geschwin­dig­keit bzw. Beschleu­ni­gung der Mar­ker in der Ebe­ne. Der Pro­zess für die Dia­gram­me wur­de in ca. 15 Minu­ten ange­legt. Eine Aus­wer­tung damit dau­ert ca. eine Sekunde.

Zusam­men­fas­sung

Durch das vor­ge­stell­te Ver­fah­ren zur robus­ten Mar­ker­er­ken­nung kön­nen Bewe­gun­gen auch mit güns­ti­ger Hard­ware effi­zi­ent ana­ly­siert wer­den. So kos­tet die schnel­le 120-Hz-Kame­ra im letz­ten Bei­spiel nur etwa 240 Euro. Die star­ke Ver­zeich­nung, die man dafür in Kauf neh­men muss, wird durch die Soft­ware kor­ri­giert. Das Pro­blem der gerin­gen Auf­lö­sung wird durch die sub­pi­xel­ge­naue Mar­ker­er­ken­nung gelöst. Dank des Ver­zichts auf Inter­ak­ti­on kann die Mar­ker­er­ken­nung auch gro­ße Men­gen an Vide­os auto­ma­tisch (z. B. über Nacht) analysieren.

Zusam­men mit der auto­ma­ti­schen Tra­jek­to­ri­en­be­rech­nung und einem indi­vi­du­ell defi­nier­ba­ren Aus­wer­tungs­pro­zess ist der lan­ge Arbeits­ab­lauf einer Bewe­gungs­ana­ly­se weit­ge­hend auto­ma­ti­siert. Mit einem Klick gelangt der Benut­zer von einem auf­ge­zeich­ne­ten Video zu einem Doku­ment (PDF) mit den gewünsch­ten Dia­gram­men. Die Inter­pre­ta­ti­on die­ser Daten liegt wie­der in der Hand des Anwen­ders. Prin­zi­pi­ell lie­ße sich aber auch die­ser Schritt automatisieren.

Der Autor:
Dr. rer. nat. Dipl.-Inf. Ralf Dreesen
Spex­ar­der Bahn­hof 2
33334 Güters­loh
motion@dreesen.net

Begut­ach­te­ter Beitrag/reviewed paper

Zita­ti­on
Dree­sen R. Auto­ma­ti­sie­rung der Bewe­gungs­ana­ly­se mit güns­ti­ger Hard­ware. Ortho­pä­die Tech­nik, 2014; 65 (12): 36–43
  1. Kutu­la­kos KN, Seitz SM. A Theo­ry of Shape by Space Car­ving. Inter­na­tio­nal Jour­nal of Com­pu­ter Visi­on, 2000; 38 (3): 199–218
  2. Hall-Holt O, Rusin­kie­wicz S. Stri­pe boun­da­ry codes for real-time struc­tu­red-light ran­ge scan­ning of moving objects. Pro­cee­dings of Com­pu­ter Visi­on (ICCV), 2001: 13–19, http://www.cs.princeton.edu/~smr/papers/realtimerange/realtimerange.pdf
  3. Dorf­mül­ler K. Robust track­ing for aug­men­ted rea­li­ty using retro­re­flec­ti­ve mar­kers. Com­pu­ters & Gra­phics, 1999; 23 (6): 795–800
  4. Sze­li­ski R. Com­pu­ter Visi­on: Algo­rith­ms and Appli­ca­ti­ons. Lon­don: Sprin­ger, 2011
  5. Weng J, Cohen P, Her­niou M. Came­ra cali­bra­ti­on with dis­tor­ti­on models and accu­ra­cy eva­lua­ti­on. Pat­tern Ana­ly­sis and Machi­ne Intel­li­gence, 1992; 14 (10): 965–980
  6. Ziou D, Tab­bo­ne S. Edge detec­tion tech­ni­ques: An over­view. Inter­na­tio­nal Jour­nal of Pat­tern Reco­gni­ti­on and Image Ana­ly­sis, 1998; 8 (4): 537–559
Tei­len Sie die­sen Inhalt