ich arbeite als Neuropsychologin mit hirngeschädigten Patienten und habe aktuell einen jungen Mann auf meiner Station, der einen schweren Autounfall hatte. Er kann sich minimal bewegen, v.a. die rechte Hand hat Aktivität. Die Pupillenbeweglichkeit ist eingeschränkt. Er kann aber Fragen mit ja=Lidschluss passend beantworten.
Aus einer vagen Idee heraus habe ich mit ihm ein bisschen probiert, mit einem xBox Controller zu üben und da kann er vor allem mit dem Joystick etwas anfangen. Laut seinen Angehörigen ist er auch ein Zocker und hat eine Playstation, d.h. ein Controller dürfte ihm vom Gefühl her bekannt vorkommen
Im Moment üben wir das nur mit dem Controller, ohne dass dieser irgendwo angeschlossen ist. Das Ziel ist dabei erstmal, dass er Richtungen gezielt ansteuern kann. Es wäre dabei sehr cool, wenn er irgendein Feedback bekommen würden, dass er gerade aktiv etwas bewirkt.
Hier kommt jetzt meine Hoffnung auf die Schwarmintelligenz ins Spiel:
Was fällt euch ein? Idealerweise sollte es auf einem Tablet (Android) abspielbar sein.
Gut wär denke ich 2D, wo bis auf die Spielfigur nicht viel passiert. Am besten gäbe es bei jeder Bewegung ein Geräusch. Noch besser wäre es, wenn dieses unterschiedlich je nach Richtung des Sticks klingt
Vielleicht gibt es auch irgendwas Richtung Musikspiel, das sich da eignet?
Wahrscheinlich ließe sich etwas in der Art auch programmieren, nur habe ich leider keine Ahnung davon. Das könnte aber langfristig schon interessant sein, weil man dann ja auch je nach Richtung z.B. ein Soundfile einfügen könnte … so dass er sich evtl. mal besser mitteilen könnte.
Die visuelle Ausgabe ist per se erstmal nicht das wichtigste, weil ich nicht sicher bin ob er das überhaupt gut mit dem Blick mitverfolgen kann, wenn etwas passiert.
Bin sehr gespannt, was euch so einfällt. Gern auf diesen Thread verweisen
Kann er denn sehen? Zum kommunizieren wäre ein Ringmenü glaub ich sehr praktisch (wie z.b. in Secret of Mana / Secret of evermore). Mit Oben/Unten wechselt man zwischen Ringen (kategorien) und mit Links/Rechts dreht man den Ring für eine Auswahl. Ein Ring könnte dann sowas wir “Ja“, “Nein“ etc sein, ein anderer bestehend aus Zahlen um eine Gewichtung von irgendwas auszudrücken. Sowas sollte gut programmierbar sein.
Ich selbst hab bisher aber immer nur kleine konsolenbasierte und keine Grafischen Programme geschrieben. Hier im Forum wird es aber bestimmt den ein oder anderen Programmierer geben, der sowas fix runter programmieren kann.
Edit: dss ganze kann man natürlich auch rein akustisch machen, hmm…dann ginge es auch ohne Grafik und sollte noch schneller programmiert sein.
Ich denke, wir müssen uns erstmal auf 4 Richtungen beschränken.
Er ist jetzt nicht blind, aber ob er mit Menüs zurechtkommt bezweifle ich stark; er wird auch kognitiv eingeschränkt sein. Wenn er Menüs managen könnte, gäbe es sicher auch was aus dem Querschnittsbereich.
Menüs mit Sprachausgabe könnten irgendwann eine Option sein.
Mein Anliegen aktuell bezieht sich vor allem drauf, dass er ein klares, vor allem akustisches Feedback auf verschiedene Richtungen bekommt. Wenn er das mal sicher drauf haben sollte, könnte man in dieser Art weiterüberlegen
@Sentakage Danke für’s Verlinken, das klingt kluk!
Ok dann habe ich das falsch verstanden. Es geht also erstmal „nur“ darum überhaupt irgendeine art von akustischem Feedback zu bekommen, sobald er den Joystick bewegt? Gut das wäre natürlich simpel zu programmieren.
Ja, im Grunde schon. Denke auch das kann nicht allzu schwer sein, nur leider kann ich es nicht
Weiß nicht, ob es komplizierter ist weil ein Joystick ja quasi kontinuierlich funktioniert (also es gibt nicht nur links, sondern fortlaufende Signale von links über schräg hoch links bis hoch usw … mir fällt grad das richtige Wort nicht ein)
Also reines (Audio)Feedback für die jeweilige Bewegungsrichtung des Sticks sollte mit Unity ein Kinderspiel sein. Okay, man bräuchte noch die jeweiligen, gewünschten Audiodateien, aber ansonsten ist das ein super-kurzes Script
müsste vielleicht sogar per Web-Browser gehen; zumindest am PC klappts im Firefox und Chrome mit meinem per Bluetooth angebundenen WiiU-Pro-Controller (aber der will sich nicht mit meinem Android-Tablet verbinden, damit ich’s damit mal ausprobieren könnte )
@simmscmi Ich habs mal mit einem Xbox Controller probiert und dieser wird zumindest im mobilen Firefox nicht erkannt, der Controller selbst funktioniert aber unter Android.
Scheinbar kann man nur die älteren Wii Motes (ohne MotionPlus) mit Androids verbinden, meine neue verweigert auch die Verbindung. Allerdings wäre hier wohl der optionale Nunchuck Controller optimal für diese Art der Eingabe geeignet.
Nachdem nun mein Switch Pro-Controller auch wieder geladen ist, konnte ich den auch mal ausprobieren, und zumindest mit meinem Android-8.1.0-Tablet klappts (mit dem dortigen Standard-Chrome) grundsätzlich:
Wenn ich Zeit hätte, würde ich da mit dem GameMaker im Easy-Mode was individuelles für ihn zusammenschustern. Die alten Versionen waren noch einfacher aufgebaut, die laufen aber leider nicht mehr unter Windows 10, während die neuen Versionen auch auf Android (kostenpflichtig) laufen.
Ich verstehe leider noch nicht ganz genau, was er kann und was nicht. Vielleicht schaust du dir die kostenfreie Testversion einmal an und guckst, ob ihr da was mit anfangen könnt.
Vielleicht wäre für deinen Patienten sogar das Point & Click Development Kit noch besser geeignet - Du kennst doch bestimmt die Verben-Leiste (Scummbar) aus den Lucas Arts - Adventures!? - damit könntest du so eine Wörterliste erstellen und dann werden die mit einem Soundfile hinterlegt, als z.B. er drückt auf Ja, Nein, gut, schlecht, Hunger, Schmerzen blah… und es ertönt ein Soundfile - kann ein Ton aber natürlich auch das eingesprochene Wort sein. https://www.adventure-creator.com/pacdktool.html
Die aktuellste Version hat sogar eine Gamepadsteuerung, die es erlaubt mit dem GamePad den Mauscurser zu bewegen und eine Android APK lässt sich damit auch erstellen.
Der einfachste Ansatz wäre wohl was @simmscmi bereits gemacht hat und das ganze im Browser laufen zu lassen, dann ist man nicht unbedingt auf ein System beschränkt.
Wenn man aber mit einer Game Engine etwas machen möchte wäre vielleicht Godot interessant, diese ermöglicht ebenfalls einen direkten HTML5 Build soweit ich weiss.
Für Menschen, die nicht mehr sprechen können, fänd ich ein umgekehrtes Programm gut, wie ich es in einem Seminar zum Virtuell Reality-Training zum Erkennen von sexuellem Missbrauch bei Grundschulkindern gesehen habe - da erfasst eine KI, was der Mensch in VR sagt und das Programm gibt einige Antwortmöglichkeiten vor - weil am Computer jemand daneben sitzt und aus unterschiedlichen Vorschlägen immer die beste Antwort aussucht, wird die KI immer besser darin, passende Antwortmöglichkeiten/Reaktionen rauszusuchen - so wirkt das Verhalten der virtuellen Missbrauchsopfer langsam aber sicher immer menschlicher. Lange Rede kurzer Sinn, ich würde das System für Menschen, die plötzlich nicht mehr sprechen können umdrehen - also das Programm erfasst z.B. den Inhalt einer Frage und bietet den nicht Sprechfähigen, alle möglichen Antwortmöglichkeiten an - erst ganz viele, aber je länger es benutzt wird, desto wahrscheinlicher ist eine passende Antwort schon unter den ersten 3-5 Optionen.
Stimmt, ich muss bei den Worten Kommunikation und Ringmenü irgendwo falsch abgebogen sein. Aber wenn es doch eher um Spiele gehen soll, müsste ich vorher noch wissen, wie viel er kognitiv überhaupt stemmen kann.
Was mir eingefallen ist: Wäre nicht sowas wie Simon Says was?
Da muss man ja per se auch in eine Richtung drücken und dann erfolgt sowohl ein visuelles als auch auditives (?) Signal.
Gibt dafür laut Google auch genug kostenlose Alternativen
zwar bin ich ein Amateur was das angeht, dennoch habe ich mich mal ran gewagt und heute zwei kleine Trainings-„Spiele“-Prototypen erstellt. (Unity-Engine)
Hier mal ein Video der beiden Varianten: YouTube-Video
In der ersten Version geht es nur um die grobe Richtung. Man könnte diese Variante natürlich noch „sensibler“ machen, indem man die weißen Bereiche vergrößert. Außerdem könnte man akustisch ankündigen in welche Richtung verfahren werden soll.
In der zweiten Version muss man sein Ziel dann schon direkter ansteuern.
Beides steuert sich ausschließlich mit dem rechten Stick eines Controllers. Dank Unity-Engine kann ich es für Windows oder Android kompilieren.
)
