Carolin Hainke develops training applications in virtual reality. Her research interest is using eye-tracking technology to reveal user expertise and cognitive load to further use those insights within the applications to improve the training experience by autonomously adapting to the user’s mental states.

 

Publications

• C. Hainke and T. Pfeiffer, “Eye Movements in VR Training: Expertise Measurement and its Meaning for Adaptive Chess Training,” in Advances in Usability, User Experience, Wearable and Assistive Technology, 2021, p. 123–130.
  [BibTeX] [Abstract] [Download PDF]

  Observing behavior can provide insights into mental states and cognitive processes. In the context of expertise measurement, research is taking advantage of analyzing gaze-based data to understand those underlying processes. The movements of the eyes represent search strategies in problem-solving scenarios, which can be used to distinguish a novice from a person that is more experienced with the topic and the solving process. Applications such as learning environments can be improved by taking expertise into account, as expertise-related instructions and design-decisions could then be adjusted to the learner’s individual needs. In the following, we will discuss the meaning of expertise and instruction design for learning in more detail. Prior work has shown that different groups of expertise can be distinguished using eye movements. We verify this for virtual reality-based chess trainings by presenting a study on chess problem solving in VR. Based on these findings, we discuss suggestions for the implementation of adaptive learning applications on the example of chess.

  @InProceedings{hainkepfeifferahfe21,
  author={Hainke, Carolin and Pfeiffer, Thies},
  title={{E}ye {M}ovements in {VR} {T}raining: {E}xpertise {M}easurement and its {M}eaning for {A}daptive {C}hess {T}raining},
  booktitle={Advances in Usability, User Experience, Wearable and Assistive Technology},
  year={2021},
  month={07},
  pages={123--130},
  publisher={{S}pringer {I}nternational {P}ublishing},
  abstract={Observing behavior can provide insights into mental states and cognitive processes. In the context of expertise measurement, research is taking advantage of analyzing gaze-based data to understand those underlying processes. The movements of the eyes represent search strategies in problem-solving scenarios, which can be used to distinguish a novice from a person that is more experienced with the topic and the solving process. Applications such as learning environments can be improved by taking expertise into account, as expertise-related instructions and design-decisions could then be adjusted to the learner’s individual needs. In the following, we will discuss the meaning of expertise and instruction design for learning in more detail. Prior work has shown that different groups of expertise can be distinguished using eye movements. We verify this for virtual reality-based chess trainings by presenting a study on chess problem solving in VR. Based on these findings, we discuss suggestions for the implementation of adaptive learning applications on the example of chess.},
  url = {https://mixality.de/wp-content/uploads/2021/08/Hainke-Pfeiffer2021_Chapter_EyeMovementsInVRTrainingExpert.pdf}
  }

• C. Hainke and T. Pfeiffer, “Adapting virtual trainings of applied skills to cognitive processes in medical and health care education within the DiViFaG project,” in DELFI 2020 – Die 18. Fachtagung Bildungstechnologien der Gesellschaft für Informatik e.V., Bonn, 2020, pp. 355-356.
  [BibTeX] [Abstract] [Download PDF]

  The use of virtual reality technology in education rises in popularity, especially in professions that include the training of practical skills. By offering the possibility to repeatedly practice and apply skills in controllable environments, VR training can help to improve the education process. The training simulations that are going to be developed within this project will make use of the high controllability by evaluating behavioral data as well as gaze-based data during the training process. This analysis can reveal insights in the user’s mental states and offers the opportunity of autonomous training adaption.

  @inproceedings{hainke2020adapting,
  author = {Hainke, Carolin AND Pfeiffer, Thies},
  title = {Adapting virtual trainings of applied skills to cognitive processes in medical and health care education within the DiViFaG project},
  booktitle = {DELFI 2020 – Die 18. Fachtagung Bildungstechnologien der Gesellschaft für Informatik e.V.},
  year = {2020},
  editor = {Zender, Raphael AND Ifenthaler, Dirk AND Leonhardt, Thiemo AND Schumacher, Clara},
  pages = { 355-356 },
  publisher = {Gesellschaft für Informatik e.V.},
  address = {Bonn},
  url = {https://dl.gi.de/bitstream/handle/20.500.12116/34184/355%20DELFI2020_paper_85.pdf?sequence=1&isAllowed=y},
  abstract = {The use of virtual reality technology in education rises in popularity, especially in professions that include the training of practical skills. By offering the possibility to repeatedly practice and apply skills in controllable environments, VR training can help to improve the education process. The training simulations that are going to be developed within this project will make use of the high controllability by evaluating behavioral data as well as gaze-based data during the training process. This analysis can reveal insights in the user’s mental states and offers the opportunity of autonomous training adaption.}
  }

• T. Pfeiffer, C. Hainke, L. Meyer, M. Fruhner, and M. Niebling, “Virtual SkillsLab – Trainingsanwendung zur Infusionsvorbereitung (Wettbewerbssieger) ,” in DeLFI Workshops 2018. Proceedings der Pre-Conference-Workshops der 16. E-Learning Fachtagung Informatik co-located with 16th e-Learning Conference of the German Computer Society (DeLFI 2018), Frankfurt, Germany, September 10, 2018, 2018.
  [BibTeX] [Abstract] [Download PDF]

  In der Ausbildung in der Pflege gibt es großen Bedarf an praktischem Training. SkillsLabs, physikalische Nachbauten von realen Arbeitsräumen an den Lehrstätten, bieten die einzigartige Möglichkeit, praktisches Wissen in direkter Nähe und in direkter Einbindung mit den Lehrenden zu erarbeiten und mit der theoretischen Ausbildung zu verzahnen. Häufig stehen jedoch die notwendigen Ressourcen (Räume, Arbeitsmittel) nicht in ausreichendem Maße zur Verfügung. Virtuelle SkillsLabs können hier den Bedarf zum Teil abdecken und eine Brücke zwischen Theorie und Praxis bilden. Im Beitrag wird eine solche Umsetzung mit verschiedenen Ausbaustufen vorgestellt.

  @inproceedings{2932685,
  abstract = {In der Ausbildung in der Pflege gibt es großen Bedarf an praktischem Training. SkillsLabs, physikalische Nachbauten von realen Arbeitsräumen an den Lehrstätten, bieten die einzigartige Möglichkeit, praktisches Wissen in direkter Nähe und in direkter Einbindung mit den Lehrenden zu erarbeiten und mit der theoretischen Ausbildung zu verzahnen. Häufig stehen jedoch die notwendigen Ressourcen (Räume, Arbeitsmittel) nicht in ausreichendem Maße zur Verfügung.
  Virtuelle SkillsLabs können hier den Bedarf zum Teil abdecken und eine Brücke zwischen Theorie und Praxis bilden. Im Beitrag wird eine solche Umsetzung mit verschiedenen Ausbaustufen vorgestellt.},
  author = {Pfeiffer, Thies and Hainke, Carolin and Meyer, Leonard and Fruhner, Maik and Niebling, Moritz},
  booktitle = {DeLFI Workshops 2018. Proceedings der Pre-Conference-Workshops der 16. E-Learning Fachtagung Informatik co-located with 16th e-Learning Conference of the German Computer Society (DeLFI 2018), Frankfurt, Germany, September 10, 2018},
  editor = {Schiffner, Daniel},
  issn = {1613-0073},
  keywords = {Virtual Skills Lab, Virtuelle Realität},
  title = {{Virtual SkillsLab - Trainingsanwendung zur Infusionsvorbereitung (Wettbewerbssieger) }},
  url = {https://pub.uni-bielefeld.de/record/2932685},
  volume = {2250},
  year = {2018},
  }

• C. Hainke and T. Pfeiffer, “Messen mentaler Auslastung in einer VR-Umgebung basierend auf Eyetrackingdaten,” in Virtuelle und Erweiterte Realität – 14. Workshop der GI-Fachgruppe VR/AR, 2017, p. 43–54.
  [BibTeX] [Abstract] [Download PDF]

  Ein aufmerksamer Assistent liefert proaktiv relevante Informationen immer genau zum richtigen Zeitpunkt. Er muss dafür über den aktuellen Handlungskontext und das erforderliche Domänenwissen verfügen und in der Lage sein, die aktuelle kognitive Situation des Nutzers gut einschätzen zu können. Die vorliegende Arbeit untersucht unter Einsatz eines Head-Mounted-Displays (HMDs) mit integriertem Eyetracker, ob die kognitive Belastung über die Echtzeitanalyse der Pupillengröße verlässlich geschätzt werden kann. Es wird gezeigt, dass es in einer VR-Umgebung möglich ist, mit diesen Mitteln die Pupillengröße mit der kognitiven Belastung in Zusammenhang zu setzen, da sie sich bei erhöhter Belastung vergrößert. Ausgenutzt wird dabei, dass die Helligkeit der Umgebung primär durch den Inhalt auf dem HMD-Display bestimmt wird und sich diese damit zur Laufzeit leicht bestimmen lässt.

  @inproceedings{2915064,
  abstract = {Ein aufmerksamer Assistent liefert proaktiv relevante Informationen immer genau zum richtigen Zeitpunkt. Er muss dafür über den aktuellen Handlungskontext und das erforderliche Domänenwissen verfügen und in der Lage sein, die aktuelle kognitive Situation des Nutzers gut einschätzen zu können. Die vorliegende Arbeit untersucht unter Einsatz eines Head-Mounted-Displays (HMDs) mit integriertem Eyetracker, ob die kognitive Belastung über die Echtzeitanalyse der Pupillengröße verlässlich geschätzt werden kann.
  Es wird gezeigt, dass es in einer VR-Umgebung möglich ist, mit diesen Mitteln die Pupillengröße mit der kognitiven Belastung in Zusammenhang zu setzen, da sie sich bei erhöhter Belastung vergrößert. Ausgenutzt wird dabei, dass die Helligkeit der Umgebung primär durch den Inhalt auf dem HMD-Display bestimmt wird und sich diese damit zur Laufzeit leicht bestimmen lässt.},
  author = {Hainke, Carolin and Pfeiffer, Thies},
  booktitle = {Virtuelle und Erweiterte Realität - 14. Workshop der GI-Fachgruppe VR/AR},
  editor = {Dörner, Ralf and Kruse, Rolf and Mohler, Betty and Weller, René},
  isbn = {978-3-8440-5606-8},
  keywords = {Virtuelle Realität, Mentale Auslastung, Eyetracking, Blickbewegungsmessung, Training},
  location = {Tübingen},
  pages = {43--54},
  publisher = {Shaker Verlag},
  title = {{Messen mentaler Auslastung in einer VR-Umgebung basierend auf Eyetrackingdaten}},
  url = {https://nbn-resolving.org/urn:nbn:de:0070-pub-29150647, https://pub.uni-bielefeld.de/record/2915064},
  year = {2017},
  }