Carolin Hainke develops training applications in virtual reality. Her research interest is using eye-tracking technology to reveal user expertise and cognitive load to further use those insights within the applications to improve the training experience by autonomously adapting to the user’s mental states.

Publications

• E. Gimmel, C. Hainke, S. Janß{}en, and T. Pfeiffer, “Transfer of Gaze Classifiers: Towards a Distance Metric for Eye Tracking Data,” in Proceedings of the 2025 Symposium on Eye Tracking Research and Applications, New York, NY, USA, 2025. doi:10.1145/3715669.3725896
  [BibTeX] [Abstract] [Download PDF]

  Eye tracking is applied in very heterogeneous settings, from reading to immersive virtual reality (VR), using devices ranging from stationary high-precision to mobile low-power devices. Classification algorithms, on the other hand, are developed and tested on specific devices in specific settings. A central question is how algorithms that have been optimized for a particular scenario (device + setting) would perform when being applied to a different scenario. In this paper, we approach the idea of a distance metric, describing the similarity between two scenarios. If the distance between two scenarios is low, the algorithms can be safely adopted between them. The higher the distance, the weaker the expected performance of the transferred algorithm. We reflect our ideas on a transfer from a 2D screen-based eye-tracking scenario to an immersive VR scenario.

  @inproceedings{Gimmel2025,
  author = {Gimmel, Elena and Hainke, Carolin and Jan\ss{}en, Sven and Pfeiffer, Thies},
  title = {Transfer of Gaze Classifiers: Towards a Distance Metric for Eye Tracking Data},
  year = {2025},
  isbn = {9798400714870},
  publisher = {Association for Computing Machinery},
  address = {New York, NY, USA},
  url = {https://doi.org/10.1145/3715669.3725896},
  doi = {10.1145/3715669.3725896},
  abstract = {Eye tracking is applied in very heterogeneous settings, from reading to immersive virtual reality (VR), using devices ranging from stationary high-precision to mobile low-power devices. Classification algorithms, on the other hand, are developed and tested on specific devices in specific settings. A central question is how algorithms that have been optimized for a particular scenario (device + setting) would perform when being applied to a different scenario. In this paper, we approach the idea of a distance metric, describing the similarity between two scenarios. If the distance between two scenarios is low, the algorithms can be safely adopted between them. The higher the distance, the weaker the expected performance of the transferred algorithm. We reflect our ideas on a transfer from a 2D screen-based eye-tracking scenario to an immersive VR scenario.},
  booktitle = {Proceedings of the 2025 Symposium on Eye Tracking Research and Applications},
  articleno = {75},
  numpages = {7},
  keywords = {eye tracking, event classification},
  location = {
  },
  series = {ETRA '25}
  }

• U. Hejna, C. Hainke, T. Pfeiffer, and S. Seeling, “Mehrbenutzer-VR-Anwendungen für ein rollenbasiertes Falltraining: Ein explorativer Einsatz im Kontext der Pflegeausbildung,” MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, vol. 51, p. 314–344, 2023.
  [BibTeX] [Abstract] [Download PDF]

  Da Gruppenarbeit die Kompetenz- und Qualifikationsentwicklung bei Lernenden fördern kann, wird sie zur Stärkung beruflicher Handlungs-, Personal- und Methodenkompetenz eingesetzt. Die zunehmende Digitalisierung bringt jedoch Herausforderungen für Gruppenarbeit im Online-Format mit sich. Zurzeit werden für deren Umsetzung häufig Videokonferenztools verwendet. Dabei steigt mit der Entwicklung von Consumer-freundlicher VR-Hardware das Interesse an Virtual Reality (VR) in der Bildung, da Motivation und Engagement der Lernenden gesteigert werden können, ressourcenschonende Lehre möglich ist und seltene oder gefährliche Situationen beliebig oft wiederholt und eingeübt werden können. Trotz der Vorteile, die das Lernen mit VR mit sich bringt, wird das Medium in der Lehre selten verwendet. Gründe dafür könnten die aufwendige Einarbeitung in die noch neue Technologie sein sowie die Einbindung ins Curriculum ohne eine etablierte didaktische Grundlage mitzudenken. Um die Einbindung zu erleichtern, soll in diesem Beitrag ein Implementierungsbeispiel für eine Mehrpersonen-VR-Anwendung vorgestellt und Ergebnisse einer ersten Erprobung im hochschulischen Lehrkontext aufgeführt werden. Die Anwendung wurde verwendet, um Pflege-Studierenden eine Möglichkeit zur multiperspektivischen Besprechung eines Fallbeispiels zu geben. Während das Feedback der Studierenden zur Nutzung der Anwendung überwiegend positiv ausfiel, zeigt der erhöhte Implementierungsaufwand die Notwendigkeit eines Implementierungs- und (Fach)-Didaktik-Konzeptes, um den Aufwand für den Einsatz von VR in der Lehre zu minimieren.

  @article{hejna2023mehrbenutzer,
  title={Mehrbenutzer-VR-Anwendungen f{\"u}r ein rollenbasiertes Falltraining: Ein explorativer Einsatz im Kontext der Pflegeausbildung},
  author={Hejna, Urszula and Hainke, Carolin and Pfeiffer, Thies and Seeling, Stefanie},
  journal={MedienP{\"a}dagogik: Zeitschrift f{\"u}r Theorie und Praxis der Medienbildung},
  volume={51},
  pages={314--344},
  year={2023},
  abstract={Da Gruppenarbeit die Kompetenz- und Qualifikationsentwicklung bei Lernenden fördern kann, wird sie zur Stärkung beruflicher Handlungs-, Personal- und Methodenkompetenz eingesetzt. Die zunehmende Digitalisierung bringt jedoch Herausforderungen für Gruppenarbeit im Online-Format mit sich. Zurzeit werden für deren Umsetzung häufig Videokonferenztools verwendet. Dabei steigt mit der Entwicklung von Consumer-freundlicher VR-Hardware das Interesse an Virtual Reality (VR) in der Bildung, da Motivation und Engagement der Lernenden gesteigert werden können, ressourcenschonende Lehre möglich ist und seltene oder gefährliche Situationen beliebig oft wiederholt und eingeübt werden können. Trotz der Vorteile, die das Lernen mit VR mit sich bringt, wird das Medium in der Lehre selten verwendet. Gründe dafür könnten die aufwendige Einarbeitung in die noch neue Technologie sein sowie die Einbindung ins Curriculum ohne eine etablierte didaktische Grundlage mitzudenken. Um die Einbindung zu erleichtern, soll in diesem Beitrag ein Implementierungsbeispiel für eine Mehrpersonen-VR-Anwendung vorgestellt und Ergebnisse einer ersten Erprobung im hochschulischen Lehrkontext aufgeführt werden. Die Anwendung wurde verwendet, um Pflege-Studierenden eine Möglichkeit zur multiperspektivischen Besprechung eines Fallbeispiels zu geben. Während das Feedback der Studierenden zur Nutzung der Anwendung überwiegend positiv ausfiel, zeigt der erhöhte Implementierungsaufwand die Notwendigkeit eines Implementierungs- und (Fach)-Didaktik-Konzeptes, um den Aufwand für den Einsatz von VR in der Lehre zu minimieren.},
  url={https://www.medienpaed.com/article/view/1594/1239}
  }

• A. Oldak, R. Lätzsch, I. Wattenberg, C. Hainke, A. Eickelmann, and A. Kamin, “Digitale und virtuell unterstützte fallbasierte Lehr-/Lernszenarien in den Gesundheitsberufen–theoretische und konzeptuelle Grundlagen zur Entwicklung fallbasierter VR-Szenarien am Beispiel Reanimation,” , 2022. doi:https://doi.org/10.4119/unibi/2961793
  [BibTeX] [Download PDF]

  @article{oldak2022digitale,
  title={Digitale und virtuell unterst{\"u}tzte fallbasierte Lehr-/Lernszenarien in den Gesundheitsberufen--theoretische und konzeptuelle Grundlagen zur Entwicklung fallbasierter VR-Szenarien am Beispiel Reanimation},
  author={Oldak, Anna and L{\"a}tzsch, Rebecca and Wattenberg, Ivonne and Hainke, Carolin and Eickelmann, Anne-Kathrin and Kamin, Anna-Maria},
  year={2022},
  url="https://pub.uni-bielefeld.de/record/2961793",
  doi="https://doi.org/10.4119/unibi/2961793"
  }

• U. Hejna, C. Hainke, S. Seeling, and T. Pfeiffer, “Welche Merkmale zeigt eine vollimmersive Mehrpersonen-VR-Simulation im Vergleich zum Einsatz von Videokonferenzsoftware in Gruppenarbeitsprozessen?,” MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, vol. 47, iss. AR/VR – Part 1, p. 220–245, 2022. doi:10.21240/mpaed/47/2022.04.11.X
  [BibTeX] [Abstract] [Download PDF]

  Der Einsatz von vollimmersiven VR-Lernumgebungen fördert bei Lernenden die individuellen Fähigkeiten und ihr Vorwissen. Konkrete Lerneffekte und Integrationskonzepte sind jedoch noch nicht ausreichend untersucht. Im Rahmen eines vom BMBF geförderten Forschungsprojektes soll mit diesem Beitrag deshalb der Frage nachgegangen werden: Welche didaktisch-gestalterischen sowie kommunikativ-interaktiven Unterschiede zeigen vollimmersive virtuelle Lernumgebungen gegenüber dem Einsatz von Videokonferenzsoftware im Kontext der Gruppenarbeit? Das Ziel ist es, den Einsatz von Multiplayer-VR-Szenarien der Nutzung von Videokonferenztools für Gruppenarbeitsprozesse im Rahmen der Fallarbeit gegenüberzustellen und deren Vor- und Nachteile aufzuzeigen. Die Ergebnisse zeigen, dass sich für Gruppenarbeitsprozesse in beiden Formaten Vor- und Nachteile finden lassen. Die Umsetzung des Konzeptes der Fallarbeit fällt jedoch in beiden Formaten positiv aus. Folglich ist der Erfolg einer Gruppenarbeit von der konzeptionellen Einbindung der Methode in den Lehrkontext abhängig, sodass die Form der Umsetzung vorwiegend Einfluss auf die Performanz nimmt. Zukünftig gilt es, konkrete Implementierungskonzepte für den Einsatz von VR-Anwendungen in der Lehre zu entwickeln und zu erproben.

  @article{Hejna_Hainke_Seeling_Pfeiffer_2022,
  title={Welche Merkmale zeigt eine vollimmersive Mehrpersonen-VR-Simulation im Vergleich zum Einsatz von Videokonferenzsoftware in Gruppenarbeitsprozessen?},
  volume={47},
  url={https://www.medienpaed.com/article/view/1363},
  DOI={10.21240/mpaed/47/2022.04.11.X},
  abstract={Der Einsatz von vollimmersiven VR-Lernumgebungen fördert bei Lernenden die individuellen Fähigkeiten und ihr Vorwissen. Konkrete Lerneffekte und Integrationskonzepte sind jedoch noch nicht ausreichend untersucht. Im Rahmen eines vom BMBF geförderten Forschungsprojektes soll mit diesem Beitrag deshalb der Frage nachgegangen werden: Welche didaktisch-gestalterischen sowie kommunikativ-interaktiven Unterschiede zeigen vollimmersive virtuelle Lernumgebungen gegenüber dem Einsatz von Videokonferenzsoftware im Kontext der Gruppenarbeit? Das Ziel ist es, den Einsatz von Multiplayer-VR-Szenarien der Nutzung von Videokonferenztools für Gruppenarbeitsprozesse im Rahmen der Fallarbeit gegenüberzustellen und deren Vor- und Nachteile aufzuzeigen. Die Ergebnisse zeigen, dass sich für Gruppenarbeitsprozesse in beiden Formaten Vor- und Nachteile finden lassen. Die Umsetzung des Konzeptes der Fallarbeit fällt jedoch in beiden Formaten positiv aus. Folglich ist der Erfolg einer Gruppenarbeit von der konzeptionellen Einbindung der Methode in den Lehrkontext abhängig, sodass die Form der Umsetzung vorwiegend Einfluss auf die Performanz nimmt. Zukünftig gilt es, konkrete Implementierungskonzepte für den Einsatz von VR-Anwendungen in der Lehre zu entwickeln und zu erproben.},
  number={AR/VR - Part 1},
  journal={MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung},
  author={Hejna, Urszula and Hainke, Carolin and Seeling, Stefanie and Pfeiffer, Thies},
  year={2022},
  month={Apr.},
  pages={220–245}
  }

• C. Hainke and T. Pfeiffer, “Eye Movements in VR Training: Expertise Measurement and its Meaning for Adaptive Chess Training,” in Advances in Usability, User Experience, Wearable and Assistive Technology, 2021, p. 123–130.
  [BibTeX] [Abstract] [Download PDF]

  Observing behavior can provide insights into mental states and cognitive processes. In the context of expertise measurement, research is taking advantage of analyzing gaze-based data to understand those underlying processes. The movements of the eyes represent search strategies in problem-solving scenarios, which can be used to distinguish a novice from a person that is more experienced with the topic and the solving process. Applications such as learning environments can be improved by taking expertise into account, as expertise-related instructions and design-decisions could then be adjusted to the learner’s individual needs. In the following, we will discuss the meaning of expertise and instruction design for learning in more detail. Prior work has shown that different groups of expertise can be distinguished using eye movements. We verify this for virtual reality-based chess trainings by presenting a study on chess problem solving in VR. Based on these findings, we discuss suggestions for the implementation of adaptive learning applications on the example of chess.

  @InProceedings{hainkepfeifferahfe21,
  author={Hainke, Carolin and Pfeiffer, Thies},
  title={{E}ye {M}ovements in {VR} {T}raining: {E}xpertise {M}easurement and its {M}eaning for {A}daptive {C}hess {T}raining},
  booktitle={Advances in Usability, User Experience, Wearable and Assistive Technology},
  year={2021},
  month={07},
  pages={123--130},
  publisher={{S}pringer {I}nternational {P}ublishing},
  abstract={Observing behavior can provide insights into mental states and cognitive processes. In the context of expertise measurement, research is taking advantage of analyzing gaze-based data to understand those underlying processes. The movements of the eyes represent search strategies in problem-solving scenarios, which can be used to distinguish a novice from a person that is more experienced with the topic and the solving process. Applications such as learning environments can be improved by taking expertise into account, as expertise-related instructions and design-decisions could then be adjusted to the learner’s individual needs. In the following, we will discuss the meaning of expertise and instruction design for learning in more detail. Prior work has shown that different groups of expertise can be distinguished using eye movements. We verify this for virtual reality-based chess trainings by presenting a study on chess problem solving in VR. Based on these findings, we discuss suggestions for the implementation of adaptive learning applications on the example of chess.},
  url = {https://mixality.de/wp-content/uploads/2021/08/Hainke-Pfeiffer2021_Chapter_EyeMovementsInVRTrainingExpert.pdf}
  }

• C. Hainke and T. Pfeiffer, “Adapting virtual trainings of applied skills to cognitive processes in medical and health care education within the DiViFaG project,” in DELFI 2020 – Die 18. Fachtagung Bildungstechnologien der Gesellschaft für Informatik e.V., Bonn, 2020, pp. 355-356.
  [BibTeX] [Abstract] [Download PDF]

  The use of virtual reality technology in education rises in popularity, especially in professions that include the training of practical skills. By offering the possibility to repeatedly practice and apply skills in controllable environments, VR training can help to improve the education process. The training simulations that are going to be developed within this project will make use of the high controllability by evaluating behavioral data as well as gaze-based data during the training process. This analysis can reveal insights in the user’s mental states and offers the opportunity of autonomous training adaption.

  @inproceedings{hainke2020adapting,
  author = {Hainke, Carolin AND Pfeiffer, Thies},
  title = {Adapting virtual trainings of applied skills to cognitive processes in medical and health care education within the DiViFaG project},
  booktitle = {DELFI 2020 – Die 18. Fachtagung Bildungstechnologien der Gesellschaft für Informatik e.V.},
  year = {2020},
  editor = {Zender, Raphael AND Ifenthaler, Dirk AND Leonhardt, Thiemo AND Schumacher, Clara},
  pages = { 355-356 },
  publisher = {Gesellschaft für Informatik e.V.},
  address = {Bonn},
  url = {https://dl.gi.de/bitstream/handle/20.500.12116/34184/355%20DELFI2020_paper_85.pdf?sequence=1&isAllowed=y},
  abstract = {The use of virtual reality technology in education rises in popularity, especially in professions that include the training of practical skills. By offering the possibility to repeatedly practice and apply skills in controllable environments, VR training can help to improve the education process. The training simulations that are going to be developed within this project will make use of the high controllability by evaluating behavioral data as well as gaze-based data during the training process. This analysis can reveal insights in the user’s mental states and offers the opportunity of autonomous training adaption.}
  }

• T. Pfeiffer, C. Hainke, L. Meyer, M. Fruhner, and M. Niebling, “Virtual SkillsLab – Trainingsanwendung zur Infusionsvorbereitung (Wettbewerbssieger) ,” in DeLFI Workshops 2018. Proceedings der Pre-Conference-Workshops der 16. E-Learning Fachtagung Informatik co-located with 16th e-Learning Conference of the German Computer Society (DeLFI 2018), Frankfurt, Germany, September 10, 2018, 2018.
  [BibTeX] [Abstract] [Download PDF]

  In der Ausbildung in der Pflege gibt es großen Bedarf an praktischem Training. SkillsLabs, physikalische Nachbauten von realen Arbeitsräumen an den Lehrstätten, bieten die einzigartige Möglichkeit, praktisches Wissen in direkter Nähe und in direkter Einbindung mit den Lehrenden zu erarbeiten und mit der theoretischen Ausbildung zu verzahnen. Häufig stehen jedoch die notwendigen Ressourcen (Räume, Arbeitsmittel) nicht in ausreichendem Maße zur Verfügung. Virtuelle SkillsLabs können hier den Bedarf zum Teil abdecken und eine Brücke zwischen Theorie und Praxis bilden. Im Beitrag wird eine solche Umsetzung mit verschiedenen Ausbaustufen vorgestellt.

  @inproceedings{2932685,
  abstract = {In der Ausbildung in der Pflege gibt es großen Bedarf an praktischem Training. SkillsLabs, physikalische Nachbauten von realen Arbeitsräumen an den Lehrstätten, bieten die einzigartige Möglichkeit, praktisches Wissen in direkter Nähe und in direkter Einbindung mit den Lehrenden zu erarbeiten und mit der theoretischen Ausbildung zu verzahnen. Häufig stehen jedoch die notwendigen Ressourcen (Räume, Arbeitsmittel) nicht in ausreichendem Maße zur Verfügung.
  Virtuelle SkillsLabs können hier den Bedarf zum Teil abdecken und eine Brücke zwischen Theorie und Praxis bilden. Im Beitrag wird eine solche Umsetzung mit verschiedenen Ausbaustufen vorgestellt.},
  author = {Pfeiffer, Thies and Hainke, Carolin and Meyer, Leonard and Fruhner, Maik and Niebling, Moritz},
  booktitle = {DeLFI Workshops 2018. Proceedings der Pre-Conference-Workshops der 16. E-Learning Fachtagung Informatik co-located with 16th e-Learning Conference of the German Computer Society (DeLFI 2018), Frankfurt, Germany, September 10, 2018},
  editor = {Schiffner, Daniel},
  issn = {1613-0073},
  keywords = {Virtual Skills Lab, Virtuelle Realität},
  title = {{Virtual SkillsLab - Trainingsanwendung zur Infusionsvorbereitung (Wettbewerbssieger) }},
  url = {https://pub.uni-bielefeld.de/record/2932685},
  volume = {2250},
  year = {2018},
  }

• C. Hainke and T. Pfeiffer, “Messen mentaler Auslastung in einer VR-Umgebung basierend auf Eyetrackingdaten,” in Virtuelle und Erweiterte Realität – 14. Workshop der GI-Fachgruppe VR/AR, 2017, p. 43–54.
  [BibTeX] [Abstract] [Download PDF]

  Ein aufmerksamer Assistent liefert proaktiv relevante Informationen immer genau zum richtigen Zeitpunkt. Er muss dafür über den aktuellen Handlungskontext und das erforderliche Domänenwissen verfügen und in der Lage sein, die aktuelle kognitive Situation des Nutzers gut einschätzen zu können. Die vorliegende Arbeit untersucht unter Einsatz eines Head-Mounted-Displays (HMDs) mit integriertem Eyetracker, ob die kognitive Belastung über die Echtzeitanalyse der Pupillengröße verlässlich geschätzt werden kann. Es wird gezeigt, dass es in einer VR-Umgebung möglich ist, mit diesen Mitteln die Pupillengröße mit der kognitiven Belastung in Zusammenhang zu setzen, da sie sich bei erhöhter Belastung vergrößert. Ausgenutzt wird dabei, dass die Helligkeit der Umgebung primär durch den Inhalt auf dem HMD-Display bestimmt wird und sich diese damit zur Laufzeit leicht bestimmen lässt.

  @inproceedings{2915064,
  abstract = {Ein aufmerksamer Assistent liefert proaktiv relevante Informationen immer genau zum richtigen Zeitpunkt. Er muss dafür über den aktuellen Handlungskontext und das erforderliche Domänenwissen verfügen und in der Lage sein, die aktuelle kognitive Situation des Nutzers gut einschätzen zu können. Die vorliegende Arbeit untersucht unter Einsatz eines Head-Mounted-Displays (HMDs) mit integriertem Eyetracker, ob die kognitive Belastung über die Echtzeitanalyse der Pupillengröße verlässlich geschätzt werden kann.
  Es wird gezeigt, dass es in einer VR-Umgebung möglich ist, mit diesen Mitteln die Pupillengröße mit der kognitiven Belastung in Zusammenhang zu setzen, da sie sich bei erhöhter Belastung vergrößert. Ausgenutzt wird dabei, dass die Helligkeit der Umgebung primär durch den Inhalt auf dem HMD-Display bestimmt wird und sich diese damit zur Laufzeit leicht bestimmen lässt.},
  author = {Hainke, Carolin and Pfeiffer, Thies},
  booktitle = {Virtuelle und Erweiterte Realität - 14. Workshop der GI-Fachgruppe VR/AR},
  editor = {Dörner, Ralf and Kruse, Rolf and Mohler, Betty and Weller, René},
  isbn = {978-3-8440-5606-8},
  keywords = {Virtuelle Realität, Mentale Auslastung, Eyetracking, Blickbewegungsmessung, Training},
  location = {Tübingen},
  pages = {43--54},
  publisher = {Shaker Verlag},
  title = {{Messen mentaler Auslastung in einer VR-Umgebung basierend auf Eyetrackingdaten}},
  url = {https://nbn-resolving.org/urn:nbn:de:0070-pub-29150647, https://pub.uni-bielefeld.de/record/2915064},
  year = {2017},
  }