Erweiterte Suche

Multi touch interaction with stereoscopically rendered 3D objects

Anfänglich hauptsächlich im 2D Kontext betrachtet, gewinnen Multi-Touch Interfaces immer mehr an Bedeutung im Bereich dreidimensionaler Umgebungen und, in den letzten Jahren, auch im Zusammenhang mit stereoskopischen Visualisierungen. Dennoch führt die Touch-basierte Interaktion mit stereoskopisch dargestellten Objekten zu Problemen, da die Objekte in der nahen Umgebung der Displayoberfläche schweben, während die Berührungspunkte nur bei direktem Kontakt mit dem Display robust detektiert werden können. In dieser Arbeit werden die Probleme bei Touch-Interaktion in stereoskopischen Umgebungen näher untersucht und Interaktionskonzepte in diesem Kontext entwickelt. Insbesondere wird die Anwendbarkeit unterschiedlicher Wahrnehmungsillusionen für 3D Touch-Interaktion mit stereoskopisch dargestellten Objekten in einer Reihe psychologischer Experimente untersucht. Basierend auf die Experimentdaten werden einige praktische Interaktionstechniken entwickelt und auf ihre Anwendbarkeit überprüft.

While touch technology has proven its usability for 2D interaction and has already become a standard input modality for many devices, the challenges to exploit its applicability with stereoscopically rendered content have barely been studied. In this thesis we exploit different hardware and perception based techniques to allow users to touch stereoscopically displayed objects when the input is constrained to a 2D surface. Therefore we analyze the relation between the 3D positions of stereoscopically displayed objects and the on-surface touch points, where users touch the interactive surface, and we have conducted a series of experiments to investigate the user’s ability to discriminate small induced shifts while performing a touch gesture. The results were then used to design practical interaction techniques, which are suitable for numerous application scenarios.

Titel: Multi touch interaction with stereoscopically rendered 3D objects
Weitere Titel Multi-touch interaction with stereoscopically rendered 3D objects
Verfasser: Valkov, Dimitar GND
Gutachter: Hinrichs, Klaus H.
Organisation: FB 10: Mathematik und Informatik
Dokumenttyp: Dissertation/Habilitation
Medientyp: Text
Erscheinungsdatum: 20.02.2014
Publikation in MIAMI: 20.02.2014
Datum der letzten Änderung: 27.07.2015
Schlagwörter: HCI; 3D; 3DUI; stereoskopische Darstellung; Multi-Touch Interaktion;
HCI; 3D; 3DUI; stereoscopic rendering; multi-touch interaction;
Fachgebiete: Informatik, Wissen, Systeme
Sprache: Englisch
Format: PDF-Dokument
URN: urn:nbn:de:hbz:6-34319469090
Permalink: https://nbn-resolving.org/urn:nbn:de:hbz:6-34319469090
Onlinezugriff:
Inhalt:
Abstract vii
Acknowledgements xvii
1 Introduction 1
1.1 Multi-touching Stereoscopic Objects . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Roadmap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Scientific Publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 Understanding 3D Touch 7
2.1 Understanding Touch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Problems when Touching Parallaxes . . . . . . . . . . . . . . . . . . . . . . . 8
2.3 Design Paradigms for 3D Touch . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4 Touching Parallaxes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4.1 Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5 Design Implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.5.1 Confirmatory Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.6 Current Limitations and Future Work . . . . . . . . . . . . . . . . . . . . . . 25
3 Imperceptible Motions 27
3.1 Perceptual Illusions for 3D Touch Interaction . . . . . . . . . . . . . . . . . . 27
3.2 User Interaction States . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Manipulation Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4 Scene Shifts while Moving toward the Surface . . . . . . . . . . . . . . . . . . 34
3.4.1 Experiment: Discrimination of Scene Shifts . . . . . . . . . . . . . . . 35
3.4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5 Object Shifts during Touch . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.5.1 Application space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5.2 Manipulation of Stereoscopic Objects . . . . . . . . . . . . . . . . . . 42
3.5.3 Experiment: Discrimination of Object Shifts with the Scaled Shift Technique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.5.4 Generalized Scaled Shift Technique . . . . . . . . . . . . . . . . . . . . 49
3.5.5 Experiment: Discrimination of Object Shifts with the Generalized
Scaled Shift Technique. . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.5.6 General Discussion and Design Implications . . . . . . . . . . . . . . . 55
3.6 Discrimination of Stereoscopic Depth . . . . . . . . . . . . . . . . . . . . . . . 57
3.6.1 Experiment: Discrimination of Stereoscopic Depth in Large Stereoscopic
Display Environments . . . . . . . . . . . . . . . . . . . . . . . 58
3.6.2 Experiment: Discrimination of Stereoscopic Depth in Desktop Environments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.6.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4 Object Attracting Shift 67
4.1 Designing Interfaces with Scaled Shifts . . . . . . . . . . . . . . . . . . . . . . 67
4.2 Object Attracting Shift Technique . . . . . . . . . . . . . . . . . . . . . . . . 68
4.3 Preliminary User Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3.1 Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3.2 Materials and Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3.3 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.4 Limitations and Design Implications . . . . . . . . . . . . . . . . . . . . . . . 73
5 Multi-Touch supported Navigation in Virtual Environments 75
5.1 Interaction with Stereoscopic Objects beyond the ”Shallow” Depth . . . .75
5.2 Navigation in Virtual Environments . . . . . . . . . . . . . . . . . . . . . . . 76
5.3 Implementation of a Virtual Human-Transport Vehicle . . . . . . . . . . . . . 79
5.3.1 Hardware Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.3.2 Simulation of a Human Transporter . . . . . . . . . . . . . . . . . . . 79
5.3.3 Flyer Metaphor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.3.4 Transparent Multi-touch Surface . . . . . . . . . . . . . . . . . . . . . 82
5.4 Preliminary Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.4.1 Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.4.2 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.4.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.5 Conclusion and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6 The VINS Framework 89
6.1 Design Challenges for the Interactive Graphics Frameworks . . . . . . . . . . 89
6.2 Related Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.3 Shared Interaction Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.3.1 Overall Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.3.2 Hierarchical Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
6.3.3 Application Scope and Limitations . . . . . . . . . . . . . . . . . . . . 97
6.4 Implementation of the VINS Framework . . . . . . . . . . . . . . . . . . . . . 97
6.4.1 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
6.4.2 Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
6.5 Initial Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
7 Conclusions and Future Work 105
Bibliography 107