Van Gogh VR Experience
"Wie lässt sich Kunst durch KI lebendig vermitteln?"
Die Van Gogh VR Experience im Visiodrom Wuppertal verbindet Kunst und Technologie zu einem immersiven Erlebnis. Besucher tauchen mithilfe von Virtual Reality in den Kopf von Vincent van Gogh ein und erleben ihn auf eine völlig neue, interaktive Weise.
Das Projekt umfasste die Konzeption des Nutzerflusses, die Gestaltung der Interface-Elemente, die Abstimmung mit den technischen Anforderungen der VR-Plattform sowie das Nutzen von KI als interaktiven Chatbot.
Ergebnis – Kurzfassung
- — Funktionsfähiger VR-Dialogflow mit Stimme & visuellem Feedback.
- — Stabile Sprachinteraktion (Push-to-Talk) mit Latenz-UI.
- — Aus der Persona abgeleiteter Ton-Guide für konsistente Microcopy.
Das Erlebnis
Immersive Virtual Reality trifft auf KI-gestützte Interaktion
Galerie
KI-Integration
Wie Künstliche Intelligenz Van Gogh zum Leben erweckt
Warum KI?
Viele immersive Van-Gogh-Formate setzen auf Projektion statt echter Interaktion. Wir wollten dialogische Wissensvermittlung – niedrigschwellig per Sprache in VR.
AI-Architektur
Push-to-Talk triggert Speech-to-Text; die Antwort kommt aus einer LLM-Persona (System-Prompt), wird über Text-to-Speech ausgegeben, und Unity visualisiert einen Warte-Indikator für Transparenz.
Implementierung: erster Python-Prototyp mit OpenAI-API, danach komplette C#-Portierung für Audio-I/O, Controller-Anbindung und Model-Integration.
Persona & Prompting
Ich gestaltete eine Persona auf Basis der Van-Gogh-Briefe und implementierte sie als System-Prompt mit stabilen Defaults, Markdown-Fallstricken aus dem Weg gehend. Leitplanke war das CAPITAL-Framework (zum Beispiel amicable, transparent, zugängliche Lexik).
Unser narrativer Pivot: Statt eines Avatars mit Lipsync führen Nutzerinnen und Nutzer ein Gespräch "im Kopf" – konsistent mit Persona und Technik. Außerdem wurde dadurch das Lipsync-Problem umgangen.
Qualität & Safety
Negativtests mit Provokation und Beleidigung: Die Persona blieb ruhig und respektvoll, Team-Ratings sowie Feedback von Dozierenden und Kommilitonen dienten als Qualitätssicherung.
Latency & Robustheit
Engpass war die Netzwerk-Latenz im Ausstellungs-WLAN. Wir machten sie sichtbar durch einen "Warte..."-State, milderten sie via privaten Hotspot.
Klang & Immersion
Die Stimmausgabe wurde auf historische Erwartungen hin angepasst (z.B. Akzent, Stimmklang, etc.), Reverb in Unity sorgt für den "im-Kopf"-Effekt.
Zukunft & Verbesserungen
Demnächst: Van Goghs Briefe als lokale Wissensbasis per RAG einbinden. Die Persona antwortet ausschließlich auf Basis der Briefausschnitte und kann bei Bedarf (z.B. beim Testen) Brief-ID/Datum angeben.
Der Prompt soll mehr Informationen über den Kontext, in dem sich die KI befindet, erhalten (Raum, Station, sichtbare Werke). Antworten würden so den Aufenthaltsort („Du stehst im Zimmer von Arles; an der Wand hängen die Sonnenblumen von 1888") berücksichtigen.
Im „Briefe-only"-Setup würde sich die Installation vollständig offline betreiben lassen – sofern auch das Sprachmodell lokal läuft. Das würde die Latenz senken und macht die Experience unabhängig vom Internet. Durch Open-Source LLMs ist das in naher Zukunft realistisch.
Technische Details
| Framework | CAPITAL (Constraints, Accessibility, Professionalism, Interactivity, Transparency, Adaptability, Lexicography) |
| Persona & Quellen | Stil & Haltung aus Van-Gogh-Briefen; System-Prompt als Guardrail |
| Interaktion | Push-to-Talk, gesprochene Antwort (TTS), Latenz-Feedback im UI |
| Qualitätssicherung | Team-Review, Negativtests (Provokation/Beleidigung), Prompt-Versionierung |
Vollständiger Prompt auf Anfrage
Der komplette System-Prompt ist nicht öffentlich einsehbar. Bei berechtigtem Interesse sende ich dir gerne den vollständigen Prompt zu.
Per E-Mail anfragen