Raum als Interface - Project 2

Was sind Augmentationen für uns? Was erwarten wir von einer Augmentation? Was erwarten wir von der neuen Situation?

→ Definition 1: Augmentation ist für uns (neben der offiziellen Definition des ‘Vergrößerung’):

• über das Offensichtliche hinauszugehen
• Wissen zu generieren, das vorher nicht existierte
• Erweiterung der verschiedenen Sinne ermöglichen: virtuelle, reale, psychologische, mentale, informationstechnische

→ Projektideen:

1. SEEK&FIND

Hintergrund: Der Prozess des Suchens und Findens ist eine vielseitige, meist unbeabsichtigte und dennoch effektive Art, einen Raum zu erkunden. Der Prozess ist einer, den wohl jeder kennt (der meist jedoch unbeliebt ist) und der zeigt: Man findet und entdeckt beim Prozess des Suchens meist Dinge, die man nicht einmal gesucht hat. Dennoch bleiben diese Dinge in unseren Köpfen und bringen uns den Raum (in jeder Hinsicht) näher.

Konkret: DesireQuest - Wünsch dir was! Wir schaffen mit diesem Projekt einen Raum für Wünsche. Man bekommt, was man sich wünscht, aber man muss es erst einmal finden. Mit Hilfe von Text-to-3D (DreamFusion, Point E) werden die gewünschten Objekte erstellt und anschließend im Raum verortet. Augmented Reality Brillen (z.B. die Magic Leap) werden nicht nur zum Suchen (zum Beispiel im Stil des Topfschlagens), sondern auch zum Entdecken und Erforschen eingesetzt. Ein Spiel zwischen Realität und Virtualität, zwischen dem bestehenden Raum des Studios in Kombination mit augmentierten Objekten. Referenzen:Magic3D DreamFusion Implicit shape generation Latent NeRF Sketchfab API  - mögliche Sketchfab-API, um nach vorhandenen Modellen zu suchen Magic Leap One  - hardware Unity with AR Backbone  - software arontaupe/stable-dreamfusion  - fork dreamfusion Unity with AR Backbone

2. RAUMCHARAKTER

Hintergrund: Wie wir bereits in der zweiten Session von 'Raum als Interface' gelernt haben, können Definitionen eines Raumes vielfältig sein und beschränken sich nicht nur auf die räumliche Ausdehnung. Wir wissen, dass Räume auch durch ihre zeitliche Komponente und ihre Nutzungsszenarien definiert sind und auch geschaffen werden können und somit vor allem die Akteure eines Raumes den jeweiligen Raum ausmachen. Was aber, wenn nicht die Akteure den Raum schaffen, sondern der Raum die Akteure schafft? Kann der Raum auch eine Persönlichkeit haben, die mit den Menschen und Objekten interagiert und ihre Inhabitants kennen lernen will? Für dieses Szenario müssen verschiedene Narrative entwickelt werden, die der Raum als Charaktere einnehmen kann. Um den Charakter des Raumes zu formen, müssen wir ihn erst einmal erschaffen, oder andersherum?!?

Konkret: HalloRaum - wer bist du? Wir entwickeln mögliche Charaktere des Raumes, der mit seinen Individuen interagieren kann. Durch verschiedene Erweiterungen psychologischer, virtueller und abstrakter Natur kann der Raum Fragen stellen, Antworten finden und Dinge über seine Nutzer*innen herausfinden. Kann der Charakter des Raums durch diese Begegnungen weiterentwickelt werden? Was weiß der Raum über uns, was wir selbst vorher nicht wussten?

3. GOSSIP GLASSES

Hintergrund: Das Internet, als eine der meistgenutzten und zugleich umstrittensten Formen der Augmentation, weiß Dinge, die wir selbst nicht wissen. In Zeiten von Twitter, Instagram und Co. gibt es Unmengen an Daten über uns im Netz, die sich nur durch aufwändige Recherche finden lassen.

Konkret: Die Gossip Glasses erkennen Emotionen und finden Hintergründe durch Daten. Sie sind gefährlich und gruselig, machen aber trotzdem süchtig. Eine kritische Reflexion von informationstechnischen Augmentierungen in Form von Gedankenlesen muss erfolgen.

→ Learnings MagicLeap1:

• Die Brille wird warm
• Es muss eine bestimmte Applikation installiert werden, um die MagicLeap zu installieren (The Lab)
• Arbeit mit Unity und AR Foundation möglich
• Die Brille mag kein eduroam wifi und weigert sich, eine Verbindung zu einem der freien wifi herzustellen → eine kabelgebundene Verbindung
• Die Brille verfügt über alle möglichen Sensoren und arbeitet gut mit Unity zusammen
• Es scheint, dass das Lumin SDK obligatorisch ist, kann vom Lab aus installiert werden

→ Ideen-Pitch:

Seek&Find Idee:

• Mit Raum in Interaktion treten
• Objekte nach bestimmten Fragestellungen erstellen und dann auch nach bestimmten Kriterien im Raum verorten (verstecken)
• Eventuell Wünsche der anderen sichtbar machen (was wünschen sich andere, wie sieht ein Raum geteilter Wünsche aus?)

Raum als Charakter:

• Raum personifizieren
• Sehr verspielt
• Eher praktisch orientiert: Charakter in Form eines Chatbots -> vielleicht mit Nützlichkeit verbinden?
• Raum kann durch Objekte ein Gesicht bekommen
• Referenz: Random Studios (Studios mit Eigenleben)

Generell:

• Funktionale Grundelemente definieren
• Fragestellung beantworten: Was stellt die Interaktion her?
• Randomness herausnehmen -> weniger verspielt, Wünsche spezifizieren
• Erstmal reduzieren auf Grundidee, dann methodisch aufarbeiten (auch weniger tool-driven approach)
• Medium wechseln: Ideen zeichnen, visualisieren, schematisch darstellen, Mind-map...

created with [Dreamfusion](https://github.com/arontaupe/stable-dreamfusion)

→ Modifikation von Idee 2: Raum als Charakter

• Raum bekommt durch Objekte ein Gesicht
• Sogenannte ‘Auren’ stellen Stimmungen und Atmosphären da

→ 5 'W'-Fragen / Konkretisierung

Was? Anzeige und Veränderung der 'Auren' von Objekten, Aura = Energiekörper, Strahlung, (nach altgriechisch αὔρα = 'Lufthauch')

Warum? Subjektivierung von Objekten, die einen Raum ausmachen, Schaffung von Konversationsobjekten, Sichtbarmachung der zeitlichen Komponente des Raumes → kritische Auseinandersetzung mit der konservativen, absoluten Definition von Räumen und Räumen, bezogen auf die Frage: inwieweit gestalten Objekte Räume?

Wann? Beim Blickkontakt

Wer? Theoretisch in jedem Raum / mit jedem Objekt möglich

Wie? Augmented Reality → Augmentation durch Sichtbarmachen des Unsichtbaren, Erweiterung des Bewusstseins und der Wahrnehmung

-DE- Was macht einen Raum aus? Wie entstehen Stimmungen und Atmosphären? Können wir diese visualisieren, um die Erfahrung sichtbar zu machen? Das Projekt "Das Wesen der Dinge" zielt darauf ab, die Wahrnehmung zu erweitern (augmentieren) indem die Stimmungen der Orte durch die Auren der Objekte im Raum erfahrbar gemacht werden. Was macht Objekte zu Subjekten? Wie können wir Implizites explizit machen? Und wie können wir den Charakter eines Ortes sichtbar machen? Wir hinterfragen den konservativen, rein-physischen Raumbegriffs und adressieren im Projekt eine zeitliche, geschichtliche Komponente des Raums, seiner Bestandteile und seiner Vergangenheit. Der Raum wird sich transformiert haben: von einem einfachen „Gegenstand, auf den das Interesse, das Denken, das Handeln gerichtet ist“ (Definition Objekt Duden), zu einem „mit Bewusstsein ausgestatteten, denkenden, erkennenden, handelnden Wesen“ (Definition Subjekt Duden). Diese Metamorphose der Subjektbildung, kann der Raum nur dann durchlaufen, wenn eine Einwirkung – ja, genauer gesagt eine Formung, Umformung, Verformung, Deformierung - den Anfangszustand des Raums prägend beeinflusst und der Raum schließlich anders wahrgenommen wird.

-EN- What makes a room? How do moods and atmospheres emerge? Can we visualize them to make the experiences visible? The project "The Nature of Objects" aims to expand (augment) perception by making the moods of places tangible through the respective auras of the objects in the space. What makes objects subjects? How can we make the implicit explicit? And how can we make the character of a place visible? Here, we question the conservative, purely physical concept of space and address in the project a temporal, historical component of space, its objects and their past. Space will have transformed: from a simple "object on which interest, thought, action is directed" (definition object Duden), to a "creature that is endowed with consciousness, thinking, sensing, acting" (definition subject Duden). This metamorphosis of subject formation, the space can only undergo if an influence - yes, more precisely a shaping, reshaping, deformation - has a formative influence on the initial state of the space and the space can finally be perceived differently.

User-Experience:

Step 1: Einnehmen der Aura-Pille ;-)

Step 2: Aufsetzen der Aura-Brille oder Starten der Aura-App

Step 3: Beobachten der verschiedenen Auren des Raums und dessen Objekte

Step 4: Beeinflussen der verschiedenen Auren durch Aktionen

→ Technische Updates:

• Image tracking mit Unity & MagicLeap möglich
• Object detection und tracking nur schwer zu implementieren
• Idee der Gestaltung von Stickern (aruco Sticker), die die Objekte personalisieren und trackbar machen
• Erste 'Auren' in Unity erstellt (mittels sog. Particle Systems)

→ Weiteres Vorgehen:

• Mögliche Objekte, die getrackt werden sollen (Stuhl, Eurobox, Fensterscheibe, Türklinke, Uhr, Bildschirm, Tisch, Schalter, Computer, Heizung, Piktogramme, Pylonen, Lautsprecher, Kaffeetasse, Person, Tasche)
• Mögliche Variablen, die Auren verändern können (Helligkeit, Lautstärke, Distanz, Berührung, Farbe, Wärme, Liebe, Unruhe (durch Bewegung), Clutteryness)

Verbindung von Objekten und ihren Variablen (Sticker gestalten, Particlesystem erstellen, erste Objekte personalisieren)

• Optional: Sounds hinzufügen, mögliche Interaktionen erweitern

→ Besprechung mit Johannes & Franz:

• Tsukumogami, japanische 'Artefakt-Geister' die Gegenstände aus dem Alltag beseelen (Tsukumogami Bild)
• Aurabegriff nach Walter Benjamin in seinem Aufsatz „Das Kunstwerk im Zeitalter seiner technischen Reproduzierbarkeit“
• Fokus auf die konzeptionelle Strategie, weniger auf technische Möglichkeiten fokussieren
• Frage, ob nur auf der Brille, oder auch auf dem Handy/iPad möglich?

→ Technische Fortschritte:

• Unity AR Foundation auch für das iPad
• Testen verschiedener ArucoTracker
• Interaktionen mit Partikel Systemen in Unity bauen

→ Konzeptionelle Fortschritte:

• Projekt als Einladung, die Welt/ Objekte anders zu sehen
• Weniger Spielcharakter als Sinneserweiterung (Wahrnehmung)
• Explorativer Charakter → Erkunden und Kennenlernen (geht auch wieder in line mit Projektidee 1, Seek&Find)

→ Gruppenbesprechung:

• Finale Entscheidung über Arten von Auren, mögliche Interaktionen und subjektivierte Objekte (siehe Miro-Mindmap)
• Idee, auch Menschen einzubinden (Aruco-Tracker auf Shirts / Caps)
• Dafür Schablonen und Textilsprühfarbe? Aruco Tracker auch schon eine Form der Augmentierung?
• Nutzung von sogenannten Plane Trackern (Voreinstellung von Unity + MagicLeap), die Flächen erkennen zur Erkennung von Böden und Tischen
• Einbindung von Fabelwesen (Mucklas)?

→ Feedback Johannes:

• Installativer Charakter oder Inszenierung ?
• Frage, wie Einstieg in die Erfahrung gestaltet werden soll?
• Thereotischen Hinterbau für Serendipität bauen
• Idee, den Experimentierraum zu begrenzen (nur gewissen Studioteil betrachten)
• Ästhetische Frage → sind Mucklas zu figurativ bzw. Gegenständglich? → Visuelle Kohärenz schaffen (entweder Partikelsystem oder Fabelwesen?)
• Projekt als technisch induzierte Halluzination (wir als ‘Tripsitter’)

Meisterkreis zu Besuch im Studio

• Vorstellung einiger Projekte

• Feedback zu unserem Projekt:

  • interessante Möglichkeit, um Licht erfahrbar zu machen (Occhio)
  • Frage der Subjektivität der Erfahrung (vor allem mit Hinblick auf Walter Benjamin)

• Neue Auseinandersetzung mit Benjamins Aurenbegriff

  • verliert das Objekt durch die technische Reproduzierbarkeit seiner 'Aura' seine Echtheit?
  • „Was im Zeitalter der technischen Reproduzierbarkeit des Kunstwerks verkümmert, das ist seine Aura.“ Walter Benjamin, Das Kunstwerk im Zeitalter seiner technischen Reproduzierbarkeit (1939) → führt der Einsatz von Augmented Reality zum Verlust der Aura eines Objekts (nach Benjamins Definition)?
  • Aber: Nach Benjamin wird mit der Reproduzierbarkeit der Wert eines Kunstwerks verlagert und wird daher vor allem in seiner Ausstellung gehaltvoll

  → "Das Wesen der Dinge" als Ermöglichung der Apperzeption (u.a. von Benjamin, Adorno und Kant geprägter Begriff): "bewusste Wahrnehmung; aktive Aufnahme von [sinnlich] Gegebenem ins Bewusstsein" (Definition Duden)

„Erstens erscheint die echte Aura an allen Dingen. Nicht nur an bestimmten, wie die Leute sich einbilden. Zweitens ändert sich die Aura durchaus und von Grund auf mit jeder Bewegung, die das Ding macht, dessen Aura sie ist. Drittens kann die echte Aura auf keine Weise als der geleckte spiritualistische Strahlenzauber gedacht werden, als den die vulgären mytischen Bücher sie abbilden und beschreiben. Vielmehr ist das Auszeichnende der echten Aura: das Ornament, eine ornamentale Umzirkung, in der das Ding oder Wesen fest wie in einem Futeral eingesenkt liegt." - Walter Benjamin: Autobiographische Schriften, 1930

Brainstorm mit Johannes und Franz:

• Frage der Präsentation: wie wollen wir unser Projekt erfahrbar machen?
  • Installativen oder performativen Charakter geben?
  • Exklusivität der Brillenträger*in mit in das Erlebnis einbinden
• Kritische Reflexion des Aurenbegriffs auch nach außen kommunizieren

Brainstorm in der Gruppe:

• 'Das Wesen der Dinge' wird durch einen Prozess erfahrbar
  • Einbindung eines Käfigs → sinnbildlich für den 'Eintritt' in die Erfahrung und das 'freilassen' der Auren
  • Einladung schreiben → wir laden mit unserem Projekt zu einer Erfahrung ein
  • Video auf Screen an Käfig, damit Außenstehende einen Eindruck davon bekommen, in welche Richtung Erfahrung geht
  • Projektskizze / Einladung auf Screens am Käfig
  • Interaktion mit Licht als zentralem Medium → Lampen / Beleuchtungsstrahler einsetzen für Akzente im Raum

• Einladungskarte: Einladung zur Erfahrung
• Videodreh und Schnitt für Aurengalerie

Bestandsaufnahme der Trackingsysteme und der Interaktionsmöglichkeiten:

• Plane-Tracking (Tracking von Flächen)
• Tracking von Aruco Trackern (ID 0-9)
• Hand Erkennung
• Eye-Tracking
• Distance Erkennung
  • Distance getrackter Objekte untereinander
  • Distance Betrachter*in + getrackter Objekt
• Veränderung der Partikelsysteme: gesteigerte/ reduzierte Emissionsraten, Geschwindigkeiten, ...

→ Finale Präsentation von Situation 2

→ Vorbereitung um Umsetzung:

• Käfigpräparation (Erfahrung als 'freilassen' performativ erkunden)
• Einsatz einer mehrfarbigen Glühbirne (Konnotation des Lichts)
• Videoinstallation (als Anschauung für Dritte, Gebrauchsanweisung, Inspiration)
• Einladung als Poster am Käfig (Erklärung der Interaktion, dem Erkundungscharakter)

Auswertung Open Studio Interaktionen

• Menschen reagierten überrascht auf die Erfahrung
• Erklärungen waren teils trotz der Anleitungen noch sinnvoll
• Staunen, Wundern, Erkunden, Verstehen