Willkommen im Metaverse

Unser Mann im virtuellen Raum: Bereits 2022 hat das Fraunhofer IAO einen Avatar seines Namenspatrons Joseph von Fraunhofer entwickelt. Jetzt hat der »digitale Joseph« ein umfassendes Update hinter sich – inklusive KI-basierter Sprachinteraktion und Gaming-Technologien zur Echtzeitvisualisierung.

Sonnenlicht fällt durch die Fenster aufs dunkle Parkett, und wer genau hinsieht, kann zarte Staubflocken entdecken, die in seinem Schein funkeln. Mitten im Raum steht Joseph von Fraunhofer, oder vielmehr: sein digitales Ebenbild, und wiegt den Körper leicht von einer Seite zur anderen. Tritt man der Illusion, die auf dem fast acht Quadratmeter großen LED-Monitor zu sehen ist, gegenüber, passiert etwas Bemerkenswertes: Der Avatar fixiert sein Gegenüber in der realen Welt und grüßt kurze Zeit später höflich: »Guten Tag, wie kann ich Ihnen behilflich sein?«, fragt die KI-generierte Stimme. Die Antwort aus der echten Welt: »Joseph, erzähl mir etwas über dich!« Der »digitale Joseph« hält einen Moment inne. Und erzählt dann die Geschichte, wie der 1787 in Straubing in Niederbayern geborene Sohn eines Glasers zu einem der bedeutendsten Forscher und Unternehmer seiner Zeit wurde.

»Er hätte die Geschichte auch auf Bayrisch erzählen können«, sagt Dr. Stephan Wilhelm, Leiter Kommunikation und Netzwert beim Fraunhofer IAO. Zudem beherrsche der »digitale Joseph« neben zahlreichen europäischen Fremdsprachen auch Chinesisch. »Das hängt ganz davon ab, welches KI-Sprachmodell man nutzt«, sagt Wilhelm, der die Entwicklung des Fraunhofer-Avatars leitet. Seit 2022 arbeitet ein Team am Fraunhofer IAO daran, stets die neuesten Technologien in das digitale Abbild Joseph von Fraunhofers zu integrieren. 

Erst kürzlich hat der Forschungs-Demonstrator ein umfassendes Update erhalten, inklusive Audio-to-Face-Technologie mit Emotionsintegration, damit seine Mundbewegungen und der Rest der Mimik zu den Worten passen, die er spricht. Oder Motion-Tracking, damit er sein reales Gegenüber lokalisieren und Blickkontakt halten kann. Zudem ist der gesamte Raum, in dem er steht, eine 3-D-Modellierung der heute noch bestehenden Räume im Kloster Benediktbeuern. Schließlich wurde das alles auf der Basis der neuesten Gaming-Technologien zusammengeführt.

»Wir wollen an diesem Beispiel zeigen, welche Möglichkeiten Avatare heute etwa in der Mensch-Maschine-Kommunikation bieten«, sagt Stephan Wilhelm. Schließlich ließe sich statt von Fraunhofer auch jeder andere Charakter »zum Leben erwecken«. Denkbar wäre ein Einsatz auf Messeständen oder in der Hotellobby. Doch es gibt noch ein weiteres Einsatzfeld für die digitale Spezies: das Metaverse als digitaler Begegnungsraum. »Schon heute können sich Menschen, die quer über den Globus verstreut sind, mithilfe ihrer Avatare im Metaverse treffen, um gemeinsam etwa an einer Maschine zu arbeiten. Und das ist erst der Anfang«, so Wilhelm. Die Technologie entwickele sich so schnell, dass künftig viele weitere Einsatzfelder denkbar seien.

Hinter den Kulissen

So sieht der Demonstrator von hinten aus. Die modulare LED-Wand lässt  sich flexibel auf- und abbauen.

Technische Daten:

• Modulare LED-Wand (3,6m X 2,2m)
• Abstand der Bildpunkte: 1,2 Millimeter
• Bildwiederholrate 240Hz (Stereo-Multiviewerfähig)