Zum Inhalt

Sophia

Sophia baut aus Kamera, Radar und 3D-Scans einen digitalen Zwilling eines Ortes, den Mensch und KI gemeinsam verstehen. Die KI setzt darin selbst Sperrzonen, und jede Änderung wird nachgeprüft. Läuft im Browser und auf der Meta Quest 3.

Website zu SophiaDemonstrator läuft lokal
Sophia: digitaler Zwilling eines Ortes mit erkannten Personen und Fahrzeugen

Worum es geht

Kameras liefern Bilder, Roboter bauen sich jeweils ihre eigene Karte, und KI-Modelle denken in Text. Was fehlt, ist ein gemeinsames, dauerhaftes Bild des Ortes, in das alle hineinsehen und das alle fortschreiben können.

Sophia baut dieses Bild: aus Kamera, Radar und 3D-Scans entsteht ein digitaler Zwilling eines Ortes, den Mensch und KI gemeinsam verstehen und nutzen.

Wie es funktioniert

Kamera mit Objekterkennung, Radar und der LiDAR-Scan vom iPhone laufen über MQTT zusammen. Der Zwilling läuft im Browser und auf der Meta Quest 3.

Die KI arbeitet über Werkzeuge im Zwilling: Sie prüft Sichtlinien, Wege und Sensorabdeckung und setzt selbst Sperrzonen. Jede Änderung wird im Zwilling nachgeprüft, bevor sie gemeldet wird.

Was daran schwer war

Zwei Sensoren, eine Person

Eine Kamera und ein günstiges Radar sehen denselben Menschen auf zwei Arten. Sophia führt beide zu einer gemeinsamen Spur zusammen.

Die KI ergänzt, sie überstimmt nicht

Ein Bild-Sprachmodell bewertet Szenen in einem festen Format und wird gegen die gemessenen Sensorspuren geprüft. Es ergänzt die Belege, überstimmt sie aber nie. Auch die Modelle selbst werden gemessen: Ihre Antworten werden gegen Werte aus dem Zwilling bewertet, etwa Luftlinie gegen begehbaren Weg.

Wiederholbar bleiben

Das Modell ist austauschbar, es läuft über einen Anbieter oder lokal. Aufzeichnungen lassen sich wieder abspielen, damit derselbe Moment zweimal dasselbe Ergebnis gibt.

Eckdaten

Stand
Demonstrator in einem echten Gebäude
Läuft auf
Browser und Meta Quest 3
Gebaut
allein, seit Juni 2026
Technik
Python, MQTT, YOLO, OpenCV, COLMAP, three.js