Sophia
Sophia baut aus Kamera, Radar und 3D-Scans einen digitalen Zwilling eines Ortes, den Mensch und KI gemeinsam verstehen. Die KI setzt darin selbst Sperrzonen, und jede Änderung wird nachgeprüft. Läuft im Browser und auf der Meta Quest 3.
Sophia baut aus Kamera, Radar und 3D-Scans einen digitalen Zwilling eines Ortes, den Mensch und KI gemeinsam verstehen. Die KI setzt darin selbst Sperrzonen, und jede Änderung wird nachgeprüft. Läuft im Browser und auf der Meta Quest 3.
Kameras liefern Bilder, Roboter bauen sich jeweils ihre eigene Karte, und KI-Modelle denken in Text. Was fehlt, ist ein gemeinsames, dauerhaftes Bild des Ortes, in das alle hineinsehen und das alle fortschreiben können.
Sophia baut dieses Bild: aus Kamera, Radar und 3D-Scans entsteht ein digitaler Zwilling eines Ortes, den Mensch und KI gemeinsam verstehen und nutzen.
Kamera mit Objekterkennung, Radar und der LiDAR-Scan vom iPhone laufen über MQTT zusammen. Der Zwilling läuft im Browser und auf der Meta Quest 3.
Die KI arbeitet über Werkzeuge im Zwilling: Sie prüft Sichtlinien, Wege und Sensorabdeckung und setzt selbst Sperrzonen. Jede Änderung wird im Zwilling nachgeprüft, bevor sie gemeldet wird.
Eine Kamera und ein günstiges Radar sehen denselben Menschen auf zwei Arten. Sophia führt beide zu einer gemeinsamen Spur zusammen.
Ein Bild-Sprachmodell bewertet Szenen in einem festen Format und wird gegen die gemessenen Sensorspuren geprüft. Es ergänzt die Belege, überstimmt sie aber nie. Auch die Modelle selbst werden gemessen: Ihre Antworten werden gegen Werte aus dem Zwilling bewertet, etwa Luftlinie gegen begehbaren Weg.
Das Modell ist austauschbar, es läuft über einen Anbieter oder lokal. Aufzeichnungen lassen sich wieder abspielen, damit derselbe Moment zweimal dasselbe Ergebnis gibt.