SensAR

Im Fokus des Projekts SensAR steht die Vermittlung von sensorischen Daten mittels Augmented Reality (AR) und ihre Nutzung im Produktionsprozess. Der Ansatz konzentriert sich auf generalisierbare Abläufe, die in vielen Unternehmen vorkommen, ohne in spezifische Produktionsabläufe einzudringen. Ziel ist, eine Entlastung durch automatisierte Erfassung und digitalisierte Assistenzsysteme zu erreichen.

Projektziel von SensAR ist die Entwicklung von Beispielanwendungen für den Einsatz von Augmented Reality (AR) zum Abrufen und kontextsensitiven Darstellen von Sensordaten, die drei aktuelle Anwendungsfälle unter Beachtung der IT-Sicherheit unterstützen. Dabei sollen geeignete Technologien ermittelt und kombiniert werden. Ziel ist ein ganzheitlicher Ansatz, der Forschungsbereiche wie die dynamische Objekterkennung, Ortung, Sensorik und Standards, UI sowie Datensicherheit vereint.

Teilbereiche des Projekts sind:

• Objekterkennung, beispielsweise von Einrichtung oder Ladungsträgern in Industriehallen, aus Laserpunktwolken bzw. Kamera (Prof. Eberhard Gülch, Prof. Ursula Voß, Prof. Franz-Josef Schneider)
  • Lokalisieren von Beschäftigten über das Smartphone mittels Indoorpositionsbestimmung (Prof. Stefan Knauth)
• Auslesen der Daten von Sensoren mit verschiedenen Standards (Prof. Dieter Uckelmann)
• User Interface mit der Darstellung der Sensordaten und Bedienelemente (Prof. Volker Coors, Prof. Gero Lückemeyer)
• Datensicherheit und Datenschutz (Prof. Jan Seedorf)

Anhand von drei Beispielszenarien sollen Möglichkeiten für Augmented Reality-Anwendungen dargestellt werden:

• Facility Management (Auslesen von im Gebäude angebrachten Sensoren mit dem Smartphone und grafische Darstellung von Wartungsbedarf oder Fehlern)
• Industrie, wie beispielsweise das Erkennen von Industriegebäudeeinrichtung und Ladungsträgern in Laserpunktwolken
• Logistik: Eine Fachkraft benötigt an einer Maschine Unterstützung. Mittels Smartphone-App mit Indoor-Lokalisierung können hier Beschäftigte mit dem kürzesten Laufweg alarmiert werden. Alternativ kann mittels Remote Assistance Hilfe zur Fehlerbehebung geleistet werden.

Es konnten vier unterschiedliche Use Cases identifiziert und bearbeitet werden, die eine Bandbreite technologischer Anforderungen abdecken: Objekte und Sensoren von stationär bis zu mobil, benötigte Displaytechnologie von konventionell bis AR. Die vier Use Cases sind RFID-Messkammer, Fabriklayout, Ladungsträger und E-Bike. Für diese Use Cases konnten Prototypen implementiert und evaluiert werden, die die für den jeweiligen Use Case notwendigen Technologiekomponenten von der KI-gestützten Objekterkennung über Sensordatenaustausch und User Interface bis zu Sicherheitsanforderungen erfolgreich verknüpften. Insbesondere die RFID-Messkammer und der dafür erstellte Prototyp einer AR-gestützten Bedienungshilfe und Wegenavigation zur Messkammer stellte sich als besonders repräsentativer Anwendungsfall heraus. Er stellt einerseits übliche Industrieszenarien wie Wegeführung zu und Zustandsanzeige von Maschinen dar und erfordert auch die Verknüpfung einer Vielzahl unterschiedlicher Technologiekomponenten.

Durch die durchgeführten Transferveranstaltungen, in denen Demonstrationen als auch Diskussionen im Workshop-Charakter stattfanden, konnte Feedback von außen im Allgemeinen und über eingeladene KMUs im Speziellen eingeholt werden. Dieses Feedback bestätigte den prototypischen Charakter der Use Cases und triggerte einen Ideen- und Wissensaustausch. Das Feedback zeigte aber auch auf, dass, wie erwartet, in der Industrie und gerade bei den KMUs sehr konkrete Fragestellungen auftreten, die eine jeweils konkret abgestimmte Implementation erfordern. Diese Abstimmung ist aber aufgrund der offen implementierten Basis sowie dem bisherigen Fokus auf die generalisierbaren Abläufe deutlich leichter umsetzbar. Innerhalb des Projekts konnte also die Durchführbarkeit einer AR-basierten Visualisierung von Sensordaten im Industrie 4.0 Umfeld gezeigt werden, die den Weg für zukünftige Produktentwicklungen in diesem Bereich skizziert. Das Ziel, KMU hierdurch einen niederwelligen Einstieg in das Thema zu ermöglichen, wurde somit erreicht. Weitere Details, wie z.B. ein Film zur Wegeführung oder den inhaltlichen Abschlussbericht mit den Einzelergebnissen der Arbeitspakete, finden Sie unter www.sensar.hft-stuttgart.de.

Folgende Veröffentlichungen/Beiträge in Form von Tagungsteilnahmen, Workshops und Publikationen sind aus dem Projekt entstanden:

• Jensen, M. P.; Uckelmann, D. (2020) Standards für das Internet der Dinge: Heterogenität, Interoperabilität und Herausforderungen. ZWF Zeitschrift für wirtschaftlichen Fabrikbetrieb, 115 (3), S. 171-174. DOI: 10.3139/104.112245
• Abbasi Zadeh Behbahani, E; Adineh, H.; Uckelmann, D.; Jensen, M. P.  (2022). Digitalization of an Indoor-Positioning Lab Using a Mobile Robot and IIoT Integration. In D. Uckelmann, G. Romagnoli, J. Baalsrud Hauge, V. Kammerlohr (Hrsg.) Online-Labs in Education, Proceedings of the 1st International Conference on Online-Labs in Education, 10.-12. 03. 2022, Stuttgart. Nomos, Baden-Baden, ISBN 978-3-98542-036-0.
• Stefan Knauth: Evaluation of Geomagnetic Matching Algorithms for Indoor Positioning, Vortrag und Poster, IPIN 2021 Conference , November 29 – December 2, 2021, Lloret de Mar, Spain, http://ceur-ws.org/Vol-3097/paper31.pdf
• Gemeinsame Veröffentlichung eines Whitepapers mit dem VDC, der Holo-Light GmbH sowie der Trumpf Tracking Technologies GmbH in Business Geometrics 1/22 „Standardisierte Indoor-Ortung mit omlox. Exakte Lokalisierung für Augmented-Reality-Anwendungen im Bereich Industrie 4.0“, für die HFT Stuttgart Volker Coors, Dieter Uckelmann, Stefan Knauth , 31.03.2022 (https://www.vdc-fellbach.de/nachrichten/2022/01/31/whitepaper-zur-standardisierten-indoor-ortung-mit-omlox/ (abgerufen am 30.11.2022))
• Lars Sören Obrock und Colien Schreiber: Posterpräsentation zum Thema Objekterkennung auf dem Dialogforum Region Stuttgart zum Thema „Künstliche Intelligenz: Technologien begreifen – Potenziale nutzen“, 22.11.2019 an der Hochschule für Technik Stuttgart. https://www.hft-stuttgart.de/forschung/news/dialogforum-region-stuttgart-kuenstliche-intelligenz  (abgerufen am 7.3.2022)
• Stefan Knauth: Evaluation of Geomagnetic Matching Algorithms for Indoor Positioning, Vortrag und Poster, IPIN 2021 Conference , November 29 – December 2, 2021, Lloret de Mar, Spain, http://ceur-ws.org/Vol-3097/paper31.pdf
• Marc-Philipp Jensen: “Digitalization of an Indoor-Positioning Lab Using a Mobile Robot and IIoT Integration”, Vortrag auf der 1st International Conference on Online-Labs in Education, 10.-12. März 2022, Stuttgart.
• Max Pengrin: „Functional Encryption & Homomorphic Encryption for RIOT“, Vortrag auf dem RIOT Summit 2020
• IHK-Webinare mit HFT-Forschenden zum Projekt „SensAR“. https://www.hft-stuttgart.de/forschung/news/ihk-webinar-mit-hft-forschenden-zum-projekt-sensar-augmented-reality-loesungen-fuer-kleinere-und-mittlere-unternehmen. (abgerufen am 7.3.2022)
  • 24.03.2021: Inhaltlicher Fokus auf die Objekterkennung und Visualisierung, Vorstellung der Arbeiten und bisherigen Ergebnisse durch die beteiligten Professor:innen und Mitarbeiter:innen
  • 14.04.2021: Inhaltlicher Fokus auf Lokalisation, Sensoren und Datensicherheit, Vorstellung der Arbeiten und bisherigen Ergebnisse durch die beteiligten Professor:innen und Mitarbeiter:innen
• Hightechsummit2021. https://hightech-summit.de/tag2/ (abgerufen am 7.3.2022)
  • 19.10.2021: Vorstellung des Projekts und bisheriger Ergebnisse beim Techbreakfast unter dem Titel „Sensorische Daten und AR in Manufacturing“, Vorstellung durch die beteiligten Professor:innen und Mitarbeiter:innen
• XR Week 2022:
  • 14.09.2022: Vortrag im Rahmen des Kongressprogramms, „Das SensAR-Projekt und weitere Arbeiten zu AR in der Stadtplanung / Partizipation“, Prof. Dr. V. Coors
  • 14.-15.10.2022: XR Expo Messestand zum Projekt SensAR, Standbetreuung durch alle beteiligten Professor:innen