TinyAIoT: Ressource-efficient AI Models for IoT Sensors

Modern IoT applications often rely on sensors that run on microcontroller units and communicate via network protocols such as LoRaWAN or Bluetooth Low Energy. To operate autonomously for extended periods of time, application resource requirements must be minimized.

This master’s thesis investigates the development of resource-efficient IoT applications through the utilization of AI models. These models aim to save energy by reducing the computational load, camera resolution or data transmission, while maintaining the ability to perform specific tasks. You will develop, implement and compare different resource-efficient AI models with sensors such as cameras, distance sensors, vibration sensors and test your implementation in different application scenarios.

Ressourceneffiziente KI für IoT Anwendungen

Moderne IoT Anwendungen greifen häufig auf Sensoren zurück, die auf Mikrocontrollern laufen und über Netzwerkprotokolle wie LoRaWAN oder Bluetooth Low Energy kommunizieren. Damit die Sensoren über eine längere Zeit autark betrieben werden können, muss der Ressourcenbedarf der Anwendungen minimiert werden.

Die Bachelorarbeit beschäftigt sich mit der Frage, wie weit Ressourcen wie Rechnenleistung, Kameraauflösung, Datenübertragung minimiert werden können, um dennoch bestimmte Aufgaben wahrnehmen zu können. Es werden ressourceneffiziente KI-Modelle mit Sensoren (Kameras, Abstandssensoren, Vibrationssensoren) implementiert und in verschiedenen Anwendungsszenarien getestet.

Kartenlesekompetenz systematisch trainieren

Die Fähigkeit, sich zu orientieren und Karten zu lesen, ist zentral, um sich in einer unbekannten Umgebungen zurechtzufinden. Menschen besitzen unterschiedlich ausgeprägte Fähigkeiten, sich mit Karten zu orientieren. Während es zahlreiche Navigationssysteme gibt, die uns helfen, unseren Weg zu finden, wurde bisher nur sehr wenig Anstrengung unternommen, um GI-Technologien zur Förderung der Orientierungs- und Kartenlesefähigkeiten einzusetzen und die individuellen Unterschiede zu überwinden.

GeoGami ist ein ortsbezogenes Spiel, das digitale Karten nutzt, um systematisch die Kompetenz des Kartenlesens zu vermitteln. In dieser Arbeit soll untersucht werden, wie Trainings zur Förderung der Kartenlesekompetenz von Menschen mit digitalen Karten gestaltet werden können. Wie lassen sich Trainings für spezifische Teilkompetenzen des Kartenlesens wie Selbstlokalisierung, Kartenorientierung oder Objekterkennung gestalten? Wie können virtuelle Umgebungen so gestaltet werden, dass sie eine optimale Umgebung für das systematische Testen der Kompetenz des Kartenlesens bieten?

Ebenso wie die technische Entwicklung und die datengestützte Analyse ist im Rahmen einer Abschlussarbeit die Entwicklung von Bildungsmaterialien für den Einsatz in der Schule denkbar.

Fostering Navigational Map Reading Competence

The ability to orient oneself and read maps is essential to successfully navigate in unfamiliar environments. It is well known that the ability to orient oneself with maps varies from person to person. While there are numerous navigation systems to help us find our way, very few efforts have been made to use GI technologies to promote orientation and map reading skills and overcome the individual differences.

GeoGami is a location-based game using digital maps to systematically teach navigational map reading competence. The thesis will investigate how to design trainings to promote people’s navigational map reading competence with digital maps. How to design trainings for specific sub-competencies of navigational map reading such as self-localization, map alignment or object recognition? How to design virtual environments to provide an optimal environment to systematically test navigational map reading competence?

Spatial Movement Behaviour

Every day, we move through space and time. To reach more distant destinations, we use navigation aids. But also in our immediate environment – for example while visiting a museum – we move purposefully along a path. A thesis can investigate spatial movement behaviour from different perspectives:

How can we observe spatial movement and gain a deeper understanding of human behaviour? Indoor, we may use depth cameras such as Kinect to collect information about people interacting with each other. Outdoor, we can complement GPS tracks with information on the viewing direction and information on your environment. Virtual environments can be used to systematically modify the environment w.r.t. visibility, spatiousness etc. to investigate its influence on the wayfinding behaviour.

A thesis may investigate the above questions from a technical perspective (e.g. building a system to collect relevant information), from a data perspective (e.g. how to interpret movement data collected by technology-supported observation) or from an experimental perspective (e.g. exploring wayfinding strategies and movement behaviour).

Spatial Learning Analytics

Learning Analytics is a method to collect, measure, analyze and visualize data about learners and their context. It enables the understaning of the learning process and allows an adaption of learning paths based on the collected data. It also gives feedback to the learner and teacher about the learning process.

The spatial intelligence lab has developed several learning platforms (GeoGami, Blockly for programming senseBox), where data revealing information about the learning proces sis collected. The thesis will investigate how real time data on the learning process can be used to guide the learning process using learning analytics.

Räumliches Bewegungsverhalten

Jeden Tag bewegen wir uns durch Raum und Zeit. Um entferntere Ziele zu erreichen, nutzen wir Karten in Navigationssystemen. Aber auch in unserer direkten Umgebung – beispielsweise beim Museumsbesuch – navigieren wir zielgerichtet entlang bestimmter Wege. Im Rahmen der Bachelorarbeit wird untersucht, wie mittels Technologie das räumliche Bewegungsverhalten von Menschen beobachtet und interpretiert werden kann. Tiefenbildkameras wie die Kinect können innerhalb von Gebäuden wertvolle Informationen über menschliche Interaktionen liefern. Im Freien kann GPS durch Informationen zur Blickrichtung und zur Umgebung ergänzt werden und so eine tiefergehende Interpretation ermöglichen. Durch Virtual Environments kann die Umgebung systematisch verändert werden und der Einfluss der Umgebung auf das Wegfindungsverhalten untersucht werden.

Eine Bachelorarbeit kann die oben genannten Fragen aus einer technischen Perspektive (z.B. Entwicklung eines Systems zur Erfassung relevanter Bewegungsinformationen), aus einer Datenperspektive (z.B. Interpretation von Bewegungsdaten, die durch technologiegestützte Beobachtung erfasst wurden) oder aus einer experimentellen Perspektive (z.B. Untersuchung von Wegfindungsstrategien und Bewegungsverhalten in selbst programmierten virtuellen Umgebungen in Unity) untersuchen.

Visualisierung von raum-zeitlichen SensorDaten auf der openSenseMap

Die openSenseMap ist eine Plattform für Umweltsensordaten von Messstationen jeglicher Art. Zur Zeit werden nur Rohdaten von senseBoxen gespeichert und die Daten können sich nur pro senseBox angezeigt werden lassen. Zudem gibt es die Möglichkeit sich die gesammelten Daten für einen Zeitpunkt interpoliert darstellen zu lassen.

Ziel einer Bachelorarbeit ist es, eine Datenvisualisierung für verschiedene Aspekte auf dem openSenseMap Portal zu entwickeln. Diese kann z.B. zum Ziel haben, Daten mehrer senseBoxen und Sensoren mit statistischen Methoden zu vergleichen oder externe Datenquellen, wie zB. vom DWD, zum Vergleich einzubinden. Auch die interaktive Darstellung, in der verschiedene Umweltphänomene aggregiert dargestellt werden, würde neue Möglichkeiten schaffen, die Daten zu erkunden. Eine Bacheloarbeit kann auch die Visualisierung mobiler Sensoren in den Fokus der Arbeit stellen. Es werden verschiedene Visualisierungen mit neusten Webtechnologien generiert und mit einer Nutzerstudie evaluiert. 

SketchMapia – A Research Software to Assess Human Spatial Knowledge

Sketch mapping, i.e. freehand drawings of maps on a sheet of paper, is a popular and powerful method to explore a person’s spatial knowledge. Although sketch maps convey rich spatial information, such as the spatial arrangement of places, buildings, streets etc., the methods to analyse sketch maps are extremely simple. At the spatial intelligence lab, we developed a software suite, called SketchMapia, that supports the systematic and comprehensive analysis of sketch maps in experiments.

In this master thesis, you develop systematic test data for a sketch map analysis method and evaluate the SketchMapia analysis method w.r.t. its compleness, correctness and performance against other sketch map analysis methods. 

Kollaborative GeoGames in virtueller Realität

GeoGami ist ein ortsbasiertes Spiel zur Förderung des räumlichen Orientierungsfähigkeit: Der Spieler muss mehrere Navigationsaufgaben zu verschiedenen Orten lösen und an diesen Orten Fragen beantworten. Derzeit wird GeoGami primär einzeln gespielt. Im Rahmen dieser Bachelorarbeit wird GeoGami als Multiplayer-Version erweitert, bei der die Spieler gegeneinander antreten oder zusammenarbeiten können, um die Aufgaben zu lösen.

Nach der konzeptionellen Entwicklung verschiedener kollaborativer oder kompetitiver Spielformate, werden Spiele in GeoGami implementiert und evaluiert. Hier steht die virtuelle Welt in Unity sowie kollaborative Spiel

Mehr Informationen zu GeoGami finden Sie auf unserer Projektwebsite https://geogami.ifgi.de/ und auf github. Erfahrung mit Android-Programmierung und Interesse an ortsbezogenen Spielen sind von Vorteil.