In einer Welt, in der Technologie und Digitalisierung zunehmend in unseren Alltag eindringen, ist es nicht verwunderlich, dass auch unsere Haushaltsgeräte smarter werden. Wer hätte gedacht, dass eines Tages Kühlschränke nicht nur kühlen, sondern uns auch mitteilen könnten, was sich in ihrem Inneren befindet?

Mit der wachsenden Beliebtheit moderner, smarter Kühlschränke nimmt die technologische Revolution intelligenter und vernetzter Haushaltsgeräte Fahrt auf. Die KI in neuen intelligenten Kühlschränken, soll dazu beitragen, das Leben der Menschen komfortabler und effizienter zu gestalten.

Viele dieser Hightech-Geräte sind mittlerweile mit einer eingebauten Kamera ausgestattet. Hier kommt die Künstliche Intelligenz ins Spiel, ein Bereich, der sich in den letzten Jahren rasant entwickelt hat und in immer mehr Anwendungen eindringt. Mit der Hilfe von KI können diese Kameras Objekte – in diesem Fall Lebensmittel – im Inneren des Kühlschranks erkennen, kategorisieren und sogar den Verbrauchern Empfehlungen geben.

Doch wie genau funktioniert diese Technologie und warum sollte man sie in einem so alltäglichen Gerät wie einem Kühlschrank nutzen wollen?

Objekterkennung (englisch: object recognition (OR)) ist nicht nur ein aktuelles Schlagwort in der Tech-Welt, sondern auch ein faszinierendes Feld der Künstlichen Intelligenz (KI).

Was genau verbirgt sich hinter diesem Begriff? Technologien zur Erkennung und Klassifizierung von Gegenständen werden als Objekterkennungsmethoden bezeichnet. Im Wesentlichen konzentriert sich die Objekterkennung darauf, spezifische Objekte in digitalen Bildern oder Videos zu identifizieren, zu lokalisieren und zu klassifizieren.

Stellen Sie sich dazu eine Kamera vor, die nicht nur Bilder aufnimmt, sondern auch die darauf abgebildeten Gegenstände erkennt und benennt. Diese Fähigkeit wird durch Algorithmen und neuronale Netzwerke ermöglicht, die darauf trainiert sind, Muster und Eigenschaften in den Bildern zu erkennen und diese mit einer Datenbank von bekannten Objekten abzugleichen.

Dank der Künstlichen Intelligenz (KI) sind heutige Kühlschränke in der Lage, weit mehr zu tun als nur zu kühlen.

KI spielt eine entscheidende Rolle bei der Objekterkennung in Kühlschränken. Sie agiert im Hintergrund, analysiert die Bilddaten, die von einer Kamera erfasst wurden und macht daraus sinnvolle Informationen. Mit ihrer Hilfe können Kühlschränke Informationen aus Bilddaten extrahieren, die dazu verwendet werden, um Objekte – hauptsächlich Lebensmittel und Getränke – zu identifizieren und zu klassifizieren.

Wie schafft es eine KI also Lebensmittel und Getränke präzise zu identifizieren? Hier kommen Deep-Learning-Techniken ins Spiel. Diese ermöglichen es der KI, komplexe Muster und Zusammenhänge in den Bilddaten zu erkennen, die für uns Menschen oft unsichtbar oder zu subtil sind. Ein zentrales Element dieser Technologie sind die Convolutional Neural Networks (CNNs). Sie sind speziell für die Verarbeitung von Bilddaten konzipiert und können Details erkennen, die selbst dem scharfsichtigsten menschlichen Auge entgehen könnten.

Convolutional Neural Networks (CNN) und Deep Learning Modelle, werden besonders für ihre hohe Genauigkeit und Leistungsfähigkeit in der Bilderkennung geschätzt. Große Unternehmen wie Google, NVIDIA und Microsoft sind führend in der Entwicklung und Anwendung dieser Technologien. Sie nutzen Objekterkennung für eine Vielzahl von Anwendungen, von der Bildsuche über autonomes Fahren bis hin zu Sicherheitssystemen. Aber auch Start-ups und kleinere Unternehmen bringen stetig innovative Lösungen in diesen Bereich ein.

Die Anwendung dieser Technologie findet nun auch ihren Weg in unseren alltäglichen Haushalt – intelligente Kühlschränke, die ihren Inhalt erkennen und verwalten können: In einem praktischen Szenario könnte ein mit KI ausgestatteter Kühlschrank beispielsweise feststellen, dass die Milch zur Neige geht oder das Gemüse nicht mehr frisch ist. Basierend auf diesen Erkenntnissen könnte der Kühlschrank automatische Einkaufslisten generieren oder sogar Benachrichtigungen an das Smartphone des Benutzers senden. Es mag auf den ersten Blick etwas ungewöhnlich klingen, einen Kühlschrank mit einer Kamera auszustatten. Doch wenn man die Vorteile in Betracht zieht, beginnt das Ganze, viel Sinn zu machen.

„Habe ich noch genug Milch zu Hause?“ oder „Wie viele Eier sind noch im Kühlschrank?“. Eine Kamera in Ihrem Kühlschrank könnte in solchen Situationen unglaublich hilfreich sein: Während Sie im Supermarkt sind, könnten Sie mit nur einem Klick auf eine App den Inhalt Ihres Kühlschranks bequem und in Echtzeit überprüfen. Dies reduziert nicht nur die Wahrscheinlichkeit von überflüssigen oder vergessenen Einkäufen, sondern spart auch Zeit und Geld.

Dazu muss der Kühlschrank zunächst nicht mehr liefern als das Bild selbst. Doch wenn der Kühlschrank nun auch in der Lage ist mit Hilfe von KI zu erkennen, welche Artikel darin gelagert sind, öffnen sich die Türen für eine Vielzahl weiterer Anwendungsfälle: Stellen Sie sich etwa vor, Ihr Kühlschrank könnte Ihnen basierend auf dem vorhandenen Inhalt Rezeptvorschläge machen oder Sie daran erinnern, bestimmte Lebensmittel zu verbrauchen, bevor sie schlecht werden.

Auswirkungen auf die Lebensmittelverwaltung & Verbesserung der Lebensqualität

In unserer heutigen Gesellschaft ist Lebensmittelverschwendung ein bedeutendes Problem. Jeder von uns hat sicherlich schon einmal erlebt, dass Lebensmittel im Kühlschrank vergessen wurden und letztendlich verdorben sind. Die Objekterkennung bietet Lösungen an, die weit über den einfachen Luxus eines technologisch fortschrittlichen Kühlschranks hinausgehen: Lebensmittel können nicht nur erkannt, sondern auch nachhaltig verwaltet werden.

Das bedeutet, dass nicht nur erkannt wird, dass beispielsweise eine Packung Milch oder ein Stück Käse im Kühlschrank liegt. Nein, das System kann darüber hinaus auch feststellen, wann diese Lebensmittel ablaufen und ob sie noch genießbar sind.

Ihr Kühlschrank sendet Ihnen eine Benachrichtigung, dass die Milch in zwei Tagen abläuft oder der Salat bald welk wird. Das erinnert nicht nur daran, diese Lebensmittel rechtzeitig zu verbrauchen, sondern hilft auch bei der Planung der nächsten Mahlzeiten. So könnten Sie beispielsweise rechtzeitig darauf hingewiesen werden, dass der Brokkoli, den Sie vor einer Woche gekauft haben, bald nicht mehr frisch ist, und Sie könnten ihn in das Abendessen von heute integrieren. Bevor er weggeworfen werden muss. Das erleichtert nicht nur die Menüplanung, sondern fördert auch die eigene Nachhaltigkeit.

Dank KI-Technologie werden solche Vorschläge zudem immer präziser und können an unsere Vorlieben angepasst werden. Es ist mehr als nur Technik; es ist ein Werkzeug, das aktiv dazu beiträgt, unsere Ernährungsgewohnheiten zu optimieren und den Alltag zu vereinfachen. So wird der Kühlschrank vom simplen Aufbewahrungsort zum intelligenten Assistenten in Sachen Ernährung.

Die Objekterkennung hat das Potenzial, unsere Essgewohnheiten und unseren Umgang mit Lebensmitteln grundlegend zu verändern. Es geht nicht nur darum, technologisch am Puls der Zeit zu sein, sondern auch darum, nachhaltiger und bewusster mit unseren Ressourcen umzugehen.

KI-gesteuerte Kühlschränke bergen ein immenses Potential. Allerdings sind mit der Implementierung solcher Systeme auch Herausforderungen verbunden.

Die technischen Anforderungen für eine lückenlose und fehlerfreie Objekterkennung sind hoch. Nicht jedes Produkt ist leicht identifizierbar, und unterschiedliche Verpackungen oder Marken können die Erkennung erschweren. Hinzu kommen Bedenken in Bezug auf Datenschutz und die Sicherheit solcher Systeme.

Die Einführung von KI in Kühlschränken ist technisch anspruchsvoll. Es bedarf spezialisierter Hardware und Software, um die komplexen Berechnungen der Objekterkennung effizient durchzuführen. Ein zentraler Aspekt ist die Entwicklung leistungsfähiger KI-Modelle. Das Training dieser Modelle verlangt nicht nur Fachwissen, sondern auch umfangreiche Trainingsdaten. Dies kann sich sowohl zeit- als auch ressourcenintensiv gestalten. Das Ziel ist klar: Eine präzise Erkennung der Produkte im Kühlschrank, und dies trotz variierender Verpackungen und unterschiedlicher Produktpräsentationen. Es gilt, ein Gleichgewicht zwischen technischer Feinheit und praktikabler Umsetzbarkeit zu finden.

Die Integration von Kameras in Kühlschränken bringt auch einige Datenschutzherausforderungen mit sich. Die fortwährende Datensammlung könnte die Privatsphäre der Nutzer gefährden. Daher ist es unerlässlich, robuste Datenschutzmaßnahmen zu implementieren. Dies beinhaltet, unter anderem, die verschlüsselte Speicherung von Daten und die Möglichkeit für Nutzer, Kontrolle über ihre Daten zu behalten. Es liegt im Interesse der Hersteller, solche Sicherheitsaspekte ernst zu nehmen, um das Vertrauen der Kunden zu gewinnen und zu erhalten.

Das Projekt REFOR wurde in Zusammenarbeit mit unserem regionalen Partner Robert Bosch Hausgeräte GmbH (Ansprechpartner: Herr Dr. Dieter Urban) durchgeführt. Ziel war es, die Potenziale der Objekterkennung in Kühlschränken zu untersuchen und weiterzuentwickeln. Wir konnten die innovative Technologie in einem echten Umfeld testen, evaluieren und optimieren.

Die größte Herausforderung für die Umsetzung von Objekterkennung in einem Kühlschrank liegt in der Datensatzbeschaffung. Um Objekterkennungsmethoden effektiv zu trainieren, sind gewöhnlich sehr große, markierte Datensätze erforderlich, die eine Vielzahl von Instanzen für jede Objektklasse beinhalten.

Angesichts der schier unendlichen Vielfalt an Lebensmittelprodukten und ihrer ständigen Neuerungen auf dem Markt wurde für das Projekt REFOR schnell klar, dass die Zusammenstellung eines derart umfassenden Datensatzes nahezu unerreichbar ist. Hinzu kam die Tatsache, dass Lebensmittel nicht nur in ihrer Art variieren, sondern auch in ihrer Form, Größe, Verpackung und Zustand. Ein Apfel kann zum Beispiel grün, rot oder gelb sein, glänzend oder matt, und selbst innerhalb derselben Art können erhebliche Unterschiede auftreten. Das erweitert den Bedarf an Diversität im Datensatz exponentiell.

Außerdem stehen die Produkte im realen Szenario oft nicht einzeln im Kühlschrank, sondern sie überlagern und verdecken sich gegenseitig, was die Erkennung zusätzlich erschwert. Auch Lichtverhältnisse oder Reflexionen durch Verpackungen spielen eine nicht zu unterschätzende Rolle.

Wie kann also die Objekterkennung von Lebensmittel in einem Kühlschrank in der Praxis funktionieren? Ziel dieses Projekts war es daher, einen anderen Ansatz zur Objekterkennung zu finden und zu testen, der nicht so viele Trainingsbilder benötigt: Eine Objekterkennungsmethode, die lediglich einige wenige beschriftete Referenzbilder pro Klasse benötigt, um Objekte zuverlässig in neuen Bildern erkennen zu können. Dieser Ansatz verspricht für das REFOR-Team nicht nur eine Steigerung der Effizienz, sondern macht den gesamten Prozess auch erst praktikabel.

Die Herausforderungen der Objekterkennung verlangen innovative Ansätze. Um das Problem mit den ausreichenden Datensätzen zu beheben, setzt REFOR auf die sogenannte Visual Search mittels Bild Embedding als zentrales Element.

Kern dieser Technologie ist es Bilder als primären Input zu nutzen, um Ähnlichkeiten innerhalb einer existierenden Bilddatenbank zu entdecken. Dies ist jedoch nicht nur das bloße Abgleichen von Bildern. Durch ein Zusammenspiel aus künstlicher Intelligenz und Machine Learning (ML) können die visuellen Informationen eines Bildes für die Suche eingesetzt werden, ohne auf eine traditionelle Textabfragen zurückgreifen zu müssen.

Der dahinterstehende Algorithmus analysiert feinste visuelle Merkmale wie Form, Farbe, Textur und Muster von Objekten in einem Bild. Anwendungsbeispiele hierfür sind in bekannten Apps wie Pinterest oder Google Lens zu finden. In einem Szenario für den Kühlschrank kann hiermit ein unbekanntes Lebensmittel im Kühlschrank fotografiert und mit einer Sammlung bereits bekannter Bilder verglichen werden.

Dieser Vergleichsprozess stützt sich auf die Annahme, dass Bilder, die in ihrer Erscheinung ähnlich sind, auch zur selben Klasse oder Kategorie gehören.

Ein neuronales Netz ist das Herzstück der Visual Search. Dieses Netzwerk übersetzt die Bilder in eine komprimierte Form, den sogenannten Feature Vector. Der Prozess der Umwandlung wird Embedding genannt. Dieser Vorgang dient nicht nur der Reduzierung des benötigten Speicherplatzes, sondern ermöglicht vor allem für eine Objekterkennung die Konzentration auf die wesentlichen Merkmale des Bildes.

Durch den Einsatz von Bild Embedding, neuronale Netzwerke und Feature Vectors kann somit ein direkter pixelbasierter Vergleich vermieden werden und stattdessen werden die wesentlichen Merkmale des Bildes für einen Vergleich herangezogen. Für das Projekt REFOR wurden verschiedene neuronale Netzwerke getestet, darunter waren Modelle wie ResNet18, ResNet50, ResNet152, RegNet und EfficientNet.

Letztendlich wurden für das REFOR-Projekt die beschrifteten Referenzbilder zuerst in solch einen Feature Vector umgewandelt und in einem Index gespeichert, um bereits bekannte Klassen zu erstellen. Durch den Aufbau eines Index, ergaben sich gleich mehrere Vorteile: Bei einer neuen Anfrage zur Objekterkennung kann der Feature Vector des Bildes schnell mit dem Index abgeglichen und so eine effiziente Zuordnung ermöglicht werden.

Für die korrekte Klassifikation der Bilder wird Deep Learning (DL) eingesetzt. Deep Learning basiert auf künstlichen neuronalen Netzwerken, die aus zahlreichen Schichten bestehen und gilt als Durchbruch in der Bilderkennung und -klassifizierung. Wenn es also darum geht, ein neues Bild aus dem Kühlschrank zu klassifizieren, wird dessen Feature Vector generiert und mit den Vektoren im Index abgeglichen. Basierend auf den Ähnlichkeiten mit den indizierten Bildern wird das neue Objekt entsprechend klassifiziert und erkannt.

Der durch REFOR gewählte Ansatz der visuellen Suche erzielte überzeugende Ergebnisse, insbesondere wenn nur wenige gelabelte Trainingsbilder pro Klasse zur Verfügung standen. Im Vergleich zu herkömmlichen Objekterkennungsmethoden zeigte die Methode eine überlegene Leistung in datenarmen Szenarien. Nichtsdestotrotz sind weitere Forschungen nötig, um die Performance des Ansatzes zu optimieren und seine Effizienz sicherzustellen.

Ein zentraler Fortschritt im Projekt war die Erweiterung des Datenbestands. Von 17.370 Originalbildern, auf denen Objekte erkannt wurden, erhöhten wir den Datenpool durch Vergrößerungsverfahren auf beeindruckende 138.960 Bilder. Um eine Bibliothek aufzubauen, wurden die Originalbilder mit Bildbearbeitungsmethoden verändert, wie z.B.:

• standardmäßige Veränderungen wie Drehungen, Spiegelungen und Skalierungen
• spezielle Anpassungen wie Helligkeits- und Kontrastmodifikationen

Die Auswertung der Experimente des REFOR Projekts zeigte, dass die durchgeführte Datenerweiterung die Genauigkeit des KI-Modells signifikant steigerte.

Das REFOR-Projekt konnte den Weg für fortschrittlichere Objekterkennungsmethoden in Kühlschränken ebnen und innovative Ansätze zur Datenbeschaffung und -verarbeitung hervorbringen. Es wird spannend sein zu beobachten, wie diese Technologien in zukünftigen Kühlschrankmodellen und anderen Anwendungen implementiert werden.

Aus dem Projekt gehen einige Ideen hervor, wie die Objekterkennung in Kühlschränken in der Praxis umgesetzt werden kann. Einige der vielversprechendsten Implementierungsmöglichkeiten sind:

1. Gamification-Strategie: Hier werden Kunden aktiv in den Prozess der Datenbeschriftung eingebunden. Sie unterstützen, indem sie aus den Top-3-vorselektierten Kandidaten die richtige Objektklasse auswählen. Dieser Ansatz fördert nicht nur die Kundenbindung, sondern bereichert auch den Datenpool.
2. Vorauswahl von Trainingsdaten aus Kundendaten durch die Suche nach bekannten Objekten in unmarkierten Daten, die dann in einem zweiten Schritt von einem Menschen beschriftet werden.