Gibt es bald gekrümmte Sensoren mit künstlicher Intelligenz?
Den bildgebenden Techniken mit den Bildsensoren, so wie wir sie heute von den Aufnahmegeräten kennen, steht eine neue Epoche bevor. Die Forschungsansätze zur Weiterentwicklung reichen von Bilderkennung mit künstlicher Intelligenz über Aufnahmesysteme ohne Objektiv, das dreidimensionale Sehen bis hin zu gebogenen Bildsensoren. „Die Bildsensoren, so wie sie heute millionenfach zum Einsatz kommen, gehören in absehbarer Zeit der Vergangenheit an“, ist sich Christian Müller-Rieker, Geschäftsführer Photoindustrie-Verband (PIV) sicher.
Den wichtigsten Schritt bei den unterschiedlichen Forschungsansätzen sieht Müller-Rieker darin, den Sensoren durch künstliche Intelligenz beizubringen, Objekte zu sehen, zu erkennen, im Raum zu verorten und ihre Bedeutung zu interpretieren. Es wird, so Müller-Rieker, immer mehr Bildsensoren geben, die nicht die gesamte Informationsfülle ihres Umfeldes, sondern selektiv nur jene Informationen erfassen, die sie für ihre Anwendung benötigen. Zwar wird es noch etwas dauern, das, wozu die Menschheit viele Millionen Jahre benötigte, nun auch den künstlichen Augen, den Kameras, beizubringen. Vieles aber an dem die Wissenschaftler der Imagingindustrie seit Jahren arbeiten, wird schon sehr bald in unser tägliches Leben Einzug halten.
Bilderkennung mit künstlicher Intelligenz
Die Bildsensoren von morgen dienen nicht mehr nur dem Ziel, Gesehenes in Bildern festzuhalten. Die Wissenschaftler im Bereich der Halbleiterforschung arbeiten an Bildsensoren, die Objekte nicht nur sehen, sondern auch erkennen können. Dazu wollen sie die Sensoren mit künstlicher Intelligenz ausstatten. „Bildsensoren, wie sie beispielsweise für das autonome Fahren eingesetzt werden, müssen automatisch erkennen können, ob ein Hindernis, das im Weg liegt, ein Luftballon ist, der gefahrlos überfahren werden kann oder ein Stein, der einen Unfall oder eine Beschädigung verursachen könnte“, erklärt Christian Müller-Rieker und hält gleich noch ein Beispiel innovativer Bilderfassung parat. „Nehmen Sie nur das Google Tango Projekt, das bereits in einigen Smartphones mit der jüngsten Sensorgeneration aus den Forschungslaboren der Halbleiterhersteller Infineon und pmd integriert wurde. Mit diesen Sensoren können Smartphones beispielsweise Räume vermessen und mit virtuellen Möbelstücken aus Internetkatalogen einrichten“, berichtet Christian Müller-Rieker. Noch immer sind selbst die smartesten Aufnahmesysteme blind im Vergleich zum menschlichen Auge. Sie können zwar Bilder erfassen, aber eben nicht ihre Bedeutung erkennen.
„Es hat uns Menschen 500 Millionen Jahre gekostet, diese Aufgabe zu bewältigen“, erläutert die amerikanische Wissenschaftlerin Fei Fei Li vom Forschungsinstitut ImageNet, die sich schon Jahrzehnte damit befasst, Maschinen das Sehen beizubringen und dazu eine in der Welt einmalige katalogisierte Bildersammlung zusammengestellt hat, die Forschern bei der Entwicklung von Algorithmen für maschinelles Sehen und Erkennen helfen sollen. Sehen beginnt zwar mit den Augen, aber Erkennen findet im Gehirn statt. Dieser auch als Machine Vision benannte Prozess ist Teil der künstlichen Intelligenz, die Forscher den Bildsensoren der nächsten Generation mitgeben wollen. Das Tango Projekt von Google mit seinen Bereichen „Motion Tracking“ (Bewegungsverfolgung), „Depth Perception“ (Raumerfassung) und „Area Learning“ (Umgebungs- und Standorterkennung) ist ein teilweise bereits realisierter, wichtiger Schritt auf diesem Weg.
Kameras ohne Objektiv – Zwei Ansätze
Forscher arbeiten seit Jahren mit Hochdruck daran, Bildsensoren zu entwickeln die ohne Objektiv auskommen. Zu den Pionieren auf diesem Gebiet zählen die Forscher in den Nokia Bell Labs, exakt die Laboratorien, in denen bereits die ersten Bildsensoren entwickelt wurden. Das von den Forschern der Bell Labs eingesetzte Verfahren fällt in die Rubrik des „Compressive Sensing“, grob übersetzt „komprimierte Sensorik“. Die größte Herausforderung dieser Methode besteht darin, den Sensoren und Prozessoren beizubringen, wichtige von weniger wichtigen Informationen zu unterscheiden. Der Trick, den die Bell Lab Forscher einsetzten, um Objektive im Imaging-Workflow überflüssig zu machen, bestand in der Reduzierung ihres Aufnahmesystems auf nur noch zwei Komponenten: einem neuartigen LCD-Verschlusssystem und einer dahinter platzierten, lichtempfindlichen Fläche. „Sollte dieses inzwischen schon einige Jahre bekannte Verfahren der Bilderfassung tatsächlich das Stadium der industriellen Fertigung erreichen, könnte es dem Imaging Markt superflache, extrem kompakte und durch den Verzicht auf Objektive auch preislich günstige Kamerakonstruktionen bescheren“, ist sich Müller-Rieker sicher.
Eine weitere Technologie für Aufnahmesysteme, die ohne Objektiv auskommen und es dabei gleichzeitig erlauben, den Fokus erst nach der Bilderfassung festzulegen, hat das japanische Unternehmen Hitachi vorgestellt. Der Vorzug der Lösung liegt darin, dass sie extrem kleine Aufnahmesysteme ermöglicht, die sich beispielsweise für Anwendungen in Robotern, Mobilgeräten oder Automobilen eignen. Hitachi ersetzt bei seinem System das Objektiv durch eine gedruckte Folie mit einem Muster aus konzentrischen Kreisen. Da dieses Verfahren auch die räumliche Information erfasst, kann der Fokus nachträglich auf eine beliebige Bildebene gelegt werden. Abweichend von den bekannten Lichtfeldkameras ist das System von Hitachi ausgesprochen flach und kann praktisch überall für sogenannte „Embedded Vision“ Anwendungen genutzt werden.
Laufzeitmessung zur Raumerfassung
„Die Fähigkeit von Geräten zum dreidimensionalen Sehen wird zu einer Vielzahl neuer Anwendungen für Endverbraucher und in der Automobilbranche führen“, sagt Jochen Hanebeck, Präsident der Division Automotive bei Infineon. „Die Tiefenwahrnehmung und das Motion-Tracking, wie Tango-Geräte sie heute nutzen, lassen sich auch zur Fahrerüberwachung anwenden oder zur Gestenerkennung im Fahrzeug.“
Der von Infineon entwickelte REAL3 Bildsensorchip vereint Pixelmatrix, Steuerschaltkreis, ADCs und die digitale Hochgeschwindigkeits-Schnittstelle auf einem einzigen Chip. Entwickelt wurde er gemeinsam mit pmdtechnologies, einem weltweit führenden Anbieter von Time-of-Flight- (ToF = Laufzeit-) Technologie. Bei diesem Verfahren misst der 3D-Bildsensor auf Basis von Infrarotlicht für jedes Pixel die Zeitspanne, die das abgestrahlte Licht von der Kamera zum Objekt und wieder zurück benötigt. Zudem erfasst jedes einzelne Pixel die Helligkeitswerte des Objekts. Die dafür entwickelte Kamera gilt als die kleinste 3D-Kamera der Welt.
Biegen ohne zu brechen
Bisherige Sensoren waren plan und nutzten Mikrolinsen auf den Pixeln zur Optimierung der Lichtausbeute. Die Anordnung und Größe der Pixel, ihre Verdrahtung spielte eine wichtige Rolle, um den auf einer Fläche zur Verfügung stehenden Raum optimal nutzen zu können. Unterschiedliche Technologien schicken sich nun an, diese bewährten Sensortechnologien zu revolutionieren. So hat beispielsweise Panasonic unter Einsatz einer organisch aufgebauten, fotoleitenden Schicht (englisch „Organic Photoconductive Film“ oder kurz „OPF“) eine neue Sensor-Generation entwickelt, die ein deutlich breiteres Farbspektrum und einen bis zu 100fach größeren Dynamik-Umfang („Dynamic Range“) einfangen kann als die modernen Silikon-basierten BSI-Kamera-Sensoren der heutigen Generation.
An einem anderen Ansatz arbeitet Sony. Mit der Entwicklung eines „Curved Sensor“ – also eines Sensors mit konkav geformter Oberfläche, hat das Unternehmen versucht, die qualitätsmindernde Bildfeldwölbung eines vom Objektiv projizierten Bildes durch die Krümmung der Sensorfläche auszugleichen. Die Schwierigkeiten liegen dabei einerseits in den Eigenschaften von Silizium, dem für die Sensorherstellung genutztem Material, das sich nicht biegen lässt und der Notwendigkeit, praktisch für jedes einzelne Objektiv einen Sensor mit angepasster Krümmung zu designen. Nun hat Microsoft nach fünfjähriger Forschungsarbeit mit dem Projekt „Vermont“ einen Durchbruch bei der Herstellung von gekrümmten Sensoren verkündet.
Das Problem der Bildfeldwölbung kommt daher, dass Objektive nicht in einer planen Ebene fokussieren, sondern entlang einer gebogenen Linie. Diese Biegung mit einem aus splitterndem Silikonmaterial hergestellten Sensor zu erzeugen, galt bisher als kaum zu bewältigen. Das spezielle, von Microsoft Forschern um Richard Stoakley, Brian Guenter und Neel Joshi entwickelte Verfahren, soll nun die einfache Herstellung von Bildsensoren mit gekrümmten Oberflächen ermöglichen. Derartige Sensoren sollen nach Aussage der Forscher nicht nur bis in die Bildränder scharfe Fotos ermöglichen. Sie sollen die Signalauswertung verbessern, die Lichtempfindlichkeit steigern, für eine gleichmäßigere Ausleuchtung sorgen und Verzerrungen vermeiden.
„Jeder Forschungsansatz hat seine Berechtigung, denn Imaging als Dokumentation, als Ausdruck eines kreativen, ästhetisch getriebenen Gestaltungswillens ist nur noch eine Kategorie innerhalb eines gewaltigen Universums bildgebender Systeme“, so Müller-Rieker. Die von einer Familie in ihren Autos, Kühlschränken, Überwachungsanlagen und anderen Geräten genutzten Kameras werden bei weitem die Zahl der von den Personen genutzten, fotografischen Aufnahmegeräte eines Haushalts in naher Zukunft übersteigen.
Bild und Text mit freundlicher Genehmigung des Photoindustrie-Verbands PIV.
powered by Borlabs Cookie