Machine-Learning-Technologie stellt alle bisherigen Ansätze in den Schatten

RAISR – Machine-Learning-Bildverbesserung wie in Blade Runner
Keine Kommentare

Basierend auf Machine Learning und neuronalen Netzwerken hat das Google Research Team die RAISR-Technologie entwickelt. Sie verspricht beeindruckende Ergebnisse beim Upscaling von schlecht aufgelöstem Bildmaterial. Wird Blade Runner bald Realität?

„Das ist albern!“ Das war seit jeher meine Reaktion, wenn man in Filmen oder Serien Personen oder Motive auf verpixelten Fotos mithilfe von wundersamer Technologie in scharfe Objekte verwandelt. Man denke beispielsweise an die berühmte „Esper Photo Analysis“-Szene aus Blade Runner. Hier benutzt Protagonist Rick Deckard (Harrison Ford) eine aus heutiger Sicht überaus sperrig anmutende Maschine, die aussieht, als hätte jemand ein paar Achtzigerjahre-Videorekorder gestapelt. Doch das ist nicht der alberne Teil. Mehr als verwunderlich ist, dass Decker eine Fotografie in die Maschine steckt, um dann per Zoom und  Fokusveränderung winzige – eigentlich völlig verschwommene – Details auf dem Foto erkennbar zu machen.

„Ja nee, is klar!“ oder „Geht doch gar nicht!“ sind sicher Gedanken, die viele haben, wenn solche Szenen zu sehen sind. Doch es sieht ganz danach aus, als ob das, was bisher nur in Science-Fiction- oder High-Tech-Agentenfilmen möglich war, bald auch jedem von uns zur Verfügung stehen könnte. Denn nachdem das Google Research Team Ende September bereits eine Deep-Learning-basierte Methode zur Bildkompression vorgestellt hat, sind die Forscher inzwischen auch dabei, genau solche Bildverbesserungstechnologien wie aus Blade Runner mithilfe von Machine Learning (ML) Wirklichkeit werden zu lassen.

RAISR – Bild-Upscaling in nie gekannter Qualität

Die Technologie heißt RAISR („Rapid and Accurate Image Super-Resolution“) und nutzt ML, um aus niedrig aufgelösten Bildern möglichst hochaufgelöste zu machen. Solche sogenannten „super resolution methods“ sind keine Weltneuheit. Am möglichst korrekten Hochskalieren von minderwertigem Bildmaterial versuchen sich seit den Neunziger Jahren des letzten Jahrhunderts auch andere. Die erste wissenschaftliche Arbeit stammt sogar aus dem Jahr 1984 (R. Y. Tsai and T. S. Huang, „Multiframe image restoration and registration“, Advances in Computer Vision and Image Processing, JAI Press, 1984). Bisher wurden hauptsächlich lineare und bikubische Methoden oder der sogenannte Lanczos-Filter im Rahmen von Upsampling eingesetzt, um aus niedrig aufgelösten hochaufgelöste Bilder zu machen. Der Nachteil dieser Methoden ist vor allem ein wenig zufriedenstellender Detailgrad der generierten Bilder.

Erst die jüngsten Fortschritte im Bereich der künstlichen Intelligenzen und des Machine Learning bzw. dem durch neuronale Netzwerke basierenden Deep Learning haben der Disziplin „Super Resolution“ einen gewaltigen Schub verliehen. Denn laut dem Blogpost des Google Research Teams liefert RAISR Ergebnisse, die nicht nur vergleichbar oder besser sind als andere verfügbare Super-Resolution-Methoden, RAISR ist auch zehn bis 100 Mal schneller. Und genau das soll den Einsatz auf herkömmlichen mobilen Geräten ermöglichen – in Echtzeit. Die typischen Aliasing-Artefakte, also bspw. Moirée-Muster, von denen das Low-Resolution-Original geplagt wird, sollen im neu generierten Bild ebenfalls vermieden werden.

RAISR Machine Learning

Links das Low-Res-Original, in der Mitte das Ergebnis eines bikubischen Upscalers und rechts das Ergebnis mit RAISR. Bildquelle: https://research.googleblog.com/

Machine-Learning-Training

RAISR setzt dabei auf Machine-Learning-Training mithilfe von Bildpaaren – ein Bild mit niedriger, eins mit hoher Qualität – um Filter zu finden, die sich selektiv auf einzelne Pixel des Low-Res-Bildes anwenden lassen, um so einen Detailgrad zu erreichen, der dem des Originals möglichst nahe kommt. Das Training kann auf zwei Arten durchgeführt werden: entweder direkt, indem die Filter unmittelbar aus den Low- und High-Resolution-Bildpaaren erlernt werden. Oder man wendet zunächst einen herkömmlichen Upsampling-Filter auf das Low-Res-Original an. Danach werden die Filter erlernt, indem das hochgesampelte mit dem High-Resolution-Bild verglichen wird.

Egal welche Methode genutzt wird, die RAISR-Filtern gibt man darüber hinaus noch ein weiteres Training an die Hand, das sie in die Lage versetzt, die für einen ordentlichen Detailgrad so wichtigen Kanten in Bildern möglichst gut zu reproduzieren.

Die durch RAISR erzielten Ergebnisse, die das Google Research Team in Form von Beispielbildern im Blogpost präsentiert, sind durchaus beeindruckend. Vor allem die Tatsache, dass verschwommene Details der Originalbilder in der hochskalierten Version sehr treffsicher entfernt oder zumindest drastisch reduziert werden, unterstreicht den Vorsprung, den die Machine-Learning-gestützte Super-Resolution-Methode im Vergleich zu bisherigen Ansätzen hat.

RAISR Machine Learning

Links das Low-Res-Original, rechts das dreifach vergrößerte Bild mit RAISR. Bildquelle: https://research.googleblog.com/

Super Resolution steht noch am Anfang

Die Google-Forschungen sind erst der Anfang und wir dürfen uns mit Sicherheit auf weitere spannende Fortschritte in diesem Bereich freuen. Alleine schon deswegen, weil der Allgemeinheit Machine-Learning-Bibliotheken wie TensorFlow Open Source zur Verfügung stehen. So hat beispielsweise Entwickler David Garcia mit „srez“ ein TensorFlow-basiertes Deep-Learning-Projekt gestartet, das gestützt mithilfe eines Pyhton-Scripts beeindruckende Rekonstruktionen von Gesichtern aus verpixelten Low-Res-Bildern erreicht.

Bildverbesserung mit srez

Links das Original, dann eine bikubische Interpolation, dann das srez-Ergebis und ganz rechts das Orignal in echter High-Res-Auflösung. Bildquelle: https://github.com/david-gpu/srez

Blade Runner wird Realität

Was uns zurück bringt zum Blade Runner Decker. Mein „Das ist albern!“ werde ich wohl in Zukunft nicht mehr so ohne weiteres dem Fernseher entgegenrufen. Denn angesichts der Geschwindigkeit mit der Forscher den Bereich Super Resolution vorantreiben, steht vielleicht bald jedermann eine solche Technologie zur Verfügung. Dann ist nur noch die sperrige Maschine, die im Film eingesetzt wird, albern. Denn wir werden solche Technologien mit Sicherheit auf unseren Smartphones einsetzen.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu:
X
- Gib Deinen Standort ein -
- or -