Open menu
x

Bequem up to date mit dem Newsletter von Extrajournal.Net!

Jetzt anmelden, regelmäßig die Liste der neuen Meldungen per E-Mail erhalten.

Weitere Informationen finden Sie auf unserer Newsletter-Seite sowie in unserer Datenschutzerklärung.

Bildung & Uni, Business, Nova, Tech, Tools

Neues Tool der TU Graz macht Schwarz-Weiß-Filme farbig

Der Diamant-Film Colorizer im Einsatz ©HS-ART / TU Graz

Digitale Restaurierung. Software der TU Graz färbt Schwarz-Weiß-Aufnahmen realitätsgetreu ein: Das Tool verwendet KI-basierte Algorithmen, setzt Historiker-Wissen in Farbe um und ist bereits im Praxis-Einsatz.

Die Technische Universität (TU) Graz präsentiert zur Anschauung eine Szene aus „Go West“, einem klassischen Schwarz-Weiß-Film (ein früher Western mit Schauspieler Buster Keaton): Ihr neuer KI-Algorithmus bringt Farbe in die Szene. Die TU Graz entwickelte den KI-basierten Algorithmus, um Schwarz-Weiß-Aufnahmen realitätsgetreu einfärben zu können. Besonders interessant sei das für die Restaurierung historischer Aufnahmen.

Die Archive der Welt erhalten die (korrekten) Farben

In den Archiven dieser Welt lagern unzählige historische Aufnahmen in schwarz-weiß. Diese Kulturgüter und Zeitdokumente werden heute durch Digitalisierung konserviert und durch digitale Restaurierung (teilweise) verbessert. Schon seit den 1970er-Jahren gibt es Bemühungen, diese Filmaufnahmen zu kolorieren. Wirkliche Fortschritte gab es dabei aber nicht, zu hoch waren der Aufwand und die damit verbundenen Kosten für manuelle oder halbautomatische Kolorierungstechniken, so die TU Graz. Es sei zwar grundsätzlich möglich, Filme vollautomatisch einzufärben. Das habe aber den Nachteil, dass die Farben zwar vielleicht schön anzusehen, aber nicht realitätsgetreu sind.

Genau da setzte laut den Angaben das Projekt „RE:Color: Effiziente Färbung von Filmen in Kinoqualität basierend auf neuartigen Methoden des Maschinellen Lernens“ an: Informatiker*innen rund um Thomas Pock vom Institut für Maschinelles Sehen und Darstellen der TU Graz entwickelten zusammen mit der auf die Restauration von historischen Filmen spezialisierte Grazer Firma HS-ART eine integrierte Softwareanwendung, die interaktive und automatisierte Einfärbetechniken mit Deep-Learning-Technologien kombiniert. Das Ergebnis sei ein Algorithmus für einen überwiegend automatischen, aber dennoch vollständig benutzergesteuerten Einfärbeprozess.

Historische Überlieferung bestimmt die Farbe

Laut Pock ist es wesentlich, dass der Mensch die Einfärbung beeinflussen kann: „Man braucht immer einen Menschen, der aus historischen Überlieferungen weiß, wie die Kleidung, die Fassaden, etc. damals ausgesehen haben. War die Soldatenuniform grün oder blau? Das kann kein Algorithmus entscheiden. Er kann aber daraus lernen.“

In letzter Konsequenz hängt die Exaktheit der Rekonstruktion also von der Genauigkeit des historischen Wissens ab. Der Algorithmus muss außerdem mit einer ausreichend großen Sammlung an Trainingsmustern gefüttert werden, um das Einfärben von historischen Filmen dann automatisch zu übernehmen. „Es geht darum, mit möglichst wenig User-Input die Filme möglichst effizient einzufärben. Das kann so aussehen, dass der Mensch die Farbgebung für einen Filmframe vorgibt, und die Software dann die Einfärbung weiterer Frames übernimmt“, erklärt Pock.

Diese zentrale Anforderung der nutzergeleiteten Steuerung werde nur dank gut trainierter selbstlernender neuronaler Netze erfüllt, die durch Benutzerinteraktion dynamisch beeinflusst werden können. Die Forschenden haben dafür verschiedene und neuartige Ansätze im Bereich der automatisierten Kolorierung analysiert, die auf Künstlicher Intelligenz basieren, heißt es. Den effizientesten Ansatz haben sie dann zusammen mit den Entwicklern von HS-ART in einer Prototypanwendung implementiert und eine ausreichend leistungsfähige Sammlung von Trainingsmustern generiert. Dann erfolgte die Implementierung der menschengeleiteten Steuerung, um authentische und geeignete Farbschemata zu erhalten.

Authentisches Filmrauschen

Mit den entwickelten Algorithmen können die Filme laut TU Graz extrem sauber restauriert und auch eingefärbt werden – das sei aber nicht immer unbedingt erwünscht. Pock: „Bei historischen Aufnahmen und Kinofilmen im allgemeinen braucht es das gewissen Rauschen, den sogenannten Filmgrain, sonst wirkt das für das Publikum nicht authentisch. Deshalb kann die Software dieses Rauschen nach dem Restaurieren und Einfärben auch wieder künstlich generieren und hinzufügen.“

Der Kernalgorithmus wurde international publiziert, der Quellcode ist frei zugänglich. Für den effizienten Einsatz sei aber eine darauf aufbauende Software nötig, die vom Projektpartner HS-ART entwickelt wurde und sich bereits in ihrem Produkt-Portfolio befindet: Der „Diamant-Film Colorizer“ kam beispielsweise in der ZDFzeit-Dokureihe „Hitlers Macht“ zur originalgetreuen Einfärbung historischer Aufnahmen zum Einsatz.

Weitere Meldungen:

  1. Barrierefreie Computerspiele: Toolkit der TU Graz für Sehschwache
  2. Tietoevry Austria und Parloa: Pakt für KI-Kundenservice
  3. Neue IT-Musterverträge berücksichtigen KI, ChatGPT & Co
  4. Robert Kreillechner wird Managing Partner von Fujitsu Österreich