NVIDIA Optical Flow SDK

Optical Flow bietet Vorteile für Anwendungsfälle wie

• Objektverfolgung für intelligente Videoanalyse
• Videobildinterpolation, und Extrapolation
• Stereo-Tiefenschätzung
• Video-Aktionserkennung

Bis vor einigen Jahren erforderte die intelligente Videoanalyse (IVA) die physische Betrachtung und manuelle Analyse der aufgenommenen Videos. Dank der rasanten Entwicklungen im Bereich der Computer-Vision und Deep-Learning-Techniken ist ein Großteil dieser Analyse nun automatisiert. Die Identifizierung von Objekten/Personen/Fahrzeugen von Interesse auf dem Videomaterial von Sicherheitskameras und deren Verfolgung über die Videobilder hinweg kann mithilfe von Computer-Vision-Algorithmen erfolgen. Aufgrund der hohen Rechenkomplexität und der Anforderungen an die Parallelität sind Grafikprozessoren die ideale Plattform für die Ausführung dieser Anwendungen. Die gängigste Methode besteht darin, die Objekte/Personen/Fahrzeuge von Interesse in jedem Videobild zu erkennen und zu identifizieren und einen Algorithmus auszuführen, der die Objekte in aufeinanderfolgenden Bildern korreliert, um ihre Bewegung zu verfolgen. Diese Methode ist zwar genau, erfordert jedoch eine extrem hohe Rechenkomplexität, da die Objekterkennung/-identifizierung ein rechenintensiver Vorgang ist (in der Regel unter Verwendung neuronaler Netze).

Die Hardware Optical Flow Engine verringert die Anforderungen an die Rechenkomplexität erheblich, indem sie die Verfolgung von Objekten unterstützt. Sobald ein Objekt durch den Detektor erkannt/identifiziert wurde, kann es beispielsweise in aufeinanderfolgenden Videobildern durch einen Algorithmus verfolgt werden, der auf dem optischen Hardware-Fluss der GPU basiert. Dadurch muss der Erkennungsalgorithmus nicht mehr bei jedem Bild ausgeführt werden, was zu einer massiven Verringerung des Rechenaufwands führt. Der Detektor kann nun bei jedem K-ten Bild ausgeführt werden, ohne die Genauigkeit zu beeinträchtigen (K > 1, typischerweise K = 4). Dadurch bleiben die CUDA-Kerne des Grafikprozessors frei, um Inferenzen auf zusätzlichen Kanälen oder andere rechenintensive Aufgaben auszuführen.

Optical Flow SDK 2.0 enthält eine auf optischem Fluss basierende Objektverfolgungsbibliothek, zusammen mit Quellcode und gebrauchsfertiger API. In unseren Experimenten hat sich gezeigt, dass der auf optischem Fluss basierende Objekt-Tracker die GPU-Auslastung im Vergleich zu einigen der gängigsten Algorithmen um bis zu 80 % reduziert, ohne die Genauigkeit der Verfolgung zu beeinträchtigen.

Optischer Fluss kann auch sehr effektiv für die Interpolation oder Extrapolation von Video-Frames in Echtzeit verwendet werden. Dies kann bei der Verbesserung der flüssigen Videowiedergabe, der Erstellung von Zeitlupenvideos oder der Verringerung der offensichtlichen Latenz bei VR-Erlebnissen nützlich sein, wie sie von Oculus verwendet werden (Details)

Die Optical-Flow-Funktionalität in Turing- und Ampere-GPUs beschleunigt diese Anwendungsfälle, indem sie die intensive Flussvektorberechnung auf eine dedizierte Hardware-Engine auf dem GPU-Silizium auslagert und so GPU- und CPU-Zyklen für andere Aufgaben freisetzt. Diese Funktionalität in der Hardware ist unabhängig von CUDA-Kernen.