NVIDIA Optical Flow SDK

Optical Flow biedt voordelen voor use-cases zoals

• Object tracking voor intelligente videoanalyse
• Video frame interpolatie, en extrapolatie
• Stereo-diepteschatting
• Herkenning van video-acties

Tot een paar jaar geleden was voor intelligente videoanalyse (IVA) het fysiek bekijken en handmatig analyseren van de opgenomen video’s vereist. Dankzij de snelle ontwikkelingen op het gebied van computervisie en deep learning-technieken is het grootste deel van deze analyse nu geautomatiseerd. Met behulp van computervisie-algoritmen kunnen interessante objecten/personen/voertuigen van beveiligingscamerabeelden worden geïdentificeerd en over de videoframes worden gevolgd. GPU’s zijn een natuurlijke keuze van platform voor het uitvoeren van deze toepassingen vanwege de hoge computationele complexiteit en parallellisme-eisen. De meest gebruikelijke methode bestaat erin de interessante objecten/personen/voertuigen in elk videoframe te detecteren en te identificeren en een algoritme uit te voeren om de objecten in opeenvolgende frames te correleren en zo hun bewegingen te volgen. Deze methode is weliswaar nauwkeurig, maar heeft te kampen met extreem hoge computationele complexiteitseisen, aangezien de objectdetectie/identificatie een rekenintensieve bewerking is (waarbij doorgaans gebruik wordt gemaakt van neurale netwerkinferentie).

De hardware optical flow engine vermindert de computationele complexiteitseisen aanzienlijk door te helpen bij het volgen van objecten. Zodra bijvoorbeeld een object door de detector is gedetecteerd/geïdentificeerd, kan het in opeenvolgende videoframes worden getraceerd door een algoritme op basis van GPU’s hardware optical flow. Hierdoor hoeft het detectiealgoritme niet meer elk frame te worden uitgevoerd, wat resulteert in een enorme vermindering van de computationele complexiteit. De detector kan nu elk Kth frame worden uitgevoerd zonder dat dit ten koste gaat van de nauwkeurigheid (K > 1, gewoonlijk K = 4). Dit laat de GPU’s CUDA cores vrij om inferentie uit te voeren op extra kanalen of andere rekenintensieve taken.

Optical Flow SDK 2.0 bevat een object tracker bibliotheek gebaseerd op optische stroming, samen met broncode en kant-en-klare API. In onze experimenten is gebleken dat de optical flow-gebaseerde objecttracker het GPU-gebruik tot 80% vermindert in vergelijking met enkele van de populairste algoritmen, zonder afbreuk te doen aan de nauwkeurigheid van de tracking.

Optical flow kan ook zeer effectief worden gebruikt voor het interpoleren of extrapoleren van de videoframes in realtime. Dit kan nuttig zijn bij het verbeteren van de vloeiendheid van videoweergave, het genereren van slow-motion video’s of het verminderen van de schijnbare latentie in VR-ervaring, zoals gebruikt door Oculus (details)

Optical Flow functionaliteit in Turing en Ampere GPU’s versnelt deze use-cases door de intensieve berekening van flowvectoren over te dragen aan een speciale hardware-engine op het GPU-silicium, waardoor GPU- en CPU-cycli vrijkomen voor andere taken. Deze hardwarefunctionaliteit is onafhankelijk van CUDA-kernen.