NVIDIA Optical Flow SDK

Optical Flow は、以下のようなユースケースに役立ちます。

• Object tracking for intelligent video analytics
• ビデオ フレーム インターポレーション（OFIC: Video Frame Interpolation）。 および外挿
• Stereo depth estimation
• Video action recognition

数年前まで、インテリジェント ビデオ解析 (IVA) には物理的な視聴と、キャプチャしたビデオの手動解析が必要でした。 コンピュータビジョンとディープラーニング技術の急速な発展により、現在では、そのような分析のほとんどが自動化されています。 セキュリティカメラの映像から関心のある物体/人/車両を識別し、ビデオフレーム全体でそれらを追跡することは、コンピュータビジョンアルゴリズムを使用して実現することができます。 計算の複雑さと並列性が要求されるため、これらのアプリケーションを実行するためのプラットフォームとしてGPUが選ばれるのは自然なことです。 最も一般的な方法は、ビデオフレームごとに関心のある物体／人物／車両を検出・識別し、連続するフレームで物体を相関させるアルゴリズムを実行して、その動きを追跡する方法です。 この方法は、正確ではありますが、オブジェクトの検出/識別が計算集約的な操作 (通常はニューラルネットワーク推論を使用) であるため、非常に高い計算複雑性の要件を受けます。

ハードウェア オプティカル フロー エンジンは、オブジェクトの追跡を支援することによって、計算複雑性の要件を大幅に軽減します。 たとえば、いったんオブジェクトが検出器によって検出/識別されると、GPU のハードウェアオプティカルフローに基づくアルゴリズムによって、連続したビデオフレームで追跡することができます。 これにより、フレームごとに検出アルゴリズムを実行する必要がなくなり、計算量が大幅に削減されます。 検出器は、精度を落とすことなく、K番目のフレームごとに実行できるようになりました（K > 1、通常K = 4）。 これにより、GPU の CUDA コアは、追加のチャネルに対する推論や他の計算集約的なタスクを実行するために自由になります。

Optical Flow SDK 2.0 には、ソース コードとすぐに使用できる API とともに、オプティカル フローに基づくオブジェクト トラッカー ライブラリが含まれています。 私たちの実験では、オプティカル フローに基づくオブジェクト トラッカーは、トラッキングの精度を損なうことなく、最も一般的なアルゴリズムのいくつかと比較して、GPU 使用率を最大 80% 削減することがわかりました。

Optical flow も、リアルタイムでビデオ フレームを補間または外挿して非常に効果的に使用することが可能です。 これは、ビデオ再生の滑らかさの向上、スローモーション ビデオの生成、または Oculus (詳細) で使用されているような VR 体験における見かけのレイテンシーの低減に役立ちます。 ハードウェアのこの機能は、CUDA コアから独立しています。