HLSでカメラ画像をダイレクトに処理してみた

概要

タイトルそのままです。HLSでカメラ画像をダイレクトに処理してみました。今回は3x3のフィルタでラプラシアンフィルタを実装しています。

こちらに公開しております。

メモリに置いている画像への処理をアクセラレートするのではなく、カメラから入ってくる画像データをダイレクトに処理するコアですので、カメラのピクセルクロックに対してコンスタントに処理できる回路が生成できないと破綻します。

csimで期待値が合うだけでは不十分で、合成結果がちゃんと収まるか合成までして確認する必要があります。

そしていざ合成すると、下記のようにターゲットに届かなくてNGという事も発生します。

当初 vitis_hls 2019.2 でやっていたのですが、うまくいかず、vivado_hsl 2019.2 だとなぜかうまくいくけど実機で真っ黒になり、結局 vitis_hls 2021.2 でうまくいったという、書き方やツールバージョンに振り回されるなかなか散々な過程を経て動き出しました。

フィルタをON/OFFすると

とりあえず当面の狙いは拙作の LUT-NetworkのHLS対応でしょうか。今のところVerilogでしか試せていないので、ただでさえニッチなものが、超ニッチになっていますので(汗)。

いわゆる畳み込みネットワーク(CNN)が、計算機的には画像フィルタと同じ構成ですので、まずこれができないと始まらないのですが、今回ようやくと言う感じです。まだまだ先は長いですがのんびりやって行ければと思います。

メモリ上のデータしか処理しないアクセラレーターとは異なり、エッジコンピューティングでは外部デバイスが繋がってきますのでいろいろな制約が追加されることが多々でてきます。ほんとうにコンピュータアーキテクチャは奥が深いです。

色んなサイトを参考にさせて頂きました。

既に3年前に動かしておられたFPGAの部屋は凄いです。

KV260用のものもこちらに作成しました。