ビジョンライブラリを使った高位合成の方法【(3)C/RTL協調シミュレーション】

本記事の概要

Xilinxの統合ソフトウェア開発環境では、Vitisビジョンライブラリ(以下、ビジョンライブラリ)をインクルードすることによって、画像処理機能を高速化(アクセラレーション)することが可能です。例えば、OpenCVのフィルタ処理などを、FPGAに実装可能なロジックへと高位合成することができます。

ビジョンライブラリのインクルードの方法は以下の記事にまとめています。

Vitis HLSにVitisビジョンライブラリとOpenCVをインクルードして、高位合成の環境を構築する方法【Windows】(1)

Windows上のVitis HLSにビジョンライブラリとOpenCVをインクルードして、画像処理関数を高位合成する環境を構築しました。本記事では前準備として環境構築に必要なセットアップのうちOpenCVのインストール方法を解説しています。

phys-higashi.com

2022.01.04

Vitis HLSにVitisビジョンライブラリとOpenCVをインクルードして、高位合成の環境を構築する方法【Windows】(2)

Windows上のVitis HLSにビジョンライブラリとOpenCVをインクルードして、画像処理関数を高位合成する環境を構築しました。本記事では環境構築に必要なセットアップのうちVitis HLSのセットアップの方法を解説しています。

phys-higashi.com

2022.01.09

本サイトでは実際にVitisビジョンライブラリのFilter2D_accel関数を例に、ラプラシアンフィルタを行う画像処理IPのCシミュレーション、高位合成、C/RTL協調シミュレーション、そして実装を進めています。

ビジョンライブラリを使った高位合成の方法【(1) Csim】

Vitisビジョンライブラリでテストベンチ関数を使ったCシミュレーションの方法を解説。用例のcustomconvに含まれるFilter2D_accelを例にラプラシアンフィルタの高位合成と実装をめざす(本記事はCシミュレーションのみを行う)

phys-higashi.com

2022.01.22

実装は以前の記事で紹介したZynqで構成した静止画をディスプレイに表示するプロジェクトと組み合わせるつもりで、最終的にラプラシアンフィルタで処理した画像をディスプレイに表示させてみようと思います。

前回の記事で高位合成を行いました。

ビジョンライブラリを使った高位合成の方法【(2) Synthesis】

Vitisビジョンライブラリでテストベンチ関数を使った高位合成の方法を紹介。用例のcustomconvに含まれるFilter2D_accelを例にラプラシアンフィルタの高位合成と実装をめざす(本記事は高位合成まで)

phys-higashi.com

2022.01.23

今回の記事ではC/RTL協調シミュレーションの方法を示した後、IPの入出力バス、そのタイミングチャートを確認できればと思います。

C/RTL協調シミュレーション

実行

前記事で示した通り高位合成の完了後、その結果をC/RTL協調シミュレーションで確認しました。
図の通り、[▶]をクリックし、[Cosimulation]を選択します。

新しく[Co-Simulation Dialog]ダイアログボックスが立ち上がりますので、協調シミュレーションの設定をして、[OK]をクリックします。

Input Argumentsには、入力画像のビットマップのパスを選択しました。ビットマップ画像は、Cシミュレーションと同様に、次の解像度160×120の画像としています。

また、[Dump Trace]では[all]を選択しました。[Dump Trace]で波形を保存する変数を選択でき、[all]とすれば下位階層も含めて信号を確認することができます。

以上の設定のもと、[OK]をクリックし協調シミュレーションを実行します。

結果

220秒(3-4分)ほどかかり、協調シミュレーションが完了しました。

Filter2d_accelのレイテンシーは、22,287クロック(約220us)でした。

高位合成したIPの入出力信号のタイミングチャート

本記事では、このタイミングチャートのポイント、特に入出力変数のタイミングをそれぞれ図解しようと思います。

タイミングチャート全体

まずはタイミングチャート全体をざっと眺め一連の処理の大枠をつかみます。
波形の[Design Top Signal]を中心に確認しましょう。

Design Top Signalsの最上位のグループとその対応

分類	Design Top Signalの変数	IPのバス	各バスでやり取りする信号
C InOuts (入出力)	shift__rows__cols__…__return	control_s_axi	・プロセッサからのパラメータ ・プロセッサに送るステータス
C Outputs (出力)	img_out	gmem2	画像処理後の出力画像
C Inputs (入力)	filter	gmem1	空間フィルタリング
	img_in	gmem0	入力画像
	img_in__filter__img_out	control_r_s_axi	各配列のポインタ
Block-level IO (内部バス)	–	ap_ctrl	内部生成されるIPのステータス

RTLシミュレーションにおける変数とIPのバスの対応関係を踏まえて、全体のタイミングチャートをVivado Simulation の波形で確認しました。

まず、AXI4-Liteを通じて、(a)コントロールレジスタにデータを入力します。入力数によってレイテンシーは変わりますが、およそ数100nsくらいです。今回の協調シミュレーションでは320 nsかけて、データを入力し、その後コントロールレジスタのスタートビットに1を入力して、画像処理を開始します。

画像処理中はAXI4-Liteのcontrol_s_axiを通じてステータス(ap_ctrlの状態)を定期的に読み出し続けていました。それとは並列にまず(b)filter、次に(c)img_inをメモリから読み出し、(d)計算して得たimg_outをパイプライン処理でメモリに書き込んでいます。

160×120ピクセルの画像(19,200)を処理するのに、22,287クロックかかっていました。1ピクセルあたり約1.16クロックです。

この一連の処理の流れの各過程をもう少し細かく見てみます。

(a) コントロールレジスタの設定

コントロールレジスタはcontrol_s_axiモジュールとcontrol_r_s_axiモジュールの2つが存在し、その両方でレジスタを設定する必要があります。

まず、control_r_s_axiモジュールについて。
こちらでは、画像とフィルタを格納する配列のポインタを設定します。

control_r_s_axiに対応するimg_in__filter__img_outのグループ内の変数の波形を確認しましょう。
img_out, img_in, filterの順にフィルタを格納する配列のポインタを入力しているのがわかります。今回は、メモリとやり取りしていないので書き込む値は0となっていますが、Zynqに実装するときには実際の値を書き込まないといけませんね。

AXI4-Liteの書き込みや読み出しのプロトコルのイメージは以下の記事に記載しています。

AXI4における読み出し・書き込みのプロトコル

自作RTLにAXI4-Liteインタフェース(S側)を追加する方法 (2) カスタムIPの内部構成について解説

ハードウェア言語で作成したRTLモジュールにIPパッケージャーを使用してAXI4-Liteインタフェースを追加する方法を解説しています。カスタムIPのどこを変更すればよいか、図解しながらIPの内部構成とカスタマイズ方法を解説しています。

phys-higashi.com

2021.06.17

書き込み
M側のIP(今回はプロセッサ)が、AWチャネルに書き込むレジスタのアドレス、Wチャネルに書き込むデータを乗せて、S側のIP(今回はIPコアFilter_2d_accel)に送信します。
S側のIPが無事にアドレスとデータを受信したら、Bチャネルに無事に受信したかどうかを示す成否判定信号を乗せて、M側のIPに送信します。

読み出し
M側のIPが、ARチャネルに読み出したいレジスタのアドレスを乗せて、S側のIPに送信します。
S側のIPはアドレスを受信したら、Rチャネルに読みだしたデータを乗せて、M側のIPに送信します。

次に、control_s_axiについて。こちらでは、次の3パラメータを設定した後、画像処理を開始するスタート信号を送信します。

波形を確認しましょう。何回か読み出しと書き込みが行われていました。

この各タイミングでの書き込み、読み出しをまとめると、以下の表のようになります。

ちなみに、アドレス0x00のap_ctrlのステータスを示すコントロールレジスタは次の通りです。

ap_ctrlのステータスを表すレジスタ

• bit 0 : ap_start (R/W/COH)
• bit 1 : ap_done (R/COR)
• bit 2 : ap_idle (R)
• bit 3 : ap_ready (R/COR)
• bit 7 : auto_restart (R/W)

(R: read, W: write, COR: Clear on Read(読み出し時にレジスタ消去), COH: Clear on Handshake (ハンドシェイク時にレジスタ消去))

今回は、bit2でidle状態になっていることを確認したうえでパラメータの書き込みを行い、bit0をHighにして画像処理の開始を指示しています。

(b) gmem1 ラプラシアンフィルタ

スタートビットをHigh状態にすると、IPコアが自動でメモリ内のラプラシアンフィルタの配列からIPコアへの値の読み出しを開始します。
前回の記事で示した通り、ラプラシアンフィルタの配列はshort int型で、値はこのように指定しました(SHIFTは8)。

    filter_ptr[0] = 0; //0;
    filter_ptr[1] = 1 << SHIFT;
    filter_ptr[2] = 0; //0;

    filter_ptr[3] = 1 << SHIFT;
    filter_ptr[4] = -4 << SHIFT;
    filter_ptr[5] = 1 << SHIFT;

    filter_ptr[6] = 0; //0;
    filter_ptr[7] = 1 << SHIFT;
    filter_ptr[8] = 0; //0;

配列を絵にするとこんな感じです。この配列を1ワード(32bit)ずつリトルエンディアンで読み出しています。

また、バースト転送で5ワード、つまり配列全体を一気に読みだしています。
まず、バースト転送の方法を、ARチャネルを通じてIPコア(M側)からDDRメモリ(S側)に指示しています。今回、VitisHLSで生成された協調シミュレーションでは、ADDR＝0x00、LEN＝0x04、SIZE＝010b、BURST=01bという風にARチャネルから信号を送っていました。信号の意味はこの通りです。

ここで、インクリメントはアドレス順に順次読み出すという意味になります。

このようにして、ラプラシアンフィルタを配列からバースト転送で一気に読み出します。

おすすめ書籍

AXI4バスの各チャネル信号の説明はFPGAプログラミング大全にまとめられています。
例えば、ARBURSTにどんな値を代入するとバースト転送タイプが何に変わるかなどがまとめられています。ZynqなどのXilinxのSoCを扱ううえでの必読書だと思いますので、ぜひ購入を検討してみてはいかがでしょうか？

FPGAプログラミング大全 Xilinx編 第2版

created by Rinker

秀和システム

• Amazon
• 楽天市場
• Yahooショッピング

(c) gmem0 入力画像

次に、入力画像img_inを読み出しが開始されます。
前回の記事で見た通り、入力画像は4バイト(1ワード)ずつ配列に格納されています。

ラプラシアンフィルタと同様にバースト転送で複数ワードが連続で読み出されます。このとき、入力画像を転送するAXIバスでのARチャネルの設定は

• ARADDR : 0x0000, 0x0040, 0x0080, 0x00c0, …
• ARLEN : 0x0f (転送回数16回)
• ARSIZE : 010b (バイト数4 = 1ワード)
• ARBURST : 01b (インクリメント)

となっています。つまり、アドレスを順次インクリメントしながら4バイトずつ転送回数16回で、メモリの配列img_inから値を読み出すように指示しています。

図にすると16ワードのバースト転送を行い、バースト転送が完了したら、アドレスを0x40(64バイト＝16ワード)だけ更新し次のバースト転送を実行しています。

(d) gmem2 出力画像

img_outはimg_inで行った読み出し操作と同じことを書き込み操作で行います。
AWチャネルの設定もimg_inの読み出しにおけるARチャネルの設定と全く同じで、

• AWADDR : 0x0000, 0x0040, 0x0080, 0x00c0, …
• AWLEN : 0x0f (転送回数16回)
• AWSIZE : 010b (バイト数4 = 1ワード)
• AWBURST : 01b (インクリメント)

となっています。

16ワードずつバースト転送でメモリに画像処理後の出力画像を配列img_outに書き込み、バースト転送が終わったらアドレスを0x40更新して、次のバースト転送を行います。

まとめ

本記事では、Filter2D_accel関数のC/RTL協調シミュレーションを行い、高位合成したIPのタイミングチャートを確認できました。事前に確認しておくと、実際にVitisでアプリケーションを構築するときに何をレジスタに書けばよいのか・読み出せばよいのかが理解できます。
また、今回のIPで使用しているAXI4バスの使い方は覚えることが多く最初は理解に時間がかかります。しかし、実際に作成されたIPの動作を例にして読み解いていけば、理解を深めて、扱いにも慣れていけると思います。

最後までご覧いただきありがとうございました！

参考：開発環境

次回の記事のリンク

ビジョンライブラリの画像処理結果をディスプレイ表示【(1)構成】

Vitisビジョンライブラリのcustomconvに含まれるFilter2D_accelを例にラプラシアンフィルタを行うIPを高位合成。本記事ではラプラシアンフィルタリング処理した画像をディスプレイ表示するブロックデザインの構築方法を紹介。

phys-higashi.com

2022.02.06