ビジョンライブラリによる画像処理結果をディスプレイ表示【(1)構成】

本記事の概要
IPのエクスポートとVivadoへのインポート
1. IPのエクスポート
2. Vivadoへのインポート
Vivadoでのデザイン設計
まとめ
参考：開発環境
次回の記事のリンク

本記事の概要

概要

Vitisビジョンライブラリから高位合成したIPをエクスポートし、画像処理した結果をディスプレイに表示するZynqアプリケーションを紹介する。用例のcustomconvに含まれるFilter2D_accelを例にラプラシアンフィルタを実装する。

本記事では、Vivadoで設計したZynq上のブロックデザインを紹介する。

Xilinxの統合ソフトウェア開発環境では、Vitisビジョンライブラリ(以下、ビジョンライブラリ)をインクルードすることによって、画像処理の機能を持つIPを高位合成することができます。

本サイトでは、ビジョンライブラリのFilter2D_accel関数を例に、ラプラシアンフィルタを行う画像処理IPの高位合成を行いました。これまでの記事では、IPの構成やタイミングチャートを解説しています。

画像処理IPを静止画出力のアプリケーションと組み合わせて、実際にZynq上で画像処理した結果をディスプレイに表示しようと思います。静止画出力のアプリケーションの実装方法は以下の記事に掲載しています。

高位合成したIPをエクスポートし、Zynq上でブロックデザインを設計しましたので、本記事で紹介いたします。

この記事の対象読者

Vitisビジョンライブラリを初めて扱う
ビジョンライブラリで高位合成したIPを使って、ブロックデザインの設計・実装する方法を知りたい

IPのエクスポートとVivadoへのインポート

IPのエクスポート

前回の記事で、ビジョンライブラリを利用して画像処理を行うIPを高位合成しました。
高位合成したRTLをIPの形でエクスポートし、Vivadoのブロックデザインで利用していきます。

前記事では、高位合成の完了後、その結果をC/RTL協調シミュレーションで確認しました。

高位合成したRTL記述をIPにエクスポートしました。図の通り、[▶]をクリックし、[Export RTL]を選択します。

新しく[Export RTL]ダイアログボックスが立ち上がります。出力フォーマットなどの設定を行い、[OK]をクリックします。今回、特に変更するところはなかったので、そのままOKしました。

もし、Y2K22問題により、出力エラーが発生する方は、以下の記事の通り修正パッチを当てて対応ください。

11秒程度でRTL出力が完了しました。

エクスポートされたIPは以下のパスにあります。

エクスポートされたIPは

PROJECT\solution1\impl\ip

にZipファイルで存在します。ただし、PROJECTはVitis HLSプロジェクトを作成したパス。

Vivadoへのインポート

Vivadoを立ち上げて、このIPをプロジェクトにインポートします。
私の環境のVivado2021.1以降では、以下のフォーラムに報告されている問題が発生し、プロジェクトの処理を完了することができないので、バージョン2020.2のVivadoでブロックデザインを作成しました。

AMD Customer Community

IPのインポートの方法は以前の記事にも記載していますので、関係する記述箇所のみを抜粋しておきます。

IPのインポート方法

Vivadoプロジェクトを作成し、先程高位合成したハードウェアIPを読み込みます。
図のように、[IP Catalog]をProject Managerから選択し、クリックします。
[IP Catalog]上で、[Vivado Repository]を右クリックし、[Add Repositiory…]を選択します。

作成したハードウェアIPを選択します。
ハードウェアIPはVitis HLSプロジェクトの[solution1]>[impl]>[ip]フォルダに格納されているので、それを選択します。

レポジトリに追加されたら、次にブロックデザインに追加していきましょう。
ブロックデザインを立ち上げたら、右クリックで[Add IP]を選択し、作成したIPを選びます。

Vivadoでのデザイン設計

IPの実装イメージ

インポートしたIPをどのように他のビデオ出力系のモジュールと接続するかイメージを共有しておきます。
高位合成したIPには制御信号を入出力するためのバスと画像やフィルタといった配列を入出力するためのバスの2種類が用意されています。それぞれのバスには、プロセッサからのAXI4_Lite、メモリとDMA転送するAXI4を接続しようと思います。

加えて画像出力ロジックも実装します。画像出力ロジックは以前の記事で紹介した静止画出力アプリケーションで用いたものを流用します。ただし、以前はHDMI出力でしたが、今回はVGA出力としました。

実装は評価ボードZyboに行います。

Digilent Zybo Z7:Zynq-7000 ARM/FPGA SoC 開発ボード (Zybo Z7-10 SDSoC バウチャー付き)

created by Rinker

Digilent

作成したブロックデザイン

ブロックデザインをDefault ViewとInterface Viewそれぞれで示します(画像をクリックすると拡大します)。

Default View

Interface View

構成としては、静止画出力でDigilent社の「Zybo HDMI Output Demo」を読み込んで作成したブロックデザインをベースに作成しています。

ブロックデザインの解説

静止画出力のブロックデザインからの主な変更点は、

HDMI出力をVGA出力に変更(rgb2dviをrgb2vgaに変更)
使っていないGPIO入出力(leds_4bits, sws_4bits, btns_4bits)を削除
高位合成したFilter2d_accel IPをインポート

です。Filter2d_accel IPとZynq PS部の接続は

s_axi_controlとs_axi_control_rはPS部のM_AXI_GP0
gmem0, gmem1, gmem2をPS部のS_AXI_HP0

に接続しています。GPとHPの違いは次の通りです。

参照：Zynq PS部のGPとHPの使い分け

手段	推奨する使い方	スループット(Estimated)
PL AXI_HP DMA	大容量のデータセットをDMA形式で伝送	1,200 MB/s (複数のインタフェースそれぞれ)
PL AXI_GP DMA	・PLとPS間の制御信号の伝送・PS I/O ペリフェラルのアクセス	600MB/s

データ輸送方法の比較　https://www.xilinx.com/support/documentation/user_guides/ug585-Zynq-7000-TRM.pdfのTable 22.8より

この比較表によると、以下のように設定するのが良いかと思います。

ビデオの送受信は大容量かつ高速な伝送が求められるので、AXI4 Memory MapはHPポートに接続
制御信号やステータス信号をやり取りするAXI4-LITEのバスはGPポートに接続

GPとHPを次のブロック図のようにして使い分けをしています。

空間フィルタリング処理に必要な制御に用いる信号は、GPポートを介しAXI4-Liteのプロトコルでプロセッサから送信します。DDRメモリに格納する画像やフィルタの配列などの映像信号は、HPポートを介して直接メモリから読み出しています(DMA転送とは何か？)

次に、画像がどのような流れでメモリから外部ディスプレイまで流れていくかを、これもブロック図で示してみました。

画像とラプラシアンフィルタをメモリから読み出した後、空間フィルタリングをしてメモリに戻します。そのメモリをVDMA IPを使って読み出し、VGA出力することにしています。

この辺の処理は、img_outをメモリに送らず直接外部に出力することができそうなので、改善の余地があります。また、フィルタリングのタイミングと読み出しのタイミングをあまり考慮していないため、今のところ静止画ではうまくいっていますが、動画にしてリアルタイムに画像処理させる場合はもっとタイミングを考慮する必要があると思います