FPGAで作る！省電力エッジAIチップ～ハードウェア推論IP【作成編】（ハード系エンジニア対象）【オンライン限定セミナ】
FPGAで作る！省電力エッジAIチップ～ハードウェア推論IP【作成編】（ハード系エンジニア対象）【オンライン限定セミナ】
|
  |
【開催日】2023年10月14日(土) 10:00-17:00 1日コース
【セミナNo.】ES23-0082 【受講料】29,000円(税込)
【会場】オンライン限定セミナ
【セミナNo.】ES23-0082 【受講料】29,000円(税込)
【会場】オンライン限定セミナ
※本セミナはZoomを使ったオンライン限定セミナです．
詳細は，オンライン限定セミナについてをお読みください．
ディープラーニングのハードウェア化に挑戦する．特殊なIPコアや高位合成などは使わずに「力技」でHDL化する．
本セミナでは「畳み込みニューラルネットワーク（CNN）」で「推論」を行う．推論IPの「作り方」がテーマである．
CNNは正解率が高くなるが（GTSRBというドイツ道路標識データセットで98％台），そのぶん演算量が増えて複雑になる．CNNのプログラムはPythonで書かれており，畳み込みが4層，全結合が2層と多層にわたるが，一つずつ丁寧にHDL化する．
その後論理シミュレーションし，Pythonと結果が一致することを確認する．CNNは重み係数が膨大になるが，FPGAで使用できる乗算器には限りがあるので，「ビットシフト」により「乗算器を使わない乗算」を行う．
また，重み係数のHDLファイルはExcel+VBAで自動生成させる．本セミナは「ハードウェア推論IP」自体の設計から論理シミュレーションまでを中心に説明するが，DE1-SoCというFPGAボードに実装し，CMOSカメラ・モジュールからのカラー動画をリアルタイム認識するようすも簡単に紹介する。
また，作成した推論IPを，別の推論対象（信号機等）に転用する例も紹介する。
「使い方」に関しては別セミナFPGAで作る！省電力エッジAIチップ?ハードウェア推論IP【活用編】を用意している．
詳細は，オンライン限定セミナについてをお読みください．
ディープラーニングのハードウェア化に挑戦する．特殊なIPコアや高位合成などは使わずに「力技」でHDL化する．
本セミナでは「畳み込みニューラルネットワーク（CNN）」で「推論」を行う．推論IPの「作り方」がテーマである．
CNNは正解率が高くなるが（GTSRBというドイツ道路標識データセットで98％台），そのぶん演算量が増えて複雑になる．CNNのプログラムはPythonで書かれており，畳み込みが4層，全結合が2層と多層にわたるが，一つずつ丁寧にHDL化する．
その後論理シミュレーションし，Pythonと結果が一致することを確認する．CNNは重み係数が膨大になるが，FPGAで使用できる乗算器には限りがあるので，「ビットシフト」により「乗算器を使わない乗算」を行う．
また，重み係数のHDLファイルはExcel+VBAで自動生成させる．本セミナは「ハードウェア推論IP」自体の設計から論理シミュレーションまでを中心に説明するが，DE1-SoCというFPGAボードに実装し，CMOSカメラ・モジュールからのカラー動画をリアルタイム認識するようすも簡単に紹介する。
また，作成した推論IPを，別の推論対象（信号機等）に転用する例も紹介する。
「使い方」に関しては別セミナFPGAで作る！省電力エッジAIチップ?ハードウェア推論IP【活用編】を用意している．
●対象聴講者
・ある程度HDLが理解できる人（ハード系エンジニア向け）
・電気製品にディープラーニングを組み込みたい人
・ディープラーニングを高速化，低消費電力化したい人
・FPGAに興味がある人
・Pythonで書かれたアルゴリズムをHDL化したい人
・動画のリアルタイム認識がしたい人
講師サイト（後述）に目を通しおくと理解の助けになる
●講演の目標
・大量な積和演算を必要とするアルゴリズムを実装する際，CPUやGPUの他に「FPGA」という選択肢が一つ増える
・並列化，パイプライン化ができるのでCPUより高速化が可能であり，GPUと比べて低消費電力になる
・Pythonで書かれたアルゴリズムをハードウェア化する手順が分かる
・特殊なライブラリ，高位合成ツールを使わず，FPGAベンダ・デバイスに依存しないHDLを作成する
・一つの推論IP（HDL）を複数の認識対象に使い回せる
・複数の認識対象を複数のFPGAで処理してマイコン等で集中管理することも可能
●内容
1 推論IPを使ってみる～本セミナの最終目標
1.1 道路標識の認識をハードウェア化してみた
1.2 同じ推論IP（HDL）を複数の認識対象に使い回す
1.3 複数のFPGAからの情報を集中管理するFPGA/マイコン
2 PythonからExcelまで
2.1 本セミナのロードマップ
2.2 Pythonを走らせる（小数→整数化により認識率98→95％台）
2.3 PythonをExcelに移植する（整数なので結果はピタリ一致する）
3 HDLを書く前に決めておくこと
3.1 HDLの全体構成
3.2 畳み込み4層＋全結合2層で認識
3.3 各層間のRAMを考える
3.4 各層の係数ROMを考える
3.5 スループットを決める
4 畳み込み1層目のHDL化
4.1 重み係数ROMのデータは9ビット（VBAで自動生成）
4.2 積和演算の回路図とタイムチャート
4.3 積和演算のHDLを書く
4.4 RAMアクセスの回路図/タイムチャート/HDL
4.5 論理シミュレーションとPython/Excelの答え合わせ
5 畳み込み2層目のハードウェア化
5.1 重み係数ROMのデータは3ビット（VBAで自動生成）
5.2 乗算器を使わないビットシフト乗算
5.3 プーリング回路で出力を間引く
5.4 RAMアクセスの回路図/タイムチャート/HDL
5.5 論理シミュレーションとPython/Excelの答え合わせ
6 畳み込み3,4層目のハードウェア化
6.1 RAMアクセスの回路図/タイムチャート/HDL
6.2 論理シミュレーションとPython/Excelの答え合わせ
7 全結合5,6層目のハードウェア化
7.1 RAMアクセスの回路図/タイムチャート/HDL
7.2 論理シミュレーションとPython/Excelの答え合わせ
8 全層繋いでシミュレーション
8.1 パイプラインとは流れ作業のイメージ
8.2 各層間はRAM（ピンポンモード）で繋ぐ
8.3 論理シミュレーションとPython/Excelの答え合わせ
コラム FPGA実装の手順
●講演の参考文献，参考URL
1. 講師サイト：http://digitalfilter.com/gtsonhw/gtsonhw01.html
Pythonでの結果
Excelでの結果がPythonと一致している
論理シミュレーションの結果がPythonと一致している
ロジックアナライザでFPGA内部を見るとPythonと一致している
道路標識のリアルタイム認識-FPGAで作る省電力エッジAIチップ
ロジックのみで省電力！組み込み用AIチップ
道路標識の認識を信号機の認識に変更
認識結果をUARTでホストFPGAに送る
・ある程度HDLが理解できる人（ハード系エンジニア向け）
・電気製品にディープラーニングを組み込みたい人
・ディープラーニングを高速化，低消費電力化したい人
・FPGAに興味がある人
・Pythonで書かれたアルゴリズムをHDL化したい人
・動画のリアルタイム認識がしたい人
講師サイト（後述）に目を通しおくと理解の助けになる
●講演の目標
・大量な積和演算を必要とするアルゴリズムを実装する際，CPUやGPUの他に「FPGA」という選択肢が一つ増える
・並列化，パイプライン化ができるのでCPUより高速化が可能であり，GPUと比べて低消費電力になる
・Pythonで書かれたアルゴリズムをハードウェア化する手順が分かる
・特殊なライブラリ，高位合成ツールを使わず，FPGAベンダ・デバイスに依存しないHDLを作成する
・一つの推論IP（HDL）を複数の認識対象に使い回せる
・複数の認識対象を複数のFPGAで処理してマイコン等で集中管理することも可能
●内容
1 推論IPを使ってみる～本セミナの最終目標
1.1 道路標識の認識をハードウェア化してみた
1.2 同じ推論IP（HDL）を複数の認識対象に使い回す
1.3 複数のFPGAからの情報を集中管理するFPGA/マイコン
2 PythonからExcelまで
2.1 本セミナのロードマップ
2.2 Pythonを走らせる（小数→整数化により認識率98→95％台）
2.3 PythonをExcelに移植する（整数なので結果はピタリ一致する）
3 HDLを書く前に決めておくこと
3.1 HDLの全体構成
3.2 畳み込み4層＋全結合2層で認識
3.3 各層間のRAMを考える
3.4 各層の係数ROMを考える
3.5 スループットを決める
4 畳み込み1層目のHDL化
4.1 重み係数ROMのデータは9ビット（VBAで自動生成）
4.2 積和演算の回路図とタイムチャート
4.3 積和演算のHDLを書く
4.4 RAMアクセスの回路図/タイムチャート/HDL
4.5 論理シミュレーションとPython/Excelの答え合わせ
5 畳み込み2層目のハードウェア化
5.1 重み係数ROMのデータは3ビット（VBAで自動生成）
5.2 乗算器を使わないビットシフト乗算
5.3 プーリング回路で出力を間引く
5.4 RAMアクセスの回路図/タイムチャート/HDL
5.5 論理シミュレーションとPython/Excelの答え合わせ
6 畳み込み3,4層目のハードウェア化
6.1 RAMアクセスの回路図/タイムチャート/HDL
6.2 論理シミュレーションとPython/Excelの答え合わせ
7 全結合5,6層目のハードウェア化
7.1 RAMアクセスの回路図/タイムチャート/HDL
7.2 論理シミュレーションとPython/Excelの答え合わせ
8 全層繋いでシミュレーション
8.1 パイプラインとは流れ作業のイメージ
8.2 各層間はRAM（ピンポンモード）で繋ぐ
8.3 論理シミュレーションとPython/Excelの答え合わせ
コラム FPGA実装の手順
●講演の参考文献，参考URL
1. 講師サイト：http://digitalfilter.com/gtsonhw/gtsonhw01.html
Pythonでの結果
Excelでの結果がPythonと一致している
論理シミュレーションの結果がPythonと一致している
ロジックアナライザでFPGA内部を見るとPythonと一致している
道路標識のリアルタイム認識-FPGAで作る省電力エッジAIチップ
ロジックのみで省電力！組み込み用AIチップ
道路標識の認識を信号機の認識に変更
認識結果をUARTでホストFPGAに送る
【受講者が持参するもの】
オンライン限定で基本的に実習なしだが，PC（OS：Windows 10以降，64bit）に下記ソフトウェアをインストールし，講師サイトに目を通しおくと理解の助けになる．
・Anaconda（セミナではJupyter Labを使用）
・ExcelまたはLibreOffice
また，FPGAプログラムには以下のソフト・ハードが必要。
Quartus Prime Lite Edition 15.1以上（開発ソフトウェア）
DE1-SoC（テラシック社製FPGAボード）
OV5642カメラモジュール（日昇テクノロジー版推奨）
カメラ取り付け用アダプタボード（デジタルフィルター社）（＊1）
（＊1）下記サイトの左上「基板・ソフト販売サイト」から購入できる．
http://digitalfilter.com/jpindex.html
オンライン限定で基本的に実習なしだが，PC（OS：Windows 10以降，64bit）に下記ソフトウェアをインストールし，講師サイトに目を通しおくと理解の助けになる．
・Anaconda（セミナではJupyter Labを使用）
・ExcelまたはLibreOffice
また，FPGAプログラムには以下のソフト・ハードが必要。
Quartus Prime Lite Edition 15.1以上（開発ソフトウェア）
DE1-SoC（テラシック社製FPGAボード）
OV5642カメラモジュール（日昇テクノロジー版推奨）
カメラ取り付け用アダプタボード（デジタルフィルター社）（＊1）
（＊1）下記サイトの左上「基板・ソフト販売サイト」から購入できる．
http://digitalfilter.com/jpindex.html
【講師】
岩田 利王 氏〔株式会社 デジタルフィルター 代表取締役〕
音声・画像などのデジタル信号処理システム，VHDL/VerilogによるFPGA（Xilinx, Altera），dsPIC, ARM Cortex，MSP430等マイコンシステム，ラズベリーパイ，Arduino，Windowsアプリケーション，スマートフォンアプリ（Android/iPhone），プリント基板などの開発に従事．「実践ディジタル・フィルタ設計入門」，「dsPIC基板で始めるディジタル信号 処理」，「FPGAスタータ・キットで初体験!オリジナル・マイコン作り」，「FPGAパソコンZYBOで作るLinux I/Oミニコンピュータ」などCQ出版社から著書多数 ．
講師サイト：http://digitalfilter.com/
岩田 利王 氏〔株式会社 デジタルフィルター 代表取締役〕
音声・画像などのデジタル信号処理システム，VHDL/VerilogによるFPGA（Xilinx, Altera），dsPIC, ARM Cortex，MSP430等マイコンシステム，ラズベリーパイ，Arduino，Windowsアプリケーション，スマートフォンアプリ（Android/iPhone），プリント基板などの開発に従事．「実践ディジタル・フィルタ設計入門」，「dsPIC基板で始めるディジタル信号 処理」，「FPGAスタータ・キットで初体験!オリジナル・マイコン作り」，「FPGAパソコンZYBOで作るLinux I/Oミニコンピュータ」などCQ出版社から著書多数 ．
講師サイト：http://digitalfilter.com/
コース