高速視覚タスク用の全アナログ光電子チップ

清華大学の研究者が最近、視覚チップデザインについての研究結果を報告しました(DOI:10.1038/s41586-023-06558-8)。

研究者たちは、高速視覚タスクのために電子と光計算を組み合わせた全アナログチップである全アナログチップ光電子融合(ACCEL)を提案しました。ACCELは、回折光学アナログ計算(OAC)と電子アナログ計算(EAC)を一つのチップに融合させて、計算速度を1秒あたり4.6ペタオペレーションまで達成し、これは現行の最先端の計算プロセッサよりも一桁以上高速です。このチップは、特徴抽出のための回折光学計算を利用し、さらなる計算のために直接に光誘起フォトカレントを使用することで、アナログからデジタルへの変換器の必要性を排除し、フレームあたり72nsという低い計算遅延を達成します。ACCELは、各種タスクに対して競争力のある分類精度を示し、低照度条件での優れたシステムロバストネスを示します。ACCELの潜在的な応用範囲には、ウェアラブルデバイス、自動運転、工業検査などが含まれます。ACCELチップは、システムエネルギー効率が1秒あたり1ワット当たり74.8ペタオペレーションであり、計算速度が1秒あたり4.6ペタオペレーションであり、これは、それぞれ現行の最先端の計算チップよりも3桁と1桁高いです。このチップは、光子と電子計算の利点を組み合わせることで、高速かつ電力効率の良い視覚タスクを実現します。それは、非干渉光または部分的に干渉光の直接処理を可能にし、追加のセンサーや光源を必要とせずに消費電力を減らし、処理速度を向上させます。ACCELは、ビデオ判断タスクのための100のテストサンプルに対する85%の実験的な分類精度による高速認識を示します。ACCELは、ファッション-MNIST、3クラスImageNet分類、およびタイムラプスビデオ認識タスクに対して85.5%、82.0%、および92.6%の競争力のある分類精度を達成します。低照度条件においても優れた性能を示し、光強度が低下したときにデジタルニューラルネットワーク(NN)よりも特徴をより良く保存します。チップの部分的な再設定可能性は、固定の回折光学計算モジュールを持ちながらも、異なるタスクに対して同等の性能を可能にします。これは、その柔軟性と適応力を示しています。ACCELは、ウェアラブルデバイス、ロボット、自動運転、工業設備検査、医療診断において広範な実用的な応用があります。

視覚タスクにおいては、光信号を後処理のためのデジタル信号に変換することを求める課題があります。この変換プロセスは、大規模なフォトダイオードと電力を貪欲に消費するアナログからデジタルへの変換器(ADC)の使用を伴います。正確な光非線形性とメモリを実装することも、システムレベルでの遅延を加え、電力消費を増加させる可能性があります。これらの課題に対処するために、研究者たちは、大量のADCの必要性を減らし、タスクの性能を損なうことなく高速で電力効率の良い視覚タスクを可能にする光電子混合アーキテクチャを提案します。このアーキテクチャは全アナログのアプローチを利用し、情報を明るいまたは暗い光にエンコードします。このアーキテクチャのキーコンポーネントは、ACCEL（全アナログ畳み込み型イベント駆動学習）モジュールで、これは直接の画像処理と分類のために一般的なイメージングシステムの画像平面に配置されます。ACCELモジュールは、光アナログ計算(OAC)モジュールと電子アナログ計算(EAC)モジュールの2つの部分から構成されます。OACモジュールは、光速で動作するマルチレイヤ回折光学計算モジュールです。それは、ドット積演算と光回折を通じて光場にエンコードされたデータを処理するために訓練された位相マスクを使用して高解像度画像から特徴を抽出します。これにより、光電子変換の必要性なしにデータの次元削減が可能になります。OACモジュールからの光場にエンコードされた抽出特性は、EACモジュールに接続されます。EACモジュールは、光電効果に基づいて光信号をアナログ電子信号に変換するフォトダイオードアレイからなります。各フォトダイオードは、ストアドの重みに基づいて肯定的または否定的なラインに接続されます。生成されたフォトカレントは、両方のライン上で合計され、アナログサブトラクターは差分電圧を出力として計算します。EACモジュールは非線形活性化機能として機能し、バイナリ加重フル接続NNに相当します。EACモジュールの出力は、分類のための予測ラベルとして直接使用することができます。また、別のデジタルNNへの入力として使用することも可能です。全アナログ計算のために、出力パルスの数（Ntt）は、バイナリNNの出力ノードの数に対応し、これは所望の分類カテゴリに応じて設定することができます。単一のEACコアを持つACCELモジュールは、シーケンシャルに動作し、EACモジュールのバイナリNNのNtt出力ノードに対応する複数のパルスを出力します。これらのすべての機能は、一つのチップに全アナログ方式で統合することができ、それにより、各種の応用に適しており、さらに複雑なタスクのために現存のデジタルNNと互換性があります。

彼らは光エンコーダを紹介し、位相マスクの重みを、レイリー-ソマーフェルド回折理論に基づいた数値ビーム伝播を使用してどのように訓練することができるかを説明しました。彼らは3層のデジタルニューラルネットワークを使用して、MNISTデータセットからの画像を2%のサンプリングだけで再構築し、光エンコーダのデータ圧縮能力を示しました。また、光エンコーダの出力をデジタルニューラルネットワークと共に分類に使用した場合、サンプリングを大幅に減らしても同じ精度を達成できることも示しました。これは、精度を損なうことなくアナログ-デジタル変換器(ADC)の数を98%減らすことができることを意味します。ただし、より複雑なタスクやより単純なネットワークへの接続は圧縮率を低下させ、より高次元の特徴空間を必要とする可能性があると述べています。

彼らはまた、使用した電子アナログ計算機(EAC)のアーキテクチャを紹介しました。それは32x32のピクセル回路から成り立っています。これらの回路は、1,024xN出力のサイズの計算行列を形成します。N出力は出力ノードの数を表します。彼らの製造したチップでは、N出力は最大で16を取ることができます。各ピクセル回路には、アナログ計算に使用されるフォトカレント(Iph,i)を生成するフォトダイオードが含まれています。また、3つのスイッチと1つのSRAM（静的ランダムアクセスメモリ）マクロが含まれており、バイナリネットワークの重み(wij)を保存します。フォトダイオードの陰極は、重みの値により、各出力ノードに対して肯定的な計算線(V+)または否定的な計算線(V-)に接続されます。チップ上のコントローラは、推論を実行する前に訓練された重みをSRAMマクロに書き込みます。動作中には、累積フォトカレントと対応する重みが計算線を放電します。これにより電圧降下が生じ、EACでのさらなる処理に使用されます。

彼らは、ACCELがさまざまなタスクで達成した分類精度を報告しました。数値シミュレーションは、10クラスのMNIST、10クラスのファッション-MNIST、3クラスのImageNetを含む異なるデータセットに対して競争力のある分類精度を示しました。ACCELは、分類精度においてEACのみの方法とOACのみの方法よりも優れた性能を示し、視覚タスクにおける優れた性能を示しました。必要に応じて、小規模なデジタルニューラルネットワーク(NN)を低コストでACCELに接続することも可能です。彼らはまた、ACCELの低い計算遅延と低照度条件におけるロバストネスを報告しました。特徴抽出のための光学エンコーダとしての回折光学計算を適用した後、光誘起フォトカレントが統合アナログ計算チップ内のさらなる計算に直接用いられ、アナログ-デジタル変換器の必要性を排除します。ACCELは、フレームごとに72nsの低計算遅延を達成し、低照度条件でも競争力のある精度を示しました。これは、ウェアラブルデバイス、自動運転、工業設備検査などの応用におけるACCELの可能性を示しています。彼らは、ACCELのエネルギー効率と計算速度に関する実験測定結果を発表しました。ACCELは、システム全体の計算速度を4.55×10^3 TOPS（tera-operations per second）に達成し、エネルギー効率を7.48×10^4 TOPS W^−1（floating point operations per second per watt）に達成しました。これは、現行の最先端の方法よりも複数の桁高いです。3クラスのImageNet分類に対するACCELの平均システムエネルギー消費は4.4 nJであり、実験的なシステムエネルギー効率は7.48×10^4 TOPS W^−1と計算されました。これらの結果から、ACCELのエネルギー効率とスケーラビリティが示され、多様なインテリジェント視覚タスクに適していることが分かります。