なぜUSBタイプのAIアクセラレータは進化しないのか？(妄想)

はじめに

まだまだ現役で利用されているシーンも多いかとは思いますが、下記のようなUSBに接続するタイプのアクセラレータが 2018年～2019年ごろ発売され始めて以降、特に進化したバージョンが現れてニュースを騒がせたりしていない気がします（私が知らないだけかもしれませんが）。

www.intel.co.jp

coral.ai

今更なのですが、少しスペックを見ながら考察してみようと思います。

仕様調査

仕様を調べてみて、あまり不確かでない情報や ChatGPT の回答などもあるのですが、なんとなくそれっぽい値をかき集めてみました。

	Intel Neural Compute Stick 2	Coral USB Accelerator
インターフェース	USB 3.1 gen1 ？	USB 3.1 gen1
演算能力	4 TOPS	4 TOPS
プロセッサ	Intel Movidius Myriad X VPU	Google Edge TPU
プロセッサの周波数	700MHz	500MHz？
メモリ	4GB 32bit@1600MHz	8MB (on chip) ？
消費電力	1～2.5W？	2 W per TOPS
価格	69ドル	74.99ドル

推定で書いてる個所もあるので、間違いがあったらすみません。

計算帯域を考えてみる

どちらも USB3.1 Gen1 のように予想されるので、恐らく理論限界の転送性能は 5Gbps(625MByte/s) ではないかと思います。一応 USB3 以降は全二重通信なので、往復路のそれぞれで 5Gbps が期待できるのかと思います（もっとも、実際の実行帯域としては半分ぐらいでは無いかとは思いますが、理論値で計算します）。

この時、理論限界の帯域が出たとしても INT8 一個の転送の間に 5GHz のプロセッサだとの 8サイクル分の計算が出来る事になります。昨今のマルチコアでSIMD命令も持っているCPUだと8サイクルに 100 OPS ぐらい計算してしまいかねず、これより十分多い量の演算をしないとペイしないことになります。

アクセラレータはどちらも 4TOPS という事なので、恐らく 1秒当たり 2T 回の積和演算ができる計算かと思います。これは 625MByte/s に対して１Byte(INT8)に 6,400 OPS の計算、積和だと 3,200 回適用できることになります。ひとまずこの段階で計算量的にはペイしそうです。

一旦シンプルに１層で100x100 ぐらいの DenseAffine を計算することにすると、1データあたり 1層で100回の積和となるので、32層ぐらいの深さのネットがバランスが取れた規模となるのかと思います。

もちろんこれが CNN や Transformer とかネットのアーキテクチャが変わってくるとまた変わってくると思いますが、大雑把な規模感としてそんな感じかなと思います。

もちろんこれは、パラメータは事前に転送済みの前提で、パラメータの入れ替えも並行して行うとパラメータ転送帯域が律速することが用意に想像できます。

先の 100x100 Dense Affine の例だと、パラメータは 10,000個ですので、データ100個に対して、都度都度これを再転送していたらデータ転送の100倍以上の帯域をパラメータ転送で消費してしまいかねません。これは LLM などの大パラメータのネットを使おうとすると凄まじく巨大なメモリを持っていない限り成り立たないことになる気がします。