はじめに
世の中の最先端のAIモデルの開発にはそれこそ 国家予算級の費用 が投じられる時代になってきているようです。
OpenAI、Microsoft、Google、Meta、xAI などのトッププレイヤーを Frontier AI Labs などと呼ぶらしいのですが(AIがそう言ってました)、まさに 札束で殴りあう 勝負になっている面は少なからずあろうかと思います。
では、「ウチの会社(大学)の研究費じゃ、国家予算には少し足りないな、GPUボード何枚か買ったら終わる」と言う研究者はもうAI の研究を辞めるべきなのでしょうか？
もちろんそんなことは無いのですが、同じ土俵で戦ってもひどい目にしかあいませんので、どういう考え方でターゲットを決めていけば多少なり太刀打ちできるポイントが見つかるのか日々考え悩んでいるわけです。
特にお金がかかるのが学習ではないかと思います。推論を量子化なり枝刈りなりで軽量化する際にも追加で学習コストはかかりますので、とにかく手元に用意できる学習資源の中でやり繰りできる範疇以外は、転移学習にせよ、あらゆるパラメータ加工にせよ、プロンプトエンジニアリングにせよ、結局は「Frontier AI Labs などが公開している成果をただ使うだけ」になってしまいます。
という事で、大雑把にこんな構図が頭に浮かんできます。
身も蓋もない話をすると、いわゆる「汎用」と呼ばれる分野は、すべからく Frontier AI Labs が独占するんじゃないかと予想しています。
これは現在の LLM などもそうですが、自動運転や汎用ロボットなどのフィジカルAI分野も含めてすべからくです。
必要な知識とやらなければいけないことがわかっている分野に関して、お金を掛けずに太刀打ちするのは極めて難しいと思います。
ドメイン特化とは何なのか？
知識(データ)がドメイン特化
必要な知識(データ)がドメイン特化している分野は、どうあれ自分で学習させざるを得ない分野です。
もし仮に、弁護士資格と医師免許と電気工事士と危険物取り扱いまでありとあらゆる資格を持ち、世界中の言語を話すマルチリンガルのような、スーパーマンがいたとしましょう。しかしそんなスーパーマンでも、一度も入ったことのない飲食店に連れてこられて「ウチの味で料理を作れ」と言われたら手も足も出ませんし、「その会社でしか通用しないローカル用語だらけの資料をチェックしろ」と言われても困るわけです。
初見では何が良くて何が悪いのか皆目見当のつかないものの判定や、特殊な手順を含むものは、ドメイン特化と言えるでしょう。
ただこの領域は先の図の右上の「お金のないドメインは置き去り」になりやすい分野な気もしています。
また、「データが違うだけで、モデルは工夫しても従来のものに勝てない」とかだと研究として価値が訴求しにくいです。 そのデータに特化した新しいモデルの提案が出来るかどうかなども問われてくるところだと思います。
物理条件がドメイン特化
これもモデルの accuracy ばかり語っていると案外見逃しがちですが、とても重要です。
例えば、特殊な波長の光で計測しないと計測できない、100マイクロ秒で認識しないと間に合わない、などのパターンです。
こちらも特殊なデータを収集したり、低遅延で結果の出る特別なモデルや計算機を考案したりする必要が出てきます。
ここが他の領域と比べるとまだ、先の図の右下の「貧乏人でもやる価値あり」が比較的まだ掘り起こせる分野な気がしております。
フィジカルAIに活路を見出そうとしているのは、案外、ここがボトルネックになっていて、自動化が進んでいない部分が多いからなのではないかと想像しております。
少子化による労働者不足が迫る中、中小企業だとか農林水産業だとか、多くのところで「お金さえあれば自動化できるのに人間が作業してる」というものが沢山ありそうな気はします。
そもそもAIを学習させる意義は？
そもそも最近、最先端のLLMがニュースを騒がせすぎるので、100 FLOPS ぐらいで出来る計算ですら機械学習には意義がある という事が過小評価されていそうな気がします。
例えば AtCoder のようなプログラミングコンテスト的な体裁で、テキストボックスが出てきて「入力された画像が犬か猫か判別するプログラムを書きなさい」と出てきたら、多くのソフトウェアプログラマは困惑すると思います。中には手も足も出ない人も居るでしょうし、機械学習なしに高い判別率を出すのはほぼ不可能だったと思います。
しかし例えば、「犬と猫を90% 以上の精度で区別出来ればよい」という程度の難易度のお題であれば「それなら データさえあれば うちのGPUボードでも学習できるかな？」というような印象を持つと思います。
学習コストが低くていいというのは、それだけ安く誰もが手を出せるという事ですから、AIをお金持ちの道具からもっと裾野の広いものに変えていける可能性もあろうかと思います。
認識精度の問題
お金を掛けられないという事は、お金を掛けた場合よりどうしても精度は下がる傾向にあります。
もちろん中にはもともと「100% じゃダメだ」という分野も沢山ありますが、「90%程度の精度で露払いしてくれるだけでも、検査員を半数に減らせる」みたいな現場もあろうかと思います。
また「100マイクロ秒で認識してくれるなら 50% でも十分、それで治具が壊れる前に緊急停止できるなら消耗品の損耗率が半分になる」なんて現場もあるかもしれません。
当サイトは基本的にリアルタイムコンピューティングの追究ですので、計算機アーキテクチャとアルゴリズムの工夫でリアルタイム性を高めて、フィジカルな分野に計算機の価値を提供するというのが軸足です。
それらは基本的に 予測の効かない 分野で威力を発揮するのですが、そのなかに異常系というのはそれなりに含まれます。
人間でも転んだときに「右に体を捻るか左に体を捻るか」の一瞬の判断が生死を分ける事すらあります。産業でもそういう異常系はつきもので、そういう時に100%ではないにせよ、ある程度有意な認識ができれば、事故率や損耗率を減少させることが出来る可能性はあるわけです。
要は、どういうターゲットを選ぶかというのはとても重要なわけです。
おわりに
当サイトのいつものノリで FPGA 推しで〆たいと思います(笑)。
当方の取り組みは別にAIでなくていいのですが、とにかくFPGAなどを使って低遅延かつ固定時間で結果を出せるアーキテクチャとアルゴリズムを探求したいわけで、100マイクロ秒で認識してくれるとかエクストリームな方向で仕組みづくりを行い、あとは「 データさえあれば 安いGPUで学習して実装できますよ」としたいわけです。
まあ、もっとも データを収集する というのが一番難しいのかもしれませんが、そういったプロトタイプを作りやすいのも FPGA のいいところだったりもします。
闇雲に SOTA なモデルを追いかけても、最後にお金の力不足で悲しい結果にならないように、どこなら戦えそうか考えるのは大事なことに思いました。
GPU上で出来る事は、「手に入らないデータを使う」以外で差別化しずらいですが、FPGA なら「FPGAを使ったデータ収集」や「特殊な計算機アーキテクチャで低遅延化」みたいな方向で戦える幅が広がりますのでおススメですよ～
身も蓋もない話をすれば、「AIなんかやらない」とか「AIも使うけど、それ以外のところでちゃんと研究価値を作っておく」とかすると、差別化が図りやすいのですが。
