Ryuz's tech blog

FPGAなどの技術ブログ

アクティブマルチスペクトルカメラを妄想してみる

今作っている Spartan7 + オンセミ社 PYTHON300 イメージセンサ、やっと絵が出始めました。

お手製のPYTHON300カメラモジュール

で、いつも通りの LUT-Network への応用や、オプティカルフロー計測、その他リアルタイムアクティブセンシングいろいろ考えているのですが、その中の応用例の1つを張っておきます。

しれっと PMOD つけているので外部でLED基板を作ればシャッター同期制御が簡単にできるはずです。

マルチチャネル計測はだいぶ以前から言ってるネタですが、別件で温めていたのでXには書いたけどブログに書いてなかったと思うのですがだいぶ前に書いた絵があるので張るだけ張っておきます。

リアルタイムフィードバック要素よりデータ分析要素が多いので私的にはそこまで重視はしてなかったのですが、こちらの方が需要はありそうなので。

動作例

  • 一応アクティブセンシング
  • 照明とシャッターの同期はグローバルシャッターでしかできない
  • とにかく安くスペクトル方向に何か測れる
  • 照明制御へのフィードバックでいろいろな変化が付けられる
  • 60fps相当のデータレートで16ch撮影できるので、深層学習の素材としても良い
  • 速いので動く物体を対象にできる可能性
  • MIPI なので Raspberry PI にもつながるかも?

などなど?

照明制御は1例ですが、FPGA弄ると外界と同期しながら多数の情報が取れるため、いろいろな応用があるかとは思います。

一方、当方はあくまでリアルタイムコンピュータ推しなので、単なるセンサーにせずに何かもっと即時性のある出力先を探したいところではありますが。