はじめに
せっかく失職して自由の身になったので(？)、いろいろ挑戦してみたいなと思っています。
とはいえ、いろいろ挫折してまた就職活動始めたり、フリーランス活動の中でNDA縛りとかで身動きとれなくなったりとか、いろんなことが起こりうるので、今のうちに妄想だけ書き綴っておこうと思います。
「あの時、先に考えてたんだよ」と言い訳するための記録以上でも以下でもないです(笑)。
妄想いろいろ
(妄想１) KV260につながる高速度グローバルシャッターカメラ
最近 X で呟きまくってるやつですね。
これはほんとに動くところまで作れるかどうか自信がないのでですが、KV260 につながる1000fps級の高速度撮影のできるグローバルシャッターカメラが作りたいなと思っています。
とりあえず KiCAD でここまで設計してみました。
製造したとして、動くのか、動いたとして RTL やソフトを書ききれるのか不安だらけですが、 現状のローリングシャッターの IMX219 を無理やり 640 x 132 で 1000fps 駆動するのも限界にきているので、ちゃんとしたセンシングに挑戦したいところです。
KV260 の MIPI-CSI コネクタは Raspberry PI 互換ですが、帯域的には VGA の 1000fps 程度は通るはずなので、カメラモジュールさえ何とかすれば何とかならないかなという妄想です。
オンセミ社のPYTHON300だと、例えば 416 x 416 だと 1173fps ぐらいまで出るようです。
(妄想２) Arduino 的に使える FPGA ボード
これも最近 X で呟いやた気がします。上の妄想ボードをいっそ PC に繋いでしまえというものです。
USB3 経由で、給電と、openFPGAloader での書き込みをできるようにして、かつ FT601 とかである程度の帯域で FIFO 的に通信できるようにできないかなと。
でもって、VS Code に完結して開発できるソフトウェアプラットフォーム作ってしまえば研究捗らないかなと。
(妄想３) K26 SoM でちゃんとした IoTカメラを作る
Arduino 的ときたら次は RaspberryPI 的だろうということで、ちゃんとした高速度撮影できる IoTカメラを作るというネタです。
これはだいぶ前に 異能ベーション 関連眺めていて、ローカルに妄想を書いていた図。
もうスポンサーつかないと作れないレベルな気はしていますが、データシートの公開されている部品だけで、こういうオープンハードウェアな高速度撮影可能なIoTカメラを作ったらいろいろ特殊撮影やセンシング方式の研究開発捗るだろうなと。
オンセミさんのPYTHON1300センサーとか、LUPA1300センサーとか、画像サイズ絞ればかなり高いフレームレートまで狙えそうで、かつ、詳細なデータシートが公開されていて Digikey や Mouser で売られてるんですよね。 素晴らしすぎますね。
おわりに
ざっと、思いつくまま書いてみた妄想でした。
多くの場合、妄想は妄想のまま終わるのですが、記録として残すだけならタダなので、書き出してみました。
あわよくば少しでもアプローチできると嬉しいなと思います。
私がリアルタイムコンピューティングでFPGAに期待している部分として、CPU/GPUには難しいところを補って、もっともっとコンピューティングと現実世界をつないでいきたいというものがあります。
現実世界と繋いでいくときに、計算機アーキテクチャも面白いのですが、やはり、センサーデバイス(入力)とアクチュエーションデバイス(出力)がないと何もできません。特に、イメージセンサとFPGAの融合は私が長らく扱ってきた分野ですので、環境を整えていく意味でもっといろいろ挑戦できればとは思う次第です。
最後に最近、転職活動するのに自己紹介資料で作った図を張っておきます。
