こんにちは。２つのカメラで構成されており、測距を行うことができるステレオカメラは、それぞれのカメラの視差を利用して対象を立体物として認識することができるようになっています。
昨今では自動車の運転支援システムに使われていたり監視カメラの物体認識に使われていたり、他にも様々な産業で活用されています。身近なところではスマートフォンにも搭載されていたりしますね。
そのステレオカメラですが、基本的に２つのカメラで計測を行う必要がありますが、それを単眼カメラの撮影画像からステレオカメラ並みに高精度な距離計測を実現してしまう「立体認識ＡＩ」を東芝が開発したそうです。
ディープラーニングで高精度、省コスト、省スペースな距離測定を実現
ステレオカメラ自体はコンパクトな筐体の物も出ていますが、設置の手間やカメラ本体が高額なものもあります。同社の開発した「立体認識ＡＩシステム」では、市販のカメラで撮影した画像を使用できることから、コストやスペースの削減を可能にします。
近年ではロボットによる部品のピックアップや工場内の無人搬送車の自律移動、ドローンを使ったインフラ点検など、多くの分野で画像センシングが重要度を増しています。
これらはただ物体を撮影をするだけでなく、その形状や距離情報など３次元の情報を把握することが、基本的には求められています。
これらニーズに対し、小型化に適した単眼カメラを使用した計測技術の開発に注目が集まっており、ディープラーニングによって被写体の形状や背景などの風景情報を学習し、距離を測定する単眼カメラ距離測定技術の研究が活発化しています。
単眼カメラの距離測定技術の欠点
通常、単眼カメラでの距離推定技術の精度は学習した風景の情報に依存するために、学習した風景情報とは異なる背景で撮影すると精度が著しく低下してしまうという欠点がありました。
出典：東芝
同社では２色のカラーフィルターをレンズに挿し、被写体までの距離に応じて生じる画像ぼけの色と大きさを分析することで、風景情報に依存せずに距離を推定するカラー開口撮影技術を開発したものの、既存レンズの改造に伴うコストと手間が課題となっていたそうです。
ディープラーニングの活用で風景情報に依存しない測定を実現
上記の課題に対し、同社ではディープラーニングを活用。レンズ上の位置によって画像がどのようにぼけているかという「ぼけの形状」を解析することで、通常の単眼カメラのみで風景情報に依存しないステレオカメラ並みの高精度な距離計測を実現できる「立体認識ＡＩ」を開発。
出典：東芝
これまで理論的にピント位置から等距離であれば遠近どちらのポイントでもぼけの形状が等しくなるため、ぼけの形状から距離を計測することは困難だと考えられていたそうです。
出典：東芝
しかし、実際にぼけの形状を分析すると、ピント位置から等距離でも遠近それぞれのポイントで、ぼけの形状に大きな違いがあることが判明したそうです。
出典：東芝
そこでディープラーニングにより、撮影した画像からぼけの情報を解析することに成功。開発したネットワークは、ぼけの形状の変化を適切に捉えられるように位置と色情報を個別に処理し、アテンションと呼ばれる重み付け機構を経て、輝度勾配のどこに重点を置けば正しく距離計測できるかを制御するために活用されます。
出典：東芝
このＡＩを活用した結果、市販カメラの一枚の画像からステレオカメラに匹敵する高精度な距離計測を実現できることが確認されています。
まとめ
市販のカメラの画像からステレオカメラに匹敵する程の高精度な距離計測ができるのは驚きですね。余談ですが、最近出てきたスマートフォンでもＡＩを搭載し、カメラの写真ひとつとってもＡＩ処理で一眼レフカメラに迫ろうという画像を作り出します。
完全にソフトウェアの力で一眼レフカメラが無いと撮れないという物理的問題を無くしています。今回の技術もそうですが、ＡＩを活用することで物理的な問題を解決できてしまうのは素晴らしいですね。
今後もＡＩに置き換わりシンプルになっていくことは多いでしょう。
