こんにちは。本日のニュースで、ドローンの開発において政府が新しい支援策を導入する方針であることが発表されていました。
現在のドローン市場は、世界的に見ても中国企業が圧倒的に強く、長らく市場を牽引していますが、安全保障上の観点から国内メーカーを育成していく目論見のようです。
このドローン支援策で検討されている内容としては、国の認定した企業を対象に政府系金融機関が低金利で融資したり、開発資金への補助金、税制面の優遇などがあります。合わせてドローン開発の新たな指針をつくり、撮影画像データなどの流出やハッキングによる乗っ取りを防ぐセキュリティー対策導入を開発企業に求めるとのこと。
国内でもＤＪＩのような価格と性能を両立した高品質な製品が出て来て欲しいものですね。
立体認識ＡＩで単眼カメラをステレオカメラ化。省スペース省コストを実現
さて、本日は東芝が開発したディープラーニング技術をご紹介。レンズでできる画像のぼけをディープラーニングで解析することで、カメラで撮影した１枚の画像からステレオカメラ並の高精度な距離計測を実現するという「立体認識ＡＩ」です。
ステレオカメラはこれまでにこのブログでも何度かご紹介してきましたが、カメラのレンズが２つ並行に並んでいるもので、例えば１つのカメラ本体にレンズが２つ付いているものや、２台のカメラを並べて撮影するものなどがあります。２台のカメラで異なる方向から同時撮影することで、奥行き情報も記録し立体空間を把握できるようにしています。
基本的にレンズが２つ付いていますので、当然ながら単眼カメラよりもスペースは大きくなります。
しかし同社の開発したＡＩを活用することで、市販のカメラで撮影した画像から立体認識が可能となるので、コストとスペースの削減を可能としています。
開発の背景
ロボットによる物のピックアップや無人配送車の自律運転、ドローンによるインフラ点検など、昨今では様々な分野で画像センシングの重要性が増しています。それら用途では被写体の画像撮影だけでなく、距離や形状の情報など３次元情報の把握も求められています。
そのニーズに対し、小型化に適した単眼カメラを使用した計測技術の開発に注目が集まっており、ディープラーニングにより被写体の形状や背景などの風景情報を学習し、距離を推定できる単眼カメラ距離推定技術の研究が活発化しています。
単眼カメラによる距離推定技術の精度は学習した風景情報に依存するため、学習した風景情報と異なる背景で撮影すると精度が著しく低下するという欠点があります。
出典：東芝研究開発センター
同社では２色のカラーフィルターをレンズに挿し、被写体までの距離に応じて生じる画像ぼけの色と大きさを分析することで、風景情報に依存せずに距離を推定するカラー開口撮影技術を開発。しかし、既存レンズの改造に伴うコストと手間が課題になっていたそうです。
立体認識ＡＩの開発
そのような課題から、同社ではディープラーニングを活用しレンズ上の位置によって画像がどのようにぼけているのか、ぼけの形状を解析することで、通常単眼カメラだけで風景情報に依存せずステレオカメラ並の高精度な距離計測を実現する「立体認識ＡＩ」が開発されました。
出典：東芝研究開発センター
これまで、理論的にピント位置から等距離であれば遠近どちらのポイントでもぼけの形状が等しくなるため、ぼけの形状から距離を計測することは難しいと考えられてきた。
出典：東芝研究開発センター
しかし実際にぼけの形状を分析してみると、ピント位置から等距離であっても遠近それぞれのポイントでぼけの形状に大きな違いががあることが分かった。
出典：東芝研究開発センター
これらから、深層ニューラルネットワークモデルを学習するディープラーニングで撮影した画像からぼけの情報を解析することに成功しています。
まとめ
通常、撮影時のピントが等距離の場合の画像のぼけは、遠近のどのポイントでも形状が等しくなるというのが、これまでの常識でしたが、実際に分析するとその常識は正しくなく、形状が等しいどころか大きく違いがあることを発見しています。
その結果、今回の技術が生まれていることから、既存で常識とされていることも本当にそうなのかという所を実際に検証していくことの大切さを感じます。
市販の単眼カメラでステレオカメラ並の高精度な距離計測ができるようになることから、小型の省スペースなカメラを用いることで、特にドローンなどと相性が良さそうですね。この技術は本年の社会実装が予定されています。
