お問い合わせ

03-5677-3930初診受付

ブログ

2021年6月16日

12947:CGへの扉 Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化:記事紹介

清澤のコメント:今日の眼と科学の話題は「眼に追いつけ追い越せ? カメラは機械学習により進化

https://morikatron.ai/2021/06/door_to_cg27/

です。この記事では「カメラと人の眼を比較し、カメラの進歩」を解説しています。2021.6.15発信のモリカトロン社の記事を抄出しました。詳しくは上記ページをご覧ください。

スマートフォンのカメラ性能、人間の目の性能

デジタルカメラや、スマートフォン搭載カメラの解像度は、数千万画素は当たり前、最新機種であれば1億画素以上の脅威的スペックを持った機種も登場しています。20年前ほどに写真撮影目的のカメラを初めて搭載した携帯電話が11万画素の性能でした。

眼鏡の超薄型レンズや、乱視向けのコンタクトレンズなど、眼にまつわるテクノロジーは進化していますが、「眼」としての性能はそれほど大きく変わりありません。ここ数十年で眼の性能が1,000倍どころか10倍も進化していません。眼というのはとても不思議な器官で、センサーとしての眼と、眼で見たものを解釈する脳とのセットで考える必要があります。

眼にはピントがあり、見えている範囲すべてにピントが合っているわけではありません。視線方向のみに限られること、中心視野と呼ばれる脳が明瞭に認識できるのが左右30度ずつくらいの狭い範囲で、さらに中心視と呼ばれる形や色などが明瞭に認識できるのは中心1〜2度にすぎません。周辺はぼんやりと見えているだけということです。また眼と脳はとても騙されやすく、錯視とよばれる視覚にまつわる錯覚が数多く知られています。

不完全な眼が何とか機能している一方、数多くの中から、異質なものを素早く見つけ出したり、ものすごく素早く動くものを正確に把握して理解することができたりします。

センサーとしてのカメラは1億画素だとしても、そこから得られる視覚情報を解釈し理解する人工の「脳」はどれほどのものでしょうか?人工知能の助けを借り、単なるカメラ画像を人間の眼に近づけるようなアプローチの研究をいくつか紹介します。

●普通の動画をスローモーション動画に

スポーツで決定的シーンを決めた瞬間、子どもや孫が初めて何かをした瞬間、その時々の撮影映像をスローモーションでじっくりと確認したい場合があるでしょう。NVIDIAの研究では、普通動画から、実際には撮影されていないさらに細かい間の映像を推定し再構成する方法が考えられています。動画のあるフレームと次のフレームとの変化量を捉え、その間にもう1フレームあった場合、どのような映像になるかを予想し補完します。

論文:https://arxiv.org/pdf/1712.00080.pdf :もともとスローモーション撮影された動画を、さらに細かいスローモーション動画に変換することも試されています。

●邪魔ものを除去。人間が脳で行なっている作業を代替

撮影で、ガラスやフェンスなど余計なものは、人間が見ている場合は脳が自然と除去して見たいものに意識を集中させます。撮影したい背景と手前の余計なものの動きの違いから、存在する層を再構築し、余計な層を取り除くことで目的の映像を得ます。

論文:https://arxiv.org/pdf/2004.01180.pdf

ロボットの目、物体認識用カメラの精度を上げる工夫として役立てられるかもしれません。

●これからの眼とカメラ

「動体視力」というのがあります。スポーツ選手であれば、普通の人よりも優れていると言われます。年齢とともに変化し、老眼と同じように加齢によって性能が落ちてくる能力のひとつです。工場の流れ作業での不良品の発見も、人の眼から徐々にハイスピードカメラと、人工知能を活用した画像認識技術に取って代わられつつあります。

若い世代には、スマートフォンアプリの写真フィルター機能が当たり前すぎて、フィルター加工のない元の写真には違和感があると言われます。コンピューティショナル・フォトグラフィーによる成果やニーズも最近は一段階次のフェーズに入ってきたように感じられます。

今後は、人間の脳の仕組みや眼の仕組み、構図や色味、視野角や動き、にじみやボケ、人が見たいと考えている写真や、脳が理解しやすい写真、脳が求める写真を大量の機械学習から導き出していくような気がしてなりません。

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央、Image by IEEE(※トップ画像は KODAK社による世界初のデジタルカメラ。カセットテープに画像を記録するデジタルカメラの試作機。1975年当時KODAK入社2年目の若手技術者Steven Sasson氏が開発したもので白黒100×100画素の性能であった)

Categorised in: ご近所の話題