既存のハイスピードカメラの2倍の速度で動画を撮影

時間超解像ホログラフィーによる3次元動画の撮影技術

千葉大学大学院融合理工学府 安齋亘 博士前期課程大学院生、同工学研究院 角江崇 助教、下馬場朋禄 教授、伊藤智義 教授らの研究グループは、3次元画像技術であるホログラフィーの特長を利用して、ハイスピードカメラの撮影速度（フレームレート）よりも2倍高速で３次元動画を撮影できる技術、「時間超解像ホログラフィー」の開発に成功しました。
この成果により、これまでは撮影できなかった高速現象を捉えることができるようになりました。今後、同技術の発展により高速現象を3次元的に計測することができれば、詳細が明らかにされていない物理現象の解明や未知の現象の発見につながると期待できます。
この研究成果は、2022年6月17日に、Opticaが刊行する科学論文雑誌の「Optics Letters」に掲載されました。

• 研究の背景

ハイスピードカメラはスポーツ中継などの身近な例に限らず、工場内の生産ラインを高速に流れていく製品の検品など、様々な分野、場所で利用されており、その恩恵は幅広い領域に浸透しています。高速に動く撮影対象の時間的な変化を正確に捉えるためには、より高速な撮影速度（フレームレート）(注１)が求められます。ハイスピードカメラで撮影できる動画のフレームレートは、一般的なカメラと同様、そのカメラ自身の性能によって決まります。したがって、ハイスピードカメラの性能が年々向上しても、カメラ自体の性能を超えたフレームレートで動画を撮影することはできませんでした。

 

• 研究の内容と成果

研究グループは、3次元画像技術であるホログラフィーの特長を利用して、ハイスピードカメラのフレームレートよりも高速に動画撮影できる技術「時間超解像ホログラフィー」を開発しました。ホログラフィーとは、光の干渉（異なる光の波を合わせること）と回折（光の波が物体の後方に回り込むこと）を利用して、奥行きの情報を含む物体の3次元像を記録・再生することができる画像技術です。私たちが物体を見るときに認識している、物体を透過または物体で反射した光を物体光と呼びますが、物体光と基準となる光（参照光）とを干渉させ、干渉で生じる光の明るさ分布（干渉縞）を記録することで、物体からやってくる光のすべての情報（振幅と位相）を記録することができるという仕組みです。

「時間超解像ホログラフィー」では、このホログラフィーの干渉縞をハイスピードカメラで撮影します。このとき、参照光の入射角度を適切に設定することで、ある一枚の画像に複数の干渉縞を多重化して記録できます(注2)。本研究では、参照光の入射角度を音響光学変調器(注3)によって高速に切り替え、異なる瞬間に形成される二種類の干渉縞を一枚の画像に多重化して撮影することに成功しました。

開発した時間超解像ホログラフィーの有効性を確認するために、円分度器（図2-a）が毎秒15回転の速度で高速回転する様子を撮影しました。ハイスピードカメラのフレームレートを6,000フレーム毎秒（fps）に設定し、まずは時間超解像ホログラフィーを利用せずに撮影しました（図2-b）。円分度器の目盛りが0.9度ずつ変化している様子が読み取れ、0.9[度/フレーム]×6000[fps]÷360[度/回転]＝15[回転/秒]から、設定した回転速度とよく一致しました。次に、時間超解像ホログラフィーを利用して撮影したところ、円分度器の目盛りが0.45度ずつ変化している様子が読み取れました（図2-c）。この結果はハイスピードカメラのフレームレートの2倍となる12,000fpsで動画像を撮影できていることを表しており、時間超解像ホログラフィーの有効性が示されました。

次に、ハイスピードカメラのフレームレートを87,500fpsに設定し、スプレー缶からの無色透明なガス流を時間超解像ホログラフィーで撮影しました（図3）。人間の目や普通のカメラでは透明なものを見ることはできませんが、光の位相を記録できるホログラフィーを利用すると可視化できます。ガスがスプレーノズルから噴射された後、時間の経過とともに徐々に噴射量が増大していく様子が観察できました。噴射開始から約50ミリ秒（0.05秒）が経過すると、ガス流の内部に渦状の特徴的な分布が生じている興味深い様子を捉えることもできました。

• 今後の展望

本研究で開発した時間超解像ホログラフィーにより、既存のハイスピードカメラのフレームレートよりも2倍高速で3次元動画撮影ができるようになりました。本成果を進展させ、画質や計測精度を低下させることなく実現可能であると示されている6倍の高速化に挑戦する予定です。また、信号処理や機械学習などの手法を融合させ、将来的には10倍を超える高速化を達成することで、1,000,000fps超の時間超解像ホログラフィーの実現を目指します。本成果は、高速すぎて詳細が明らかにされていない物理現象の解明や未知の現象を発見する足掛かりになると期待できます。

• 研究プロジェクトについて

本研究は、公益財団法人 高柳健次郎財団、独立行政法人日本学術振興会（JSPS） 基盤研究（A）19H01097の支援により遂行されました。

• 解説

(注１) 撮影速度（フレームレート）: 動画が1秒間に何枚の画像(フレーム)で構成されているかを示します。”frames per second (fps)” という単位で示され、例えば60fpsは１秒間に60フレームで記録されている、ということです。

(注２)干渉縞の多重化撮影：撮影した干渉縞の画像をフーリエ変換(注4)により周波数解析すると、参照光がハイスピードカメラへ入射する角度に対応した周波数を中心にして撮影対象の情報を持つ信号成分が現れます。信号成分が重なっていなければフィルター処理で独立に抽出することができます。

(注３) 音響光学変調器：媒質（光の波を伝播させる物質）に超音波を付加し、その媒質中に生じた屈折率の変化を利用して光を回折させることで、入射した光の進行方向を切り替えられる装置です。機械的な駆動が不要なため、たとえば毎秒10万回（100kHz）以上の速度でも、高速で光を変更できる利点があります。

(注４) フーリエ変換：数学的変換の一つであり、データ解析手法として工学をはじめとした様々な分野において広く用いられています。例えば信号処理において、ある信号をフーリエ変換することで、その信号にどのような周波数が含まれているのかを解析できます。画像処理においても同様で、画像をフーリエ変換することで、その画像にどのような周波数が含まれているのかを解析できます。画像における周波数とは画像の持つパターンの細かさに相当し、周波数が高いほど、細かいパターンを有した画像であるといえます。

• 論文情報

・論文タイトル：Temporal super-resolution high-speed holographic video recording based on switching reference lights and angular multiplexing in off-axis digital holography
・著者：Wataru Anzai, Takashi Kakue, Tomoyoshi Shimobaba,  Tomoyoshi Ito
・掲載誌：Optics Letters
・DOI：https://doi.org/10.1364/OL.460591