自由視点画像生成のためのEigen-Texture法における係数の回帰

Abstract

物体やシーンの任意の視点における見えを生成する自由視点画像生成の一手法である 3 次元形状情報を利用したイメージベースレンダリングは,通常のカメラで撮影した対象の物体やシーンの画像のみから自由視点画像を生成できることから,一般ユーザでも容易に利用可能である.この手法では,大まかな形状を表す 3 次元メッシュのそれぞれの面に対して撮影方向が最も近い画像を選択し,対応する領域をテクスチャとして貼り付けることで自由視点画像を生成する.このとき,表面の反射などの影響により撮影方向によって物体の色が変化する場合,選択された画像が切り替わる際に色の不連続な変化が生じる.本研究では,3 次元メッシュのある面に貼り付けられるメッシュを固有空間中の点で表現する Eigen-Texture 法を利用し,さらに任意視点の位置から固有空間中の点を回帰することにより,任意の視点移動に対して滑らかにテクスチャが変化する手法を提案し,複数の画像データセットを利用してその有効性を示す.