RPNetとは
2枚の画像からカメラ間の相対姿勢（回転・並進ベクトル）をEnd-to-Endで直接推定するニューラルネットワーク
ひとことで言うと
2枚の写真を見比べて、撮影したカメラがどれだけ回転・移動したかを直接推定するAIモデル。
概要
RPNetは、Sovann En、Alexis Lechervy、Frédéric Jurie（カーン大学）が提案した、2枚の画像から相対カメラ姿勢（回転・並進ベクトル）を直接推定するEnd-to-Endのニューラルネットワーク。カメラの内部・外部パラメータを必要とせず、画像ペアの生のピクセル情報だけから相対姿勢を推定する。SIFT＋RANSACに基づく従来手法はスケールを除いた並進ベクトルしか復元できないのに対し、RPNetはスケールを含むフルの並進ベクトルをEnd-to-Endで出力できるよう学習される。Cambridge Landmarkデータセットでの評価では、反復テクスチャやテクスチャレス領域を含む難しい画像において、従来手法より高精度かつ安定した結果を示した。
歴史
2018年9月、Sovann En、Alexis Lechervy、Frédéric Jurieが論文「RPNet: an End-to-End Network for Relative Camera Pose Estimation」をarXivに公開した。同年のECCV Workshops（ドイツ・ミュンヘン）でも発表された。
利点
- カメラの内部・外部パラメータを必要とせず、画像ペアだけから相対姿勢を推定できる
- 従来のSIFT＋RANSACに基づく手法と異なり、スケールを含むフルの並進ベクトルをEnd-to-Endで出力できる
- 反復テクスチャやテクスチャレス領域を含む難しい画像でも、従来手法より安定した結果を示す
欠点
- 論文での評価はCambridge Landmarkデータセットに限られており、他の環境での汎用性は論文内では検証されていない
- 2018年の研究であり、その後提案された手法との性能比較は論文には含まれていない