研究プロジェクト（高臨場感視線一致テレビ電話）

カメラ埋め込みスクリーンによる高臨場感視線一致テレビ電話

NHKが中心になって進めるsuper high-vision (SHV)が示すように，カメラとディスプレイの高解像度化は留まることを知りません．当研究室では，遠隔の2つの部屋をあたかも1つの部屋であるように繋ぐ超高臨場感テレビ電話システムを開発しています（図1）．相手がすぐ目の前にいるように感じるほど自然なコミュニケーションを実現することを目指しています．通話者が部屋のどこにいても鮮明に捉えるだけではなく，アイコンタクトまで正確に表現するために，ディスプレイ（プロジェクタ用スクリーンなど）の中に，複数のカメラを埋め込むことを提案しています（図2）．これらのカメラは非常に小さく環境に溶け込んでおり，通話者にはほとんど気になりません．複数の画像を1つの高解像度画像に合成して通信先に送るために，距離情報を捉えるTOFカメラも備えています．

図1：超高臨場感テレビ電話のイメージと狙い（左側の画像は合成です）．	図2：超高臨場感テレビ電話のシステム構成．

壁型プロトタイプシステム

超高臨場感テレビ電話のプロトタイプシステム開発を進めています．図3に示すように，システムは超単焦点プロジェクタ，5×2台のカメラが埋め込まれた大画面スクリーン，TOFカメラから成ります．カメラはスクリーンの裏側に設置されており，直径2mmの穴を通して部屋の様子を撮影します．図4は，TOFカメラと10台のうち5台のカメラにより撮影した画像例です．カメラの位置によって見えている部屋の位置が異なることがわかります．これらの画像をTOFカメラにより撮影した距離情報を元に1枚に合成し，通信先のスクリーンに投影します．

図3：プロトタイプシステムの外観．	図4：TOFカメラと5台のカラーカメラによる撮像例．

応用分野

遠隔コミュニケーション，拡張現実感．

文献

1. 香川景一郎, 張博, 川人祥二，"マルチアパーチャテレビ電話，"マルチアパーチャ・ライトフィールドカメラ応用ワークショップ予稿集, pp. 94-103 (Sep. 7, 2015).