Deep Learning – 音声を補助とした顔画像の超解像

 低解像度の画像を高解像度化(Super-Resolution)する手法は色々と発表されていますが、面白いアプローチの論文を見つけました。

arXiv.org > cs > arXiv:1909.12780

 スイスのベルン大学の方々なのですが、解像度を改善したい動画があまりにもモヤけていて元画像へ超解像することが困難な場合、その動画で超解像したい人物が話している声を補助的な手掛かりにすると言うアイディアだそうです。

 つまり、その人が話している声を分析して「女性だな」や「若い人だな」などある程度の想定を得られる情報を声から得て、その情報を顔の外観に使うとのこと。


 確かに、我々人間も視界が不良な状況で相手の顔を認識する際には声を補助入力としています。突飛なようですがナイスなアイディアだと感心しました。

English
English