ページ読込中...

次世代技術の芽と新しい物理をつくる

早稲田大学 理工学術院 先進理工学部 物理学科・応用物理学科

人間の情動や感性を物理的に表現する

画像情報処理研究

[English]

森島 繁生  [教授] dummy_photo
e-mail
homepage http://www.mlab.phys.waseda.ac.jp/
専門分野 画像情報処理研究
研究テーマ・研究活動
1987 年 東京大学大学院工学系研究科博士課程修了
            工学博士(東京大学)
1988 年 成蹊大学工学部電気工学科・助教授
1991 年 電子情報通信学会業績賞 受賞
1994 年-1995 年 トロント大学・客員教授
2001 年 成蹊大学工学部電気電子工学科・教授
2004 年 早稲田大学理工学部・教授

森島研究室では、物理の知識を駆使して、人々に感動と幸福をもたらすことを最終目標に研究を進めています。これは、研究成果を机上の空論や自己満足に終わらせず、技術が世に出て実用化を果たし、人類に貢献するところまでを意識して研究を行うということです。テーマは幅広く人間そのものをターゲットとした、いわば等身大の物理学を展開しています。開発された要素技術の1つ1つは、研究室に所属するメンバーの地道な努力の成果ですが、プロジェクトとして大きな最終目標を定めており、その実現に向けて重要な役割を担います。
現在、下記の5つのグループで、研究を進めています。
1)顔C G チーム:表情筋シミュレーション 顔の3次元モデリング
表情分析・合成 個性を反映した表情モデリング
皮膚の質感モデリング 頭部・頭髪モデリング
モデリング リップシンクアニメーション
2)個人認証チーム:顔画像認証システム 性別・年齢特徴の解析・合成
感情認識 顔の3次元形状推定
表情変化時の顔の特徴量抽出・追跡
3)動作C G チーム:人間の動作の解析・合成 骨格と皮膚のモデリング
マーカレスモーションキャプチャ
デジタルアーカイビング 歩き方の個性表現
クロスシミュレーション 流体シミュレーション
4)音響チーム:個性を反映する音声合成 声質変換
音楽に同期した映像生成 音楽のサムネイル表現
CGM N次創作支援
5)映像効果チーム:影の演出ツール 頭髪シミュレータ
演出可能レンダリング スケッチベースモデリング
アニメ制作支援ツール 半透明物体の照明効果
アンビエントオクルージョン

研究内容ダミー1
開発技術の実用例として、2005 年の愛・地球博で実装され、163 万人に感動を与えた”Future Cast System” があります。これは長崎のハウステンボスで常設展示化されました。当時は、人物のキャラクタモデル生成のためにレンジスキャナという特殊な装置を開発し、処理時間に2分ほど要していました。しかし、研究開発を重ね、Web カメラで撮影した正面画像のみから3次元キャラクタモデルを2秒で生成可能な”Active Snapshot” へ進化を遂げました。また現在は、顔形状に加え体型や動作、表情、声、髪型などの個性を反映できる”Dive Into the Movie”に挑戦しています。さらに、研究成果は、日本のアニメ作品やゲームタイトルにも採用され、生産効率向上に大きく寄与しています。

 

 

Shigeo Morishima [Professor] dummy_photo
e-mail
homepage http://www.mlab.phys.waseda.ac.jp/
research field

Physics-based human modeling and retargeting for virtual environments

research keywords
Computer graphics for human modeling
Computer vision for human analysis
Speech and music signal processing
link

Research Profiles (at Faculty of Science and Engineering)

Research Profiles (Elsevier SciVal Experts)

Physics-based human modeling and retargeting for virtual environments

Named “Dive into Movie (DIM),” our research project seeks to build a new genre of interactive entertainment allowing anyone to participate readily in a movie by assuming a role and enjoying an embodied, first-hand theater experience.
Specifically, this is accomplished by replacing the original roles of pre-created traditional movies with user-created, highly-realistic, 3-D CG characters. DIM movies are in some sense a hybrid form of entertainment, positioned between games and narratives. My hope is that DIM movies will enhance audience interactions and offer more dramatic presence, engagement, and fun for audiences. In DIM movies, audiences can experience high realism 3-D CG character action with individualized facial characteristics, expressions, gaits, and voices.
The DIM system has two key features. First, it can automatically create a CG character within a few minutes after capturing the face, body, gait and voice feature of an audience member and generating the corresponding CG animation, inserting the resulting individualized CG character into the movie in real-time, without discomfort to the participant; Second, the DIM system makes it possible for multiple participants to take part in a movie at the same time in different roles, including a family, a circle of friends, and so forth.
The innovations involve precisely cloning a personality with respect to facial geometry, facial expression, voice quality and cadence, body size and shape, gait, skin reflectance, and hair, based on a capture and modeling process taking mere minutes, and synthesizing photo-realistic virtual humans on the screen at adequate video rates.
Our prototype system has already been featured as an actual application (the “Future Cast System”) at Aichi Expo 2005. A permanent theater launched in 2007 in Huis Ten Bosch is a commercial success.
Our current research focus areas include the following:
1) 3D face geometry estimates from snapshots: Facial geometries are generated automatically based on just a frontal face photo, without range scanning.
2) Gait characteristic capture and retargeting: The personal features of a gait are captured in silhouette and categorized, then a blend ratio of each eigen motion is estimated to establish a characteristic ambulatory style for the CG character.
3) Skin reflectance modeling: Since human skin is a translucent object, sub-surface scattering must be considered for object rendering under certain lighting conditions. The research goal is to achieve high-speed illumination models that account for sub-surface scattering and ambient occlusion.
4) Personality modeling in facial expression: The impression created by a smile differs from person to person. We propose a physics-based model of facial expressions in which changing the geometry of muscle and fat layers generates distinct personal traits.
5) Personal voice synthesis: By blending a pre-scored voice in database, we can generate and clone a specific personal voice quality and cadence.
研究内容ダミー1
Virtual actors in movie scenes
Technologies can be used to create a movie cast of virtual humans with facial expressions and lip synchronization reflecting the personality of individual audience members, based on the instant and transparent capture of various individual traits; including facial geometries, facial expressions, voice quality and cadence, body size and shape, gait characteristics, skin reflectance, hair, and other personal features from audience members. All resulting CG characters can be controlled and rendered in real-time.

このページのトップへ