近日,总部位于韩国首尔的人工智能研究院Hyperconnect,发布了一款基于机器学习的AI工具MarioNETte。该工具可以将普通人的面部映射到任何目标上(包括现代或历史人物)并进行动作的操控。研究人员表示,即使在要操纵的脸部和进行操纵的人之间存在明显的不匹配情况,MarioNETte依然可以进行优化让两者看起来更接近。
从技术上来看,MarioNETte是一款面部“重塑”工具,其原理是在保留面部(目标)外观的同时,通过与源数据进行动态合成以实现面部重塑这一过程。这不是一个新奇的技术,但是以前的技术有很大的不便:(1)需要几分钟的数据训练,并且只能重新制定预设的目标无法随意映射;(2)在处理较大面部动作时,会出现目标扭曲的特征。
MarioNETte通过合并三个新颖的组件来提高面部重塑技术水平:图像关注块、目标特征对齐和界标转换器。图像关注块,允许模型自动关注已映射物理特征的相关位置;而目标特征对齐,可减轻伪影、翘曲和变形;至于界标转换器,与人工标注示例的方法相比,它无需标记数据即可使待合成的脸部姿势几何形状,自动适配目标的几何形状。
Hyperconnect的研究人员通过使用VoxCeleb1和CelebV(两种名人照片和视频的开源资料库)对MarioNETte进行了培训和测试。使用来自VoxCeleb1的1,251个不同名人对模型和基线进行了训练,并通过从随机选择的100个VoxCeleb1视频中抽取2,083个图像集(加上CelebV中每个名人的2,000个图像集)采样,对一组模型进行了测试。
测试结果显示,在多达八张图像上,MarioNETte超越了所有其他工具。在另一项用户研究中, 100名志愿者根据质量和真实性从不同模型生成的两幅图像中选择一张,MarioNETte的输出排名高于所有基准。
Hyperconnect表示,未来该工具将帮助摄影师无需运动跟踪设备即可快速地为人物制作逼真动画。但是它也可能被用来创建高度逼真的人脸伪造,可以在静态图片或动态视频中逼真的模仿他人。
不过目前Google和Facebook等科技巨头已认识到人脸映射潜在的威胁,已经发布了检测深层次造假的数据集和AI模型。
未经允许不得转载:RPA中国 | RPA全球生态 | 数字化劳动力 | RPA新闻 | 推动中国RPA生态发展 | 流 > 人工智能研究院Hyperconnect发布AI工具,可将面部动作映射到任何目标上
热门信息
阅读 (14728)
1 2023第三届中国RPA+AI开发者大赛圆满收官&获奖名单公示阅读 (13753)
2 《Market Insight:中国RPA市场发展洞察(2022)》报告正式发布 | RPA中国阅读 (13055)
3 「RPA中国杯 · 第五届RPA极客挑战赛」成功举办及获奖名单公示阅读 (12964)
4 与科技共赢,与产业共进,第四届ISIG中国产业智能大会成功召开阅读 (11567)
5 《2022年中国流程挖掘行业研究报告》正式发布 | RPA中国