这几天，阿里的对口型视频生成工具火了。依据官方宣传，EMO只有要上行一张图片和一段音频就可以一键生成对口型视频，而且视频中的嘴型还可以与声响婚配。这项技术支持多言语、对话、唱歌以及极速语速的适配，但也或许成为制造虚伪视频的利器，因此一些名人或许须要警觉了。（

上班原理:

该框架蕴含两个关键阶段，首先是帧编码阶段，应用ReferenceNet从参考图像和举措帧中提取特色;

其次是分散环节阶段，经过预训练的音频编码器处置声响嵌入，并联合多帧噪声和面部区域掩码来生成头像。在此环节中，驳回了两种留意机制（参考留意和音频留意）和期间模块，以坚持角色身份并调理静止速度。

EMO不只支持多言语歌曲和不同格调的头像生成，还可以处置歌唱、对话等不同场景。它能够依据输入音频的长度生成不同时长的视频，并坚持角色的身份特色在常年间内的稳固性。此外，EMO还展现了在快节拍音乐中坚持与音频同步的才干，确保角色动画的体现力和灵活性。

这一钻研关于头像视频生成畛域具有关键意义，为多言语、多样化场景下的角色体现提供了新的或许性。它不只可以运行于文娱产业，还可以在学术钻研和教育培训等畛域施展关键作用。但是，须要留意的是，该框架目前仅用于学术钻研和成果展示，还有待进一步优化和裁减其运行范围。

EMO下载地址:

微信扫码打赏作者