复旦大学与百度合作发布了名为"Hallo"的人脸视频生成模型，并在公开的学术论文"Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation"中对该模型进行了详细阐述。这一模型是首个基于扩散技术实现端到端生成高度逼真人脸视频的开源项目。用户只需提供一段音频和所选人像，即可轻松制作出具有极高真实感的人脸视频。这一技术的推出代表着数字人相关的视频生成领域的重要进展。

项目主页：https://fudan-generative-vision.github.io/hallo/

论文链接：https://arxiv.org/abs/2406.08801

GitHub链接：https://github.com/fudan-generative-vision/hall

端到端人脸视频生成方案

在过去的技术发展过程中，由于缺乏有效的声音到视频生成方案，人脸视频合成通常需要依赖参数化模型作为中间媒介。腾讯、蚂蚁金服、微软等公司推出的Sadtalker、AniPortrait、GAIA等技术方法便是这一路径的典型代表。然而，这些方法常常受制于参数化模型在表情和动作表达能力上的限制，以及声音与动作之间的弱相关性，导致生成的视频在真实感和连贯性方面存在不足。最近，一些端到端的人脸视频生成方案逐渐出现，避免了中间表示形式的局限性。这些方案利用扩散模型强大的生成能力，可以直接生成高度逼真、高度连贯的视频。然而，这类方案中的音频和视觉特征通常通过全局交叉注意力模块进行直接交互，缺乏对唇部和动作的精细约束，导致生成视频的口型精度不如依赖参数化模型的解决方案，且动作生成能力较差，需要额外输入动作进行驱动。此次，复旦与百度推出的直接从声音驱动生成视频的端到端模型，无需复杂的参数化中间表示和额外的动作输入，即可生成口型、表情、动作极其自然丰富的人脸视频。这一创新依赖于以下几个关键方面：