AniPortrait:以音频驱动的真实肖像动画合成技术

一种全新的框架,用于生成高质量的音频驱动动画

直达下载
返回上一页
描述
AniPortrait,一个创新的音频驱动的肖像动画合成框架,能够生成高度逼真的动态图像。
介绍

AniPortrait是由腾讯游戏智迹团队开发的一种创新技术,旨在通过音频和参考肖像图片来生成高质量的肖像动画。该技术不仅能够处理静态图片,还能够通过视频实现面部再现,使动画效果更加逼真。

index_open_AniPortrait_1

1. 系统要求与环境搭建

为了使用AniPortrait,您需要配置一个符合要求的计算环境。推荐使用Python 3.10版本及CUDA 11.7。首先,您需要安装所需的Python库,可以通过运行以下命令来安装:

    
pip install -r requirements.txt

2. 权重下载

您需要下载预训练权重文件,并将它们放置在./pretrained_weights目录下。这些权重包括去噪网络、参考图像网络、姿态引导器、动作模块、音频转网格模型、音频到姿态模型和FILM网络等多个组件的权重文件。详细的权重文件和下载路径如下:

  • StableDiffusion V1.5
  • sd-vae-ft-mse
  • image_encoder
  • wav2vec2-base-960h

权重文件下载并整理好之后,可以在配置文件(如./config/prompts/animation.yaml)中指定权重文件的路径。

3. 模型使用与命令行工具

AniPortrait提供了多种命令行工具,以支持不同的动画生成需求:

  • 自我驱动动画:通过指定动画配置文件,使用-acc参数来加速视频生成。

        
    python -m scripts.pose2vid --config ./configs/prompts/animation.yaml -W 512 -H 512 -acc
    
  • 面部再现:可以添加源面部视频和参考图像,通过以下命令生成面部动画:

        
    python -m scripts.vid2vid --config ./configs/prompts/animation_facereenac.yaml -W 512 -H 512 -acc
    
  • 音频驱动动画:在配置文件中添加音频和参考图像后,运行以下命令生成音频驱动的视频动画:

        
    python -m scripts.audio2vid --config ./configs/prompts/animation_audio.yaml -W 512 -H 512 -acc
    

4. 在线演示和Gradio界面

您还可以通过HuggingFace Spaces上的Gradio界面体验AniPortrait的Web演示。运行以下命令即可启动本地演示:

    
python -m scripts.app

通过AniPortrait, 用户可以轻松生成高质量的动画,不仅增强了视觉体验,还大大提升了互动性和真实感。

使用中最让我印象深刻的是面部再现功能,它不仅能够精准地捕捉到参考视频的表情变化,还能很好地将这些表情迁移到新的肖像上。这在很多情况下,比如虚拟主持人或数字人物的创作中,都极具价值。

收录信息
修改时间:2024年4月23日
收录时间:2024年4月23日
标签
音频驱动动画 高质量肖像动画 AniPortrait 腾讯游戏智迹
AI工具教程
免费领取AI学习资料 进AI副业交流群
礼物
AI工具教程
免费领取AI学习资料 进AI副业交流群