综合介绍

Index-AniSora是Bilibili（B站）推出的一个开源项目，它提供了一个强大的动漫视频生成模型。 这个工具专门为二次元风格设计，可以一键生成各种类型的动漫风格视频，比如动画剧集、国创动画、漫画改编作品、虚拟主播（VTuber）内容、动画宣传片（PV）以及“鬼畜”风格的搞笑视频等。 该项目的核心技术AniSora，其论文已被国际人工智能联合会议（IJCAI）2025年接收，展示了其在技术上的先进性。 Index-AniSora的开源为动漫视频内容的创作者和开发者提供了极大的便利，能够有效提升创作效率和视频质量，让更多人可以轻松地将自己的创意制作成生动的动画。

功能列表

• 一键生成动漫视频：支持快速生成多种二次元风格的视频切片，涵盖了从动画剧集到鬼畜搞笑等多种内容形式。
• 支持多种视频控制方式：
  • 局部区域引导：可以对视频中的特定区域进行精细控制。
  • 时序引导：支持首尾帧引导、关键帧插值和多帧引导，让视频过渡更自然。
• 图生视频：可以根据上传的图片，生成具有动态效果的视频。
• 文生视频：根据输入的文本描述，直接生成对应的动漫视频内容。
• 完整的训练和推理代码：项目开放了所有训练和推理代码，方便开发者进行二次开发和部署。
• 支持国产化芯片：AniSoraV2.0版本原生支持华为昇腾910B NPU，实现了在国产芯片上的完整训练。
• RLHF框架：首次将强化学习（RLHF）框架应用于动漫视频生成，通过人类反馈来优化模型，使其生成的视频更符合动漫风格。
• 动漫优化的评测体系：项目提供了一套专门为动漫视频生成设计的评测模型和打分算法，包括了适用于强化学习的奖励模型和基准测试。
• 端到端数据集管道：包含一个完整的数据处理流程，可以帮助用户快速扩充自己的训练数据。

使用帮助

Index-AniSora项目在GitHub上提供了详细的代码和说明，用户可以根据自己的需求选择不同的版本进行使用。

环境准备

在使用前，需要先配置好Python环境并安装相关的依赖库。通常，你需要在你的开发环境中安装PyTorch或其他深度学习框架，以及项目中requirements.txt文件里列出的所有库。

如何使用

Index-AniSora提供了多个版本和工具，主要分为AniSoraV1和AniSoraV2两个核心版本。

AniSoraV1.0

• 模型基础：基于CogVideoX-5B基础模型进行训练。
• 使用流程：
  1. 下载代码：首先，从GitHub上克隆或下载Index-anisora项目。代码位于anisoraV1_infer文件夹中。
  2. 准备模型权重：从项目页面提供的Hugging Face或Model Scope链接下载AniSora V1的模型权重文件。
  3. 运行推理脚本：
     • 文生视频：在anisoraV1_infer目录下找到推理脚本，通过命令行传入文本提示词（prompt），即可生成视频。例如：

       python inference.py --prompt "一个女孩在樱花树下奔跑"
       

     • 图生视频：如果你想根据一张图片生成视频，需要修改脚本并指定输入图片的路径。
• 特点：这个版本提供了完整的训练和推理代码，并且能够在RTX 4090显卡上进行经济高效的部署，覆盖了大约80%的应用场景。

AniSoraV2.0

• 模型基础：基于更强大的Wan2.1-14B模型，视频生成效果更稳定。
• 使用流程：
  1. 获取代码：代码位于anisoraV2_gpu（适用于GPU）或anisoraV2_npu（适用于华为昇腾NPU）文件夹中。
  2. 下载模型：同样，需要从官方渠道下载AniSora V2的权重文件，此版本权重已在Apache 2.0许可下开放。
  3. 执行推理：使用对应的推理脚本进行操作。V2版本经过蒸馏加速，推理速度更快，成本更低，且视频质量没有妥协。
• 特点：生成视频的质量更高，覆盖了90%的应用场景。特别值得一提的是，anisoraV2_npu版本完全在国产芯片上进行训练，为国内用户提供了更好的适配。

生态系统工具

• 数据管道（data_pipeline）：如果你想用自己的数据进行训练，可以使用这个工具。它提供了一个端到端的数据集处理流程，可以帮助你快速清洗和扩充训练数据。
• 评测系统（reward）：如果你需要评估生成的视频质量，可以使用这个系统。它包含了专门为动漫视频优化的奖励模型和评分算法，可以从多个维度进行评估，比如视觉平滑度、动作流畅度、角色一致性等。

RLHF框架（anisora_rl）

这是首个为动漫视频生成设计的强化学习框架。通过这个框架，模型可以根据人类的偏好进行优化，使其生成的视频风格更接近真实的动漫作品。如果你是高级用户或研究者，可以探索使用这个框架来进一步提升模型的表现。

应用场景

1. 动画制作对于专业的动画工作室或个人创作者来说，Index-AniSora可以作为一个高效的辅助工具。它可以快速生成动画草稿或某些特定镜头，例如人物的简单动作、场景的动态效果等，从而大大缩短制作周期，降低成本。创作者可以将更多精力投入到核心的剧情和角色设计上。
2. 漫画视频化许多热门漫画的读者都希望能看到动态的视频版本。使用Index-AniSora，漫画作者或爱好者可以轻松地将静态的漫画格转换成生动的短视频，甚至可以配上简单的背景音乐和音效，制作出“动态漫画”，让故事更加引人入胜。
3. VTuber内容创作虚拟主播（VTuber）需要不断地产出新的视频内容来吸引观众。Index-AniSora可以帮助VTuber快速生成一些日常互动、跳舞或场景演绎的短视频，丰富自己的内容库，而不需要进行复杂的动作捕捉和3D渲染。
4. 游戏和宣传片制作在游戏开发中，需要制作大量的宣传片（PV）和过场动画。Index-AniSora可以用来快速生成概念视频或预览效果，帮助团队在早期阶段就确定视觉风格和镜头语言。对于独立游戏开发者来说，这是一个非常有吸引力的低成本动画解决方案。
5. 社交媒体内容创作对于喜欢二次元文化的用户，可以用这个工具制作有趣的短视频并分享到B站、抖音等平台。无论是制作“鬼畜”搞笑视频，还是将自己喜欢的角色做成动态壁纸，Index-AniSora都提供了丰富的可能性。

QA

1. Index-AniSora是免费的吗？是的，Index-AniSora是一个开源项目，其代码和V2模型的权重都在Apache 2.0许可下免费提供，可以用于商业用途。
2. 使用这个模型对硬件有什么要求？AniSoraV1版本推荐在RTX 4090显卡上部署。AniSoraV2版本除了支持主流GPU外，还特别支持华为昇腾910B NPU，为使用国产硬件的用户提供了便利。
3. 我完全不懂编程，可以使用这个工具吗？对于不懂编程的普通用户，直接使用目前还存在一定门槛，需要熟悉命令行和代码环境配置。但是，随着社区的发展，未来可能会出现更多封装好的图形界面工具，让使用变得更加简单。
4. 这个模型能生成多长的视频？目前官方展示的视频大多是几秒到十几秒的短片。对于长视频的生成，还需要进一步的技术优化。
5. 相比于其他视频生成模型，Index-AniSora有什么优势？它最大的优势在于专为二次元和动漫风格进行了特化。 其他通用视频模型在生成动漫内容时，可能会出现风格不统一、角色形象崩坏等问题。而Index-AniSora通过专门的数据集和评测体系，能够更好地保持角色一致性和动漫特有的夸张动态。