Skip to content

Latest commit

 

History

History
359 lines (244 loc) · 32.1 KB

README_zh.md

File metadata and controls

359 lines (244 loc) · 32.1 KB

⚡️ LightX2V:
轻量级视频生成推理框架

logo

License Doc Doc Docker

[ English | 中文 ]


LightX2V 是一个先进的轻量级图像视频生成推理框架,专为提供高效、高性能的图像视频生成解决方案而设计。该统一平台集成了多种前沿的图像视频生成技术,支持文本生成视频(T2V)和图像生成视频(I2V),文本生成图像(T2I),图像编辑(I2I)等多样化生成任务。X2V 表示将不同的输入模态(X,如文本或图像)转换为视觉输出(Vision)。

快速开始 · 模型生态 · 文档与部署

🌐 在线体验基于 LightX2V 的 AI 数字人与多模态内容生产平台: LightX2V Studio

🍎 MacBook 本地推理 App: LightX2V APP

🤗 HuggingFace 模型仓库: LightX2V HuggingFace

🌟 开发者新手入门教程: LightX2V 开发者快速入门教程

📝 技术博客:LightX2V Blog

👋 加入微信交流群,LightX2V加群机器人微信号: Jo-1212liz

🧾 社区代码贡献指南

在提交之前,请确保代码格式符合项目规范。可以使用如下执行命令,确保项目代码格式的一致性。

pip install ruff pre-commit
pre-commit run --all-files

感谢以下社区开发者为 LightX2V 作出的贡献:

zhtshr · triple-Mu · vivienfanghuagood · yeahdongcn · kikidouloveme79 · ziyanxzy · Tyr0727 · hufangjian2017 · Fatemanx · qiuxin2012

🔥 最新动态

历史动态
  • 2026年8月7日: 🚀 我们正式支持了 MiniMax-H3 的同步音视频生成,并发布了 提示词改写 LoRA,可将简短提示词扩展为包含画面、音景和音乐的结构化描述。详见 MiniMax-H3 使用说明。

  • 2026年7月28日: 🚀 我们发布了 LingBot-Video 的 4 步蒸馏 LoRA:LightLingBot-Video。该 LoRA 支持 T2V、T2I 和 I2V 任务,只需 4 步且无需 CFG 即可完成推理。使用方式请参考 LingBot-Video 推理脚本。

  • 2026年7月23日: 🎉 我们发布 LightX2V ROS: Closing the Loop for Action-Generating World Models 博客

  • 2026年7月19日: ⚡️ 我们发布 Wan2.2-NVFP4-Sparse: Extremely Fast Wan 2.2 14B Inference 博客

  • 2026年6月15日: 🚀 支持平头哥 PPU 的部署。

  • 2026年5月29日: 🚀 我们推出了一个极其高效的 Wan 2.2 14B 变体 (T2V and I2V):面向 Blackwell 架构的 NVFP4 量化感知步数蒸馏与稀疏注意力模型。在 模型卡所列测试条件 下,单张 RTX 5090 上的 4 NFE 推理相比原模型的 40 NFE 推理,实现超过 50 倍的端到端加速。

  • 2026年4月30日: 🚀 支持天数智芯的部署,感谢天数智芯团队。

  • 2026年4月20日: 🚀 我们很高兴发布 Wan2.2-I2V-A14B-4step-720p-high 和 Wan2.2-I2V-A14B-4step-720p-low 两个新模型。与之前的版本相比,这一版本基于高质量的 720p 数据集进行训练,并采用了优化过的低噪声训练算法。这些改进显著提升了模型在细粒度细节渲染以及视觉纹理方面的表现。

  • 2026年4月17日: 🚀 我们支持了 WorldMirror 2.0 模型。在单张 H100 显卡上,LightX2V 可实现约 1.2 倍的推理加速。详细用法请参考 此教程。

  • 2026年4月10日: 🎉 我们更新了分离部署的技术博客

  • 2026年3月5日: 🚀 支持 Intel AIPC PTL 的部署,感谢 Intel 团队。

  • 2026年3月5日: 🚀 我们现已支持基于 Mooncake 的分离部署,更多关于分离部署的改进和文档正在进行中。感谢 Mooncake 团队的帮助!

  • 2026年2月27日: 🚀 我们现已支持自回归视频生成模型(Self Forcing)的 FP8 和 NVFP4 量化!你可以在这里获取量化后的模型:Self-Forcing-FP8, Self-Forcing-NVFP4。

  • 2026年2月11日: 🎉 我们很高兴宣布推出 GenRL —— 一个用于视觉生成的可扩展强化学习训练框架!GenRL 支持使用 GRPO 算法对 diffusion/flow 模型进行多奖励优化训练(HPSv3、VideoAlign 等)。我们已经发布了在多机多卡上训练的高性能 LoRA checkpoints,在美学质量、运动连贯性和文本-视频对齐等方面都有显著提升。欢迎查看我们在 HuggingFace 上的 模型合集!觉得有用的话欢迎给个 ⭐!

  • 2026年1月20日: 🚀 我们支持了 LTX-2 音频-视频生成模型,包含 CFG 并行、block 级别 offload、FP8 per-tensor 量化等先进特性。使用示例可参考 scripts/ltx2/inference 和 scripts/ltx2。

  • 2026年1月6日: 🚀 我们更新了 Qwen-Image-2512 和 Qwen/Qwen-Image-Edit-2511 的 8 步的 CFG/步数蒸馏模型。可以在 Qwen-Image-Edit-2511-Lightning 和 Qwen-Image-2512-Lightning 下载对应的权重进行使用。使用教程参考 这里。

  • 2026年1月6日: 🚀 支持燧原 Enflame S60 (GCU) 的部署。

  • 2025年12月31日: 🚀 我们 day 0 支持了 Qwen-Image-2512 文生图模型。我们的 HuggingFace 已经更新了 CFG/步数蒸馏 LoRA 权重。使用方式可以参考 这里。

  • 2025年12月27日: 🚀 支持摩尔线程 MUSA 的部署。

  • 2025年12月25日: 🚀 支持 AMD ROCm 和 Ascend 910B 的部署。

  • 2025年12月23日: 🚀 我们 day 0 支持了 Qwen/Qwen-Image-Edit-2511 的图像编辑模型,H100 单卡,LightX2V 可带来约 1.4 倍的速度提升,支持 CFG 并行/Ulysses 并行,高效 Offload 等技术。我们的 HuggingFace 已经更新了 CFG/步数蒸馏 LoRA 和 FP8 权重。使用方式可以参考 这里。结合 LightX2V,4 步 CFG/步数蒸馏,FP8 模型,最高可以加速约 42 倍。可以在 LightX2V 在线服务 的图生图的 Qwen-Image-Edit-2511 进行体验。

  • 2025年12月22日: 🚀 新增 Wan2.1 NVFP4 量化感知 4 步蒸馏模型 支持;模型与权重已发布在 HuggingFace: Wan-NVFP4。

  • 2025年12月15日: 🚀 支持海光 DCU 硬件上的部署。

  • 2025年12月4日: 🚀 支持 GGUF 格式模型推理,以及在寒武纪 MLU590、MetaX C500 硬件上的部署。

  • 2025年11月24日: 🚀 我们发布了 HunyuanVideo-1.5 的 4 步蒸馏模型!这些模型支持超快速 4 步推理,无需 CFG 配置,相比标准 50 步推理可实现约25 倍加速。现已提供基础版本和 FP8 量化版本:Hy1.5-Distill-Models。

  • 2025年11月21日: 🚀 我们 day 0 支持了 HunyuanVideo-1.5 的视频生成模型,同样 GPU 数量,LightX2V 可带来约 2 倍以上的速度提升,并支持更低显存 GPU 部署(如 24G RTX4090)。支持 CFG 并行/Ulysses 并行,高效 Offload,TeaCache/MagCache 等技术。同时支持沐曦,寒武纪等国产芯片部署。我们很快将在我们的 HuggingFace 主页 更新更多模型,包括步数蒸馏,VAE 蒸馏等相关模型。量化模型和轻量 VAE 模型现已可用:Hy1.5-Quantized-Models 用于量化推理,HunyuanVideo-1.5 轻量 TAE 用于快速 VAE 解码。使用教程参考 这里,或查看 Python API 指南 获取代码示例。

💡 快速开始

推荐通过服务接口使用 LightX2V,以下分别展示 Qwen-Image-2.1 文生图(T2I)和 MiniMax-H3 文生音视频(T2AV)。

环境准备

推荐使用 Docker 环境。在准备好的环境中获取仓库:

git clone https://github.com/ModelTC/LightX2V.git
cd LightX2V
其他安装方式(Git / 源码)

以下命令在准备好的 Python 环境中运行;服务示例使用上方克隆的仓库脚本。

从 Git 安装

pip install -v git+https://github.com/ModelTC/LightX2V.git

从源码安装(仓库根目录)

uv pip install -v . # 或:pip install -v .

注意力与量化算子安装见 环境准备指南。

使用示例

两个服务默认都使用 8000 端口,切换示例前请先停止已有服务。

Qwen-Image-2.1:文生图

按 Qwen-Image-2.1 使用说明 准备权重,并设置启动脚本中的仓库路径、模型路径和显卡。以下命令在仓库根目录运行。

# 终端 1:启动服务
bash scripts/qwen_image_21/server/start_server.sh

模型加载完成后,在另一个终端提交示例请求:

# 终端 2:提交 T2I 请求
python scripts/qwen_image_21/server/post_t2i.py

修改 请求脚本 中的提示词、尺寸和种子即可生成自己的图片。请求完成后,图片默认保存到仓库下的 save_results/qwen_image_21_t2i.png。

MiniMax-H3:文生音视频

按 MiniMax-H3 使用说明 准备权重与首次 AdaLN 缓存,设置启动脚本中的仓库路径、模型路径和显卡。以下命令在仓库根目录运行。

# 终端 1:启动服务
bash scripts/minimax_h3/server/start_server.sh

模型加载完成后,在另一个终端提交示例请求:

# 终端 2:提交 T2AV 请求
python scripts/minimax_h3/server/post_t2av.py

修改 请求脚本 中的提示词即可生成自己的内容。请求异步执行,结果默认保存到仓库下的 save_results/server_cache/outputs/ 目录。

🤖 支持的模型生态

LightX2V 支持多种图像、视频与世界模型,并提供量化权重、蒸馏模型和轻量自编码器。

🎬 视频与音视频生成

Wan · LTX · MiniMax-H3 · HunyuanVideo · LingBot-Video · SekoTalk · InfiniteTalk · Self-Forcing
模型 / 变体与权重 使用指南 / 脚本
MiniMax-H3(Causal 分支支持 RefA2V,需专用权重) 使用指南 · Causal
LTX-2 / LTX-2.3(自回归分支需专用权重) / LTX-2.5(蒸馏版) 使用指南 · 自回归示例
HunyuanVideo-1.5 使用指南
Wan2.1 / Wan2.2 Wan2.1 · Wan2.2
Wan2.1-VACE / Wan2.2-VACE-Fun-A14B Wan2.1 · Wan2.2
Wan2.2-S2V 使用指南
Wan2.2-Animate / Wan2.2-Animate-2(蒸馏版) 使用指南
LingBot-Video Dense 1.3B / MoE 30B-A3B 推理脚本
SekoTalk(含自回归分支) 推理脚本
InfiniteTalk 推理脚本
Wan-Dancer 推理脚本
Self-Forcing 使用指南
🎨 图像生成与编辑

Qwen-Image · FLUX.2 · HunyuanImage · Z-Image · LongCat-Image · BAGEL · HiDream · ERNIE-Image · SenseNova-U1
模型 / 变体与权重 使用指南 / 脚本
Qwen-Image / Qwen-Image-2512 使用指南
Qwen-Image-Edit / 2509 / 2511 使用指南
Qwen-Image-2.1 / Turbo 使用指南
Qwen-Image-Layered 使用指南
FLUX.2 dev / klein(klein 支持 Base 与蒸馏版) 推理脚本
HunyuanImage-3.0-Instruct 推理脚本
Z-Image / Z-Image-Turbo Turbo 使用指南;基础版需启用 CFG(引导强度 > 1)并调整采样步数
LongCat-Image / Edit / Edit-Turbo 使用指南;Edit-Turbo 需使用对应权重、8 步采样并关闭 CFG
BAGEL 使用指南
HiDream-O1-Image / Dev-2604 推理脚本
ERNIE-Image / Turbo 推理脚本
SenseNova-U1(NeoPP 后端,需配合 LightLLM) 使用指南
🔍 修复与超分辨率

SeedVR2 · SwiftVR
模型 / 变体与权重 使用指南 / 脚本
SeedVR2 使用指南
SwiftVR 使用指南
🌍 世界模型、机器人与三维

Cosmos3 · LingBot-World · Matrix-Game · WorldPlay · EdenLive · WorldMirror · DreamZero · LingBot-VA · Motus · Fast-WAM · RealtimeWAM · Hunyuan3D
模型 / 变体与权重 使用指南 / 脚本
Cosmos3-Nano / Super(含 Nano-Policy-DROID) 推理脚本
LingBot-World / Fast 推理脚本
Matrix-Game-2.0 / 3.0 2.0 · 3.0
WorldPlay(双向、自回归与蒸馏版) 使用指南
EdenLive(Wan2.1 14B / Wan2.2 5B,支持双向与四步自回归推理) 使用指南
WorldMirror 2.0(三维重建) 使用指南
DreamZero 推理脚本
LingBot-VA 推理脚本
Motus 推理脚本
Fast-WAM 推理脚本
RealtimeWAM(基于 Fast-WAM / Faster-WAM) 使用指南
Hunyuan3D-2.1(图生三维形状) 推理脚本
⚡ LightX2V 加速资源

蒸馏与 LoRA:MiniMax-H3 Turbo · LightLingBot-Video · Wan · HunyuanVideo · Qwen-Image Lightning
量化权重:Wan NVFP4 · LightWan2.2 · HunyuanVideo · Z-Image · Self-Forcing
轻量自编码器:LightVAE / LightTAE
模型 / 变体与权重 使用指南 / 脚本
MiniMax-H3 Turbo —— 4 / 8 步蒸馏 LoRA,含 768p T2AV / FL2AV 与 4 步 Ref2AV 使用指南
LightLingBot-Video —— T2V、T2I、I2V 的 4 步蒸馏 LoRA 推理脚本
Wan2.1-Distill-Models / Wan2.2-Distill-Models Wan2.1 · Wan2.2
Wan2.1-Distill-Loras / Wan2.2-Distill-Loras Wan2.1 · Wan2.2
Wan-NVFP4 / LightWan2.2-A14B Wan2.1 · Wan2.2
Hy1.5-Distill-Models / Hy1.5-Quantized-Models 使用指南
Qwen-Image-Lightning / Qwen-Image-2512-Lightning / Qwen-Image-2.1-Lightning Qwen-Image · 2.1
Qwen-Image-Edit-2511-Lightning 使用指南
Z-Image-Turbo-Quantized 使用指南
Self-Forcing-FP8 / Self-Forcing-NVFP4 使用指南
Autoencoders(LightVAE / LightTAE) Python API

🚀 核心特性

  • Few-Step Inference:支持蒸馏模型与蒸馏 LoRA,涵盖 DMD2 与 Wan2.1 MeanFlow 推理路径。
  • Quantization & Optimized Kernels:支持 W8A8(INT8 / FP8)与 W4A4(NVFP4)量化,集成 FlashAttention、SageAttention 等高效注意力算子。
  • Hierarchical Offloading:支持 Disk–CPU–GPU 分层权重管理及 Model-level / Block-level Offloading。
  • Feature Caching:支持 TeaCache、MagCache、TaylorSeer 等策略,复用去噪步骤间的中间计算结果。
  • Parallel Inference:支持 Tensor Parallelism(TP)、Sequence Parallelism(SP)、CFG Parallelism 及混合并行配置。
  • Variable-Resolution Inference:按去噪阶段调度 latent 分辨率,控制不同阶段的计算开销。

具体支持范围取决于模型、硬件及所选配置。

📚 文档与部署

使用场景 文档与示例
环境安装与配置 快速入门指南
模型准备与加载 MiniMax-H3 · Wan2.1 / VACE · 模型格式与加载
服务部署与 API 调用 服务部署 · API 参考
交互界面与工作流集成 Gradio-Lightx2v · ComfyUI
Windows 本地部署 Windows 部署指南
低资源与低延迟部署 低资源部署 · 低延迟部署
模型量化与 LoRA 部署 模型量化 · LoRA 部署
推理性能优化 权重卸载 · 特征缓存 · 注意力算子 · 并行推理 · 变分辨率推理 · 步数蒸馏
Wan2.1 NVFP4 四步推理 I2V 示例 · T2V 示例 · 量化算子安装
代码示例与开发参考 Python API · scripts

🤝 致谢

感谢以下开源项目与社区为 LightX2V 提供的模型、工具与研究成果:

Tencent-Hunyuan · Wan-Video · Qwen-Image · MiniMax-H3 · FlashAttention · SageAttention · LightLLM · sglang · vllm · flashinfer · MagiAttention · radial-attention · xDiT · FastVideo · Mooncake

同时感谢支持生态发展的云端推理平台:

  • Atlas Cloud —— 全模态 AI 推理平台,其托管 API 提供 Wan / Seedance / Kling 等模型系列,适合希望使用托管 API 而非自建部署的团队。

  • Sensecore —— 商汤大装置,建设高效率、低成本、规模化的 AI 云基础设施,打造专业的深度学习平台及算法模型体系,引领AI创新,助力工业界及学术界探索 AI 边界。

✏️ 引用

如果您发现LightX2V对您的研究有用,请考虑引用我们的工作:

@misc{lightx2v,
 author = {LightX2V Contributors},
 title = {LightX2V: Light Video Generation Inference Framework},
 year = {2025},
 publisher = {GitHub},
 journal = {GitHub repository},
 howpublished = {\url{https://github.com/ModelTC/lightx2v}},
}

📞 联系与支持

如有任何问题、建议或需要支持,欢迎通过以下方式联系我们:


由 LightX2V 团队用 ❤️ 构建