信息整理时间:2026-06-11 目标场景:中文语音配置 skill,嵌入视频工作流,要求有可选音色,并支持本地声音克隆。
核心结论
优先关注这几类:
-
本机优先:Qwen3-TTS、Chatterbox、Kokoro 兜底、GPT-SoVITS 做音色制作工作台。
-
中文能力强但更适合服务器或云 GPU:CosyVoice、VoxCPM、IndexTTS2。
-
谨慎用于商业视频:F5-TTS、Spark-TTS、ChatTTS、Fish Speech、Coqui XTTS-v2,需要逐项确认模型许可证。
-
目前没有发现这些项目已经提供成熟的 Codex/Agent skill。它们主要提供 Python API、WebUI、CLI、Gradio Demo、FastAPI/gRPC 或 OpenAI-compatible server,需要我们自己封装 skill 层。
支持声音克隆的公开库清单
| 公开库 | 声音克隆能力 | 中文支持 | 许可证/商用风险 | 本地 Mac 适配 | 适合放进视频工作流 skill 吗 | 链接 |
|---|---|---|---|---|---|---|
| Qwen3-TTS | 支持 voice clone 和 voice design | 强 | 官方项目为 Apache-2.0,具体模型仍建议逐模型确认 | 很适合 Apple Silicon,社区已有 MLX 方案 | 强推荐作为第一候选 | GitHub |
| CosyVoice / CosyVoice2 | zero-shot voice cloning、cross-lingual cloning、预设音色 | 很强,含中文和方言能力 | Apache-2.0 | 官方更偏 Linux/NVIDIA,本机 Mac 会折腾 | 强推荐,但更适合服务器后端 | GitHub |
| Chatterbox Multilingual | zero-shot voice cloning,支持 audio prompt | 支持中文 | MIT | 有 Mac 示例,支持 MPS,较适合本机试验 | 推荐,适合快速封装 | GitHub |
| GPT-SoVITS | 5 秒 zero-shot、1 分钟 few-shot、微调音色 | 中文生态成熟 | MIT | 支持 Apple Silicon,但流程偏重 | 推荐做克隆音色制作工作台 | GitHub |
| IndexTTS2 | zero-shot voice cloning,支持时长、情绪控制 | 强 | 许可证和商业使用需要额外确认 | 偏 CUDA/GPU,本机 Air 不友好 | 适合视频对口型/时长控制,但不建议本机主方案 | GitHub |
| OpenVoice V2 | instant tone-color cloning,偏音色迁移 | 支持 | MIT,商用相对友好 | 轻量,可本地尝试 | 适合作为音色转换模块,通常要配合基础 TTS | GitHub |
| F5-TTS | zero-shot / few-shot 风格克隆 | 支持 | 代码 MIT,但常用预训练模型多为非商业许可 | 可本地跑,但需要实际调优 | 研究/个人测试可用,商业视频谨慎 | GitHub |
| Fish Speech | 10-30 秒 rapid voice cloning | 强 | Fish Audio Research License,商用需谨慎 | 模型较重,不适合 M4 Air 长时间跑 | 质量强,但不适合作为轻量本机 skill 首选 | GitHub |
| VoxCPM / VoxCPM2 | reference audio 克隆、可控语音生成 | 支持中文,多语言 | Apache-2.0 | 官方更偏 CUDA/GPU | 可作为服务器后端候选 | GitHub |
| Zonos | 10-30 秒 voice cloning | 支持多语言,中文需实测 | Apache-2.0 | 可尝试,但中文稳定性需验证 | 候选项,不是中文视频工作流第一梯队 | GitHub |
| Coqui XTTS-v2 | 约 6 秒 voice cloning | 支持中文 | Coqui 项目已停更,模型许可需特别确认 | 可本地,但维护风险较高 | 老牌方案,当前不建议新项目重押 | Hugging Face |
| Spark-TTS | zero-shot voice cloning | 支持中文 | CC BY-NC-SA,非商业风险明显 | 模型不算轻 | 只适合研究/个人试验 | Hugging Face |
| StyleTTS2 | zero-shot speaker adaptation | 偏英文,中文弱 | 需逐项确认 | 研究向 | 不适合作为中文视频 skill 主方案 | GitHub |
| MaskGCT / Amphion | zero-shot TTS / voice cloning 研究框架 | 支持但偏研究 | 需逐项确认 | 工程封装成本高 | 适合研究,不适合直接做生产 skill | GitHub |
| MegaTTS3 | zero-shot voice cloning | 支持 | 开放程度和使用限制需细看 | 未作为本机首选 | 值得关注,但成熟度和许可要再验证 | GitHub |
| Confucius4-TTS | zero-shot voice transfer | 支持 14 种语言,含中文 | 需逐项确认 | 官方偏 CUDA,新项目,成熟度待观察 | 观察项,不建议现在作为主方案 | GitHub |
| ChatTTS | 有音色/说话人控制能力,但不是标准本地克隆工作流 | 中文强 | 代码 AGPL,模型 CC BY-NC | 可本地但生产限制多 | 不推荐作为视频生产 skill 主方案 | GitHub |
基于 M4 MacBook Air 16GB 的推荐
推荐
-
Qwen3-TTS + MLX / mlx-audio
-
Chatterbox Multilingual
-
GPT-SoVITS
-
Kokoro
不推荐在这台机器上作为主方案
-
CosyVoice / VoxCPM / IndexTTS2:中文和效果强,但更偏 CUDA/GPU 或服务器环境,M4 Air 本地部署和长时间批量推理都不理想。
-
F5-TTS / Spark-TTS / ChatTTS / Fish Speech:能力不错,但许可证、模型重量或生产约束更麻烦。
-
StyleTTS2 / MaskGCT / Amphion / MegaTTS3 / Confucius4-TTS:更偏研究或新项目观察项,暂不适合作为稳定视频工作流主后端。
是否已经有成熟 skill 可直接用
目前没有发现这些公开库已经提供成熟的 Codex/Agent skill。它们已有的形态主要是:
-
Python API
-
WebUI / Gradio Demo
-
CLI 示例
-
Docker / FastAPI / gRPC 服务
-
OpenAI-compatible server 或类似接口
因此,真正要嵌入视频工作流,需要单独封装一个 skill。建议 skill 的最小结构:
| 模块 | 作用 |
|---|---|
voices/registry.json |
管理预设音色和克隆音色 |
scripts/list_voices.py |
列出可用音色 |
scripts/clone_voice.py |
导入参考音频并注册本地克隆音色 |
scripts/tts.py |
单条文本转语音 |
scripts/render_batch.py |
面向视频分镜/字幕的批量生成 |
建议路线
短期最稳的路线:
-
用 Qwen3-TTS + MLX 做本机主引擎。
-
用 Chatterbox 做克隆能力备选。
-
用 GPT-SoVITS 制作高质量克隆音色资产。
-
保留 Kokoro 做快速草稿和兜底。
-
后续如果需要更强中文方言、情绪或时长控制,再把 CosyVoice / IndexTTS2 放到云 GPU 或独立服务器上。