AI 语音克隆与音视频生成
约 1226 字大约 4 分钟...
语音合成与声音克隆
TTS（文字转语音）把一段文字读出来；声音克隆则更进一步，用一小段样本复刻出特定人的音色，再用这个音色去念任意文本。
常见工具方向：
| 工具 | 类型 | 特点 |
|---|---|---|
| GPT-SoVITS | 开源 | 少样本克隆，中文支持好，本地可跑 |
| Fish Speech | 开源 | 多语言，音质自然 |
| CosyVoice | 开源 | 阿里出品，中文与情感表达较强 |
| ElevenLabs | 商用 | 效果顶尖、多语言，注册音色简单 |
选型主要看三点：是否支持「少量样本即可克隆」、中文支持是否到位、要本地部署还是用云端服务。
简要流程：
- 准备样本：录一段干净音频（几秒到几分钟），尽量无噪声、无混响、单人说话。
- 训练 / 注册音色：把样本喂给工具训练或上传注册。
- 输入文本生成：填入要念的文字，生成语音。
提示
样本质量决定上限。先把录音降噪、去掉口水音和环境杂声，比反复调参数更有效。
AI 视频生成
分文生视频（给一段描述）和图生视频（给一张图让它动起来）两类。
| 工具 | 方向 | 特点 |
|---|---|---|
| Sora（OpenAI） | 商用 | 随 ChatGPT 生态，文生 / 图生视频 |
| Veo（Google） | 商用 | 与 Gemini 生态整合 |
| Grok Imagine | 商用 | 图生视频，音画同步生成，出片快 |
| 可灵（Kling） | 商用 | 国产，画面质量与运动表现好 |
| 即梦 / 豆包 | 商用 | 国产，图生视频体验顺手，门槛最低 |
| ComfyUI + 视频节点 | 本地 | 万相（Wan）等开源工作流，可离线、可批量 |
| Runway | 商用 | 老牌工具链，剪辑与后期功能完整 |
本地折腾可参考《ComfyUI 节点式工作流》搭配视频生成节点。
注
视频生成是当前迭代最快的方向，各家版本号几个月就翻一轮。这里只列长期在牌桌上的选手与它们的定位差异，具体能力和额度请以官网当期说明为准。
适用与局限：适合短片段、转场动画、概念演示和分镜验证；长时间一致性、精细手部动作、复杂多人交互目前仍较难，往往需要多次抽卡挑选满意结果。
数字人与对口型
把音频 + 人像合成出会说话的视频（lip-sync，对口型），让静态照片或形象按音频内容开口。常用于口播、课程讲解、虚拟主播等场景。流程通常是：先用前面的 TTS / 克隆生成配音，再把音频和人像图喂给对口型工具合成视频。
实用建议
- 先验证想法：用商用工具快速出效果，确认方向对了再深入投入。
- 本地用于批量 / 隐私 / 省钱：自己折腾本地工作流，适合大批量生成、敏感素材不外传、长期省订阅费。
- 小参数试跑：音视频生成非常吃显存和时间，先用低分辨率、短时长、少帧数跑通流程，再逐步加码。
- 配音先行：做数字人时先定好音频，再合成画面，返工成本更低。
注意
克隆他人的声音或肖像，必须事先获得本人授权。严禁用于诈骗、伪造身份、散布虚假信息等违法用途。许多平台和地区已要求对 AI 生成的音视频进行显著标注，发布前请确认符合相关规定。