做教程、短视频、游戏实况或产品演示时,旁白往往比画面更费时间:找配音员、改稿、对时间轴,每一版脚本都要重来。VoiceStudio 把克隆、合成、转写和按时间轴的视频配音收进一个 Electron 桌面应用:默认走本机推理,不强制注册账号,也不把音频默认上传到云端。项目采用 AGPL-3.0,官网与文档在 voicestudio.sh;下文功能与安装路径以仓库 main 分支文档为准。
它和 ElevenLabs 一类托管 API 的差别在于算力在你机器上。克隆参考音频、导出 WAV、批量任务都落在本地磁盘;远程服务与用量统计需要你自己点同意才会开。若你已经在 Mac 上验收过其它语音模型,可先对照 Qwen3-TTS Mac 环境验收 的思路:先看内存与首次下载,再谈成片。
VoiceStudio 能干什么
官方 README 把能力分成三块:创作(克隆或设计音色)、制作(带时间轴的配音、有声书、批量任务)、连接(本地 API、MCP、监视文件夹与配方)。常见场景包括:
- 声音克隆:上传几秒干净人声,生成可复用的「声音档案」,再对任意文稿朗读。
- 声音设计:不录参考音,用参数或描述生成新音色(具体控件随版本迭代,以应用内 Voice Design 为准)。
- 视频配音:导入视频或音轨,按句或按轴生成对白,再导出混音或替换音轨。
- 听写与转写:浮动听写组件、whisper.cpp 等 ASR 引擎可在 Model Catalogue 里选配。
- 有声书 / 批量:长文本分段合成,适合课程、播客草稿。
Model Manager 里还能换引擎:OmniVoice 是默认;低显存或纯 CPU 机器可改选 KittenTTS、Supertonic 等轻量方案(Windows 文档里的 CPU 预设即为此类组合)。换引擎会改变音质、语言和克隆能力,不要假设「一个档案通吃所有引擎」。
AGPL-3.0 对修改后通过网络提供服务有传染性要求。个人本地使用、内部离线制作通常问题较少;若你要把 VoiceStudio 嵌进 SaaS 对外售卖,需要法务评估源码提供义务。本文不构成法律意见。
默认引擎 OmniVoice 与硬件预期
OmniVoice(k2-fsa/OmniVoice)负责默认 TTS 与克隆:零样本、600+ 语言文档口径、输出 24 kHz 单声道。首次使用会懒加载权重,与配音、听写共用同一份模型,不会重复占两份显存。
- GPU:文档建议 dedicated GPU 约 6 GB VRAM 起;4 GB 卡可能极慢或被 UI 警告。Apple Silicon 走 MPS,统一内存不计入「独立显存」规则。
- CPU:可跑,但长句克隆与整段视频配音会明显变慢;无 NVIDIA 时 Windows 安装器会拉 CPU 版 PyTorch,体积更小。
- 参考音频:3~10 秒、少背景噪声、单人声;有参考文本时 conditioning 更稳。若档案里没有文本,应用可调用已安装的 ASR 自动转写并保存。
macOS 安装与首次启动
macOS 版是 Electron 应用;旧版 Tauri 已弃用。安装包与 nightly 渠道以 docs/install/macos.md 为准。要点:
- 从 GitHub Releases 或官网下载对应 Apple Silicon 安装包,拖到「应用程序」。
- 首次打开若被 Gatekeeper 拦截,在「系统设置 → 隐私与安全性」里允许该开发者应用。
- 首次合成或克隆会触发模型下载,磁盘与网络要留足空间;进度在 Model Catalogue / 下载文档可查。
- Intel Mac 仅支持 UI,本地推理后端不在支持列表内;需要完整功能请使用 Apple Silicon 或 Windows/Linux 工作站。
若你习惯命令行,仓库还提供 Local API 与 MCP,供 Agent 调用合成;桌面用户可以先忽略,把界面跑通再接入自动化。
几步完成第一次声音克隆
下面是一条最小路径,名称随界面语言可能略有不同:
- 打开 Voice Cloning(或「声音克隆」)工作区。
- 新建声音档案,上传 3~10 秒 WAV/MP3 参考音;如有逐字稿,填入「参考文本」。
- 在文本框输入要朗读的句子,选 OmniVoice(默认即可),点生成。
- 试听 24 kHz 输出;满意则保存档案,供配音与批量任务复用。
参考音不要带音乐、混响或多人对话。手机录音可以,但最好贴麦、关风扇。克隆≠法律授权:仅对你有权使用的声音做克隆;模仿公众人物或他人嗓音可能涉及肖像权与平台条款。
视频配音工作区在做什么
视频配音(Dubbing)工作区解决的是时间问题:导入 MP4 或音轨后,你可以按句切分、为每个角色指定声音档案,再生成对齐的对白。官方文档有「多角色配音」「导出混音」等分步指南(docs/ 下 Dub 相关章节)。实操建议:
- 先粗剪视频,再进 VoiceStudio,避免反复改时间轴。
- 每个角色一个档案;旁白与对白分开,后期混音更轻松。
- 导出前整段试听:24 kHz 单声道进 Premiere、Final Cut 或 DaVinci 前,如需 48 kHz 可在 DAW 里升采样。
若你的片源主要在 Mac 上剪,但 GPU 在另一台机器,可以把 VoiceStudio 装在常开的 Apple Silicon Mac 上批量渲染,笔记本只做剪辑——这与把编译放到 Cloud Mac 是同一类思路,见下一节。
听写、转写、API 与 Agent
除配音外,VoiceStudio 还提供:
- Dictation:系统级浮动听写,适合快速记稿。
- Transcription:配合 whisper.cpp 或其它 ASR 模型,把现有音频转文本,再送进 TTS。
- Local API / MCP:本机 HTTP 与 MCP 服务,方便 Cursor、OpenClaw 等 Agent 触发合成;Skills 可通过
npx skills add debpalash/VoiceStudio安装(见 README)。 - Recipes & watch folders:把「输入目录 → 合成 → 输出格式」做成配方,适合播客批量片头。
远程模式与 OIDC 登录属于进阶能力;默认个人使用不必打开公网端口。
Apple Silicon 与 Cloud Mac 怎么配合
视频配音和克隆都是内存与 GPU 时间敏感任务。MacBook Air 可以试短句,整集旁白或 4K 项目的长批处理更适合放在 16 GB 及以上的 Apple Silicon 上持续跑。Vuncloud Cloud Mac 提供独享 M 系列节点与 SSH/VNC:你可以把 VoiceStudio 装在云端 Mac,本地 Windows 或 Linux 剪辑机通过远程桌面或同步盘取回 WAV,避免笔记本风扇全程拉满。
这与 本机 AI Gateway 不冲突:Agent 写稿走 OmniRoute,成片旁白在 VoiceStudio 渲染,密钥与模型权重仍留在你的 Mac 磁盘上。
FAQ
常见短答:软件开源免费,模型算力自备;默认不上传音频;Intel Mac 不能跑本地后端;克隆参考 3~10 秒;视频配音用 Dubbing 工作区按轴导出。完整问答见页头 FAQ 结构化数据。