VoiceStudio 能幹什麼？本地生成 AI 配音、克隆聲音和製作影片配音，簡單幾步就能開始

做教程、短影片、遊戲實況或產品演示時，旁白往往比畫面更費時間：找配音員、改稿、對時間軸，每一版指令碼都要重來。VoiceStudio 把克隆、合成、轉寫和按時間軸的影片配音收進一個 Electron 桌面應用：預設走本機推理，不強制註冊賬號，也不把音訊預設上傳到雲端。專案採用 AGPL-3.0，官網與文件在 voicestudio.sh；下文功能與安裝路徑以倉庫 main 分支文件為準。

它和 ElevenLabs 一類託管 API 的差別在於算力在你機器上。克隆參考音訊、匯出 WAV、批次任務都落在本地磁碟；遠端服務與用量統計需要你自己點同意才會開。若你已經在 Mac 上驗收過其它語音模型，可先對照 Qwen3-TTS Mac 環境驗收 的思路：先看記憶體與首次下載，再談成片。

VoiceStudio 能幹什麼

官方 README 把能力分成三塊：創作（克隆或設計音色）、製作（帶時間軸的配音、有聲書、批次任務）、連線（本地 API、MCP、監視資料夾與配方）。常見場景包括：

• 聲音克隆：上傳幾秒乾淨人聲，生成可複用的「聲音檔案」，再對任意文稿朗讀。
• 聲音設計：不錄參考音，用引數或描述生成新音色（具體控制元件隨版本迭代，以應用內 Voice Design 為準）。
• 影片配音：匯入影片或音軌，按句或按軸生成對白，再匯出混音或替換音軌。
• 聽寫與轉寫：浮動聽寫元件、whisper.cpp 等 ASR 引擎可在 Model Catalogue 裡選配。
• 有聲書 / 批次：長文字分段合成，適合課程、播客草稿。

Model Manager 裡還能換引擎：OmniVoice 是預設；低視訊記憶體或純 CPU 機器可改選 KittenTTS、Supertonic 等輕量方案（Windows 文件裡的 CPU 預設即為此類組合）。換引擎會改變音質、語言和克隆能力，不要假設「一個檔案通吃所有引擎」。

預設引擎 OmniVoice 與硬體預期

OmniVoice（k2-fsa/OmniVoice）負責預設 TTS 與克隆：零樣本、600+ 語言文件口徑、輸出 24 kHz 單聲道。首次使用會懶載入權重，與配音、聽寫共用同一份模型，不會重複佔兩份視訊記憶體。

• GPU：文件建議 dedicated GPU 約 6 GB VRAM 起；4 GB 卡可能極慢或被 UI 警告。Apple Silicon 走 MPS，統一記憶體不計入「獨立視訊記憶體」規則。
• CPU：可跑，但長句克隆與整段影片配音會明顯變慢；無 NVIDIA 時 Windows 安裝器會拉 CPU 版 PyTorch，體積更小。
• 參考音訊：3～10 秒、少背景噪聲、單人聲；有參考文字時 conditioning 更穩。若檔案裡沒有文字，應用可呼叫已安裝的 ASR 自動轉寫並儲存。

macOS 安裝與首次啟動

macOS 版是 Electron 應用；舊版 Tauri 已棄用。安裝包與 nightly 渠道以 docs/install/macos.md 為準。要點：

1. 從 GitHub Releases 或官網下載對應 Apple Silicon 安裝包，拖到「應用程式」。
2. 首次開啟若被 Gatekeeper 攔截，在「系統設定 → 隱私與安全性」裡允許該開發者應用。
3. 首次合成或克隆會觸發模型下載，磁碟與網路要留足空間；進度在 Model Catalogue / 下載文件可查。
4. Intel Mac 僅支援 UI，本地推理後端不在支援列表內；需要完整功能請使用 Apple Silicon 或 Windows/Linux 工作站。

若你習慣命令列，倉庫還提供 Local API 與 MCP，供 Agent 呼叫合成；桌面使用者可以先忽略，把介面跑通再接入自動化。

幾步完成第一次聲音克隆

下面是一條最小路徑，名稱隨介面語言可能略有不同：

1. 開啟 Voice Cloning（或「聲音克隆」）工作區。
2. 新建聲音檔案，上傳 3～10 秒 WAV/MP3 參考音；如有逐字稿，填入「參考文字」。
3. 在文字框輸入要朗讀的句子，選 OmniVoice（預設即可），點生成。
4. 試聽 24 kHz 輸出；滿意則儲存檔案，供配音與批次任務複用。

參考音不要帶音樂、混響或多人對話。手機錄音可以，但最好貼麥、關風扇。克隆≠法律授權：僅對你有權使用的聲音做克隆；模仿公眾人物或他人嗓音可能涉及肖像權與平臺條款。

影片配音工作區在做什麼

影片配音（Dubbing）工作區解決的是時間問題：匯入 MP4 或音軌後，你可以按句切分、為每個角色指定聲音檔案，再生成對齊的對白。官方文件有「多角色配音」「匯出混音」等分步指南（docs/ 下 Dub 相關章節）。實操建議：

• 先粗剪影片，再進 VoiceStudio，避免反覆改時間軸。
• 每個角色一個檔案；旁白與對白分開，後期混音更輕鬆。
• 匯出前整段試聽：24 kHz 單聲道進 Premiere、Final Cut 或 DaVinci 前，如需 48 kHz 可在 DAW 裡升取樣。

若你的片源主要在 Mac 上剪，但 GPU 在另一臺機器，可以把 VoiceStudio 裝在常開的 Apple Silicon Mac 上批次渲染，筆記本只做剪輯——這與把編譯放到 Cloud Mac 是同一類思路，見下一節。

聽寫、轉寫、API 與 Agent

除配音外，VoiceStudio 還提供：

• Dictation：系統級浮動聽寫，適合快速記稿。
• Transcription：配合 whisper.cpp 或其它 ASR 模型，把現有音訊轉文字，再送進 TTS。
• Local API / MCP：本機 HTTP 與 MCP 服務，方便 Cursor、OpenClaw 等 Agent 觸發合成；Skills 可透過 npx skills add debpalash/VoiceStudio 安裝（見 README）。
• Recipes & watch folders：把「輸入目錄 → 合成 → 輸出格式」做成配方，適合播客批次片頭。

遠端模式與 OIDC 登入屬於進階能力；預設個人使用不必開啟公網埠。

Apple Silicon 與 Cloud Mac 怎麼配合

影片配音和克隆都是記憶體與 GPU 時間敏感任務。MacBook Air 可以試短句，整集旁白或 4K 專案的長批處理更適合放在 16 GB 及以上的 Apple Silicon 上持續跑。Vuncloud Cloud Mac 提供獨享 M 系列節點與 SSH/VNC：你可以把 VoiceStudio 裝在雲端 Mac，本地 Windows 或 Linux 剪輯機透過遠端桌面或同步盤取回 WAV，避免筆記本風扇全程拉滿。

這與 本機 AI Gateway 不衝突：Agent 寫稿走 OmniRoute，成片旁白在 VoiceStudio 渲染，金鑰與模型權重仍留在你的 Mac 磁碟上。

FAQ

常見短答：軟體開源免費，模型算力自備；預設不上傳音訊；Intel Mac 不能跑本地後端；克隆參考 3～10 秒；影片配音用 Dubbing 工作區按軸匯出。完整問答見頁頭 FAQ 結構化資料。