VoiceStudio:免费开源的本地 ElevenLabs 替代,声音克隆、视频配音、转录都在自己电脑上跑

16次阅读
没有评论

想给视频配个音、把自己的声音克隆出来读稿子,又不想每个月给 ElevenLabs 交钱、也不想把声音传到别人的服务器上?我最近在看的 VoiceStudio,就是冲着这个来的。

本文介绍 VoiceStudio 能做什么、电脑配置要求、Windows / Mac 怎么装,以及我觉得需要注意的地方。资料于 2026 年 10 月 12 日查阅 GitHub 仓库、README 和官方安装文档。

【配图位置:VoiceStudio 主界面截图(声音克隆工作区)】

VoiceStudio 是什么

VoiceStudio 是作者 debpalash 在 GitHub 上开源的桌面应用,协议是 AGPL-3.0,免费使用。写这篇文章时仓库大约 5.97 万颗星,最新正式版是 2026 年 9 月 23 日发布的 v0.5.6。

它的定位很直白:一个装在自己电脑上的语音工作室。README 的原话是“开源的声音克隆、声音设计、视频配音、语音听写、转录与有声书创作,支持 646 种语言”。默认的语音引擎叫 VoiceStudio,底层用的是 k2-fsa 的 OmniVoice,也可以换成 CosyVoice 3、IndexTTS 2.5、VoxCPM2、GPT-SoVITS、KittenTTS 等其他引擎。

很多人拿它当 ElevenLabs 的本地免费替代品。我觉得这个说法大方向没错,但效果能不能比,要看你选的引擎和自己的机器,后面会细说。

它能做什么

  • 声音克隆:给一段干净的参考录音,输入文字,用这个声音读出来。
  • 声音设计:不用录音,用文字描述想要的声音。
  • 视频配音:自动提取音轨、分离人声、转写、翻译,再按时间轴生成配音。
  • 语音听写:一个悬浮小窗,说话直接转文字。
  • 转录:默认用 WhisperX,也能换 Faster-Whisper、FunASR、Parakeet 等。
  • 有声书和批量任务:长文本、故事、批量队列、监听文件夹。
  • 给开发者:自带本地 API 和 MCP 服务,可以让 Claude Code、Cursor 这类 AI 工具直接调用。

另外还有人声分离、说话人区分、AI 水印这些功能。

【配图位置:视频配音工作区截图】

电脑配置要求(重点)

这是我最关心的部分,把官方文档里写明的整理一下:

硬件 支持情况
NVIDIA 显卡(Windows / Linux) CUDA 加速
Apple Silicon(M1 / M2 / M3 / M4) Metal(MPS)加速
没有独立显卡(核显、老电脑) 能用,走 CPU,速度慢;装的是小体积 CPU 版 PyTorch,约需 5 GB 空间
Windows on ARM(骁龙 X 等) 实验性,只能用 CPU
Intel 芯片的 Mac 只有界面,本地后端跑不起来,要连远程后端

几个容易踩坑的点:

  • 内存:安装向导会检查系统内存,最低 8 GB。官方文档提到 16 GB 的机器同时开一堆浏览器标签再配音,后端可能被系统杀掉。
  • 硬盘:Windows 和 Linux 文档写的是预留约 10 GB,装软件、Python 环境和模型都在里面。
  • 显存:README 没有给一个统一的显存门槛,官方说法是“不同引擎要求不同”。性能文档里提到 10 GB 及以下的显卡会一次只跑一个任务,16 GB 以上能并行三四个。我的理解是:有张 N 卡就能跑,显存越大越从容,具体看你选的引擎。
  • AMD 显卡在 Windows 上不加速:Windows 上 PyTorch 加速只支持 NVIDIA,A 卡(包括锐龙核显)会退回 CPU。唯一的例外是 audio.cpp 引擎,有 Vulkan 版本能用 A 卡。
  • CPU 跑会慢不少:官方说纯 CPU 大约比 Apple Silicon 慢一倍,和 N 卡比差距更大。没显卡的话,建议在模型目录里选轻量引擎(KittenTTS、Supertonic-3、PocketTTS)和小号 Whisper 模型。

需要 API Key 吗

基本不需要。 核心功能都在本地跑,README 写的是“远程服务是可选的,使用统计需要你同意才会开启”。

有两处会用到账号或 Key,但都是可选:

  • Hugging Face Token:模型是从 Hugging Face 下载的,填一个免费 Token 下载更快、更少卡住,不填也能下。
  • 视频配音的翻译:可以用本地的 NLLB 翻译模型,也可以接你自己的大模型 API(翻译质量可能更好)。

国内用户最担心的是模型下载。官方文档说,没有手动设置下载源时,它会同时测试 Hugging Face 官方和 hf-mirror.com 镜像,哪个能连就用哪个,也可以在“设置 → Models → Hugging Face mirror”里手动指定。

怎么安装

Windows

  1. 打开 GitHub Releases 页,下载 VoiceStudio-Electron-版本号-win-x64.exe(v0.5.6 大约 204 MB)。
  2. 双击安装,默认装在当前用户下,不需要管理员权限,可以自己选安装目录。
  3. 第一次打开时,它会自己下载 Python、FFmpeg 和模型,不用提前装开发环境。

也可以在普通(非管理员)PowerShell 里一行装:

irm https://voicestudio.sh/install | iex

C 盘紧张的话,安装时可以把软件装到别的盘,再在设置里把 Python 环境、数据和模型缓存都挪过去。

Mac

  1. M 系列芯片下载 mac-arm64.dmg,拖进“应用程序”。Intel Mac 别折腾,本地后端跑不了。
  2. 第一次打开如果提示“无法验证开发者”,在 Finder 里右键 VoiceStudio → 打开 → 再点打开。macOS 15 是去“系统设置 → 隐私与安全性”点“仍要打开”。

或者在终端里一行装:

curl -fsSL https://voicestudio.sh/install | sh

Linux

下载 .AppImage 或 .deb,或者用上面那条 curl 命令。官方也提供 Docker 部署文档。

【配图位置:模型管理界面截图(安装模型)】

第一次怎么用

  1. 打开“Voice cloning”(声音克隆)。
  2. 选一个自带的声音,或者添加一段自己干净的参考录音。
  3. 输入要读的文字,点生成。第一次会提示下载需要的模型,按提示装就行。

官方性能文档提了两个小技巧:第一次生成总是最慢的,因为要加载模型,判断速度看第二次;参考录音最好配上对应的文字稿,不然它每次都要先转写一遍。

优点

  • 免费开源,核心功能都在本地,声音素材不用上传。
  • 功能很全:克隆、配音、转录、听写、有声书放在一个软件里。
  • 引擎多,可以按机器配置挑,没显卡也能用轻量引擎。
  • Windows、Mac、Linux 都有安装包,Windows 不需要管理员权限。
  • 有本地 API 和 MCP,能接进自己的自动化流程。

不足

  • 第一次启动要下载 Python 环境和模型,几个 GB,网络不好会比较折腾。
  • 没有 N 卡或 M 芯片的话,速度会慢很多。
  • Intel Mac 基本用不了,Windows 上的 A 卡也加速不了。
  • Mac 版暂时没有签名公证,第一次打开要手动放行。
  • 引擎太多,新手可能不知道选哪个。
  • 软件是 AGPL,但模型权重和生成内容的授权是分开的,商用前要逐个看模型的许可。

适合谁

  • 做短视频、播客,想给内容配音又不想付订阅费的人。
  • 想把外语视频配成中文(或反过来)的人。
  • 写有声书、做课件旁白,需要长文本朗读的人。
  • 在意隐私,不想把自己声音传到云端的人。
  • 想把语音能力接进 AI Agent 或自动化脚本的开发者。

如果你只是偶尔转个文字、电脑也是老轻薄本,那可能在线工具更省事。

写在最后

最后提醒一句,README 里也专门写了:只克隆你获得授权的声音。拿别人的声音做内容,法律风险是你自己的。

总体来说,VoiceStudio 是我目前看到的本地语音工具里功能最完整的一个。手上有张 N 卡或者 M 芯片 Mac 的话,我觉得很值得装来试试。

项目地址: github.com/debpalash/VoiceStudio

正文完
 0
liujiana
版权声明:本站原创文章,由 liujiana 于2026-10-12发表,共计3087字。
转载说明:本文由(baffox.com)根据项目官网、开源社区及公开资料整理。工具的功能、价格、授权与服务条款可能随时间调整,请以官方最新页面为准。合理引用请注明出处并保留本页链接;如发现内容错误、版权或侵权问题,请通过联系邮箱进行反馈,我们将第一时间核实处理。
评论(没有评论)
验证码