用 AI 实时克隆一个人的声音和性格,然后跟他语音聊天,项目叫「Talk to 峰哥」,就是「峰哥亡命天涯」的峰哥

用 AI 实时克隆一个人的声音和性格,然后跟他语音聊天,项目叫「Talk to 峰哥」,就是「峰哥亡命天涯」的峰哥

大概是BUG tech-core

talk-to-fengge

这个项目叫「Talk to 峰哥」,核心玩法是用 AI 实时克隆一个人的声音和性格,然后跟他语音聊天。不是那种文字转语音的机械朗读,是真的像打电话一样来回对话,延迟压到了 1 秒以内

Github地址

https://github.com/YeJe-cpu/talk-to-fengge

功能特性:

  • 音色克隆:15-45 秒语音素材就能复刻一个人的声音,用的是开源的 VoxCPM 模型,效果比市面上多数方案好
  • 人格注入:不只是声音像,连口头禅、思维方式、说话节奏都能模仿,基于「女娲 Skill」的蒸馏方法论
  • 实时对话:完整链路是 用户说话 → 语音识别 → 大模型思考 → 语音合成 → 播放回复,工程延迟控制在 1 秒内
  • 可替换角色:峰哥只是第一个完整 demo,换成其他人需要准备语音素材 + 人格描述,有文档指导
  • 记忆系统(可选):基于 OpenViking,能记住对话里用户提过的事,下次聊天能 recalled 出来

技术栈——LiveKit 做实时音视频传输,Cartesia ink-whisper 做语音识别,MiniMax-M2.7 做大模型推理(国产、不用翻墙、响应快),VoxCPM 做音色克隆。每个环节都有备选方案,比如 TTS 如果本地没 GPU,可以切 MOSS-TTS(CPU 能跑)或者 Cartesia Sonic(云端付费)。

部署方式

最简单的是丢给 AI 编程助手(Claude Code、Cursor、Codex 都行),让它读取 .env.example 自动配置。手动部署的话:

  1. 克隆仓库,装 Python 3.12+ 和 uv(包管理器)
  2. 装 LiveKit Server,macOS 直接 brew install livekit
  3. 复制 .env.example 成 .env.local,填三个 key:Cartesia(语音识别,免费注册)、MiniMax(大模型,国产免翻墙)、TTS 方案三选一
  4. TTS 方案:有 NVIDIA 显卡 8G 显存以上推荐 VoxCPM,云 GPU 用 RunPod L4 也行;没显卡用 MOSS-TTS 或者 Cartesia Sonic($5/月)
  5. 启动:要么双击 Talk-to-Me-V3.6.command,要么开三个终端分别跑 LiveKit Server、Agent Worker、Web Server
  6. 浏览器开 127.0.0.1:8766 就能聊