2026-11-10 14:09

导语：单卡80GB，0.31秒首包还能识别笑声叹气。Sophon-Realtime v1是什么 Sophon-Realtime

Sophon-Realtime v1是什么

Sophon-Realtime v1 是 AI降临派（Adventists AI）开源的全双工语音模型，能边听边判断话轮，随时被打断，能听懂语气、笑声和叹气，用带感情的声音回应。Sophon-Realtime v1基于 32B 参数，在语音评测 VoiceBench 上达 82.8 分，开源全双工模型中排名第一。Sophon-Realtime v1提供 Tag（表现力强）、Flash（响应快）和 E2E（研究预览）三个版本，单张 80GB 显卡即可部署，采用 Apache-2.0 许可，可商用。

Sophon-Realtime v1的主要功能

• 全双工对话：说话时一直在听，一停就接上，随时插话立刻停下回答新问题。
• 听懂语气：能识别犹豫、重音、笑声、叹气、反话等副语言信息，不只是听字面内容。
• 说得出语气：回答时声音里会自然地笑、叹气、清嗓子、换气，而不是念出文字。
• 多模态理解：给它看图表和截图，能读得懂并口头解读。
• 工具调用：支持多步工具调用（Full-Duplex-Bench v3 Pass@1 达 48%），能”干活”。
• Live 模式：兼容 OpenAI GPT-Live 协议，可与大模型后端联合工作。
• 快速部署：一条命令、一张 80GB 显卡即可上线，Flash 版首包仅 0.31 秒。
• 可微调：基于 ms-swift 用 LoRA 微调人设、口吻、领域知识和工具调用习惯。

Sophon-Realtime v1的技术原理

• 一个模型，边听边判断：音频持续流入模型，每次用户停顿时，同一个 32B 模型只用一个 token 能判断出用户状态，是说完了、还在说、在附和还是在思考。不需要串接独立的语音识别、静音检测、话轮检测和语音合成模块，大大简化了传统语音助手的流水线架构。
• 提前起草，准时开口：用户第一次停顿时，模型就开始起草回复；判断轮到自己的那一刻立刻开口说话。如果用户还在继续说，草稿会在被听到之前自动丢弃，避免抢话。
• 不只写说什么，也写怎么说：大脑生成回复时，会同步标注声音标签（如 [laughter]、[sigh]、[cough]、<strong> 重读词），指示哪里该笑、该叹气、该换气。Tag 和 Flash 版本共享同一个大脑，仅由不同的声音模型来”表演”标记，且标记不会被念出来。
• 文字领先半步，声音同步跟上：文字和声音并行流式生成，文字始终领先半步，兼顾端到端模型的速度优势，同时每句话都有可审计的文字记录，便于接工具调用和更大的后端模型。
• 记得你真正听到了什么：对话历史保存双方的真实音频，用户打断时只保留用户实际听到的部分，确保下一轮对话不会接错话、不会重复已说过的内容。

微信关注回复“开源”，加入AI开源项目交流群

如何使用Sophon-Realtime v1

• 安装环境：确保系统为 Linux + CUDA + Python 3.12，运行 pip install sophon-realtime。
• 启动服务：运行 sophon-realtime serve，首次启动自动下载约 42GB 的 Tag 权重，之后服务监听在 8000 端口。
• 调用接口：通过 ws://HOST:8000/v1/realtime（全双工）或 POST /v1/chat/completions（语音进、文字+语音出）与模型交互。
• 测试对话：运行 python client_example.py --wav 我的问题.wav --lang zh --voice vivian_zh 发送一段语音并收听回复。
• 接入 Live 模式（可选）：在引擎旁运行 cd sophon-realtime/live && BUILD=tag PORT=8000 LIVE_PORT=8780 bash start_live.sh，即可用 OpenAI GPT-Live 协议接入你的后端大模型。
• 微调定制（可选）：用 ms-swift 以 LoRA 方式在 80GB 显卡上训练，准备 jsonl 格式对话数据（音频写 <audio>、回复加 [laughter] 等标签），执行 swift sft 命令即可改人设和领域知识。

Sophon-Realtime v1的核心优势

• 开源全双工第一：VoiceBench 得分 82.8，与 GPT-4o-mini-Audio 持平，超越 MiniCPM-o 4.5（76.1）等其他开源全双工模型。
• 语音推理最强：在 1,000 道语音推理题 Big Bench Audio 上答对 81.8%，远超此前最好的开源模型 Raon SpeechChat（58%）。
• 听懂语气：听觉模型 DuplexJev 在 LISTEN、StressTest、MSPB 副语言基准综合排名第一（48.6），高于 Gemini 3.8 Flash 和 Qwen3-Omni。
• 说得出语气：NVV-SuperBench 上 Tag 版中文 0.86、英文 0.80，笑声、叹气、清嗓子等表演最像。
• 能干活：Full-Duplex-Bench v3 工具调用 Pass@1 达 48%，高于 Grok（43%），该接话时 100% 接上。
• 快且扛得住人：Flash 版首包 0.31 秒，单卡支持 40 路并发；Tag 版约 0.6 秒、16 路并发。

Sophon-Realtime v1的项目地址

• GitHub仓库：https://github.com/adventists-ai/sophon-realtime

Sophon-Realtime v1的同类竞品对比

Sophon-Realtime v1的应用场景

• 智能客服：Flash 版首包 0.31 秒、单卡 40 路并发，能听懂客户情绪并多步调用工具办理业务，适合大规模呼叫中心。
• AI 陪伴与虚拟角色：Tag 版语气表现力最强，会笑会叹气，适合做情感陪伴、虚拟恋人和游戏 NPC。
• 车载语音助手：全双工随时插话、低延迟响应，无需唤醒词，听懂语气还能辅助判断驾驶员状态。
• AI 硬件终端：团队技术已落地 300 多款硬件产品，Apache-2.0 许可可商用，适合集成进音箱、玩具、机器人等设备。
• 企业语音智能体：Live 模式兼容 GPT-Live 协议，Sophon 负责”听和说”，把查询办事交给后端大模型，适合银行、政务、航空等行业定制服务。

来源：AI工具集