蚂蚁百灵开源Ming-3.0系列语音模型，Mistral发布Voxtral 3多语言语音模型

语音交互模型蚂蚁百灵Ming-3.0系列，语音交互模型Mistral Voxtral 3，实时语音交互模型ElevenLabs Eleven Realtime v1 Mini / Max，具身理解与规划模型高德ABot-ER，模型推理框架DeepSeek DeepInfer。

10 月 21 日，今天值得关注的项目覆盖语音交互、具身理解与模型推理：蚂蚁百灵 Ming-3.0 开放多种音频模型，高德 ABot-ER 将场景理解与长程任务规划结合，DeepSeek 则公开生产推理框架 DeepInfer 的核心实现。

识别语音、理解环境声音与音乐，并结合文本进行音频问答和推理。

蚂蚁 inclusionAI 的百灵 Ming-3.0 包含 audio-flash、audio-tiny、asr-tiny、tts-tiny 和 tts-0.5B。音频模型接收音频与文本，既能识别说话内容，也能理解环境声音和音乐，再以文本或可选语音回答。Flash 总参数为 126B、激活参数为 6.5B；Tiny 总参数为 9.3B、激活参数为 2.7B。

独立 ASR 模型面向中英文识别，在 15 个区域方言测试集上进行评估，并支持热词与对话上下文辅助识别。TTS 提供 tiny 与 0.5B 两档，支持多语言合成、参考音色和表达控制；其中 0.5B 是语言骨干的规格，运行时还包含音频生成组件。

模型权重和代码采用 MIT 许可证。Tiny 的完整语音路径需要组合理解与合成组件：vLLM-Omni 参考方案将二者放在双 GPU 上，SGLang-Omni 支持合并到单 GPU，具体资源需求仍取决于所选方案。

上手门槛

自行部署：🟡 中｜Tiny 全语音需组合理解与合成组件

自行部署：🔴 极高｜Flash 总参数 126B，需多卡部署

模型地址：https://huggingface.co/collections/inclusionAI/ming-30

代码仓库：https://github.com/inclusionAI/Ming-3.0-audio-flash

转写 50 多种语言、生成 35 多种语言的语音，并接入可打断的语音 Agent。

Mistral 于 10 月 20 日公布 Voxtral 3，覆盖语音转写、语音生成与语音 Agent 接入。转写支持 50 多种语言，语音生成支持 35 多种语言，可用于多语言内容处理和语音交互产品。

配套 SDK 支持 LiveKit、对话打断和工具调用，方便开发者把语音输入、响应与业务操作接到同一交互流程中。例如，用户可以在回答过程中继续补充要求，Agent 也能调用外部工具完成任务。

目前可通过官方 API 和 Studio 使用，尚无公开模型权重。需要私有部署的团队须联系厂商，因此评估时应区分直接调用服务与私有环境交付两条路径。

上手门槛

在线使用：🟢 低｜注册后通过 Studio 使用

开发接入：🟢 较低｜通过官方语音 API 与 SDK 接入

控制台：https://console.mistral.ai/

使用文档：https://docs.mistral.ai/studio/audio/overview

发布公告：https://mistral.ai/news/voxtral-3/

将语音识别、对话轮次、语言模型与语音合成整合为可调用工具的实时交互流程。

ElevenLabs 的 Eleven Realtime v1 提供 Mini 和 Max 两个版本。Mini 侧重低时延和成本，Max 则支持在回答前推理，更适合复杂指令与多步工具调用，开发者可根据任务复杂度选择。

服务整合语音识别、轮次处理、语言模型和语音合成，并支持沿用既有声音、工具及知识库配置。其 WebSocket 接口兼容 OpenAI Realtime 事件，便于已有实时语音应用对接，同时保留对业务工具和回答内容的配置能力。

目前权限按工作区逐步开放，未获开通的工作区调用 API 会被拒绝。项目没有开放模型权重，实际开发前需要先确认所属工作区是否已获得访问权限。

上手门槛

开发接入：🟡 中｜工作区权限逐步开放，需确认已开通｜通过 WebSocket 接口接入

官方网站：https://elevenlabs.io/realtime

接入文档：https://elevenlabs.io/docs/eleven-agents/customization/realtime-models

理解场景中的空间、状态与事件，输出机器人任务所需的答案、计划或坐标。

高德 ABot-ER 用统一视觉语言模型连接视觉理解与长程任务规划，覆盖空间关系、场景状态、时序事件、点位定位与可操作性、行动组织五个维度。模型既处理场景里有什么、对象在哪里，也处理任务应如何分步完成。

项目公开了 2B、4B、9B、27B 和 35B-A3B 模型入口，以及训练数据和训练评测代码，方便研究者围绕不同规模开展任务适配。模型输出可以是答案、行动计划或坐标；若要让机器人实际执行，还需要对接控制系统。

代码采用 Apache 2.0 许可证，模型权重和数据需分别查看其许可。部署时也要适配具体任务的路由与输出格式，再将结果交给后续执行环节。

上手门槛

自行部署：🟡 中｜9B 模型需适配任务路由与输出格式｜机器人执行需另接控制系统

模型权重：https://www.modelscope.cn/models/amap_cvlab/ABot-ER-9B

项目仓库：https://github.com/amap-cvlab/ABot-ER

开放生产推理框架核心，支持 DeepSeek V4.1 Flash 的离线推理与结构化输出。

DeepSeek 以 Apache 2.0 许可证开放 DeepInfer，将实际生产推理框架的核心实现提供给开发者。目前支持 DeepSeek V4.1 Flash，面向 NVIDIA SM100 和华为昇腾 950 平台，适合具备相应硬件的推理系统团队研究与集成。

已开放的离线推理能力包括异步调度、专家并行、草稿验证加速和结构化输出，可通过 JSON Schema 等方式约束结果格式。这些组件覆盖模型运行与输出控制，但还不能直接构成完整的对外 API 服务。

完整服务仍需补充 KV Cache 系统、分离部署编排和负载均衡。使用者需要从源码构建，并在框架核心之外完成缓存与服务调度等工程工作。

上手门槛

自行部署：🔴 高｜需指定数据中心加速卡并从源码构建｜完整服务需补充缓存与调度系统

部署指南：https://github.com/deepseek-ai/DeepInfer#getting-started

项目仓库：https://github.com/deepseek-ai/DeepInfer