五年前评估一套视频会议系统，主要看三件事：能不能连上、画面清不清楚、会不会卡。今天再评估，问题变成了：能不能自动生成纪要、多人说话时能不能分清是谁、弱网下会不会自动降质、几十间会议室的设备能不能统一纳管。需求的变化，本质上是软件栈的变化——智能视频会议系统已经从"编解码加传输"的单层工具，演化为"媒体引擎 + AI 中间件 + 协作应用 + 统一管控"的复合软件体系。
本文从工程实现角度拆解这套软件栈的分层结构，说明每一层的职责边界、常见技术选型与容易踩的坑，供企业在做系统选型或自建平台时参考。
一、软件栈的五层划分
一套可交付的企业级智能会议系统，建议按五层来设计，层与层之间通过稳定接口通信，避免功能互相渗透：
接入层：终端适配与信令接入，负责把会议室一体机、会议平板、桌面客户端、移动端、H.323/SIP legacy 终端统一纳管。
媒体引擎层：采集、前处理、编解码、传输与渲染，是实时性要求最高的一层，端到端延迟预算通常要压在 400 毫秒以内。
AI 中间件层：语音识别、说话人分离、机器翻译、内容理解、画质增强等能力的统一编排与算力调度。
协作应用层：会议控制、权限与鉴权、录制转写、白板协作、纪要生成与分发。
管控运维层：设备纳管、状态监控、告警、灰度发布、用量统计与合规审计。
分层的核心价值在于可替换性。AI 能力迭代最快，半年换一版模型是常态；媒体引擎要求稳定，动一次就可能引入回声问题。把两者解耦，AI 升级就不会牵动实时链路。
二、媒体引擎层：实时链路的四个环节
2.1 音频前处理决定体验下限
用户对会议质量的抱怨，绝大多数不是画质而是声音。前处理链路通常包括回声消除 AEC、自动增益 AGC、噪声抑制 ANS、波束成形四个模块，顺序不能颠倒：先做 AEC（参考信号对齐是最关键的一步），再做波束成形，最后才是降噪与增益。把降噪放在 AEC 之前，会破坏参考信号与麦克风信号的线性关系，导致残余回声。
传统 DSP 算法在稳态噪声下表现良好，但对键盘声、桌椅挪动、空调启停这类非稳态噪声处理有限。近两年的做法是传统算法打底 + 深度学习模型兜底：用轻量神经网络做残余噪声抑制，模型规模控制在 1MB 以内，可在会议室终端的 NPU 上实时运行。
2.2 编解码：SVC 与 AV1 的选择
多方会议中，可伸缩视频编码 SVC 仍是提升弱网体验最有效的手段：一次编码输出多个时域/空域层，服务端按接收端带宽裁剪，不需要转码。它的代价是编码效率比单层编码低 10%～15%，以及终端兼容性的历史包袱。
AV1 在同等画质下比 H.264 省约 30% 码率，但编码复杂度高出数倍，目前在会议室专用终端上硬件支持还不普遍。务实的策略是按终端能力分层下发：会议室一体机走 H.264 High Profile + SVC，桌面客户端在新硬件上尝试 AV1，移动端保持 H.264 基线兼容。
2.3 传输架构：SFU 已成为主流
| 维度 | MCU（多点控制单元） | SFU（选择性转发单元） |
|---|
| 处理方式 | 服务端混合转码后下发单路 | 服务端只转发，终端各自解码 |
| 服务端算力 | 高，随参会方线性增长 | 低，主要为带宽成本 |
| 终端负载 | 低，老旧设备友好 | 高，多路解码压力大 |
| 布局灵活性 | 统一画面，个性化弱 | 终端自定义布局，灵活 |
| 适用场景 | 大并发直播、弱终端接入 | 企业多方会议（主流选择） |
实际部署中往往是混合模式：普通会议走 SFU，超大规模培训或对外直播时切换到 MCU 或转推 CDN。
2.4 弱网对抗：带宽估计比码率控制更重要
很多"卡顿"问题，根因不是码率控制算法不好，而是带宽估计给错了目标。基于延迟梯度的估计（如 GCC）在突发排队时容易低估，基于丢包的估计在无线链路上又容易误判。工程中建议双估计器并行，取较小值作为目标码率，并对估计结果做时间平滑，避免码率剧烈抖动造成的画质呼吸效应。
三、AI 中间件层：把能力做成"可插拔"
3.1 统一能力抽象
AI 中间件的核心职责是把差异巨大的模型能力封装成统一接口：输入是媒体流或文本，输出是结构化事件（说话人变更、关键词命中、情绪倾向、语义摘要）。上层应用只订阅事件，不关心背后是端侧模型还是云端服务。这样做的好处是换模型不改业务代码。
3.2 端云协同与算力调度
哪些能力放端侧，哪些放云端，判断依据有三条：实时性要求、数据敏感度、算力成本。
端侧优先：声学前处理、实时字幕首遍识别、说话人定位、画面构图——延迟敏感，且原始数据不宜出域。
云端优先：全文纪要生成、多语种翻译、知识库问答——计算密集，对延迟不敏感，可异步完成。
混合：端侧出快速结果保证实时体验，云端出精修结果在会后覆盖更新，是"先快后准"的典型组合。
3.3 模型生命周期管理
企业场景常被忽视的是模型运维：版本灰度、回滚、效果回归。建议为每类能力保留影子模式——新模型与旧模型并行运行，输出只记录不生效，对比两周指标后再切流。会议系统一旦出现字幕大面积错误，用户信任度会瞬间崩塌，灰度机制是必须的。
四、协作应用层：能力要落到工作流
AI 功能再强，如果不能进入工作流就是摆设。会议应用层需要解决三个具体问题：
纪要的分发与确认：会后自动生成纪要草稿，推送到与会人待确认，修订记录留痕，避免"AI 写错了没人看"。
待办事项的结构化提取：从讨论中抽取责任人与截止日期，同步到企业 OA 或项目系统，这是会议价值闭环的关键一步。
权限与合规：录制文件、转录文本、AI 生成内容需分级授权；涉密会议应支持"仅本地纪要、不落云端"的模式开关。
五、管控运维层：规模化的前提
单间会议室好调，三十间会议室的运维才是真问题。管控层至少要具备四类能力：
设备纳管：在线状态、固件版本、外设（摄像头/麦克风/中控）健康度统一可视。
质量可观测：按会议维度采集 MOS 分、丢包、抖动、端到端延迟、AI 功能调用成功率，形成质量画像。
告警与自愈：麦克风离线、回声异常、录制失败应触发工单，部分故障（如重启编解码服务）可自动修复。
用量与成本：按部门统计会议时长、并发峰值、AI 调用量，为扩容与预算提供依据。
六、选型与落地建议
先定分层，再选产品：明确哪些能力要求私有化、哪些可上云，避免被单一厂商的整体方案锁死。
媒体层优先保证稳定：AI 功能可以分期上，音频前处理和传输质量必须从第一天就达标。
关注终端算力冗余：选型时预留 NPU 余量，后续端侧 AI 能力升级才不需要换硬件。
要求开放接口：会议系统应提供标准 API 与 Webhook，便于与 OA、资产、门禁系统打通。
分阶段验收：第一阶段验音频与稳定性，第二阶段验实时字幕与纪要，第三阶段验自动导播与空间联动。
结语
智能视频会议系统的竞争力，已经从"能不能开会"转移到"开完会留下了什么"。软件栈分层的意义，就是让媒体引擎保持稳定、让 AI 能力快速迭代、让协作功能真正嵌入工作流、让规模化运维可控。企业在规划时，与其追逐单个炫目的 AI 功能，不如先把分层架构和接口规范定清楚——架构对了，能力可以持续叠加；架构错了，每一轮升级都是推倒重来。
厦门邦弘讯信息技术有限公司专注企业会议室音视频系统集成，代理亿联 Yealink、MAXHUB、Poly、罗技等品牌，提供从会议室勘测设计、设备选型、布线安装到系统联调与运维培训的一站式服务。无论您是新建智能会议室，还是对现有会议系统做 AI 能力升级，都欢迎与我们沟通，电话 0592-5027731，我们将结合现场声学条件与既有设备状况，给出可分期落地的实施方案。