网站地图html,企业查查官网入口,杭州上城区建设局网站,精准营销软件前言 目前语音交互主要的实现大体有两种： 级联方案，指的是，大规模语言模型 （LLM）、文本转语音 （TTS） 和语音转文本 （STT），客户的话通过vad断句到STT的语音转文本，经过大模型进行生成文本，生成文本后通过TTS进行回复给用户。（主流方案）端到端的方案，开发者无需再…前言 目前语音交互主要的实现大体有两种：
级联方案，指的是，大规模语言模型 （LLM）、文本转语音 （TTS） 和语音转文本 （STT），客户的话通过vad断句到STT的语音转文本，经过大模型进行生成文本，生成文本后通过TTS进行回复给用户。（主流方案）端到端的方案，开发者无需再组合多个模型来实现语音助手功能，而是可以通过单一 API 调用来处理整个过程，从语音识别到文本推理，再到语音合成。这种集成方法不仅提高了效率，还保留了情感、重音和口音等细节，大大增强了用户体验。（openai realtime）方案对比: 暂时无法在飞书文档外展示此内容 国内目前：没有realtime端到端的方案，据了解都在25年的时候会进行发布
openai： Realtime API with WebRTC（适用于客户端应用程序） Realtime API with WebSockets （适用于服务端到服务端应用程序）
声网RTC： 声网本身不做大模型，但是为了使大模型在语音领域的使用，采用级联方案，这样普通大模型也能够应用到语音领域 声网认为延迟很重要，所以在延迟上下了很多功夫，这种考虑是C端的用户，用户的语音输入可能使用5g和wifl进行传输，所以延迟不稳定。
