万网主机 建网站,织梦 网站根目录,手机怎么制作软件,无限次数视频app软件iosGPT-4o Realtime API 发布#xff0c;语音 AI 技术正在进入一场新的爆发。语音AI技术的实时语音和视觉互动能力将为我们带来更多全新创意和应用场景。
实时音频交互#xff1a; 允许应用程序实时接收并响应语音和文本输入。自然语音生成#xff1a; 减少 AI 技术生成的语音…
GPT-4o Realtime API 发布语音 AI 技术正在进入一场新的爆发。语音AI技术的实时语音和视觉互动能力将为我们带来更多全新创意和应用场景。
实时音频交互 允许应用程序实时接收并响应语音和文本输入。自然语音生成 减少 AI 技术生成的语音机械感使对话更加人性化多语言能力 促进多语言之间的无缝对话特别适合全球企业的需求。更快的响应时间 显著降低延迟提高语音交互的速度。
现在让我们快速动手来实现一种想法。
在这场工作坊中你会接触到 TEN Framework市面上率先兼容了 Realtime API 和 RTC 的实时多模态 AI Agent 框架以及使用 TEN 开发的多模态 AI Agent — TEN Agent它能够立即响应你的语音指令基于视频进行图像理解并且还能进行网页和天气检索让你感受到更自然的人机互动体验。
同时作为全球领先的企业级公有云平台服务Microsoft Azure OpenAI (海外版) 提供了先进的模型服务并且全面推动了企业数字化转型的进程开启了全新的业务模式与应用场景。无论是在客户服务、教育培训还是娱乐等领域实时语音和视觉交互能力都将为各行各业带来前所未有的创新机会。
现在报名参与工作坊使用 TEN framework 与 Azure尝试自定义一个实时多模态 Agent即刻探索自己的语音、视频交互的新场景。 现场有来自 TEN Framework 与微软的答疑指导还为大家准备了精美茶歇与开发者礼品。即刻报名
【活动为审核制】
活动时间 12月5日周四13:30-17:30
活动地点 北京微软大厦具体场地审核通过后入群通知
活动流程 13:00 - 13:30 签到 13:30 - 14:30 主题分享 1基于 Azure AI 的端到端语音交互Zhi Wang微软创新技术架构师 2TEN 开源框架及最佳实践plutolessTEN Framework 共同发起者 14:30 - 17:30 动手实操 TENAzure 茶歇礼品
动手实操 TENAzure 我们为大家准备了几步实时多模态 AI Agent 挑战帮助大家循序渐进地了解、使用 TEN Framework。
•阶段1 在本地把 TEN Agent 跑起来并使用 STT LLM TTS 与 TEN Agent 对话。1 使用 camera.va graph 2使用 Azure 提供的 STT/TTS/LLM key, 成功启动 Agent并可调整 LLM 的提示词Prompt、开场白greeting等等自定义你的 Agent 体验。
•阶段2 在 TEN 上体验使用 OpenAI Realtime API。 1 使用 v2v graph 2使用 Azure 提供的 Realtime API Key并成功启动 Agent并可调整 LLM 的提示词Prompt、开场白greeting等等自定义你的 Agent 体验。
•阶段3 在 TEN 上链接 Bing search的插件extension增加搜索能力。了解如何调用现成的插件/工具为你的 Agent 赋予更多功能。完成挑战将获得由微软和 TEN Framework 提供的开发者礼品
建议报名参与者提前做好如下软硬件配置 •知识会用命令行、git 和 Docker •提前下载Docker and Docker compose •自备电脑一台。
报名并审核通过后 将会邀请大家进入工作坊专属答疑群搞定前序工作现场专注探索你的实时 AI 场景
还可参考以下链接 •Azure OpenAI (海外版) 官方文档https://learn.microsoft.com/en-us/azure/ai-services/openai/overview •TEN README 英文https://github.com/TEN-framework/TEN-Agent •TEN README 中文https://github.com/ten-framework/ten-agent/blob/main/docs/readmes/README-CN.md
欢迎报名
