阿里云备案网站名称,wordpress 侧边栏宽度,网站 后台 安装,钟祥网页设计撰稿人#xff1a;hlq
应用开发进入收尾阶段#xff0c;我们的OmniMeetProTrack全维会议智能追录系统目前的架构功能如下所示#xff1a;
一、系统概述
1.项目名称#xff1a;OmniMeetProTrack全维会议链智能追录系统
2.项目目标#xff1a;构建一个智能化、多模态、可…撰稿人hlq
应用开发进入收尾阶段我们的OmniMeetProTrack全维会议智能追录系统目前的架构功能如下所示
一、系统概述
1.项目名称OmniMeetProTrack全维会议链智能追录系统
2.项目目标构建一个智能化、多模态、可持续学习的会议追踪和分析系统助力企业和团队提升会议效率在具有基本的会议管理功能的基础上实现全方位信息捕捉、高效知识管理、深度项目跟踪及智能决策支持。
3.技术要点前后端分离开发VUESpringBootFlaskASR自动语音识别CLIP视觉识别多模态数据融合RAG增量学习知识链条MilvusMongoDBMySQLNeo4jdeepseekInceptionResNet
4.项目背景在数字化和人工智能技术飞速发展的背景下企业、政府机构迫切需要一个能够整合总结会议信息实现高效会议管理的一体化会议助手。传统会议方式采用手动记录效率低信息易遗漏面对企业庞大的项目工程传统会议中人们难以迅速检索回顾关键内容等问题亟待解决。
5.项目介绍
1基本的会议管理功能
•基于VUESpringBoot前后端框架实现
•公司管理人员发送会议公告
•公司成员收到会议公告可做出反馈
•在会议进行中时参会人员可进行线上发言讨论会议内容
•会议内人员可开启麦克风、摄像头、可以共享屏幕信息
•会议内人员可以对视频和音频进行录制
2智能AI会议助手
•基于deepseek实现智能AI会议助手在会议中遇到各种问题可随时向助手提问AI助手检索多方面信息后即可迅速做出准确解答
•实现了流式输出减少了等待时间
•能够感知历史对话信息使得回答更加准确
•设置了知识库的检索增强回答的准确性
•设置个性化AI助理选择不同的AI助理身份以及行业领域个性化AI回答的风格与内容
3多模态数据输入、处理与输出
•基于deepseek原有的文本处理功能实现对会议文档等内容的分析
•通过引入自动语音识别ASR技术实现会议内实时语音到文本的转换
•采用视觉识别技术CLIP对PPT、白板、现场照片等视觉数据进行深度解析
•输出会议总结等多模态的结果
4RAG技术实现滚雪球式连续性知识链
•使用向量数据库构建本地数据库实现对公司敏感隐私内容的管理
•构建对知识库和知识库内文档的增删改查管理更加细致地管理知识库内容
•通过检索本地数据库可以使AI助手的解答更为专业减少幻觉提高定制化能力构建增强AI
•在每次会议结束后即可将数据库内容实时更新并学习使得信息量滚雪球式增长并形成知识链条
5知识图谱的生成与智能问答
•利用neo4j构建文件知识图谱创建不同的图谱库对上传的文件中的知识进行存储
•用户可以选择指定知识库来对问题进行知识图谱检索得到基于知识库信息的答案
6会议计划与PPT的生成
•根据用户指定的内容生成会议计划安排Word文档
•根据上传的文件以及用户输入的内容生成会议PPT
7直观友好的用户交互界面
•参考钉钉PC端页面的构造
•添加一个应用首页实现更友好的导航功能
•在前述功能的基础上添加日历各种统计图等可视化功能
8基于人脸识别与定位的签到功能
通过微调InceptionResNetV1模型构建支持人脸识别匹配的模型并通过其实现会议签到的人脸识别功能然后调用百度地图API实现实时定位留下签到信息 二、注意事项 请用户先进行人脸注册否则将无法正常使用会议功能
三、项目运行说明
项目文件 进入omni-meeting-master可以看到前后端xm_meeting_reservation和模型端model-end Step1.IDEA打开xm_meeting_reservation,VSC打开model-end Step2.启动docker中的milvus向量数据库 Step3.启动模型端服务
python.\face_api.py
python.\loadfile_api.py
python.\rag_api.py
python.\photo_api.py
python.\neo4j_api.py
python.\summary_api.py Step4.启动neo4j数据库
WinRcmd输入命令neo4jconsole
Step5.启动前后端程序 启动成功 四、功能模块详解
一注册与登录页面 本页面为系统入口用于用户角色输入账号、密码及选择身份完成登录或注册新账号进入系统开展会议管理等操作。
1.账号输入点击“请输入账号”输入框录入已注册的系统账号。
2.密码输入点击“请输入密码”输入框输入对应账号的密码注意区分大小写。
3.身份选择点击身份下拉框默认“管理员”按需选择用户身份如普通员工、管理员等不同身份权限不同。
4.登录确认点击蓝色“登录”按钮系统校验账号、密码及身份匹配性校验通过则进入系统主界面若失败按提示重新输入或联系管理员。 本页面用于新用户注册账号填写账号、密码信息完成注册流程以便后续登录系统使用会议管理功能。
1.填写账号点击“请输入账号”输入框录入拟注册的账号信息。
2.设置密码点击“请输入密码”输入框设置密码再点击“请确认密码”输入框再次输入相同密码确保两次输入一致。
3.提交注册确认账号、密码及确认密码填写无误后点击蓝色“注册”按钮系统校验信息合规性如账号唯一性、密码匹配度等。校验通过则完成注册可跳转登录页登录若失败按页面提示修正。
4.已有账号处理若已注册过账号点击页面下方“已有账号请登录”链接快速跳转至系统登录页面进行登录操作。
二主页面
点击左侧菜单栏“主页面”进入系统首页可概览系统关键信息快速掌握系统核心动态。 三数据可视化统计
本页面呈现“一周用户会议参与情况”“签到地点词云”“用户签到位置分布”三类数据可视化内容助力用户直观洞察会议参与及签到相关信息辅助分析决策。 四会议日历
本页面以日历形式展示当月会议安排支持月份切换、快速定位今日方便用户查看和管理会议日程。 五系统公告
本页面用于展示系统发布的公告信息用户可查看公告内容、发布时间及时了解系统相关动态。 六AI助手
点击“AI助手”唤起智能交互界面。
本页面为DeepSeekAI智能助手交互界面支持创建新会话、管理历史会话可选择知识库与AI助理实现问答交互辅助会议相关工作及信息查询。
1.新建会话点击左上角“新建会话”生成新会话右侧窗口清空待交互。
2.管理历史会话点左侧目标会话回顾内容点“管理”可重命名/删除。
3.选知识库与助理点“选择知识库”“选择AI助理”下拉框按需选关联内容/角色。
4.交互问答在“输入消息...”框输问题点“send”/回车发送查看回复持续交流。 七文档上传
1.新建知识库点击页面左侧“新建知识库”按钮系统自动创建新知识库可后续关联文档上传。
2.选择知识库点击“选择知识库”下拉框按需选定已创建的知识库若有多个后续上传文档将归属该知识库。
3.上传文档点击或拖拽文件至“点击或将文件拖拽到此处上传”区域选择本地PDF、Word、TXT、Markdown格式文档完成上传构建知识内容。
4.查看统计数据页面下方展示“知识库数量”“总文档数”“知识片段”统计卡片实时查看当前系统知识资产数据上传文档后数据更新。 八知识库管理
知识库的管理界面可以实现对知识库详细信息的查询和删除 知识库内的文档信息的查询与删除界面 九综合功能
进入“综合功能”包含多样辅助工具有会议计划生成器、个性化AI助理设置、个性化AI助理设置。
按需选择功能填写参数并启动满足会议个性化、功能性需求。 第一个功能为会议计划Word文档生成功能根据用户输入的信息自动生成会议计划Word文档。 生成的会议计划文档如下所示 第二个功能为会议PPT的生成功能根据用户输入的主题细节描述以及上传的文档可以生成PPT格式的会议文件选择不同的主题风格可以设置不同的颜色背景。 生成的PPT以及对应的Markdown格式文件如下图所示 选择下载PPT保存到本地的PPT文件如下图所示 第三个功能为个性化AI助理的创建用户可以选择不同身份风格和行业领域的AI助理并通过定制要求来创建个性化智能助手。 十知识图谱
知识图谱的可视化展示界面用户可以在此页面创建知识库对知识库进行删除修改等操作还可以上传文件进行知识图谱的构建。 知识图谱智能问答界面大模型检索当前知识库对用户提出的问题给出基于知识库的回答。 十一会议信息
1.会议信息管理界面
用于查询、管理会议支持按标题和状态筛选可查看会议基础信息执行参会人员查看、纪要下载等操作还能发起新会议。 1查询会议在“请输入会议标题查询”框输关键词或“请选择会议状态”选状态如进行中、已结束点击“查询”按钮筛选目标会议点“重置”可清空筛选条件。
2发起新会议点击“发起新的会议”按钮跳转至新建会议页面填写会议日期、时间、标题等信息完成新会议创建。 3查看会议详情在会议列表点击“查看参会人员”“下载会议纪要”“查看聊天记录”按钮按需查看会议关联信息通过会议状态、发起人等字段了解会议基本情况。
4会议操作点击“操作”列对应按钮如蓝色箭头可进行会议编辑、提醒发送等操作底部页码按钮可切换会议列表分页浏览更多会议。 2.会议系统的准备界面
点击进入操作能够进入我们的会议系统
用于入会前填写真实姓名、选择头像可控制麦克风、摄像头状态完成准备后进入会议。
1.填写姓名点击“请填写您的真实姓名”输入框录入真实姓名字符限制0/20内。
2.选择头像在“请选择您喜欢的头像”区域点击心仪头像完成选择已选头像带绿色对勾标识。
3.进入会议确认姓名、头像设置无误后点击底部“进入会议”按钮进入会议房间参与会议。 人脸信息的注册功能拍照然后通过微调后的模型对人脸特征进行转换并将人脸嵌入信息保存到数据库中。 入会界面经过人脸识别人名与数据库中识别到的名字一致后方可实现签到功能并成功入会。 签到成功后会留下签到记录在人脸识别匹配成功的基础上通过调用百度地图API实现定位功能。 3.会议主页面
点击进入会议就可以进入我们的会议主页面了
1音视频控制点击底部麦克风图标开关音频摄像头图标控制摄像头开启/关闭当前默认摄像头关闭显示“摄像头处于关闭状态”。
2发送消息在左下角“发送消息”输入框填内容点击“发送”按钮向会议内成员发送文字消息。
3使用辅助功能点击底部“录制音视频”“录音频”按钮按需录制会议音视频点击“AI助手”按钮唤起智能辅助功能。
4会议退出/挂断点击红色挂断图标可退出会议或挂断当前通话其他图标表情、屏幕共享等按需点击使用对应功能。 右下角有语音识别的输出结果可以对说话人的语音识别实时转录成文字。 屏幕共享功能的展示账号可以看到其他账号屏幕共享的信息。 音频和视频的录制功能录制完成后保存到本地。 多设备入会演示账号一开启摄像头账号二共享屏幕 4.会议内嵌AI助手 会议总结的生成。会议内AI能够感知本次会议的前文知识并生成会议总结 图片分析功能会议内调用大模型对摄像头拍摄到的场景以及屏幕共享的内容进行分析 十二签到信息
用于查询、导出会议签到数据支持按会议ID筛选查看签到人员姓名、状态、时间、位置等信息辅助会议考勤与数据统计。
1.筛选签到数据在“输入会议ID筛选”框填入会议ID点击“查询”按钮筛选对应会议的签到记录若需重置筛选重新输入或清空内容再查询。
2.导出签到数据确认需导出的数据可先查询筛选点击“导出数据”按钮系统将符合条件的签到信息导出为文件用于离线分析。
3.浏览签到详情在列表中查看每条签到记录的ID、姓名、会议ID、状态、签到时间、位置等信息滚动页面或切换页码点击底部数字/箭头浏览更多记录。
4.调整显示条数点击“10条/页”下拉框选择每页显示的签到记录数量如20条/页适配不同浏览需求。 十三我的会议
用于查询、展示会议详细信息支持按标题、状态筛选会议查看会议标题、描述、日期、时间、发起人、参会人员及状态辅助了解会议全貌。
1.筛选会议在“请输入会议标题查询”框填标题关键词或“请选择会议状态”选状态如进行中点击“查询”按钮筛选目标会议点“重置”清空筛选条件。
2.查看详情查询到目标会议后在展示区域查看会议标题、描述若有、日期、时间、发起人、参会人员头像及昵称、会议状态等信息快速了解会议关键内容。
3.切换分页若有多个会议需浏览点击底部页码区域的箭头、切换至其他分页查看更多会议详情。 十四个人信息修改 修改个人资料、密码等信息。
五、常见问题及解决
文档上传失败检查文档格式是否支持、大小是否超限若格式正确仍失败尝试刷新页面或重新登录系统重试。
AI助手无响应确认网络连接正常若网络良好稍等片刻或重新唤起AI助手。
会议日历不显示新增会议检查新增会议时填写的时间等信息是否准确保存后刷新日历页面。
