自己建网站的优势,网页编辑可视化软件,做网站定制开发的公司,电商网站建设注意当Spring Boot遇见豆包大模型#xff1a;一场流式响应的魔法吟唱仪式
一、前言#xff1a;关于流式响应的奇妙比喻
想象一下你正在火锅店点单#xff0c;如果服务员必须等所有菜品都备齐才一次性端上来#xff0c;你可能会饿得把菜单都啃了。而流式响应就像贴…当Spring Boot遇见豆包大模型一场流式响应的魔法吟唱仪式
一、前言关于流式响应的奇妙比喻
想象一下你正在火锅店点单如果服务员必须等所有菜品都备齐才一次性端上来你可能会饿得把菜单都啃了。而流式响应就像贴心的服务员毛肚刚切好就立刻端上桌肥牛卷还在空中飞着就送到你面前——这就是我们今天要施展的异步上菜大法
注完整代码见底部
二、Spring Boot魔法阵搭建
2.1 召唤SSE精灵
PostMapping(value /ask, produces MediaType.TEXT_EVENT_STREAM_VALUE)
public SseEmitter ask() {SseEmitter emitter new SseEmitter(60_000L); // 设置60秒超时结界//...后续魔法吟唱
}这段咒语相当于在Spring Boot的魔法阵中召唤了一个SSEServer-Sent Events精灵它将负责持续不断地把豆包大模型的智慧结晶传送给前端。
2.2 构建跨次元传送门
CrossOrigin(origins *) // 允许所有位面的访问这行代码就像在霍格沃茨的墙上开了个任意门让前端、移动端、甚至隔壁王大爷的智能拐杖都能连接我们的服务。
三、豆包大模型召唤仪式
3.1 拼装召唤咒语
ArkService arkService ArkService.builder().apiKey(你的魔法密钥) // 请自行替换成阿拉霍洞开咒.build();这里我们正在拼装哈利·波特级别的魔法道具apiKey就是你的魔杖认证记得千万不要像把WiFi密码写成纸条贴在电梯里一样暴露它
3.2 构建魔法对话卷轴
ListChatMessage chatMessages new ArrayList();
chatMessages.add(ChatMessage.builder().role(ChatMessageRole.USER) // 麻瓜用户身份.content(求Java策略模式代码) // 你的灵魂拷问.build());这相当于在羊皮纸上书写你的问题就像给猫头鹰系上求助信。注意提问要像调制福灵剂一样精准才能得到理想的回答。
四、流式响应的炼金术
4.1 启动魔法反应堆
new Thread(() - {// 这里开始炼制长生不老药...哦不处理响应
}).start();我们开启了多线程炼丹炉误确保主线程不会像被石化的赫敏一样僵住。
4.2 实时传输咒语
arkService.streamChatCompletion(...).forEach(j - {emitter.send(SseEmitter.event().data(JSON.toJSONString(aiChatDTO))); // 把知识碎片装进漂流瓶
});这就像用魔法把一本厚书拆成一页页的羊皮纸通过飞路网持续传送。前端可以像收快递一样实时展示每个字的到来。
五、魔法的收尾工作
5.1 关闭魔法阵
finally {arkService.shutdownExecutor(); // 收拾魔法实验室
}就像优秀的巫师总会清理遗忘咒的施法痕迹这里确保我们的魔法资源不会像韦斯莱家的飞车一样失控乱跑。
5.2 异常处理小精灵
emitter.completeWithError(ex); // 把锅甩给异常对象当魔药课发生爆炸时我们要优雅地把错误信息封装成记忆球而不是让整个霍格沃茨城堡崩溃。
六、实战效果展示
当你在控制台看到这样的输出
定义策略接口-创建具体策略类-配置上下文...说明你的魔法已经生效前端会像收到邓布利多军的秘密信号一样逐字显示出策略模式的代码实现。
postman效果图 七、写给麻瓜程序员的注意事项
密钥保护把你的apiKey当成隐形衣千万别学洛哈特教授到处炫耀超时设置60秒足够熬制一锅标准的缓和剂但复杂问题可能需要更久流量控制别让你的魔法管道像韦斯莱笑话商店的烟花一样喷涌过度
八、结语你已学会的魔法
现在你已经掌握了
搭建SSE双向镜通信流式响应炼金术大模型召唤仪式异常处理的黑魔法防御术
快去创建你自己的魔法AI助手吧记住好的代码应该像福灵剂一样令人愉悦而不是像呕吐味的比比多味豆让人措手不及。愿代码之神永远眷顾你的IDE
附
package com.ideal.jason.controller;import com.alibaba.fastjson.JSON;
import com.volcengine.ark.runtime.model.completion.chat.ChatCompletionRequest;
import com.volcengine.ark.runtime.model.completion.chat.ChatMessage;
import com.volcengine.ark.runtime.model.completion.chat.ChatMessageRole;
import com.volcengine.ark.runtime.service.ArkService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.CrossOrigin;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;import java.io.IOException;
import java.util.ArrayList;
import java.util.List;/*** author: jason* Date: 14 2月 2025*/
CrossOrigin(origins *)
Slf4j
RestController
RequestMapping(/api/ai)
public class AIController {PostMapping(value /ask, produces MediaType.TEXT_EVENT_STREAM_VALUE)public SseEmitter ask() {SseEmitter emitter new SseEmitter(60_000L); // 超时时间 60 秒String apiKey ccde85e1-6ae4-1234-abe1-423164b9f965;//替换成自己的 API KeyString content java策略模式代码样例提供;//替换成自己的 API KeyString model doubao-1.5-pro-32k-250115;//替换成自己的 模型id// 创建ArkService实例ArkService arkService ArkService.builder().apiKey(apiKey).build();// 模拟流式数据new Thread(() - {try {// 初始化消息列表ListChatMessage chatMessages new ArrayList();// 创建用户消息ChatMessage userMessage ChatMessage.builder().role(ChatMessageRole.USER) // 设置消息角色为用户.content(content) // //替换成自己的 提问内容.build();// 将用户消息添加到消息列表chatMessages.add(userMessage);// 创建聊天完成请求ChatCompletionRequest chatCompletionRequest ChatCompletionRequest.builder().model(model)// 需要替换为Model ID.messages(chatMessages) // 设置消息列表.stream(true)//以流式返回.build();// 发送聊天完成请求并打印响应// 获取响应并打印每个选择的消息内容StringBuilder sb new StringBuilder();arkService.streamChatCompletion(chatCompletionRequest).blockingIterable().forEach(j - j.getChoices().forEach(choice - {//System.out.print(choice.getMessage().getContent());AIChatDTO aiChatDTO AIChatDTO.builder().content(choice.getMessage().getContent().toString()).build();try {emitter.send(SseEmitter.event()//.id(choice.getMessage().getToolCallId()).data(JSON.toJSONString(aiChatDTO)));sb.append(aiChatDTO.getContent());} catch (IOException e) {log.error(ask IOException);}}));System.out.println(sb);emitter.complete();} catch (Exception ex) {emitter.completeWithError(ex);} finally {// 关闭服务执行器arkService.shutdownExecutor();}}).start();return emitter;}
}
maven依赖 !-- 豆包 --dependencygroupIdcom.volcengine/groupIdartifactIdvolcengine-java-sdk-ark-runtime/artifactIdversionLATEST/version/dependency
