网站建设工作室制作平台,建立网上商城应考虑哪些问题,中国建设银行甘肃省分行网站,好视通会议软件收费价格ChatGPT在肾脏病学领域的专业表现评估
随着人工智能技术的飞速发展#xff0c;ChatGPT作为一个先进的机器学习模型#xff0c;在多个领域显示出了其对话和信息处理能力的潜力。近期发表在《美国肾脏病学会临床杂志》#xff08;影响因子#xff1a;9.8#xff09;上的一项…ChatGPT在肾脏病学领域的专业表现评估
随着人工智能技术的飞速发展ChatGPT作为一个先进的机器学习模型在多个领域显示出了其对话和信息处理能力的潜力。近期发表在《美国肾脏病学会临床杂志》影响因子9.8上的一项研究对ChatGPT在肾脏病学领域内的应用性能进行了评估通过回答专业测试问题来考量其准确性和一致性。
研究背景
尽管ChatGPT在模拟美国执业医师考试中的表现与高分考生相当但其在肾脏病学专业领域内的具体表现尚未明确。为了探究ChatGPT在此领域的实际应用效果研究人员设计了一系列的专业测试。
研究方法
研究团队选取了来自肾脏病自我评估计划Nephrology Self-Assessment Program和肾脏自我评估计划Kidney Self-Assessment Program的975道单选题排除了包含视觉元素的题目。通过利用GPT-3.5和GPT-4模型对这些问题库进行两轮测试计算出总准确率正确答案的比例和总一致率两轮测试中相同答案的比例。
研究结果
GPT-3.5模型的总准确率为51%其中肾脏病自我评估计划的问题准确率为58%肾脏自我评估计划的准确率为44%P 0.001。总一致率为78%其中正确答案的一致率为84%错误答案的一致率为73%P 0.001。在肾脏病学的各个子领域中电解质和酸碱平衡紊乱、肾小球疾病以及肾脏相关的骨骼和结石疾病的准确率相对较低。
GPT-4模型的总准确率为74%明显高于GPT-3.5P 0.001但仍未达到肾脏病学考试的及格标准77%。
研究结论
尽管ChatGPT在肾脏病学领域显示出一定的应用潜力但在准确性和一致性方面还有待提高。不同子领域之间的表现差异表明ChatGPT在肾脏病学领域的应用还需进一步的优化和完善。
