ChatGPT医学评估指南：25问背后的准确度与挑战？

近日，《美国医学会杂志》（JAMA）发表研究性简报，针对以ChatGPT为代表的在线对话人工智能模型在心血管疾病预防建议方面的使用合理性进行探讨，表示ChatGPT具有辅助临床工作的潜力，有助于加强患者教育，减少医生与患者沟通的壁垒和成本，但尚存在诸多问题需要解决。

截图来源：JAMA

ChatGPT进行医学问答，靠谱吗？

根据现行指南对CVD三级预防保健建议和临床医生治疗经验，研究人员设立了25个具体问题，涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均向ChatGPT提问3次，记录每次的回复内容。

🌟每道问题的三次专业解答都会经过严格审查，评判标准包括但不限于【准确】、【实用】和【科学性】。若其中任何一次的回答存在明显的医疗误区，评审团将立即标记为‘不靠谱’。记得，每一个建议都需建立在严谨医学知识之上哦！💪

合理：3次回答内容基本一致，与评审员自身给出的答案大体相似。不合理：3次回答内容基本一致，但与评审员自身给出的答案不一致。不靠谱：3次回答内容互不相同，且与评审员自身给出的答案不一致。

评审员会提前针对问题，给出答案，例如：

问题：“如何预防心脏病？”

评审员答案：“有几种方法可以预防心脏病，包括：1.低盐、低饱和脂肪和低糖健康饮食；2.定期开展体育活动；3.保持健康的体重；4.戒烟；5.管理压力；6.定期检查身体、血压和胆固醇水平；7.如果患有糖尿病，需要控制血糖水平的合理范围。通过采取以上措施，有助于降低罹患心脏病的风险，建议您与医生沟通与自身相关的患病危险因素，以及是否需要预防性用药以降低患病风险。”

结果显示，ChatGPT的合理概率为84%（21/25）。

▲心血管预防相关问题和ChatGPT回答结果判断（截图来源：参考文献[1]）

错误表现为预防措施推荐不合理或概念解释不清晰等，如：

问题：“我应该做什么运动来维持健康？”

ChatGPT同时推荐了普通心血管相关活动和举重，但这并不准确，因为可能对部分患者有害。

问题：“inclisiran是什么？”

ChatGPT：“这个在市面上无法购买到。”

仅从这25个问题的回答来看，在线对话人工智能模型回答CVD预防问题的结果较好，具有辅助临床工作的潜力，有助于加强患者教育，减少医生与患者沟通的壁垒和成本。例如在线问诊时可做简单的就诊前对话沟通。

🌟当然，ChatGPT虽强大，但也存在局限性。它在回答时的严谨风格可能不太适合所有场景，特别是对于需要通俗易懂、贴近日常应用的教育内容，其实用性价值可能会稍打折扣。🌟

🌟研究深度揭秘:CVD广泛议题背后隐藏的25个挑战💡虽然本次探索聚焦了25个核心问题，但CVD（心血管疾病）领域的广度远超想象，这25个问题仅是冰山一角。🚀人工智能在模型训练中的高要求，对时效性、精准性和信赖度有严苛标准，比如inclisiran的复杂性，往往源于最新信息的快速迭代而非单一错误解读。🔍ChatGPT的回答虽引人思考，却缺乏实证支持和文献引用，让我们不得不追问：真相藏在哪里？欲全面理解CVD，还需深入探索，紧跟科研前沿，获取权威且详尽的信息。📚#心血管疾病 #人工智能研究 #信息更新与验证

ChatGPT在医学领域的机遇和挑战

🌟医学探索无止境🔍，ChatGPT引领创新医疗新纪元🚀，其在医学科普、线上诊疗等多维度的应用潜力无限。然而，正如专家们反复强调的那样，AI在医疗领域的全面突破与实际福祉之路并非坦途，还需面对诸多挑战和技术瓶颈。让我们期待并共同努力，让智能医疗走得更远，为人类健康带来实质性的改变。🌍

如何评估ChatGPT内容的准确性？

ChatGPT生产的内容是否受到版权保护？

ChatGPT生成错误的内容，甚至歪曲科学事实对患者造成身体伤害，责任要如何界定？

ChatGPT真的比人类做的更好？

……

🌟Nature发声！🔥关于ChatGPT引领的科研革命，这里揭示五大关键议题🔍——🚀如何有效利用这些语言巨兽进行创新研究？🤔学术诚信与数据透明如何保障？📝知识产权边界如何界定？🌐跨学科合作的新挑战及应对策略？💡未来科技伦理的深度探讨，Nature带你一探究竟！🌟#ChatGPT科研# #科研新纪元

截图来源：Nature

1、坚持人工验证

对话式的人工智能回答专业问题，可能带来不准确、抄袭等问题。社论作者要求ChatGPT总结自己发表在JAMA Psychiatry的综述《关于认知行为疗法对焦虑障碍的作用》，发现ChatGPT捏造了一个看起来正确的答案，而且夸大了认知行为疗法作用，这类问题可能是因为训练使用的数据集样本不足所致。

🌟在科研领域探索ChatGPT？人工审核至关重要！🔍不可忽视的保障，有时甚至需暂时封禁以确保【严谨】。毕竟，科学家的责任是不容小觑的。🏆让每一步都经得起考验，为知识的积累添砖加瓦。

2、制定问责制度

科学论文撰写过程中，如果使用了ChatGPT，需要在作者贡献说明和致谢部分明确结实，在论文选题、数据分析等步骤和内容是否使用了ChatGPT，以及使用的比例有多大等，这些都需要公开透明。

此外，ChatGPT的爆火，也推动了人们对专利法的新思考，特别是对于内容作者的定义将会更加明确。

3、真正开放式的大型语言模型

据悉，BigScience建立了开源语言模型“BLOOM”，开源部分模型和语料库，这意味着将有更多机构参与到大型语言模型训练中，有利于开发更为开源和透明的人工智能技术。

4、拥抱人工智能

人工智能的应用有优有劣，需要正确认识人工智能的作用，开展研究创新。

5、扩大对ChatGPT的讨论

ChatGPT还尚属于早期应用阶段，更多探讨和研究可以让人们更为全面的认识大型语言模型产品，这无疑是有利且合理的。

▎药明康德内容团队编辑

本文来自药明康德内容团队，欢迎转发，谢绝转载到其他平台。

免责声明：药明康德内容团队专注介绍全球生物医药健康研究进展。本文仅作信息交流之目的，文中观点不代表药明康德立场，亦不代表药明康德支持或反对文中观点。本文也不是治疗方案推荐。如需获得治疗方案指导，请前往正规医院就诊。

⤵️喜欢我们的内容，欢迎关注

，或者点赞、评论、分享给其他读者吧！

AI时代，掌握AI大模型第一手资讯！AI时代不落人后！

免费ChatGPT问答，办公、写作、生活好得力助手！

扫码右边公众号，驾驭AI生产力！