Do Language Models Know What Compelling Scientific Evidence Looks Like?
1. 一句话总结 论文提出 EDB-Bio 基准,系统检验大语言模型能否像科学家一样综合多项可靠性与相关性不同的生物实验证据,并用严格评分规则训练模型以改善概率校准和后续实验选择…
标题
AI能写科研理由,却未必会判断证据
🧪 论文让模型接收生物实验结果,再回答“一个假设成立的可能性有多大”,而不是只做对错题。EDB-Bio收录约9.6万个真实数据情境,覆盖药物扰动转录组、CRISPR筛选和GWAS:分别是观察药物怎样改变基因表达、系统开关基因,以及遗传差异与疾病特征的大规模比对。
📊 直接使用时,模型常显得信心不足,区分强弱证据也接近随机猜测;按严格评分规则继续训练后,判断可改善。“概率校准”是指模型说70%时,长期看约有70%的事情真的发生,“排序能力”则是把更有说服力的证据放在前面。
🧠 论文把证据影响换算成“贝叶斯因子”,也就是每条证据该让判断更支持还是更反驳假设。顺序也会影响结论。在模拟的实验选择任务中,Ibis0挑选下一项实验的效率约为表现最好的前沿模型的2.5倍,但真实实验室闭环仍待验证。
🍎 生活里最实用的提醒是:AI把医学说法写得像专家,不代表证据够强。看AI生成的健康内容时,可检查样本量、研究设计、有没有独立重复,以及是否把相关性误写成因果。涉及诊断或用药,论文尚未完成临床验证,不能让AI替代医生判断。
🎯 真正的进步不是话更多,而是能说明哪些证据提高了可信度、哪些实验最值得先做。你更在意AI直接给答案,还是展示证据权重和不确定性?
标签
#人工智能 #大语言模型 #AI科研 #科学证据 #贝叶斯推理 #不确定性量化 #生物医学 #科研工具 #健康信息判断
原文来源
- https://arxiv.org/abs/2610.41015v1
来源类型:arXiv 预印本 · 日期:2026-10-29
边界声明 · 这项研究不能证明什么
本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。
AIGC 内容说明
本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。