英国享有盛誉的皇家学会警告称，在科学中使用人工智能可能会增加复制重要结果的问题.
在其题为《人工智能时代的科学》的报告中，这家拥有350年历史的机构认为，将人工智能引入科学研究造成了可重复性的障碍--即特定结果可以被世界另一个地区的不同研究团队复制的想法--因为缺乏文献，对必要的计算基础设施和资源的访问有限，以及难以理解人工智能工具如何得出结论.
科技行业热情地宣传了人工智能可以帮助科学的想法.
去年12月，研究人员声称已经使用大型语言模型完成了世界上第一个科学发现--这一突破表明，像ChatGPT这样的LLMS可以比仅靠人类推动科学进步的速度更快.
然而，英国皇家学会科学在人工智能时代的工作组主席艾莉森·诺布尔教授担心，人工智能在科学中的快速普及带来了与其安全和严格使用相关的挑战.
她宣称：“越来越多的不可重复性研究引发了对基于人工智能的发现的稳健性的担忧.
由于许多人工智能工具的专有性质，人工智能限制了复制结果的能力.
”对基本基础设施(如代码、数据和计算能力)的访问有限，以及对人工智能工具如何得出其结论(可解释性)的缺乏理解，使得独立研究人员难以仔细检查、验证和复制实验.
该论文警告说，在研究中依赖人工智能可能导致“过高的期望、夸大的准确性主张或基于虚假相关性的研究结果.
”在基于人工智能的研究中，能够复制研究不仅涉及复制方法，而且能够复制进行实验的代码、数据和环境条件(例如计算、硬件、皇家学会成立于1660年，包括艾萨克·牛顿、化学家汉弗莱·戴维和原子核发现者欧内斯特·卢瑟福在内的科学家都是该学会的前任主席.
在其人工智能论文中，该学会警告称，重复性失败不仅会危及个别研究的有效性，还可能会扭曲后续研究.
这项由普林斯顿大学统计和机器学习中心领导的研究表明，单一研究项目中的数据泄露--ML应用程序中错误的主要原因--可能会影响17个科学领域的294篇论文，包括医学等高风险领域.
在商业环境中开发的模型可能会加剧问题.
例如，大多数领先的LLM都是由谷歌、微软、Meta和OpenAI等大型科技公司开发的.
这些模型是专有系统，因此揭示了有关其模型架构、训练数据和决策过程的有限信息，这将增进理解.
为了应对这些挑战，科学家应该采用开放科学原则--例如，联合国教科文组织关于开放科学的建议.
这项研究还表明，重大挑战可能会有所帮助，比如ML重复性挑战，邀请参与者复制在11个顶级ML会议上发表的论文.
去年8月，研究人员警告称，糟糕的数据质量也是基于人工智能的研究中的一个问题，而在人工智能的辅助下，复制结果的困难源于随机或随机的方法来训练深度学习模型.
斯坦福大学的计算机科学团队认为，标准化的基准和实验设计可以缓解这些问题.
皇家学会的研究论文补充道：“提高重复性的另一个方向是通过发布开放模型、数据集和教育程序的开源倡议.”®.