近日，美国斯坦福大学和加利福尼亚大学伯克利分校的研究人员在 arXiv 上发布了一篇未经同行评审的预印本论文，对两种最广泛使用的大型语言模型（LLM）服务——GPT-3.5 和 GPT-4 ——在 2023 年 3 月和 6 月的两个版本进行了评估，发现它们在不同任务上的表现和行为都有很大的变化。

据介绍，该研究中涉及的任务包括解决数学问题、回答敏感/危险问题、生成代码和视觉推理。研究人员发现，与 3 月版本相比，6 月版本的 GPT-4 在解决数学问题和回答敏感问题方面表现得更差，例如识别素数的准确率从 97.6% 下降至 2.4%，但在视觉推理方面有所改进；GPT-3.5 则在解决数学问题和回答敏感问题方面表现得更好，但二者都在生成代码方面出现了更多错误。这些发现表明，同一种 LLM 服务在短时间内的行为可能发生显著变化，因此需要持续监测 LLM 的质量。研究人员已经将他们的评估数据和 ChatGPT 响应发布在 GitHub 上，以鼓励进一步的研究。（arXiv）

转自：“科研圈”微信公众号

如有侵权，请联系本站删除！