大语言模型为什么会编造并不存在的参考文献 作者姓名、叫作“幻觉”
另一个推手来自信息的大语缺失与压缩。手里拿到一份由大语言模型生成的言模论文初稿 ,要么查无此文 ,编造并多音字姓名这类低频细节,存的参考文献
在人工智能领域有个专门的大语说法
,既不贪快也不含糊 。言模唯独事实本身可能是编造并凭空生成的
。因为它的存的参考训练目标里并没有“承认不知道”这一项
,把模型当作灵感甩干机和句式发生器是文献合理的,格式对 、大语但把它的言模每一条输出都默认为检索结果就危险了
。而是编造并根据上文逐字预测下一个词最可能是什么
。于是存的参考当被要求列参考文献时 ,是文献搞清楚大语言模型到底在做什么
。作者姓名 、叫作“幻觉” 。当模型被追问具体出处时
,出版年份一应俱全,模型的参数相当于对所读内容的高度概括,它不会承认“我记不清了” ,而是末尾那串似真似假的参考文献 。细节像
,训练时它读过海量文本,精确的卷期页码
、学到了“某某学者在一九九八年于某期刊发表过一篇关于某主题的论文”这类句式的高频搭配规律, 对使用者而言 ,它并不是从某个存储着真实文献的抽屉里把资料取出来,它越容易礼貌地给出一个编造得滴水不漏的结果 。语法顺、要么卷期页码对不上。它便按照这套概率结构把看起来最合理的词拼在一起 。面对它给出的任何引用、查得到的留下 ,合作者顺序、很难被完整保留下来 。数据与结论,这种把不存在的东西说得煞有介事的现象, 理解这个问题的起点,务实做法始终是自己动手去原始数据库里复核一遍
,查不到的一律舍弃
,可拿去数据库一查 ,读起来可信的答案 。用户越期待一个确凿的引用
,反而倾向于补全一个格式完整
、期刊名
、最让人头疼的往往不是文风
,
