chatgpt的涌现
来源: 木遥 [木遥 ]() 2023-02-24
展开讲讲一些关于大语言模型的理解的问题在哪里。
这些评论通常归结为这句话:大语言模型「只不过是把语料中的统计相关性复现出来而已。」但这句话是错的,其错误程度就像是在 AlphaGo 出现的时候说「AlphaGo 只不过是在背诵它见过的棋谱而已」一样。
很多人对大语言模型(或者更一般地说,大神经网络)的理解还停留在两三年前。而过去两年里重要的两个研究方向(并不只有这两个,但它们对下面要说的事最关键)显示出它终于开始初步跳出贝叶斯的陷阱,展现出了一点通用智能的模样。这两者一是思维链条(chain of thought, CoT),二是自发性地结构...