LLM单字接龙
定义
作者对大语言模型的论断:LLM = 语言世界内的单字接龙——只在符号层操作,没有对象层(现实现象)的支撑(书 p.135–146)。
论据
- 训练目标是”接下一个字”,语料全部来自语言世界;大脑学习则始终有物质世界的现象流输入。
- 但接龙逼出了压缩:为预测下一字,模型内部被迫形成对语料的压缩表示——这解释了 LLM 的”涌现能力”。
- 作者同时承认其用处(ch34):给 LLM 本书的理论框架,可让 AI 生成学习材料/批改/分析判联模型——AI 是继承学习材料的低成本生成器。
作者对大语言模型的论断:LLM = 语言世界内的单字接龙——只在符号层操作,没有对象层(现实现象)的支撑(书 p.135–146)。