目前看到的最好的 LLM 研究(2h 讲了他们在 Meta 的很多工作)
一些截图
LLM 在输出第一句话之前就在内部完成了拓扑排序(逻辑链构造)
和人类的逻辑推理习惯不同,LLM 在回答问题前预先计算了所有的依赖,人类是遇到问题后只去寻找问题相关的
只看模型参数多少是不对的,推理能力和模型深度有很大关系
GPT 处理语言实际上是在做 2 种动态规划,而这刚好是 IOI 2005 的 R 题,作者刚好打了这场比赛(rk19 Zeyuan Zhu)没有解决
还有很多其他有意思的结论,忘了截图