为什么GPT 5感觉像是线性进步:在人工智能领域,计算能力和训练数据的指数增长才能产生线性增长。用于训练的计算能力以不可持续的速度增长(以3倍摩尔定律的速度翻倍)。用于预训练的文本数据几乎耗尽。 GPT5是一个明显的改进。让人感到惊讶的是,这些改进感觉是线性的——因为它们在很大程度上确实是。将会有新的范式提供阶跃函数并弯曲曲线(就像推理所做的那样)。但当前的范式显示出收益递减。 人工智能是很棒的,明确一点。这是一个令人难以置信的礼物。它已经在改变我们的世界。但快速起飞、指数进步、递归自我改进的叙述遇到了收益递减/在这些规模法则上向上移动的指数难度。
1.71K