谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）在周三的《纽约时报》年度Dealbook峰会上表示，AI开发者使用从互联网上抓取的大规模数据集和“低挂果实”的时代可能已经结束。
皮查伊表示：“在当前一代LLM模型中，大约有几家公司脱颖而出，但我认为我们所有人都在努力开发下一个版本。我认为未来的进展将更加困难。”
皮查伊的评论是在研究人员报告AI模型表现相对两年前ChatGPT发布时有所放缓之际发表的。
其他对AI模型收益递减表示担忧的人包括以太坊联合创始人Vitalik Buterin、a16z的Marc Andreessen和Ben Horowitz，以及前OpenAI联合创始人兼前首席科学家Ilya Sutskever，他指出从大量无标签数据中学习的AI模型的规模已经达到了一个瓶颈。
皮查伊补充道：“当我看到2025年时，低挂果实已经没有了，曲线变得更加陡峭。我认为在2025年，优秀的团队将会脱颖而出，所以从这个角度来看，这将是一个令人兴奋的年份。”
皮查伊的言论反映了AI领域越来越多的观点，即仅仅构建更大的模型并向其提供更多数据以获得更好的结果的日子可能即将结束。
加剧这些担忧的是“AI ouroboros”效应的风险，即模型训练依赖于由其他AI生成的数据，而不是人类创造的内容。
“AI ouroboros”指的是一种古老形象，即一只蛇吃掉自己的尾巴。在AI中，当一个AI使用另一个AI生成的数据时，就会发生ouroboros效应，从而产生反馈循环。随着时间的推移，这可能导致重复或失真的输出，因为系统开始依赖AI而不是人类创造的数据，最终遇到瓶颈。
尽管一些开发者担心AI模型达到瓶颈，但皮查伊仍持乐观态度，并表示该领域将在未来一年取得重大进展。
皮查伊说：“我预计2025年会有很大的进展，所以我不完全赞同瓶颈的观点。但当你快速扩大规模时，你可以提供更多计算资源，可以取得很大的进展，但随着我们进入下一个阶段，你肯定需要更深入的突破。”