4月17日，IOSG Ventures第十二届老友记活动如期举行，本次活动主题为《Singularity: AI x Crypto Convergence》。我们邀请了业内崭露头角的杰出代表参与。这次聚会的目的是让参与者一起探讨人工智能和加密货币领域的融合，以及这种融合对未来的影响。在这样的活动中，与会者有机会分享他们的见解、经验和想法，以促进行业内的合作和创新。
接下来是本次活动的一个重要演讲，由IOSG Ventures的Portfolio NEAR Protocol的联合创始人Illia Polosukhin带来《Why AI Needs to be Open – 为何AI需要Web3》。让我们来探讨一下为什么人工智能需要开放。在我从事机器学习工作的十年中，我曾在谷歌工作，并参与了驱动现代人工智能的框架Transformer的开发。我创立了一家机器学习公司，希望通过教会机器编程改变人与计算机的互动方式。然而，在2017年和2018年，我们并没有这么做，因为那时还没有足够的计算能力和数据支持。
当时我们吸引了许多学生在全球范围内帮助我们标注数据，其中很多人来自中国、亚洲和东欧等国家，这些国家的很多人没有银行账户。由于美国不愿意轻易汇款，所以我们开始考虑使用区块链作为解决方案，希望以程序化的方式向全球人民支付，无论他们身在何处，都能更加便捷地进行交易。不过，当前加密货币的挑战是，虽然NEAR解决了很多问题，但通常情况下，你需要先购买一些加密货币才能在区块链上进行交易，这个过程有些繁琐。
就像企业会说，嘿，首先你需要购买一些公司的股权才能使用我们的服务一样，NEAR正在解决这个问题之一。现在让我们深入讨论一下人工智能。语言模型并不是什么新鲜事物，它在自然语言处理中被广泛使用，50年代就已经存在了。在2013年重新启动深度学习后，我们开始看到了一种新的创新。这种创新是将单词映射到多维向量中并进行数学转换，这与深度学习模型配合得很好，因为它们主要是矩阵乘法和激活函数。
这使我们能够进行先进的深度学习，并训练模型来做很多有趣的事情。现在回过头看，我们当时正在做的是神经元神经网络，它们在很大程度上是模仿人类的模型，一次只能读取一个单词，因此速度非常慢。如果你试图在Google.com上为用户展示内容，没有人会等待五分钟才得到答案，人们希望马上得到答案。因此，Transformer模型被设计出来，它驱动ChatGPT、Midjourney和其他最新进展，希望能够并行处理数据、推理并立即给出答案。
这个想法的一个主要创新是，每个单词、每个标记、每个图像块都可以并行处理，利用了我们拥有高度并行计算能力的GPU和其他加速器。通过这种方式，我们可以规模化地进行推理，扩大训练规模以处理自动训练数据。因此，之后我们看到了Dopamine的出现，它在短时间内取得了惊人的成果，实现了爆炸式的训练。它拥有大量的文本，开始在推理和理解世界语言方面取得了惊人的成果。
现在的方向是加速创新人工智能，之前它只是数据科学家和机器学习工程师使用的工具，现在它直接与人交流。你甚至可能都不知道你正在与模型交流，因为它实际上隐藏在产品背后。所以我们经历了这种转变，从之前那些理解AI如何工作的人员转变为理解并能够使用它的人员。
所以，当我说我们在使用GPU来训练模型时，这不是我们桌面上玩游戏时用的那种GPU。每台机器通常配备八个GPU，它们通过主板相互连接，并堆叠成机架，每个机架大约有16台机器。现在，所有这些机架都通过专用的网络电缆相互连接，以确保信息可以在GPU之间进行快速传输。因此，信息不适合CPU，所有的计算都发生在GPU上。这是一个超级计算机的设置，不是传统的个人电脑。
重要的是，当前一代产品H100的连接速度是每秒900GB，上一代产品的连接速度是每秒200GB，这是CPU和RAM之间的本地连接速度。因此，在同一个数据中心内，从一个GPU发送数据到另一个GPU的速度比你的个人电脑还要快。你的个人电脑基本上只能在自己的箱子里进行通信。而新一代产品的连接速度则达到了每秒1.8TB。从开发者的角度来看，这不只是一个个体计算单元，这些是拥有巨大内存和计算能力的超级计算机，为你提供大规模的计算。
这也带来了一个问题，就是大公司拥有资源和能力来构建这些模型，它们几乎已经为我们提供了这种服务。我不知道其中有多少工作量。这就是一个例子，你去找一个完全集中式的公司提供者，然后输入一个查询。结果是，有几个团队并不是软件工程团队，而是决定结果如何显示的团队。你有一个团队决定哪些数据进入数据集。
举个例子，如果你从互联网上爬取数据，关于巴拉克·奥巴马出生在肯尼亚和巴拉克·奥巴马出生在夏威夷的数据出现次数是完全相同的，因为人们喜欢猜测争议。所以你必须决定要在哪些数据上进行训练，要过滤掉哪些信息，因为你不相信它们是真实的。因此，这些个人决定了哪些数据被采用，并且这些决定在很大程度上由做出它们的人所影响。你有一个法律团队决定我们不能查看哪些内容是受版权保护,哪些是非法的。我们有一个“道德团队”决定什么是不道德的,我们不应该展示什么内容。
所以在某种程度上,有很多这样的过滤和操纵行为。这些模型是统计模型。它们会从数据中挑选出来。如果数据中没有某些内容,它们就不会知道答案。如果数据中有某些内容,它们很可能会将其视为事实。现在,当你从AI得到一个回答时,这可能会令人担忧。对吧。现在,你理应是从模型那里得到回答,但是没有任何的保证。你不知道结果是如何生成的。一个公司可能会把你的特定会话卖给出价最高的人来实际改变结果。想象一下,你去询问应该买哪种车,丰田公司决定觉得应该偏向丰田这个结果,丰田将支付这家公司10美分来做到这一点。
因此,即使你将这些模型用作应该中立并代表数据的知识库,实际上在你得到结果之前,会发生很多事情,这些事情会以一种非常特定的方式对结果进行偏见。这已经引发了很多问题,对吧?这基本上就是大公司和媒体之间不同法律诉讼的一个星期。SEC,现在几乎每个人都在试图起诉对方,因为这些模型带来了如此多的不确定性和权力。而且,如果往前看,问题在于大型科技公司将永远有继续增加收入的动机,对吧?比如,如果你是一家上市公司,你需要报告收入,你需要继续保持增长。
为了实现这一目标,如果你已经占据了目标市场,比如说你已经有20亿用户了。在互联网上已经没有那么多新用户了。你没有太多的选择,除了最大化平均收入,这意味着你需要从用户那里提取更多的价值,而他们可能根本没有什么价值,或者你需要改变他们的行为。生成式人工智能非常擅长于操纵和改变用户的行为,特别是如果人们认为它是以一切知识智能的形式出现的。因此,我们面临着这种非常危险的情况,在这种情况下,监管压力很大,监管机构并不完全了解这项技术的工作原理。我们几乎没有保护用户免受操纵的情况。
操纵性内容、误导性内容,即使没有广告,你也可以只是截取一些东西的屏幕截图,改变标题,发布到Twitter上,人们就会发疯。你有经济激励机制,导致你不断地最大化收入。而且,这实际上不像在谷歌内部你是在做恶事,对吧?当你决定启动哪个模型时,你会进行A或B测试,看看哪个能带来更多收入。因此,你会通过从用户那里提取更多价值来不断地最大化收入。而且,用户和社区并没有对模型的内容、使用的数据以及实际尝试实现的目标有任何输入。这就是应用程序用户的情况。这是一种调节。
这就是为什么我们要不断推动WEB 3和AI融合的原因,web 3 可以是一种重要的工具,它允许我们有新的激励方式,并且还是以去中心化的形式去激励我们生产更好的软件和产品。这是整个web 3 AI 开发的大方向, 现在为了帮助理解细节,我会简单讲一下具体的部分,首先第一部分是Content Reputation。
再次强调,这不是一个纯粹的人工智能问题,尽管语言模型为人们操纵和利用信息带来了巨大的影响力并扩大了规模。你想要的是一种可以追踪的、可追溯的加密声誉,当你查看不同的内容时,它会显现出来。所以想象一下,你有一些社区节点,它们实际上是加密的,并且在每个网站的每个页面上都可以找到。现在,如果你超越这一点,所有这些分发平台都将会受到干扰,因为这些模型现在几乎将阅读所有这些内容并为你提供个性化摘要和个性化输出。
因此,我们实际上有机会创造新的创造性内容,而不是试图重新发明,让我们在现有内容上加上区块链和NFTs。围绕模型训练和推理时间的新创作者经济,人们创造的数据,无论是新的出版物、照片、YouTube、还是你创作的音乐,都将进入一个基于其对模型训练的贡献程度的网络。因此,根据这一点,根据内容可以在全球范围内获得一些报酬。因此,我们从现在由广告网络推动的吸引眼球的经济模式过渡到了真正带来创新和有趣信息的经济模式。
我想提一件重要的事情,那就是大量的不确定性来自浮点运算。所有这些模型都涉及大量的浮点运算和乘法。这些都是不确定性的操作。
现在,如果你将它们在不同架构的GPU上进行乘法运算。所以你拿一个A100和一个H100,结果会有所不同。因此,很多依赖确定性的方法,比如加密经济和乐观主义,实际上会遇到很多困难,并且需要很多创新才能实现这一点。最后,有一个有趣的想法,我们一直在构建可编程货币和可编程资产,但是如果你能想象一下,你给它们添加这种智能,你就可以有智能资产,它们现在不是由代码定义的,而是由自然语言与世界互动的能力来定义,对吧?这就是我们可以有很多有趣的收益优化、DeFi,我们可以在世界内部进行交易策略。
现在的挑战在于所有当前事件都不具备强大的Robust行为。它们并没有被训练成具有对抗性的强大性,因为训练的目的是预测下一个token。因此,说服一个模型给你所有的钱会更容易。在继续之前,实际上解决这个问题非常重要。所以我就给你留下这个想法,我们处在一个十字路口上,对吧?有一个封闭的人工智能生态系统,它有极端的激励和飞轮,因为当他们推出一个产品时,他们会产生大量的收入,然后把这些收入投入到建设产品中。但是,该产品天生就是为了最大化公司的收入,从而最大化从用户那里提取的价值。或者我们有这种开放、用户拥有的方法,用户掌控着局面。
这些模型实际上对你有利的,试图最大化你的利益。它们为你提供了一种方式,真正保护你免受在互联网上的许多危险。所以这就是为什么我们需要AI x Crypto更多的开发和应用。谢谢大家。
