-
日期: 2025-02-13 | 来源: 纽约时报 | 有0人参与评论 | 专栏: 纽约新闻 | 字体: 小 中 大
你可以用π来做一些有用的计算，比如确定圆的周长。当你做这些计算时，你会把π缩短到仅几位小数：3.14。使用这个更简单的数字，你就能很好地估算出一个圆的周长。
深度求索在训练它的人工智能技术时做了类似的事情，不过规模要大得多。
让神经网络识别文本模式的数学实际上只是乘法——很多很多很多的乘法。我们说的是数千枚计算机芯片进行持续数月的乘法运算。
通常，芯片会将能放入16位存储器的数字相乘。但深度求索将每个数字压缩到只有八位的存储器中，节省了一半的空间。实际上就是在每个数字中删掉了几位小数。
这意味着每次计算的准确性都会降低。但这并不重要。这些计算准确度足以产生一个非常强大的神经网络。
就这么简单？
这个嘛，他们另外还有一招。
在将每个数字塞进八位存储器后，深度求索在将这些数字相乘时采取了不同的方法。在确定每个乘法问题的答案时——进行有助于决定神经网络将如何运作的关键计算——它将答案扩展到32位存储器中。换句话说，这样就保留了更多的小数，使得答案更为精确。
所以高中生都能做到这一点吗？
当然不是。深度求索的工程师在论文中表明，他们也非常擅长编写非常复杂的计算机代码，告诉GPU该做什么。他们知道如何从这些芯片中榨取更高的效率。
具备这种技能的人不多。但一个人工智能实验室只要有心成事，就能找到与深度求索所做的事情相匹配的优秀工程师。
那为什么他们没有早些做到这一点呢？
一些人工智能实验室可能已经在使用相同的技巧了，至少是其中的一部分。像OpenAI这样的公司并不总是透露他们在幕后所做的事情。
但显然还是有人对深度求索的工作感到惊讶。要做到这家初创公司所做的事情，并不简单。找到这样的突破点所需的实验，需要用到数百万甚至数十亿美元的电力。
换句话说，需要冒巨大的风险。
西雅图艾伦人工智能研究所的研究员蒂姆·德特默斯说，“你必须投入大量资金来尝试新事物——而且它们往往会以失败告终。”德特默斯从事构建高效人工智能系统的探究，之前曾在Meta担任人工智能研究员。
“这就是为什么我们看到的创新没有那么多的原因：人们害怕大量投入都打了水漂，”他补充道。
许多专家指出，深度求索的600万美元只涵盖了这家初创公司在训练系统最终版本时的费用。深度求索的工程师在论文中表示，他们在最终的训练运行之前，还在研究和实验上花费了额外的资金。但任何尖端人工智能项目都是如此。
深度求索进行了尝试，并取得了成功。现在，由于这家中国初创公司已经与其他人工智能研究人员分享了方法，它所采用的技术手段有望显着降低构建人工智能的成本。- 新闻来源于其它媒体，内容不代表本站立场！
-
原文链接
原文链接:
目前还没有人发表评论, 大家都在期待您的高见