-
_NEWSDATE: 2025-10-12 | News by: 量子位 | 有0人参与评论 | _FONTSIZE: _FONT_SMALL _FONT_MEDIUM _FONT_LARGE
深度学习的突破：反向传播
说完神经网络，Hinton的话题更多还是围绕“拿手好戏”——深度学习展开。
以前人们试图给计算机输入规则，但Hinton却想改变这个过程，因为在他看来，大脑的运作方式显然不是靠别人给你规则然后你执行规则。
我们为神经网络编写程序，但这些程序只是告诉网络如何根据神经元的活动来调整连接强度。如果网络有多个层，这就叫深度学习。
他接着举了一个经典例子来说明深度学习的原理——让AI识别图像中有没有鸟。
如果把图像的像素亮度直接输入给AI，让它判断是不是鸟，这看起来毫无头绪。毕竟，像素只是数字，并不能直接告诉你“这是一只鸟”。
早期研究者会试图手动告诉计算机，“这条线是边缘”、“这块区域是背景”、“这个形状像翅膀”，但这条路行不通——因为现实世界太复杂了。
所以我们说，不如让AI自己学会“怎么去看”。
这就是神经网络的思路：不给规则，而是给它数据，让它自己总结规则。
主持人接着问道，“那如果我们不告诉它规则，只是随机设定每个连接的强弱，它会怎么判断呢？”
Hinton笑着回答：
它大概会说“50%是鸟，50%不是鸟”，也就是完全蒙。
那么，AI该如何从这种“蒙圈状态”变聪明呢？
Hinton解释说，这个过程就像一个巨大的试错系统。你得告诉AI——这张图有鸟，那张没有。每次它猜得不对时，就调整一点点神经元之间的连接强度。
然而问题是，网络中有数万亿个连接，如果逐个试，那要试到宇宙热寂（指宇宙熵值不可逆地增至极大，最终达到热平衡的静止状态）。
Hinton表示，真正的突破出现在1986年，他们提出了“反向传播”（Backpropagation）——它能一次性算出所有连接该怎么改，是该增强还是减弱，让整个网络都向着正确方向调整。这让训练速度从“永远”变成了“现实可行”。
但事情并没有一开始就那么顺利。Hinton也坦言：
当时我们以为这就解决了智能问题。结果发现，它只有在拥有海量数据和庞大算力时才有效。我们那时的算力还差一百万倍。
真正让深度学习起飞的，是算力的提升（晶体管微缩百万倍）和数据的爆炸式增长（互联网时代）。
于是，那些在80年代“理论可行但跑不动”的神经网络，终于在2010年代活了过来——这便是现代AI浪潮的起点。
今天的大模型，本质上就是巨型神经网络，通过反向传播和海量数据，自学出了“看”、“听”、“说”的能力。
这一点也让Hinton相信，AI不再只是工具，而是一个正在学习、逐步理解世界的系统。
大语言模型认知的本质
至于深度学习机制如何作用于大语言模型（LLM），Hinton又做了一番解释。
他认为LLM的思维过程与我们人类出奇地相似：
给它一个句子的开头，它会把每个词转换成一组神经元特征，用这些特征去捕捉含义；然后，这些特征之间相互作用、组合，就像视觉系统从“边缘”拼出“鸟喙”的过程一样，最终激活代表下一个词的神经元。- 新闻来源于其它媒体，内容不代表本站立场！
-
原文链接
原文链接:
目前还没有人发表评论, 大家都在期待您的高见