-
日期: 2025-07-26 | 來源: DeepTech深科技 | 有0人參與評論 | 字體: 小 中 大
1985 年，辛頓做了個小模型，嘗試結合這兩種理論，以解釋人們如何理解詞匯。他給每個詞設置多個不同特征，記錄數字特征來預測下壹個詞，過程中不存儲句子而是生成句子並不斷預測下壹個詞。
“相關聯性的知識，取決於不同的詞的特征與語義特征是如何進行互動的。”辛頓表示。
他接下來提到了推動語言模型發展的幾個關鍵節點。
10 年後，人們沿用此模式建模並擴大規模，成為自然語言真實模擬。20 年後，計算語言學家們終於開始接受並使用“特征向量”（嵌入）技術。
而到了叁拾年後，谷歌發明了 Transformer 架構，緊接著 OpenAI 向世界展示了基於該架構的大語言模型所具備的強大能力。
如今的大語言模型可視為 1985 年微型語言模型的後代，使用更多詞輸入、更多層神經元結構，建立更復雜特征交互模式。
大語言模型理解問題方式和人類類似，都是將詞語轉換成能夠相互良好配合的特征向量來實現這種理解的，而且大語言模型是真正能夠“理解”它們自己所說的話的。
辛頓將“詞語”視作多維度樂高積木。我們擁有的不是幾種，而是大約拾萬種不同類型的“樂高積木”。
每壹塊的形狀都不是固定不變，而詞語的含義（名字）只是大致告訴你它的“形狀”。
辛頓在此前的演講中就用過這個比喻，他當時的解釋更加細致：
“詞語”的上面還有“小手”。當你改變詞的“形狀”時，“小手”的形狀也會隨之改變。這些詞語與詞語之間，就是通過“握手”來優化意思理解，類似蛋白質組合氨基酸產生有意義內容。
當詞語進入模型，它們在這個高維空間裡帶著各自初始的、大致的形狀，身上還布滿了小手。當信息在網絡的層級間向上傳遞時，你就在不斷地調整這些詞的“形狀”和它們“小手”的形狀，試圖為每個詞找到最合適的形態，讓它們彼此之間都能完美地“握手”。- 新聞來源於其它媒體，內容不代表本站立場！
-
原文鏈接
原文鏈接:
目前還沒有人發表評論, 大家都在期待您的高見