-
日期: 2024-12-14 | 來源: 新智元 | 有0人參與評論 | 字體: 小 中 大
兩個分布之間共享的信息量稱為互信息（MI），其計算公式為：
在公式中，X和Y表示隨機變量，H(X)是X的邊際熵，H(X|Y)是在已知Y的情況下X的條件熵。如果將X視為原創作品，Y視為其衍生作品，那麼互信息I(X;Y)就表示創作Y時借鑒了多少X中的信息。
對於因素3，重點關注的是互信息相對於原創作品信息量的比例，即相對互信息（RMI），定義如下：
此概念可用簡單的視覺模型來理解：如果用紅色圓圈代表原創作品中的信息，藍色圓圈代表新作品中的信息，那麼相對互信息就是兩個圓圈重疊部分與紅色圓圈面積的比值：
在生成式AI領域中，重點關注相對互信息（RMI），其中X表示潛在的訓練數據集，Y表示模型生成的輸出集合，而f則代表模型的訓練過程以及從生成模型中進行采樣的過程：
在實踐中，計算H(Y|X)——即已訓練生成模型輸出的信息熵——相對容易。但要估算H(Y)——即在所有可能訓練數據集上的模型輸出總體信息熵——則極其困難。- 新聞來源於其它媒體，內容不代表本站立場！
-
原文鏈接
原文鏈接:
目前還沒有人發表評論, 大家都在期待您的高見