羅夫·蘭道爾
在人類文明史上，存在一些基本得理論概念。一旦弄清這些基本概念之間得聯(lián)系，科技乃至人類文明就將出現(xiàn)飛躍。比如愛(ài)因斯坦搞清楚了質(zhì)量與能量得關(guān)系后，人類就制造出了原子彈，愛(ài)因斯坦也成為科學(xué)史上巨人。
那么，如果有人闡明了信息與能量得關(guān)系，他是否也會(huì)青史留名？答案是肯定得，這個(gè)人就是羅夫·蘭道爾（Rolf Landauer）。
撰文 | 張華
來(lái)自IBM公司得一篇論文
1927年，蘭道爾出生在德國(guó)斯圖加特得一個(gè)猶太人家庭。1934年，蘭道爾得父親去世后，母親帶著他遷居到美國(guó)紐約生活。1945年，18歲得蘭道爾從哈佛大學(xué)畢業(yè)后，在美國(guó)海軍服了18個(gè)月得兵役。兵役結(jié)束后，蘭道爾返回哈佛大學(xué)攻讀博士，1950年拿到博士學(xué)位。
1952年，蘭道爾加入IBM公司工作，成為一個(gè)上班族。他從來(lái)沒(méi)跳過(guò)槽，生活看上去波瀾不驚。但到了1961年，蘭道爾在《IBM研究通訊》上發(fā)表了一篇令他青史留名得論文，這篇論文得題目是《不可逆性與計(jì)算過(guò)程中得熱量產(chǎn)生問(wèn)題》。在這篇論文中，蘭道爾指出了一件以前從來(lái)沒(méi)人發(fā)現(xiàn)得事情：經(jīng)典計(jì)算機(jī)要擦除一個(gè)經(jīng)典比特得信息，其所消耗得最小能量是kT ln2（k 是玻爾茲曼常數(shù)，T是經(jīng)典計(jì)算機(jī)所處得外界物理環(huán)境得溫度）。
蘭道爾是怎么得到這個(gè)結(jié)論得？為了搞清楚這個(gè)問(wèn)題，我們需要對(duì)信息多一些了解。
什么是信息？
在信息論得鼻祖香農(nóng)看來(lái)，信息其實(shí)是對(duì)不確定性得消除。比如一個(gè)女生不確定一個(gè)男生是不是喜歡自己，而這男生對(duì)女生說(shuō)：“今天晚上我請(qǐng)你看電影吧？”這句話里面就是包含信息得，因?yàn)檫@句話在一定程度上消除了不確定性。
但是，如何度量信息得多少呢？這就需要用到一些數(shù)學(xué)了。
1948年，香農(nóng)提出了“信息熵”得概念，信息熵解決了信息得度量問(wèn)題。信息熵得定義如下（其中pi為每種可能性得概率）：
這個(gè)公式可以對(duì)照物理學(xué)中著名得熱力學(xué)熵公式：
這兩個(gè)公式得區(qū)別有兩點(diǎn)：首先是兩者差了一個(gè)玻爾茲曼常數(shù)K；其次是求對(duì)數(shù)得時(shí)候，信息熵是以2為底得，而熱力學(xué)熵是以自然常數(shù)e為底得。
我們可以用以下例子來(lái)理解信息熵：考試時(shí)，有一道選擇題，你對(duì)4個(gè)選項(xiàng)ABCD都不確定。那么，這時(shí)每個(gè)選項(xiàng)正確得概率是25%。于是，這時(shí)得信息熵就可以這樣用以上提到得信息熵公式來(lái)計(jì)算。
把四個(gè)pi都等于25%代入以上那個(gè)公式，就可以算出這個(gè)時(shí)候得信息熵等于2比特。
這個(gè)時(shí)候，考場(chǎng)里進(jìn)來(lái)一個(gè)人，這個(gè)人是你非常信任得張老師。張老師突然告訴你說(shuō)：“選項(xiàng)A與選項(xiàng)B肯定不對(duì)，不用選了。”張老師說(shuō)得話是給你信息了。那么，老師得話里包含了多少信息呢？
現(xiàn)在對(duì)你來(lái)說(shuō)，選項(xiàng)AB可以排除，那么只剩下選項(xiàng)C與D了。對(duì)你來(lái)說(shuō)，C與D各自正確得概率是50%。
所以，這時(shí)你把兩個(gè)pi都等于50%代入，可以得到得信息熵等于1比特。你會(huì)發(fā)現(xiàn)，信息熵減少了。
所以，對(duì)你來(lái)說(shuō)，張老師得話包含得信息量是1比特，因?yàn)?-1=1（這里涉及到一個(gè)信任問(wèn)題，如果你不相信張老師得話，那么張老師得話對(duì)你來(lái)說(shuō)并不包含信息）。
從信息熵到熱力學(xué)熵
有了香農(nóng)得信息熵以后，可以把它與物理學(xué)中得熱力學(xué)熵聯(lián)系起來(lái)。
在這里，需要使用高中數(shù)學(xué)中求對(duì)數(shù)得換底公式，在求對(duì)數(shù)得時(shí)候，信息熵是以2為底得，而熱力學(xué)熵是以自然常數(shù)為底得，統(tǒng)一換成以自然常數(shù)為底，兩者相差一個(gè)ln2。
所以，按照物理學(xué)得理解，3比特得信息熵，對(duì)應(yīng)得熱力學(xué)熵就是3kln2 。在這里K是玻爾茲曼常數(shù)，這個(gè)常數(shù)給出了信息熵與熱力學(xué)熵得轉(zhuǎn)化。用公式表示就是：
這其實(shí)也是當(dāng)年香農(nóng)考慮信息熵得時(shí)候得出發(fā)點(diǎn)，他正是通過(guò)玻爾茲曼得熱力學(xué)熵來(lái)類比信息論中得熵得。只不過(guò)在信息論中不需要玻爾茲曼常數(shù)，所以他當(dāng)年在定義信息熵得時(shí)候，把玻爾茲曼常數(shù)省略了。
而蘭道爾要考慮得問(wèn)題則更進(jìn)了一步，他需要考慮一個(gè)真實(shí)得物理過(guò)程。在這個(gè)過(guò)程中如果想要用物理得手段擦除1比特得信息，需要多少能量呢？
物理圖像
蘭道爾是用熱力學(xué)與統(tǒng)計(jì)力學(xué)得思維來(lái)思考這個(gè)擦除信息得過(guò)程。他得思考本質(zhì)上，就是物理學(xué)家非常熟悉得麥克斯韋妖。
英國(guó)物理學(xué)家麥克斯韋假設(shè)有一個(gè)密閉得容器，由一個(gè)沒(méi)有摩擦力得隔板分成左右兩部分，隔板上是一個(gè)由麥克斯韋妖控制得閥門。起初，箱子兩側(cè)溫度相同，當(dāng)高速分子由左向右運(yùn)動(dòng)或慢速分子由右向左運(yùn)動(dòng)時(shí)，小妖就打開(kāi)閥門令其通過(guò)；而當(dāng)高速分子由右向左運(yùn)動(dòng)或慢速分子由左向右運(yùn)動(dòng)時(shí)，小妖就關(guān)閉閥門。
久而久之，高速分子都跑到了右區(qū)，慢速分子都跑到了左區(qū)，于是左邊得溫度明顯降低，而右區(qū)得溫度明顯升高。這樣，因?yàn)辂溈怂鬼f妖得存在，這個(gè)系統(tǒng)內(nèi)出現(xiàn)了溫度差，其有序性大大增加，熵就大大減少了。
很明顯，如果麥克斯韋妖存在，那么它可以使得熱力學(xué)系統(tǒng)由溫度得平衡態(tài)轉(zhuǎn)變成了不平衡態(tài)。但這是有代價(jià)得。麥克斯韋妖需要付出什么代價(jià)呢？麥克斯韋妖需要獲得信息，它必須讀取每個(gè)氣體分子得速度，然后做出判斷，判斷這個(gè)分子得速度是快還是慢（這是一個(gè)典型得是非判斷）。這個(gè)過(guò)程要求麥克斯韋妖必須具有智商（也就是具有信息處理得能力）。
所以，從這個(gè)物理圖像中很容易看出，信息熵與熱力學(xué)熵本質(zhì)上是等價(jià)得。換句話說(shuō)就是，氣體熱力學(xué)熵得減少，其實(shí)是以麥克斯韋妖自身得信息熵增加為代價(jià)得。麥克斯韋妖每讀取一個(gè)分子得速度快慢，氣體分子得信息熵降低1比特，而麥克斯韋妖自身信息熵就會(huì)增加1比特，最后麥克斯韋妖得大腦就會(huì)很累，因?yàn)樗么竽X儲(chǔ)存了大量得信息熵。
信息與能量得聯(lián)系
上面得討論可以讓蘭道爾洞察出信息與能量得關(guān)系。
在物理上，能量對(duì)熱力學(xué)熵（內(nèi)含玻爾茲曼常數(shù)）得導(dǎo)數(shù)等于溫度
道爾構(gòu)造了一個(gè)模型，來(lái)解釋這個(gè)問(wèn)題。為了敘述方便，我們把蘭道爾得思想翻譯為如下模型。
首先，我們構(gòu)造一個(gè)盒子，把這個(gè)盒子分為左右兩部分。然后假設(shè)有一個(gè)氣體分子，如果我們不確定它到底是在左邊還是右邊，那么與感謝一開(kāi)始寫到得做選擇題得情況類似，相當(dāng)于有兩個(gè)選項(xiàng)（選左邊或者右邊），這時(shí)得信息熵是1比特。
現(xiàn)在，假設(shè)在箱子得右邊有一個(gè)活塞，活塞可以通過(guò)等溫壓縮把氣體分子推到左邊。在這個(gè)過(guò)程結(jié)束后，我們能夠確定氣體分子一定處于盒子得左邊，所以，氣體分子得信息熵就等于0。
因此，從信息論得角度來(lái)說(shuō)，在活塞運(yùn)動(dòng)得過(guò)程中，相當(dāng)于擦除了1比特得信息。而從物理學(xué)得角度來(lái)說(shuō)，活塞得運(yùn)動(dòng)是需要消耗能量得，在等溫壓縮得過(guò)程中，可以通過(guò)本小節(jié)得微分公式算出，活塞做了kT ln2 得功。這就是蘭道爾原理得基本思想：經(jīng)典計(jì)算機(jī)要擦除一個(gè)經(jīng)典比特，其所消耗得最小能量是kT ln2。當(dāng)然蘭道爾用了比較長(zhǎng)得篇幅來(lái)論證這個(gè)能量是最小得，我們?cè)谶@里就不展開(kāi)論證了。
信息熵是香農(nóng)在1948年提出來(lái)得，而且很快就成了信息科學(xué)得主流科學(xué)術(shù)語(yǔ)。目前5G時(shí)代得計(jì)算網(wǎng)速得理論依據(jù)也是以信息熵為基礎(chǔ)得，香農(nóng)得公式刻畫了信息傳遞得效率與帶寬以及噪聲得關(guān)系。毫無(wú)疑問(wèn)，香農(nóng)奠定了信息論得基礎(chǔ)。
而1960年蘭道爾需要考慮得問(wèn)題是本質(zhì)上是信息熵與能量到底是什么關(guān)系。他考慮得問(wèn)題看起來(lái)很奇怪，在他之前確實(shí)沒(méi)有人考慮過(guò)這個(gè)問(wèn)題：如果我們想要擦除1比特得信息，最少需要消耗多少能量？從信息論得角度來(lái)說(shuō)，比如給你一個(gè)U盤，U盤里存了一張照片，你要?jiǎng)h除這張照片（不能毀滅U盤），你肯定要給U盤接上電腦，那么電腦肯定要花電費(fèi)，必須要消耗能量才能把這個(gè)照片刪除。因此，蘭道爾原理也解釋了電腦在工作得時(shí)候?yàn)槭裁磿?huì)發(fā)熱，因?yàn)殡娔X一直在擦除信息。其實(shí)，對(duì)于人腦也一樣，人腦也是一個(gè)內(nèi)存，如果要忘記某件事某個(gè)人，也必須要消耗能量。因此，蘭道爾得思想還是很有價(jià)值得。
原始論文：
ieeexplore.ieee.org/abstract/document/5392446/
參考鏈接：
www.sohu/a/224458314_100115417
感謝由公眾號(hào)“環(huán)球科學(xué)”（：huanqiukexue）授權(quán)感謝
感謝請(qǐng)先聯(lián)系newmedia等huanqiukexue
感謝：Tim
