香农的贡献及其对后世的影响
已有 8500 次阅读
|系统分类:
香农的贡献及其对后世的影响Claude E. Shannon: His Work and Impact
波，蒋洪波关键词：香农；信息论；密码学Claude Elwood Shannon）生于年，卒于年。今年是香农诞辰一百周年。为了纪念这位伟大数学家和信息论的创始人，我们以香农的生平为线索，介绍他不平凡的一生和他对世界的影响。 1916年月日诞生于美国密歇根（）州皮托斯基（）的盖洛德（）小镇。孩童时代的香农性格比较内向，没有任何迹象能够表明他未来会是一位伟大的科学家。香农的父母在科学方面对香农似乎没有产生多大的影响，但香农的祖父是一位发明过许多农业机械和洗衣机的发明家，对香农在科学研究方面的影响比较深远。大发明家爱迪生（Thomas Alva Edison 年岁的香农从盖洛德高中毕业，进入密歇根大学学习，并于年同时获得数学学士学位和电子工程学士学位。在数学和工程领域中的双重兴趣一直贯穿于他的整个职业生涯。 MIT）注意到公告栏上张贴的招聘操作微分分析仪助理研究员的广告。香农申请到这个职位，并在职攻读硕士学位。香农为什么申请这个职位呢？这源于他对布尔逻辑维持一生的兴趣。当时的微分分析仪其实是一种早期的模拟计算机，它通过上百个继电器组成的结点电路控制运算，可以求解高阶微分方程。香农在密歇根大学时，曾学过符号逻辑和布尔代数，这成为他后来研究二元系统的数学理论基础。
1937年，香农在他的硕士学位论文（继电器和开关电路的符号分析）中，科学严谨地论述了如何使用布尔代数对继电器电路进行分析和合成。年，岁的香农因这一成果获得了协会美国工程师奖。开关电路在后来的计算机和通信电子工程发展中发挥了极大的作用，现在人们普遍认为这项工作为数字电路领域奠定了基础。后来称赞这一成果为有史以来最重要的一篇硕士论文、把数字电路设计方式由艺术变为科学的里程碑。当我们对香农创立的信息论津津乐道时，可能在香农心目中他硕士论文的工作才是他最得意的成果，他从中得到的乐趣超过其他任何事情。香农完成这一工作后，他从电子工程系转到数学系开始攻读他的博士学位。1940年获得数学博士学位，他的博士学位论文的题目是（理论遗传学的代数理论）。很多人都不知道这篇论文中的内容具体是什么，都只是从题目猜测这篇论文是用数学的方式研究人类遗传学的。事实上，这篇论文至今都没有引起注意，一个原因是这篇论文直到年才被正式发表。另一个原因是，这是一篇遗传学家看不懂、数学家不去看的论文。 1941年香农发表论文（微分分析器的数学理论）。伴随着这些模拟计算机理论的发展，他还尝试去理解数字计算机如何来完成与此类似的计算任务。 1941年开始在贝尔实验室数学部工作。香农是数学家，也是工程师。这一双重身份使他在看待工程问题时，总喜欢用数学的视角。香农对通信中基本问题的数学思考，使他成为信息论的开山鼻祖。 年香农到普林斯顿普林斯顿高等研究院做研究员，这一期间香农开始认真研究他在通信方面尚不成熟的数学理论。年夏天，战争即将来临，香农回到贝尔实验室，参加了专门研究火力控制系统的一个精英小组，设计观测敌机或导弹、计算防空导弹的瞄准目标的定向器，这种装置大大支援了英国抗击德国和火箭的能力。在闲暇时间，香农仍然致力于开关理论和通信的数学理论研究。 1940年算起，香农用了八年的时间，为通信系统建立了一整套数学理论。他的理论涉及到整个通信处理过程，这些处理对象包括，通信源头、数据压缩、信道编码、调制、信道噪声、解调、检错、纠错等。理论关注了最佳通信系统的性能以及如何才能接近该性能。终于在年，香农发表了（通信的数学理论）一文，标志着信息论的诞生。在这一具有划时代意义的论文中，香农提出熵（entropy） “熵”是信息论中最基本最重要的一个概念，香农最初想用“信息”（information）来表达这一概念，但这个词在当时已经被用滥了。后来，他决定用“不确定性”（）来表达这个意思。但当香农和冯·诺依曼（John Von Neumann）讨论这个问题时，冯·诺依曼对香农建议说：“你应该把它称之为‘熵’。”并给出两个理由，一是“不确定性”这个概念已被用于统计力学，二是没有人知道“熵”到底是什么，不至引起争论。冯·诺依曼当然知道“熵”早已被用于热力系统，但那时“熵”仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释。正是“熵”引申到信息论后，其本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。年，德国科学家普朗克（）来中国讲学时用到这个词，由于在表达形式上是两个量相除的商，著名物理学家胡刚复教授现场翻译时，把这个词翻译成“商”字加火旁来意译创造了“熵”字。香农比冯·诺依曼小13岁，是香农一生中最佩服的人之一。年，岁的冯·诺依曼过早的去世。香农在《美国数学学会通信》上撰文纪念冯·诺依曼，讲述他在自动机理论方面的贡献[6]。 1945年，香农向贝尔实验室提交了一份机密文件，题目是（密码术的数学理论）。这一成果在二战结束后的年以（保密系统的通信理论）为题目正式发表7。这篇论文刚一发表，就引起轰动，香农也因此被聘为美国政府密码事务顾问。这篇论文为对称密码系统的研究建立了一套数学理论，从此密码术成为了密码学，由一门艺术成为一门真正的科学。香农曾在这篇论文中高屋建瓴地指出，好的密码系统的设计问题本质上是寻求一个困难问题的解，使得破译密码等价于解某个已知数学难题。这句话含义深刻，受此思想启发，和于年在上发表论文（密码学的新方向）8。这篇重要论文的发表标志着公钥密码学的诞生，和也因此在年获得图灵奖。
Alan Turing）就这些问题进行了多次有趣的讨论。香农给出如何通过两个内部状态构造一个图灵机的方法9。这篇出色的论文为图灵机理论的引入打开了一扇大门，具有极为重要的意义。
年，香农发表了（编程实现计算机下棋）10，这是人工智能的一个先驱工作。年他曾应邀赴莫斯科参加一个工程会议，并顺便会见了多次获国际象棋世界冠军、电器工程师，他们一起对弈和讨论了计算机编程下棋。年香农还作为特邀贵宾参加了在奥地利的国际计算机象棋冠军赛，贝尔实验室的获得了冠军，已接近象棋大师水平。年造出了深蓝计算机，装入了计算机程序，并战胜了俄国国际象棋大师和世界冠军。这是人类第一次用自己制造的机器在智能上（更确切地说是在下国际象棋的能力上）战胜了自己。由旗下公司设计的是一款围棋人工智能程序，年月以完胜欧洲围棋冠军、职业二段选手樊麾；年月对战世界围棋冠军、职业九段选手李世石，并以的总比分获胜。这一事件，把世人对人工智能的关注又一次推向高潮。早在年香农就发明了会自我学习走迷宫的机械老鼠，成为第一台人工智能装置的雏形。年他发表了论文（一个走迷宫机器的介绍）1，这是一篇计算机学习的先驱著作。年香农曾设计了心灵阅读（）机2，可通过观察、记忆和分析对方过去所做选择的样本，试图猜测对方下一次可能选择。年的一天，香农和他在的同事数学家去斯维加斯赌博，偷偷携带了世界上第一台便携式计算机，这个装置年，香农和摩尔（）合作对于不可靠组件的计算进行了理论研究3。冯诺依曼曾对此问题进行过更早期的探讨，但没有任何可观的成果。香农和摩尔利用增加接点的冗余度来提高继电器电路可靠性，这个结果具有重要的理论意义，它与有扰信道传信问题密切相关。年，香农发表论文（保真度准则下离散源的编码定理）[14创建了率失真理论，在连续消息和离散消息之间架上了一座桥梁，从而给信号数字化提供了一个基础和有效的工具。年香农发表论文（双向通信信道）[15，创建了多用户信息论。香农还曾提出将信息论用在生物系统，在他看来，机器和生物是有共性的。当你问他机器是否能思考时，他会回答说，我是一个机器，你是一个机器，我们都能思考，对吗？ “受扰信号，与时间序列相关联。问题是要通过适当选择和调整证卷投资组合，使效用函数达到极大值。他提出了一些关于投资增长率的理论，但没有发表，然而，他曾经在麻省理工学院开展了一个关于投资理论的研讨会，当时吸引了成百上千的听众。香农并不是纸上谈兵，他还实际投资了普通市场，并赚了不少钱。他的朋友们听从他的建议，也赚了很多钱。 & &
“我在完全无用的事情上花了大量的时间。香农对自己的工作是否能得到别人的认可从不感兴趣，他的很多结果都没有公开发表。尽管这样，后人最终还是发现他一共发表了至少篇论文6。 & &香农酷爱杂耍，他制造过几台杂耍机。人们经常看到他一边骑着独轮车，一边用四个球玩着杂耍，穿行在贝尔实验室的大厅里。他竟然还提出一个杂耍统一场论：用B代表球的数量，H代表手的数量，D表示球在手中度过的时间，F则代表着每个球的飞行时间，E代表每只手不拿球的时间，那么B/H=(D+F)/(D+E)。该理论并不能帮助香农同时扔四个以上的球，他非常严肃地辩解说这是因为他的手比较小的缘故。他有一个专门盛放自己玩具的房间，在这个房间最显眼的位置摆放着一个装裱好的名为“杂耍学博士”的证书，他看起来非常自豪获得了这个证书。 &漫画：香农在玩杂耍 & &1985 年，从不抛头露面的香农羞涩地出现在英国布莱顿举办的IEEE 信息论会议上。会议中途人们才发现他，很多人都以为香农已不在人世。瞬间会场沸腾起来，大会主席说服香农给参会者致辞。香农讲了几分钟，可能是怕听众听得不耐烦，他竟然从口袋里拿出三个小球，玩起了杂耍。观众们彻底疯狂了，排起长队索要签名。 Robert J. McEliece回忆起当时的情景时说，“就好像牛顿出现在了物理学会议”。
20世纪年代，香农的记忆力衰退得越来越厉害，后来他甚至患上了阿尔兹海默症。他在一个私立医院里度过了晚年，逝于年月日。著名信息论和编码学家在香农塑像落成典礼上这样评价他：在我看来，两三百年之后，当人们回过头来看我们的时候，他们可能不会记得谁曾是美国的总统，可能也不会记得谁曾是影星或摇滚歌星，但是人们仍然会知晓香农的名字，大学里仍然会教授信息论。这是一句颇具情怀的赞美。[17]。由于特殊的时代背景和环境，信息论自创立历经十年才开始在中国传播。西电是国内最早（1959年）建立信息论专业的高等院校，在老一辈陈太一院士和胡征教授带领下，肖国镇、梁传甲、王育民、王新梅、汪漱玉等一批学者，创建了我国第一个信息论专业。他们团结友爱，崇尚自由的学术环境，形成了一个享有国际声望的学术团队，为中国培养了一大批信息论人才。密码学扎根于信息论，是西电信息论发展过程中最具特色和影响的一个学科方向。在肖国镇、王育民、王新梅等老一辈密码学专家带领下自上世纪八十年代以来产生了诸如“肖-Massey定理”[18]、“流密码的稳定性理论”[19]、“Xinmei数字签名体制”[20]、“弹性密码函数的设计”[21-25]、“GGH密码算法破译”[26]等一系列具有国际影响力的原创性成果。作者所属的综合业务网理论与关键技术（ISN）国家重点实验室就是在这种信息论环境背景下孕育发展起来的一个科学研究和人才培养基地。可以说香农的精神在西电鼓舞了三代西电人，就连作者本人也一直受到这种精神激励。2016年4月22日，ISN重点实验室举行了纪念香农百年诞辰座谈会，高度评价了香农的历史功绩，回顾了西电信息论的发展历程，是非常有意义的一次纪念活动。 左起：王新梅、肖国镇、陈太一、王育民、梁传甲 & ——信息论，也孕育了信息化社会的物质基础晶体管和集成电路。香农在贝尔实验室工作的年间（），贝尔实验室聚集了许多一流的数学家和科学家，如卫星通信专家、信号理论家、网络反馈专家、晶体管发明人和、早期用继电器构建计算机的、杰出工程师等。香农在这种环境中创建了信息论、现代密码理论以及人工智能等方面的先驱工作。香农说：在贝尔实验室每一个人都很自由，可以按你的想法做你想做的事，他们不会对你说你要做这个做那个，至少没人对我这样说过。不仅如此，我所在的部门数学研究组的所有人都很聪明和能干，我和他们有很多交往，这是一个非常好的场所。如果我是在其他公司，就要更多地专注于特定的目标，我就不可能像在贝尔那样自由自在地工作。我想我若在大学里也能做出类似的工作，因为大多数大学的研究是完全自由的，如。 确实如香农所言，在MIT成长了像、 这样的信息论和编码理论大师，也诞生了像这样的计算机图形学之父和虚拟现实之父。在的博士学位论文答辩时，答辩委员会里除了有香农，还有。后者被誉为“人工智能之父”、虚拟现实先驱，同时他也是图灵奖获得者。就连Ivan Sutherland本人也在年获得图灵奖。二战后，美国凭借如此优质的学术环境和先进文化，诞生了一大批世界一流的科学家，同时也造就了美国的强大。 “良好的学术环境对大学的发展很重要7。生存的法则是适者生存，而不是优者生存。恶劣的学术环境必然会导致优秀科研人才的逆淘汰。 Robert G. Gallager 2001年在上撰文纪念香农8，他在文中也不无忧虑地感叹：如今香农型的研究者无论是在工业界还是在学术界都不受待见，这是一个危险的信号。 “在急功近利的今天，在简单粗暴的科研评价体系下，香农型的学者会在中国诞生，并得以成长和成才吗？ [1] C. E. Shannon, A symbolic analysis of relay and switching circuits, Transactions American Institute of Electrical Engineers, vol. 57, pp. 713–723, 1938.[2] C. E. Shannon, An Algebra for theoretical genetics, Ph.D Dissertation, Department of Mathematics, MIT, April 15, 1940.[3] C. E. Shannon, Mathematical Theory of the Differential Analyzer, Journal of Mathematics and Physics, vol. 20, pp. 337-354, 1941.[4] C. E. Shannon, A mathematical theory of communication (Part 1), Bell System Technical Journal, vol. 27, pp. 397-423, 1948.[5] C. E. Shannon, A mathematical theory of communication (Part 2), Bell System Technical Journal, vol. 27, pp. 623-656, 1948.[6] C. E. Shannon, Von Neumann’s contribution to automata theory, Bulletin American Mathematical Society, vol. 64, pp. 123-129, 1958.[7] C. E. Shannon, Communication theory of secrecy systems, Bell System Technical Journal, vol. 28, pp. 656-715, 1949.[8] ，[9] C. E. Shannon, A universal Turing machine with two states, Memo. 54-114-38, Bell Labs. , 1954.[10] C. E. Shannon, Programming a Computer for Playing Chess, Philosophical Magazine, Series 7, Vol. 41 (No. 314, March 1950), pp. 256-275. (Received Nov. 8, 1949. ) Reprinted in D. N. L. Levy, editor, Computer Chess Compendium, Springer-Verlag, NY, 1988.[11] C. E. Shannon, Presentation of a Maze Solving Machine, in Cybernetics: Circular, Causal and Feedback Mechanisms in Biological and Social Systems, Transactions Eighth Conference, March 15-16, 1951, New York, N. Y. , edited by H. Von Foerster, M. Mead and H. L. Teuber, Josiah Macy Jr. Foundation, New York, 1952, pp. 169-181.[12] C. E. Shannon, A Mind-Reading Machine, Typescript, Bell Laboratories, March 18, 1953.[13] E. F. Moore and C. E. Shannon, Reliable circuits using crummy relays, Memo. 54-114-42, Bell Labs. , 1954.[14] C. E. Shannon, Coding Theorems for a Discrete Source With a Fidelity Criterion, Institute of Radio Engineers, International Convention Record, Vol. 7 (Part 4, 1959), pp. 142-163.[15] C. E. Shannon, Two-Way Communication Channels, in Proceedings Fourth Berkeley Symposium Probability and Statistics, June 20 - July 30, 1960 , edited by J. Neyman, Univ. Calif. Press, Berkeley, CA, Vol. I, 1961, pp. 611-644.[16] Claude Elwood Shannon: Collected Papers, N. J. A. Sloane And A. D. Wyner (Eds. ). IEEE Press, New York, 1993.[17] ·永不消逝的电波专栏， ./info/.htm[18] Guozhen Xiao, James L. Massey, A spectral characterization of correlation-immune combining functions, IEEE Transactions on Information Theory, vol. 34, pp. 569-571, 1988.[19] Cunsheng Ding, Guozhen Xiao, WeiJuan Shan, The Stability Theory of Stream Ciphers, Springer Berlin Heidelberg, 1991.[20] Xinmei Wang, Digital signalture scheme based on error-correcting codes, Electronics Letters, vol. 26, pp. 898-899, 1990.[21] Yupu Hu, Guozhen Xiao, Resilient functions over finite fields, IEEE Transactions on Information Theory, vol. 49, pp. , 2003.[22] Weiguo Zhang, Guozhen Xiao, Constructions of almost optimal resilient Boolean functions on large even number of variables, IEEE Transactions on Information Theory, vol. 55, no. 12, pp. , 2009.[23] Weiguo Zhang, Enes Pasalic, Generalized Maiorana-McFarland construction of resilient Boolean functions with high nonlinearity and good algebraic properties, IEEE Transactions on Information Theory, vol. 60, no. 10, pp. , 2014.[24] Weiguo Zhang, Enes Pasalic, Constructions of resilient S-boxes with strictly almost optimal nonlinearity through disjoint linear codes, IEEE Transactions on Information Theory, vol. 60, no. 3, pp. , 2014.[25] Weiguo Zhang, Enes Pasalic, Highly nonlinear balanced S-boxes with good differential properties, IEEE Transactions on Information Theory, vol. 60, no. 12, pp. , 2014.[26] Yupu Hu, Huiwen Jia, Cryptanalysis of GGH Map, Advances in Cryptology - EUROCRYPT, vol. 9665, pp. 537-565, 2016.[27] ——专家教授访谈录，西安电子科技大学出版社，年[28] Robert G. Gallager, Claude E. Shannon: A retrospective on his life, work, and impact, IEEE Transactions on Information Theory, vol. 47, pp. , 2001.作者简介： 、博士生导师和编码理论 、博士生导师蒋洪波 华中科技大学教授、博士生导师。主要研究方向为物联网和移动计算。本文刊登在《中国计算机学会通讯》2016年第10期
转载本文请联系原作者获取授权，同时请注明本文来自张卫国科学网博客。链接地址：
上一篇：下一篇：
当前推荐数：39
评论 ( 个评论)
扫一扫，分享此博文
作者的精选博文
作者的其他最新博文
热门博文导读
Powered by
Copyright &君，已阅读到文档的结尾了呢~~
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
1960年代中后期的美国_黑人权力_运动及其影响
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口美国总统肯尼迪在1960年8月说：“我认为有一种危险，历史将做出判决说，这是美国潮流结束的日子，这是共产主义潮流开始汹涌而来的时代。”他承诺要使冷战从僵持状态和潜在的共产主义的胜利转向美国的胜利。下列哪一项史实反映了美国走向胜利 [
]A．马歇尔计划B．北约的建立C．柏林墙的修筑D．古巴导弹危机 - 跟谁学
跟谁学学生版:genshuixue_student精品好课等你领在线咨询下载客户端关注微信公众号
搜索你想学的科目、老师试试搜索无锡
跟谁学学生版:genshuixue_student精品好课等你领在线咨询下载客户端关注微信公众号&&&分类：美国总统肯尼迪在1960年8月说：“我认为有一种危险，历史将做出判决说，这是美国潮流结束的日子，这是共产主义潮流开始汹涌而来的时代。”他承诺要使冷战从僵持状态和潜在的共产主义的胜利转向美国的胜利。下列哪一项史实反映了美国走向胜利 [
]A．马歇尔计划B．北约的建立C．柏林墙的修筑D．古巴导弹危机美国总统肯尼迪在1960年8月说：“我认为有一种危险，历史将做出判决说，这是美国潮流结束的日子，这是共产主义潮流开始汹涌而来的时代。”他承诺要使冷战从僵持状态和潜在的共产主义的胜利转向美国的胜利。下列哪一项史实反映了美国走向胜利 [
]A．马歇尔计划B．北约的建立C．柏林墙的修筑D．古巴导弹危机科目:最佳答案D解析
知识点:&&基础试题拔高试题热门知识点最新试题
关注我们官方微信关于跟谁学服务支持帮助中心}