数学应用-怎样用数学度量信息
发表者:吴军,Google 研究员
前言: Google 一直以 “整合全球信息,让人人能获取,使人人能受益” 为使 命。那么究竟每一条信息应该怎样度量呢?
信息是个很抽象的概念。我们常常说信息很多,或者信息较少,但却很难说清楚 信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到 1948 年, 香农 提出了“ 信息熵 ”(shāng) 的概念,才解决了对信息的量化度量问题。
一 条信息的信息量大小和它的不确定性有直接的关系。比如说,我们要搞清楚 一件非常非常不确定的事,或是我们一无所知的事情,就需要了解大量的信息。 相反,如 果我们对某件事已经有了较多的了解,我们不需要太多的信 ...












