让我们继续看看信息和概率之间的关系。 概率就是抛硬币，正面，正面，反面，谢天谢地。 事实上，顺便说一下，我有一个合法的两个头像的硬币发行的美国造币厂。 你能猜出它是什么吗? 这实际上是新罕布什尔区，乔治·华盛顿就在它的一边 另一面是《山中老人》 山上的老人是一个看起来像头的岩层， 不幸的是，它在十年前倒塌了， 所以现在他们放了一枚新的新罕布什尔州硬币。 我还有一枚合法的美国25分硬币，上面有五个正面，我希望你们能考虑一下这是什么25分硬币。 我们来看看这两者的关系 信息和概率。 概率，我们可以把它看成是先验概率，也就是概率 正面的概率是反面的概率是1 / 2，因为没有特别的理由 抛硬币时选择正面还是反面。 但是我们也可以从频率的角度来考虑。 如果我们有一个很长的正面和反面序列，我试着让它随机，但是 我有一种奇怪的感觉这和我之前写的正面和反面的序列完全一样。 我的学生抱怨说，每当我在黑板上随机写一串0和1时， 总是相同的序列，不可能是完全随机的，对吧? 无论如何，我们能做的是，我们可以说，让我们取一个非常非常长的序列。 我们来数一下正面和反面的次数， 正面出现的频率等于正面出现的次数 除以序列的总长度。 反面出现的频率是一样的。 然后我们问，我们有这样的直觉如果硬币是均匀的， 几乎所有我们能生成的序列 大概有50%是正面和反面。 让我在数学上更精确一点。 让我们看一下长度为m的抛硬币序列的总数， 正好有m_h个正面和m_t个反面。 这两项之和等于m，序列的总长度。 现在这个序列的总个数是一个叫做m选m_h的数。 这是一种方法，如果我有一个长度为m的序列，我称正面为0和 反面一，它是长度为m的二进制序列中恰好有m_h为0的个数 和m_t。 它们是一样的因为如果我选了恰好有m_h的数 正面和有m_t个反面的序列的个数是一样的。 那么这个数是多少? 它等于下面的式子: 选择的方法数，这叫做m选m_h， 这是一个数学公式，它的发音就像这个带括号的有趣的东西 m在上面，m_h在下面，它被称为m选择m_h，因为它是数字 从m个可能的点中选择m_h个点或位置的方法。 所以我们有0 0 0 1 1 0， 我又陷入了同样的可能性。 我们有一大堆不同的位置，我们要数位置的个数 这里可以放0。 所以我们有一定数量的0和 我们想用一种特殊的方式来表达它们。 现在这个总数就是拥有这个m_h数的序列的总数 正面在那边。 所以这个数，我把它写下来， M选m_h等于M !/ m_h !* (m-m_h) ! 等于m!在m_h !* m_t !。 我用这个有趣的符号加上感叹号。 感叹号表示如果我有一个数字，m!等于1乘以2乘以3 乘以四倍……乘以m-1乘以m。 它是所有到m的数的乘积。 例如，2!等于1乘以2 = 2。 3！ 等于1乘以2乘以3等于6，以此类推。 这些数字变得非常非常快。 所以这个数m选m_h， 米!是m个对象重新排列的方法总数。 如果我们有一定数量的0和1，我们可以重新排列这m个元素 一种特殊的方式，但是如果我们在第一个位置和第二个位置都有一个0 我们不关心这是这个0还是这是另一个0。它们都是零。 所以我们要除以0之间重新排列的次数。 这就是m_h!-这是0重新排列的次数， m_t !是1重新排列的次数。 恰好有m_h为0和m_t为1的序列的总数就是总数 重新排列这些序列的方法 除以重新排列的次数 0除以1重新排列的次数。 这是事实，如果你觉得不合理，就忍着吧。 现在我们有了一个很好的数学公式。 这是另一个有趣的事实。 我现在要定义一个概率。 正面的概率，记作q。 因为我们之前说正面的概率是1 / 2，反面的概率是1 / 2。 所以我们把这个定义为正面的个数除以m。 这是正面的频率，所以是 我们观察到的是正面的次数。 观察到的正面的概率。 但它只是一个频率，我们不知道它是不是概率。 1-q(h)等于q(t)等于反面出现的频率。 这是信息论的基本公式。 我再说一遍，信息论的基本公式。 S代表熵，I代表信息，这两种写法都一样，因为，记住， 熵，这个人们在19世纪发现的量就是信息。 标记原子和分子的不同可能结构所需的信息。 在这种情况下，我们试图标记出正面和反面的可能性的总数， 所以这个等于 -q(h) log2q (h) -q(t) log2q (t) 这是一个有趣的公式。 这些是负号，这些是对数，这些是概率，等等。 我把它写成a 特定的情况下。 假设q(h)正好是1 / 2，让你们感觉一下它是什么。 所以正好有一半的序列是正面。 假设q(t)是一样的，因为它是1减去这个，这是q(t) 然后这个量S或I，信息，熵，同一枚硬币的两面。 所以I等于-0.5 log以2为底0.5的对数，因为这是0.5，这是0.5。 然后是-0.5，这是q(t) log以2为底0.5的对数。 有两个，每个乘以0.5。 这等于-log以2为底0.5的对数，因为我把它们加起来了。 log以2为底0.5的对数，这是2必须取0.5的幂， 这是-1。 它等于-(-1)因为2^(-1)等于0.5，它等于1，它实际上有一个单位， 它是一个比特。 所以这个公式，我不会说它神奇，它只是数学上的， 但它非常有用。 这个公式说，如果我有一枚硬币，我抛它，正面的概率是0.5， 反面出现的概率是0.5，那么包含的信息量是 如果你愿意，在一次抛硬币中 生成的信息量 靠抛硬币，是一个比特。 这次碰巧是反面。 因此，抛掷硬币，正面出现的频率是反面出现的频率是0.5， 给你一点信息。 现在，如果我们回到关于概率的计数论证，我们发现 这是描述一个特定数字的排列方式所需要的位数吗 M_h(正面)记住这是一个数字，我们把它定义为m，就是次数 描述这个的比特数等于m乘以(-q(h) log以2为底q(h) -q(t) log以2为底q(t)) 所以这就等于m乘以信息量。 我一直想把它叫做魔法，但我不相信魔法。 这个信息的数学公式实际上是一种计算可能性数量的方法。 我们看得到恰好m_h次正面的可能方法的个数。 我们取这个对数，这就是这个特定的信息的比特数 序列，我们发现它等于m，抛硬币的总次数，乘以这个量， 这些信息。 总结一下，信息论的基本公式 信息量，也就是熵的量，是否等于，如果我有 有两种可能，就是-q(h) log q(h) -q(t) log q(t) 如果有更多的可能，我们称它们为k种可能的结果， 那么信息量等于-从I = 1到k的所有可能结果的和 Q (i) log以2为底Q (i) 我们只是通过计算构造的可能性得到这个结果 这些频率。 这个非常有用的公式是所有信息论的基础，包括数学 通信理论，包括计算理论。