我们讲过信息是比特，用来测量信息 我们已经讨论过计数，所以我们可以用比特数0 0 0 1,1 0 1 1， 从0数到3，取2模。 我们已经讨论了标签问题， 我们可以用条形码来标记东西。 最后我们讨论了比特是如何物理化的， 我们电脑里的所有信息，我所传达的所有信息 通过我声带的振动和空气的振动 实际上是物理系统，信息的物理表现。 我们还谈到了一个150年前的发现， 所有的物理系统都携带着信息， 这些信息量是可以量化的。 比特数是可能性数以2为底的对数， 讽刺的是，这个结果被刻在了玻尔兹曼的坟墓上。 所以现在我想给你们比特的另一个方面，这是一个非常20世纪的方面 信息的比特。 这就是信息和概率之间的关系。 概率这个东西我们都很熟悉也很困惑， 我总是对概率感到困惑。 众所周知，人类对概率的直觉很差， 我们高估了真正可怕的事件发生的可能性， 我们低估了美好、美好、正常事件发生的可能性。 当然，从进化的角度来看，高估了某些事件发生的可能性 就像一只剑齿虎从树上掉下来，把牙齿咬进你的脖子， 这可能是一件好事，这可能就是原因。 这里有一个简单的概率概念，我来演示一下。 我们举个正面和反面的例子。 我这里有一枚锃亮的新硬币是圣达菲乐队的一个成员送给我的 她也没让我还，所以我多了五美分。 要么是正面，要么是反面。 你觉得呢?是正面还是反面的概率是多少? 我认为是五五开。但是为什么呢? 为什么是1 / 2 ?是正面还是反面的概率。 是反面，我发誓。 正面和反面的概率有两种概念。 一个概念是，我认为这是最好的，最直观的概念，当我 像这样翻转，我没有在电视上看，我不知道我翻转得有多用力， 我把它放在那之前没看见。 我没有理由更喜欢正面而不是反面。 正面和反面是先天的它们的权重是相等的。 正面。它是正面，现在它是正面的概率是1， 这就是概率的有趣之处。 首先你不知道，你有概率。 这些被称为先验概率或先验概率。 所以正面的概率等于反面的概率是1 / 2， 因为没有理由更喜欢正面而不是反面。这是一个很好的论点。 这是正面或反面的先验概率，是50% 但是关于为什么出现正面和反面的概率是50%还有另一种说法。 我这样试一下，把这个硬币扔几次。 反面。 正面。 正面。 正面。 反面。 正面。 反面。 正面。 正面。 所以10次投掷中有7次正面，3次反面。 这有点无聊，这就是问题所在。 很有可能，这很无聊，很令人困惑，要弄清楚发生了什么， 你得做很多次。 因为我不认为你会同意这枚崭新的美国镍币 得到正面的概率是7 / 10，得到正面的概率是3 / 10 有反面。 这只是运气使然， 或者掷硬币的运气。 碰巧有7个正面3个反面，如果是抛硬币的话 一枚硬币十次，是相当合理的。 所以如果我把这个硬币抛很多次， 但我不打算这么做，因为我知道这会很无聊，你会觉得很无聊的。 如果我抛硬币，应该说是均匀硬币， 我应该指出，在我在麻省理工学院的课堂上，学生们一开始似乎都是 相信我说的话，但经过几次讲座后，他们变得非常不信任我。 我不知道为什么，我看起来像个值得信赖的人。 不管怎样，我抛一枚均匀硬币m次，我们看正面和反面的次数 正面次数加上反面次数的和等于m。 我只是把它翻了十次。 我们把频率称为， 或者是正面出现的频率 就等于正面的个数除以m。 投掷10次，得到7个正面，频率是0.7。 反面出现的频率，你们可以很好地猜到，是反面出现的次数除以m， 这就等于1减去正面的次数除以m。 根据个人经验，我们期望的是，如果我们继续翻转 硬币很多很多次。 嗯，如果我抛100次，我当然不期望正好得到50个正面， 频率正好是0.5，与概率匹配。 但我希望得到比0.7好一点的结果，也就是7 / 10。 这看起来，你知道，不太可能，如果我抛100次，我将得到70个正面。 这完全有可能，为什么不呢? 我将给出它的公式。 所以正面的期望次数，也就是反面的期望次数，因为 他们之间没有什么可选择的 等于50% 我把它翻转100次，例如，m等于100。那么m / 2等于50。 所以我希望得到大约50，然后我要用这个符号，加或减， 我一会儿会解释这是什么，加上1 / 2乘以根号m。 实际上，你期望的是它大致在这个区间内。 翻转100次，100的平方根是10。 我预计大概在5个以内，可能更多，可能更多7到8个 但如果有70次正面30次反面，我会很惊讶。 我认为更可能是，60次正面，40次反面，但更可能是 55和45。 这就是你能做的。 我们来问问为什么会这样。 如果我看一下所有可能的序列 H, H, H, H, H, H 你可能会注意到，其中的前10个几乎是我得到的 我在抛硬币。 点，点，点，这是一种意思，等等。 继续下去，然后我们会有n个这样的， 我们要计算可能序列的个数 正好有m_h个正面和m_t个反面。 当然，因为要么是正面，要么是反面， 至少除非它侧身着陆，我认为这是不可能的， 这个加起来等于m。 所以我要数有m_h个正面，m_t个反面的可能序列的个数， 这两个加起来等于m。 我们要发现的是，没有那么多的序列是正面正面正面。 反面。 所以会有很少的序列几乎都是正面和 几条反面。 同样的，也会有很少一部分序列几乎全部都有 反面和几个正面，会有很多序列有反面和几个正面 正面和反面的次数大致相同。 所以你可以看到，要把这个和信息理论联系起来， 每个序列就像一个0和1的序列。 你可以称正面为0，反面为1， 这是一个很长很长的位串。 所以我们可以把信息的概念联系起来， 具有特定模式的可能序列的数量， 在这种情况下，有特定数量的正面和反面 概率。