情报理论

考察学校

  • 九州大学（必考）
  • 东大电情（可能出题）
  • 横滨国立（必考、名词解释为主）
  • 京都大学（必考）

公式为工具，重点在于求解概率。

主要考察部分

  • 主要考察部分

    • 情报源
      • 无记忆情报源
      • 马尔可夫情报源
        • 概念
        • 转移概率比例
        • 平均情报量
    • 符号化
      • 马尔可夫符号化
      • 平均符号长
    • 通信路
      • 通信路容量

  • 主要考查形式

    • 数值计算
    • 图示绘制
    • 行列结合分析

情报量

哈特莱情报量

所有情况等概率发生。

$$
情报量I = \log_{2}{m}
$$

香农情报量

$$
L(x) = \log_{2}{\frac{1}{p(x)}}
$$

自己情报量

平均情报量

结合平均情报量

条件平均情报量

相互情报量