典型序列

典型序列（typical sequence），工学-信息与通信工程-信息论-信息不等式，出现概率近似是的序列。其中序列长度为，随机变量为，是的熵。熵用来衡量随机变量的不确定性，设随机变量的取值共有种可能，是取值的概率，则熵定义为：…（1）典型序列是指长为的序列出现的概率近似是。所有典型序列构成的集合称为典型序列集。典型序列的概念源自大数定律，依据的是序列的渐进均分性。具体来说，典型序列分为强典型序列和弱典型序列。把典型性扩展到多个随机变量，可以得到联合典型的概念。