离散无记忆信源

离散无记忆信源是最简单的离散信源，可以用完备的离散型概率空间来描述，其主要特点是离散和无记忆。离散指的是信源可能输出的消息的种类是有限的或者是可数的。消息的样本空间R是一个离散集合。由于信源的每一次输出都是按照消息发生的概率输出R中的一种消息，因此信源输出的消息可以用离散随机变量X表示。无记忆是指不同的信源输出消息之间相互独立。