电商网站建设服务,广西住建网官网,哪有做网站公司,申请做网站 论坛版主一、信源的分类 二、信源的数学模型
1、信源的概念
在通信系统中#xff0c;收信者在未收到信息以前#xff0c;对信源发出什么消息是不确定的、随机的、因此我们可以用随机变量、随机序列或者随机过程来描述信源的输出。严格地说#xff0c;用概率空间来描述信源输出。 …一、信源的分类 二、信源的数学模型
1、信源的概念
在通信系统中收信者在未收到信息以前对信源发出什么消息是不确定的、随机的、因此我们可以用随机变量、随机序列或者随机过程来描述信源的输出。严格地说用概率空间来描述信源输出。
2、信源的分类 1离散信源和连续信源
一般不说是离散还是连续我们都默认为离散信源 2有记忆信源和无记忆信源
离散无记忆信源离散信源在不同时刻发出的符号之间是无依赖的彼此统计独立的
3平稳信源和不稳定信源
离散平稳信源离散信源的概率分布不随时间变化
3、信源熵
1定义 2例子——鉴别伪币问题
24个硬币中有一个伪币由前一讲已经知道称量三次可以找出伪币那么每次称量中获得的信息是多少
抓住信源熵的核心概念“平均不确定度” 三、离散信源的信息测度
信息测度通俗来说就是每输出一个符号携带的信息量。
1、自信息的定义 1I(xi) 的含义
当xi输出以前表示输出xi发生的不确定性
当xi输出以后表示输出消息xi所包含的信息量
2I(xi) 的单位
若取r2单位为bit
若取re单位为nat
那么1nat bit 这里需要注意的是虽然单位不同但是不管是bit还是nat本质上表示的都是Ixi所以在推导 1nat bit的关系时要带着单位而且不建议用换底公式因为没有任何的物理意义。
2、联合自信息与条件自信息 四、二元信源的信息熵 五、二元信源的条件熵
1、定义 这里一定要注意是p(xiyi)联合概率加权 2、物理意义
令信源输出为X信宿接受消息为Y条件熵H(X/Y)表示信宿在收到Y后信源X仍然存在的不确定度这是传输失真造成的H(X/Y)称为损失熵或者信道疑义度。
条件熵H(Y/X)表示对于信源的输出X信宿接受Y所存在的不确定度这是在传输过程中噪声引起的H(Y/X)称为噪声熵或者信道散布度。
六、二元信源的联合熵 七、熵、条件熵、联合熵之间的关系 维拉图表示 H(XY) H(X) H(Y/X)
H(XY) H(Y) H(X/Y)
H(U1U2U3...UN) H(U1) H(U2|U1) H(U3|U1U2) ... H(UN|U1U2U3...UN-1)
