篇一:信息论与编码姜丹第三版答案
信息论与编码习题参考答案 第一章 单符号离散信源
信息论与编码作业是74页,1.1的(1)(5),1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性
1.1同时掷一对均匀的子,试求:
(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;
(5)“两个点数中至少有一个是1”的自信息量。 解:
11
样本空间:N?c6c6?6?6?36
n12
??I(a)??logP1?log18?4.17bitN36n1
(2)P2?2??I(a)??logP2?log36?5.17bit
N36(1)P1?
(3)信源空间:
?log?6??log36?4.32bit 36236
?H(x)?15?
2436636836
?log36+?log??log??log36362363364 1036636
??log+?log?3.71bit
365366n1136
(5) P3?3??I(a)??logP3?log?1.17bit
N3611
?H(x)?
1.2如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为(Xa,Ya), (Xb,Yb),但A,B不能同时落入同一方格内。 (1) 若仅有质点A,求A落入任一方格的平均信息量; (2) 若已知A已落入,求B落入的平均信息量; (3) 若A,B是可辨认的,求A,B落入的平均信息量。 解:
1
(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log48
48
?H(a)???P(ai)logP(ai)?log48?5.58bit
i?1
48
(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47
?H(b)???P(bi)logP(bi)?log47?5.55bit
i?148
1
47
(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)
48?47i?1
11?4847
H(ABi)???P(ABi)logP(ABi)?log(48?47)?11.14bit
1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解: 对于男士:
回答“是”的信息量:I(my)??logP(my)??log7%?3.84bit回答“不是”的信息量:I(mn)??logP(mn)??log93%?0.105bit平均每个回答信息量:H(m)??P(my)?logP(my)?P(mn)?logP(mn) ?-7%?log7%-93%?log93%?0.366bit对于女:
回答“是”的信息量:I(wy)??logP(wy)??log0.5%回答“不是”的信息量:I(mn)??logP(mn)??log99.5%
平均每个回答信息量:H(m)??P(wy)?logP(wy)?P(wn)?logP(wn) ?-0.5%?log0.5%-99.5%?log99.5%?0.0454bit
1.4某一无记忆信源的符号集为{0,1},已知p0?
13
,p1?
23
。
(1) 求符号的平均信息量;
(2) 由1000个符号构成的序列,求某一特定序列(例如有m个“0”,(1000-m)个“1”)
的自信量的表达式;
(3) 计算(2)中序列的熵。 解:
1122
(1)H(x)??p0logp0?p1logp1???log??log?0.918bit/symble
3333
12
(2)I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)logbit
33
(3)H(A)?1000H(X)?1000?0.918?918bit/sequence H(A)???p0logp0?
i?1m
1000?m
?
i?1
p1logp1??
m12(1000?m)2
log?log3333
1.5设信源X的信源空间为:
a1 a2a3a4a5 a6?X:
[x?p]:?
?p(X) 0.170.190.180.160.18 0.3
求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。 解:
H(X)???p(ai)logp(ai)
i?1
6
??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble
可见H(X)?2.725?log6?2.585 不满足信源熵的极值性,
这是因为信源熵的最大值是在?pi?1的约束条件下求得的,但是本题中
i?1r
?p
i?1
6
i
?1.18不满足信源熵最大值成立的约束条件,所以H(X)?log6。
1.6为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s)。 解:
由于亮度电平等概出现,由熵的极值性:
每个像素的熵是: H(x0)??p(ai)logp(ai)?log10?3.322bit/pels
i?110
每帧图像的熵是: H(X)?5?105?H(x0)?5?105?3.322?1.661?106 bit/frame
?所需信息速率为:R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?107 bit/s
1.7设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。 证:
增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化
?每个像素的熵是: H(x1)??p(bi)logp(bi)?log300bit/pels
i?1300
?
H(x1)log300
??2.477?2.5H(x0)log10
?彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.
1.8每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。问每帧图像含有多少信息量?若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字? 解:
每帧图象所含信息量:
H(X)?3?105?H(x)?3?105?log128?2.1?106bit/symble1000
?0.110000
?每个汉字所包含信息量:H(c)??logp每个汉字所出现概率p?
描述一帧图像需要汉字数n,H(X)?nH(c)H(X)2.1?106n???6.322?105/frame
H(c)?log0.1?最少需要6.322?105个汉字
1.9给定一个概率分布(p1,p2,...,pn)和一个整数m,0?m?n。定义qm?1?
?p,证明:
ii?1
m
H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并说明等式何时成立?
证:
先证明f(x)??xlogx(x?0)为凸函数,如下:
loge
又x?0x
loge
?f??(x)?(?xlogx)?????0 即f(x)??xlogx(x?0)为凸函数。
x?f??(x)?(?xlogx)????
又?H(p1,p2,...,pn)???pilogpi?
i?1m
i?m?1
?plogp
i
n
i
由凸函数的性质,变量函数的平均值小于变量的算术平均值的函数,可得:
?
i?m?1
?pilogpi??(n?m)
i?m?1
n
i?m?1
?f(p)
i
n
n?m
??(n?m)f(
i?m?1
?p
n
i
n?m
)??(n?m)
i?m?1
?p
n
i
n?m
log
i?m?1
?p
n
i
n?m
??qmlog
qmn?m
即?
?plogp
i
n
i
??qmlogqm?qmlog(n?m)
当且仅当pm?1?pm?2?...?pn时等式成立。?H(p1,p2,...,pn)???pilogpi?
m
?plogp
i
n
i
???pilogpi?qmlogqm?qmlog(n?m)
m
i?1
i?m?1
i?1
m?H(p1,p2,...,pm,qm)???pilogpi?qmlogqm
i?1
?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。
1.10找出两种特殊分布:
p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解:n
m
H(p1,p2,...,pn)???pilogpi?H(q1,q2,...,qm)???qilogqi
i?1
i?1
篇二:信息论与编码课程大作业
信息论与编码课程大作业
1、 以下面方向为题,写一份论文报告:(题目可以自己定义,只要内容在以
下范围之内)
a) 信息理论方法的应用
b) 信息率失真函数与有损数据压缩技术
c) 信源编码及其发展动态
d) 论信源编码与信道编码
e) 论现代密码体制
f) 论通信与香农三大定理的关系
2、 论文格式要求
a) 按题目、名字学号、摘要、关键词、正文、结论、参考文献进行书写,格式要统一规范,图表要完备;
b) 字体小四、宋体、1.5行距;
c) 任意两个同学的论文不能相同,如相同20%以上则视为零分;
3、 论文内容要求
1) 论文不能写成综述性文章,必须是对技术的探讨与分析,研究并提出自己的论点;
2) 论文中要有图形、框图等。
4、 大作业分数评定标准
1) 符合选题要求 10分;
2) 格式规范 10分;
3) 内容论述正确、图表完备、分析深入 60分;
4) 有自己见解及技术上的创新性 20分。
5、 期末总成绩评分标准
1) 平时成绩 40% (由考勤+作业构成);
2) 期末大作业成绩60%。
篇三:2015年最新【超全满分】电大形成性考核册作业《财务管理》作业参考答案1-4(全)·
10:39:55
希望回忆 2015-03-31 10:39:55
《信息论与编码作业答案(新)超全》出自:百味书屋
链接地址:http://www.850500.com/news/144910.html
转载请保留,谢谢!