篇一:信息论与编码复习资料重点 陈运 第二版
2.3 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量X代表女孩子学历
X P(X)
x1(是大学生)
0.25
x2(不是大学生)
0.75
设随机变量Y代表女孩子身高
Y P(Y)
y1(身高>160cm)
0.5
y2(身高<160cm)
0.5
已知:在女大学生中有75%是身高160厘米以上的 即:p(y1/x1)?0.75 bit
求:身高160厘米以上的某女孩是大学生的信息量 即:I(x1/y1)??logp(x1/y1)??log
p(x1)p(y1/x1)
p(y1)
??log
0.25?0.75
0.5
?1.415 bit
2.4 设离散无记忆信源?
??x1?0???
?P(X)??3/8?
X
x2?1x3?21/4
1/4
x4?3?
?,其发出的信息1/8?
为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息量是多少?
(2) 此消息中平均每符号携带的信息量是多少?
解:
(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是: ?3?p???
?8?
14
?1?????4?
25
?1???? ?8?
6
此消息的信息量是:I??logp?87.811 bit
(2) 此消息中平均每符号携带的信息量是:I/n?87.811/45?1.951 bit
2.5 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?
解: 男士:
p(xY)?7%
I(xY)??logp(xY)??log0.07?3.837 bitp(xN)?93%
I(xN)??logp(xN)??log0.93?0.105 bit
2
H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366 bit/symbol
i
女士:
2
H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045 bit/symbol
i
2.7 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求: (1) “3和5同时出现”这事件的自信息; (2) “两个1同时出现”这事件的自信息;
(3) 两个点数的各种组合(无序)对的熵和平均信息量; (4) 两个点数之和(即2, 3, ? , 12构成的子集)的熵; (5) 两个点数中至少有一个是1的自信息量。
解: (1)
p(xi)?
16?16?16?16?118
118
?4.170 bit
I(xi)??logp(xi)??log
(2)
p(xi)?
16?16?136
136
?5.170 bit
I(xi)??logp(xi)??log
(3)
两个点数的排列如下: 11 12 13 14 21 31 41 51 61
22 32 42 52 62
23 33 43 53 63
24 34 44 54 64
15 25 35 45 55 65
16 26 36 46 56 66
共有21种组合:
其中11,22,33,44,55,66的概率是
16?16?136
其他15个组合的概率是2?
16
?
16
?
118
1111??
H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol
36361818??i
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
?X?
?P(X
2??????1)??
?36
i
3118
4112
519
6536
716
8536
91011912
1111812??1?36??
H(X)???p(xi)logp(xi)
111111115511??
???2?log?2?log?2?log?2?log?2?log?log?
36361818121299363666???3.274 bit/symbol
(5)
p(xi)?
16?16?11?
1136
1136
?1.710 bit
I(xi)??logp(xi)??log
2.10 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷
暖两个状态,调查结果得联合出现的相对频度如下:
冷 12
晴
晴
冷 8
暖 8
忙
冷 27
雨
雨
闲
暖 15
冷 5
暖 16
暖 12
若把这些频度看作概率测度,求: (1) 忙闲的无条件熵;
(2) 天气状态和气温状态已知时忙闲的条件熵;
(3) 从天气状态和气温状态获得的关于忙闲的信息。
解:
(1)
根据忙闲的频率,得到忙闲的概率分布如下:
?X?
?P(X
?x忙??1???63)??
?103
2
x2闲?
?40?103??
634040??63
H(X)???p(xi)logp(xi)???log?log??0.964 bit/symbol
i
?103103103103? (2)
设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z H(XYZ)???
??
p(xiyjzk)logp(xiyjzk)
i
j
k
????12
log128827271616?103103?103log103?103log103?103log
103 ?
81515103
log
8103
?103
log
103
?5103
log
512103
?103
log
12?
103??
?2.836 bit/symbol
H(YZ)???
?
p(yjzk)logp(yjzk)
j
k
????20
log20232332322828??103103?103log103?103log103?103log103?
? ?1.977 bit/symbol
H(X/YZ)?H(XYZ)?H(YZ)?2.836?1.977?0.859 bit/symbol
(3)
I(X;YZ)?H(X)?H(X/YZ)?0.964?0.859?0.159 bit/symbol
2.11有两个二元随机变量X和Y,它们的联合概率为
并定义另一随机变量Z = XY(一般乘积),试计算:
(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ);
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY);
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解: (1)
p(x1)?p(x1y1)?p(x1y2)?p(x2)?p(x2y1)?p(x2y2)?
18
?
3818
??
1212
38
?
H(X)???p(xi)logp(xi)?1 bit/symbol
i
p(y1)?p(x1y1)?p(x2y1)?p(y2)?p(x1y2)?p(x2y2)?
18
?
3818
??
1212
38
?
H(Y)???p(yj)logp(yj)?1 bit/symbol
j
Z = XY的概率分布如下:
?z?0
?Z??1????7P(Z)???8
?
2
z2?1?
?1?8??
711??7
H(Z)???p(zk)???log?log??0.544 bit/symbol
888??8k
p(x1)?p(x1z1)?p(x1z2)p(x1z2)?0
p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?H(XZ)???
i
78
?0.5?
38
18
?
k
13311??1
p(xizk)logp(xizk)???log?log?log??1.406 bit/symbol
28888??2
篇二:信息论与编码_陈运主编_无水印完整版答案
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
解:
四进制脉冲可以表示 4 个不同的消息,例如:{0, 1, 2, 3} 八进制脉
冲可以表示 8 个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉
冲可以表示 2 个不同的消息,例如:{0, 1} 假设每个消息的发出都
是等概率的,则:
四进制脉冲的平均信息量 H ( X1 ) = log n = log 4 = 2 bit / symbol
八进制脉冲的平均信息量 H ( X 2 ) = log n = log8 = 3 bit / symbol
二进制脉冲的平均信息量 H ( X 0 ) = log n = log 2 = 1 bit / symbol
所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 居住某地区的女孩子有 25%是大学生,在女大学生中有 75%是身高 160 厘米以上的,而女 孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大 学生”的消息,问获得多少信息量?
解:
设随机变量 X 代表女孩子学历
X
P(X) x1(是大学生)
0.25 x2(不是大学生)
0.75
设随机变量 Y 代表女孩子身高
Y y1(身高>160cm)
P(Y) 0.5 y2(身高<160cm)
0.5
已知:在女大学生中有 75%是身高 160 厘米以上的
即: p( y1 / x1 ) = 0.75 bit
求:身高 160 厘米以上的某女孩是大学生的信息量
/ y ) = ? log p( x/ y ) = ? 即: I ( x1 1 1 1
p( x1 ) p( y1 / x1 ) 0.25 × 0.75 = ? = 1.415 bit p( y1 ) 0.52.3 一副充分洗乱了的牌(含 52 张牌),试问 (1) 任一特定排列所给出的信息量是多少? (2) 若从中抽取 13 张牌,所给出的点数都不相同能得到多少信息量?
解:
(1) 52 张牌共有 52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:
p( xi ) = 1
52!
I ( xi ) = ? log p( xi ) = log 52!= 225.581 bit
(2) 52 张牌共有 4 种花色、13 种点数,抽取 13 张点数不同的牌的概率如下:
· 1 ·
p( xi ) = 4
13 C 52 13
413
I ( xi ) = ? log p( xi ) = ? 13 = 13.208 bit C 52
x = 1 x = 2 x = 3? ? X ? ?x 1 = 02 3 4 2.4 设离散无记忆信源 ?= ? ? ,其发出的信息为 ? 1/ 8 ? ?P( X )? ? 3 / 8 1/ 4 1/ 4
(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息量是多少?
(2) 此消息中平均每符号携带的信息量是多少?
解:
(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3,因此此消息发出的概率是:
6 14 25 3 ? ? 1 ? ? 1 ? ?p = ??×? × ??? ? 8 ? ? 4 ? ? 8 ?
此消息的信息量是: I = ? log p = 87.811 bit
(2) 此消息中平均每符号携带的信息量是: I / n = 87.811/ 45 = 1.951 bit 2.5 从大量统计资料知道,男性中红绿色盲的发病率为 7%,女性发病率为 0.5%,如果你问一 位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少 信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量 是多少?
解:
男士:
p( xY ) = 7%
I ( xY ) = ? log p( xY ) = ? log 0.07 = 3.837 bit
p( xN ) = 93%
I ( xN ) = ? log p( xN ) = ? log 0.93 = 0.105 bit
H ( X ) = ?
女士: ∑ p( x) log p( x) = ?(0.07 log 0.07 + 0.93log 0.93) = 0.366 bit / symbol i i i 2
H ( X ) = ?
∑ p( x) log p( x) = ?(0.005 log 0.005 + 0.995 log 0.995) = 0.045 bit / symbol i i i 2X ? ? x x x x x x ??1 2 3 4 56 2.6 设信源 ? = ?? ,求这个信源的熵,并解释为什么 ? ?P( X )? ?0.2 0.19 0.18 0.17 0.16 0.17?
H(X) > log6 不满足信源熵的极值性。
解:
· 2 ·
H ( X ) = ?∑ p( x) log p( x) i i
i 6
= ?(0.2 log 0.2 + 0.19 log 0.19 + 0.18 log 0.18 + 0.17 log 0.17 + 0.16 log 0.16 + 0.17 log 0.17)
= 2.657 bit / symbol
H ( X ) > log 2 6 = 2.585
不满足极值性的原因是 ∑6 p( xi ) = 1.07 > 1 。
i
2.7 证明:H(X3/X1X2) ≤ H(X3/X1),并说明当X1, X2, X3是马氏链时等式成立。
证明:
H ( X 3 / X1 X 2 ) ? H ( X 3 / X1 )
= ?∑∑∑ p( xi1 xi 2 xi 3 ) log p( xi 3 / xi1 xi 2 ) + ∑∑ p( xi1 xi 3 ) log p( xi 3 / xi1 )
i1 i 2 i 3 i1 i 3
= ?∑∑∑ p( xi1 xi 2 xi 3 ) log p( xi 3 / xi1 xi 2 ) + ∑∑∑ p( xi1 xi 2 xi 3 ) log p( xi 3 / xi1 )
i1 i 2 i 3 i1 i 2 i 3
=p( x x x ) p( xi 3 / xi1 )
∑∑i1i 2i 3
∑i1 i 2 i 3 p( xi 3 / xi1 xi 2 )
≤ ∑∑p( x ? p( x
i1xi 3 / xi1 ) ?
i 2xi 3 )??1? log2 e
∑
i1 i 2 i 3 ?? p( xi3 / x i1x i 2 ) ??
?
? ∑∑∑1 i 2 i 3 p( x? = ?i1 xi 2 ) p( xi 3 / xi1 ) ? ∑∑∑ p( xi1 xi 2 xi 3 ) ? log2 e
i i1 i 2 i 3 ?
= ??
?∑∑ p( x? ? ?
i1 xi 2 )
i1 i 2?∑ p( xi 3 / xi1 )? ? ??1? log2 e
i 3 ?
= 0
∴ H ( X
3 / X1 X 2 ) ≤ H ( X 3 / X1 )
当p( xi 3 / xi1 )
p( x?1 = 0时等式等等
i 3 / xi1 xi 2 )
? p( xi 3 / xi1 ) = p( xi 3 / xi1 xi 2 )
? p( xi1 xi 2 ) p( xi 3 / xi1 ) = p( xi 3 / xi1 xi 2 ) p( xi1 xi 2 )
? p( xi1 ) p( xi 2 / xi1 ) p( xi 3 / xi1 ) = p( xi1 xi 2 xi 3 )
? p( xi 2 / xi1 ) p( xi 3 / xi1 ) = p( xi 2 xi 3 / xi1 )
∴等式等等的等等是X1 , X 2 , X 3是马 _氏链
2.8 证明:H(X1X2 。。。 Xn) ≤ H(X1) + H(X2) + … + H(Xn)。
证明:
H ( X 1 X 2 ...X n ) = H ( X 1 ) + H ( X 2 / X 1 ) + H ( X 3 / X 1 X 2 ) + ... + H ( X n / X 1 X 2 ...X n?1 )
I ( X 2 ; X 1 ) ≥ 0 I ( X 3 ; X 1 X 2 ) ≥ 0
...
· 3 ·
? H ( X 2 ) ≥ H ( X 2 /
X 1 )
? H ( X 3 ) ≥ H ( X 3 /
X 1 X 2 )
· 4 ·
I ( X N ; X 1 X 2 ...X n?1 ) ≥ 0 ? H ( X N ) ≥ H ( X N / X 1 X 2 ...X n?1 )
∴ H ( X 1 X 2 ...X n ) ≤ H ( X 1 ) + H ( X 2 ) + H ( X 3 ) + ... + H ( X n )
2.9 设有一个信源,它产生 0,1 序列的信息。它在任意时间而且不论以前发生过什么符号, 均按 P(0) = 0.4,P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的?
(2) 试计算H(X2)),并写出 H(X 3 /X 12XX )及∞
(3) 试计算H(XH;44信源中可能有的所有符号。
解:
(1)
这个信源是平稳无记忆信源。因为有这些词语:“它在任.意.时.间.而且不.论.以.前.发.生.过.什.么.符.号.……”
(2)
H ( X 2 ) = 2H ( X ) = ?2 × (0.4 log 0.4 + 0.6 log 0.6) = 1.942 bit / symbol
H ( X 3 / X 1 X 2 ) = H ( X 3 ) = ?∑ p( xi ) log p( xi ) = ?(0.4 log 0.4 + 0.6 log 0.6) = 0.971 bit / symbol
i
H ∞ = N lim ?>∞ H ( X N / X 1 X 2 ...X N ?1 ) = H ( X N ) = 0.971 bit / symbol
(3)
H ( X 4 ) = 4H ( X ) = ?4 × (0.4 log 0.4 + 0.6 log 0.6) = 3.884 bit / symbol
X 4的所有符号:
0000 0001 0010 0011
0100 0101 0110 0111
1000 1001 1010 1011
1100 1101 1110 11112.10 一阶马尔可夫信源的状态图如下图所示。信源 X 的符号集为{0, 1, 2}。(1) 求平稳后信源的概率分布;
(2) 求信源的熵H∞。
解:
(1)
5 · ·
篇三:信息论与编码课后习题答案
1. 有一个马尔可夫信源,已知p(x1|x1)=2/3,p(x2|x1)=1/3,p(x1|x2)=1,p(x2|x2)=0,试画出该信源的香农线图,并求出信源熵。 解:该信源的香农线图为:
○
2/3 (x1) 1(x2)
在计算信源熵之前,先用转移概率求稳定状态下二个状态x1和 x2 的概率p(x1)和p(x2) 立方程:p(x1)?p(x1x1)p(x1)+p(x1x2)p(x2)
=2 p(x1)?p(x2)
p(x2)?p(x2x1)p(x1)+p(x2x2)p(x2) = 3p(x1)?0p(x2)p(x1)?p(x2)=1 得p(x1)?马尔可夫信源熵H = ?
3
4
p(x2)?1 4
?p(x)?p(x
i
I
J
j
xi)logp(xjxi)得 H=0.689bit/符号
3
2.设有一个无记忆信源发出符号A和B,已知p(A)?1。求: 4.p(B)?4
①计算该信源熵;
②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率; ③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。 解:①H(X)??
?p(x)logp(x) =0.812 bit/符号
i
i
X
②发出二重符号序列消息的信源,发出四种消息的概率分别为
33p(AB)? p(AA)?4?4?164?4?16
339p(BB)?3 p(BA)?34?4?164?4?16
用费诺编码方法 代码组 bi
BB 01 BA 10 2 AB 110 3 AA 111 3
2
无记忆信源 H(X)?2H(X)?1.624 bit/双符号 平均代码组长度 2=1.687 bit/双符号
H(X2)R2?=0.963 bit/码元时间
③三重符号序列消息有8个,它们的概率分别为
1
p(AAB)?64p(BAA)?64 p(ABA)?p(AAA)?64p(BAB)?64 p(ABB)?64p(BBB)?p(BBA)?646464
用霍夫曼编码方法 代码组 bi BBBBBABABABBAABBAAABA
AAA
2799964643364
0 0 1 (191 110 3 )
1(64) 1101 3 64)
00100 3
6 1()111111 5
0 111110 5
4 1()0 11101 5
0111005
H(X3)?3H(X)=2.436 bit/三重符号序列
3=2.469码元/三重符号序列
H(X3)
=0.987 bit/码元时间 R3=
3.已知符号集合{x1,x2,x3?}为无限离散消息集合,它们的出现概率分别为 p(x1)?
2
,
p(x2)?1p(xi)?···p(x3)?11
···求: i2
① 用香农编码方法写出各个符号消息的码字(代码组); ② 计算码字的平均信息传输速率; ③ 计算信源编码效率。 解: ①
2
②H(X)??
?p(x)logp(x)=2 bit/符号
i
i
I
??Pibi??=2码元/符号
I
R?
H(x)
?1bit/码元时间 R
=100% C
③二进制信道C=1 bit/码元时间信源编码的编码效率?=
① 对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。 解: ①H(X)??
?p(x)logp(x)=2552bit/符号,时间熵H
X
t
?2.552bit/s
Rt=Ht?2.552bit/s ②霍夫曼编码
符号pi代码组 bi C0.4 0 0 1 B0.180 110 3 A0.10(1,0)100 3 0 1
F0.1 01 1 (0.6)1111 4 G0.07 1 1011 4 1
E0.06 0 (0.13) 1 1010 4 D0.05 1 (0.19) 11101 50
H0.04 0 (0.09) 11100 5
平均码长=2.61码元/符号
H(x)
?0.9779bit/码元时间 R
信源编码的编码效率?==97.79%
C
R?
3
《信息论与编码(第二版)习题答案,陈运,主编》出自:百味书屋
链接地址:http://www.850500.com/news/143866.html
转载请保留,谢谢!