由于在實際的通信系統(tǒng)中,消息往往是指發(fā)送的某些符號。這些符號到底能攜帶多少信息量,與這些符號發(fā)生的概率有關,而對于任何接收端來說,這些符號發(fā)生的概率是一定的,不會說對這個接收機是這個概率,對那個接收機是那個概率。比如有一串符號221234,這串符號由1,2,3,4四個符號組成,假設四個符號出現(xiàn)的概率都是1/4,那么在這串符號中,2出現(xiàn)了3次,所以2所攜帶的信息量是-3×log2(1/4)=6bit。我們需要明白,通信系統(tǒng)中傳送的符號,就相當于我們現(xiàn)在談論的消息。由于在實際的通信系統(tǒng)中,消息往往是指發(fā)送的某些符號。這些符號到底能攜帶多少信息量,與這些符號發(fā)生的概率有關,而對于任何接收端來說,這些符號發(fā)生的概率是一定的,不會說對這個接收機是這個概率,對那個接收機是那個概率。比如有一串符號221234,這串符號由1,2,3,4四個符號組成,假設四個符號出現(xiàn)的概率都是1/4,那么在這串符號中,2出現(xiàn)了3次,所以2所攜帶的信息量是-3×log2(1/4)=6bit。我們需要明白,通信系統(tǒng)中傳送的符號,就相當于我們現(xiàn)在談論的消息。