„Információelmélet” változatai közötti eltérés

Az információelmélet az elektromos hírtovábbítás kutatása során jött létre 1948 körül. Alapítói [[Claude Shannon|C. Shannon]], [[Norbert Wiener|N. Wiener]] és [[Andrej Nyikolajevics Kolmogorov|A. N. Kolmogorov]]. Az [[információ]] latin eredetű szó, amely értesülést, hírt, üzenetet, tájékoztatást jelent. Az információelmélet szerint azonban az üzenet nem azonos az információval. Az átvitt adatmennyiség információtartalma attól függ, hogy a vétel helyén mennyire szünteti meg a bizonytalanságot. Például az alábbi hiányos sürgöny információtartalma attól függ, hogy naponta hány vonat jön: "Holnap érkezem, a …… órás vonattal, Károly." Ha csak egy vonat érkezik, a bizonytalanság megszűnt, ha viszont naponta sok vonat jár, nagy a bizonytalanság, az üzenet információtartalma kicsi.