Математическая энциклопедия:
Величина, характеризующая информации количество, создаваемое за единицу времени источником сообщений. С. с. с. источника сообщений ис дискретным временем, вырабатывающего сообщение образованное последовательностью случайных величин принимающих значение из нек-poгo дискретного множества X, определяется равенством если такой предел существует. Здесь — энтропия случайной величины Величину определяемую равенством (*), называют также энтропией (на символ) источника сообщений. Доказать существование предела (*) и явно его вычислить удается, напр., для стационарных источников; явные формулы для получены для стационарных марковских источников и гауссовских источников. Понятие С. с. с. Н(и)тесно связано с понятием избыточности источника сообщений. Если и — стационарный эргодич. источник сообщений с конечным числом состояний, то справедливо следующее свойство асимптотической равнораспределенности (теорема Макмиллана, [1]). Пусть где суть значения — отрезка сообщений длины L. Для произвольных существует такое, что при всех Лит.:[1] Вольфовиц Дж., Теоремы кодирования теории информации, пер. с англ., М., 1967; [2] Галлагер Р., Теория информации и надежная связь, пер. с англ., М., 1974; [3] Файнстейн А., Основы теории информации, пер. с англ., М., 1960. Р. Л. Добрушин, В. В. Прелов.
© «СловоТолк.Ру» — толковые и энциклопедические словари, 2007-2020