1. Теория информации представляет собой математическую теорию, посвященную А) систематизации математических знаний человечества;
Б) преобразованию процесса познания в качественно новый процесс;
В) измерению количества информации, преобразованию информации, передаче информации по линиям связи, изучению методов построения различных кодов, и пр.
2. Энтропия произвольного числа независимых систем равна
А) H(X1, X2, ...Xn) =H(X1)+H(X2) +…+ H(Xn)
Б) H(X1, X2, ...Xn) =H(X1)-H(X2) -…- H(Xn)
В) H(X1, X2, ...Xn) =H(X1)·H(X2) + H(Xn)
3. Вычислить энтропию системы пребывать в трёх возможных состояниях с вероятностями: (Написать формулу, подставить данные условия и вычислить энтропию, записать результат).
4. Дана композиция двух независимых систем X и Y, возможные состояния которых таковы: Найти количество информации о данной композиции систем (X; Y).
5. Будем считать кодирование тем более выгодным, чем
А) больше коротких слов мы используем.
Б) меньше элементарных сигналов приходится затратить на передачу сообщения.
В) меньше элементарных сигналов приходится затратить на пробелы и знаки препинания в сообщении.