МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ ОРГАНИЗАЦИИ САМОСТОЯТЕЛЬНОЙ РАБОТЫ СТУДЕНТОВ ПО ДИСЦИПЛИНЕ «ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ И КОДИРОВАНИЯ»

В настоящее время необходимо уделять особое внимание решению таких задач, как обеспечение непрерывности образования, его интенсивности, которые могут быть обеспечены только при условии использования новейшей технически обеспеченной и доступной технологии обучения, а также освоения студентами методики организации самостоятельной работы.

В данной статье обобщен опыт организации самостоятельной работы студентов по теме «Вычисление информационных характеристик дискретных систем связи», которая включает в себя четыре раздела:

• исследование модели канала связи с помощью канальных матриц;
• вычисление энтропии систем с конечным множеством состояний;
• вычисление количества информации в сложной системе;
• вычисление информационных характеристик источника сообщений и канала связи.

В настоящее время по-прежнему актуальными остаются проблемы проектирования и анализа систем связи. Студенты направления подготовки 09.03.01 «Информатика и вычислительная техника» (очная форма обучения) изучают дисциплину «Основы теории информации и кодирования» в шестом семестре. Определенные трудности преподавания данной дисциплины вызывает неравномерная недельная учебная нагрузка, а именно, ¾ два часа лекционных занятий и всего один час практических занятий. В этой связи приходится особое внимание уделять эффективной организации самостоятельной работы студентов.

В каждой из академических групп на первом практическом занятии студентам выдается общее задание (коллективный вариант), которое в течение восьми недель (одно практическое занятие в две недели) группа выполняет под руководством преподавателя сообща. На каждом практическом занятии (например, условно, ¾ в нечетную неделю) рассматривается тема одного из очередных разделов (1)…(4).

Аналогичное задание (индивидуальный вариант) выдается каждому студенту для самостоятельных расчетов. Индивидуальное задание по каждому из четырех разделов студент выполняет в течение очередной (условно) нечетной учебной недели после того, как данная тема окажется рассмотренной для коллективного варианта на практическом занятии, а перед очередной лекцией (в четную неделю) сдает его на проверку ведущему преподавателю. Через неделю, на очередном практическом занятии (в следующую нечетную неделю), студент получает проверенное (с оценкой и замечаниями), выполненное самостоятельно индивидуальное задание. При необходимости, во время практического занятия преподавателем проводится анализ типичных ошибок, и группа приступает к выполнению очередного раздела коллективного варианта задания. Далее представленный процесс повторяется по теме каждого из последующих разделов. Параллельно, в четную неделю, студент выполняет домашнее задание по теме очередного раздела, решая задачи из задачника [1].

Выданные на первом практическом занятии коллективный и индивидуальный варианты заданий фактически предполагают поэтапный расчет информационных характеристик дискретной системы связи. Рассмотрим реализацию каждого раздела задания на конкретном учебном примере. Ниже жирным курсивом в тексте выделены замечания, отражающие те моменты, на которые необходимо обратить особое внимание.

1. Исследование модели канала связи с помощью канальных матриц
   • Постановка задачи к разделу 1

Сообщения передаются от источника сообщений А к приемнику B по каналу связи с помехами. Передаются сообщения из первичного алфавита, состоящего из n букв (пусть n=3) с распределением вероятностей (таблица 1).

Таблица 1. Распределение вероятностей появления букв

                   на выходе источника

Буква ai	a1	a2	a3
Вероятность p(ai)	0,215	0,295	0,490

Влияние помех в канале связи полностью описывается канальной матрицей условных вероятностей (1) появления на входе приемника сигнала b_k при передаче сигнала a_i.

                                  (1)

Это известная задача исследования канала связи со стороны источника сообщений [2, с. 36].

В данном варианте требуется:

• вычислить с точностью до третьего знака следующие вероятностные характеристики сложной системы (А, В):
• матрицу вероятностей p(a_i,b_k) совместного появления двух событий a_i и b_k, , где i ¾ номер строки, k ¾ номер столбца;
• вероятности p(b_k) поступления на вход приемника сигналов b_k, 
• матрицу условных вероятностей p(a_i/b_k) появления на входе приемника сигнала b_k, если с выхода источника передан сигнал a_i, 
• провести проверку значений исходных данных и результатов вычислений по известным контрольным соотношениям (2)…(6).

Замечание 1. Чтобы обеспечить в академической группе порядка 25 различных вариантов заданий, также ставится задача исследования канала связи со стороны приемника сообщений [2. с. 37] (в этом случае задаются распределение вероятностей p(b_k) и матрица условных вероятностей  p(a_i/b_k)), либо задается матрица p(a_i,b_k) совместного появления двух событий a_i и b_k,  i,k=,  с различными значениями вероятностей.

Замечание 2. Следует отметить, что в последнее время уровень математической подготовки абитуриентов и, соответственно, студентов младших курсов, заметно снизился, многие либо не имеют опыта решения задач, либо этот опыт недостаточен. В этой связи студентам предъявляется требование все расчеты выполнять вручную, пользуясь лишь калькулятором (микрокалькулятором).

• Выполнение задания к разделу 1

При выполнении задания первого раздела студенты пользуются следующими известными формулами:

Замечание 3. При вычислении значений элементов этой и других матриц студенты должны вспомнить и реализовать правила округления вещественных чисел. Например, в соответствии с (7) значение вероятности p(a₁,b₃) вычисляется следующим образом:

p(a₁,b₃)=p(a₁)p(a₁/b₃)=0,215 0,021=0,0045@0,005.

В таблице 2 представлены результаты вычислений вероятностей появления сигналов b_k на входе приемника, вычисленные согласно (8).

Таблица 2. Распределение вероятностей появления

                   букв на входе приемника

Буква bk	b1	b2	b3
Вероятность p(bk)	0,231	0,373	0,396

Результаты вычислений значений элементов матрицы условных вероятностей появления на входе приемника сигнала b_k при условии, что был передан сигнал a_i, согласно  (9):

Замечание 4. При вычислении значений элементов матриц в соответствии с формулами (7) и (9) студенты часто путают номера строк с номерами столбцов.

Значения исходных данных и вычисленные в соответствии с формулами (7)…(9) результаты необходимо проверить с помощью формул (2)…(6). Нетрудно убедиться, что в приведенных расчетах как абсолютная, так и относительная погрешности вычислений равны нулю. Однако, если в формулах (7)…(9) результаты отличны от единицы, необходимо определить значение относительной погрешности, например, для формулы (3) произвести вычисления согласно (10).

                           (10)

Замечание 5. Типичная ошибка: при получении значения погрешности, превышающего предельно допустимое значение, студенты не ищут ошибки вычислений, а лишь регистрируют полученное значение и продолжают процесс вычислений вместо того, чтобы искать ошибки.

2. Вычисление энтропии систем с конечным множеством состояний
   • Постановка задачи к разделу 2

Используя результаты вычислений первого раздела, вычислить с точностью до четвертого знака следующие значения:

• энтропию H(A) системы источника сообщений A и энтропию H(B) системы приемника сообщений B;
• энтропию H(A,B) сложной системы (A,B);
• частную условную энтропию H(A/b_k) системы источника A, если система приемник B находится в состоянии b_k, ;
• частную условную энтропию H(B/a_i) системы приемника B, если система источник A находится в состоянии a_i, ;
• общую условную энтропию H(A/B) системы источника A по всем состояниям системы приемника B;
• общую условную энтропию H(B/A) системы приемника B по всем состояниям системы источника A;
• провести проверку результатов вычислений по всем известным контрольным соотношениям.

Размерность энтропии ¾ бит/состояние (либо бит/символ, бит/букву и так далее).

• Выполнение задания к разделу 2

При выполнении задания второго раздела студенты пользуются следующими формулами:

Замечание 6. К сожалению, довольно большая часть студентов на первых порах не в состоянии по известному десятичному (или натуральному) логарифму числа N найти его двоичный логарифм.

Замечание 7. При вычислении значений энтропии, а также прочих характеристик студенты должны обязательно представить промежуточные результаты, например, представим процесс вычисления энтропии источника сообщений согласно (11):

H(A)=-[0,215log₂0,215+0,295log₂0,295+0,490log₂0,490]=

=-[0,215(-2,21759)+0,295(-1,76121)+0,490(-1,02914)]=

=-[0,215(-2,2176)+0,295(-1,7612)+0,490 (-1,0291)]=

=0,47678+0,51955+0,50425=0,4768+0,5196+0,5043=1,5007(бит/состояние).

В этом случае облегчается поиск возможных ошибок, внимание студента акцентируется на реализации процесса вычислений.

Приведем итоговые результаты вычислений по формулам (11)…(17).

H(B)=1,5482 бит/состояние;

H₁(A,B)=2,3135 бит/2 состояния;

H(A/b₁)=0,9617 бит/состояние;

H(A/b₂)=1,1054 бит/состояние;

H(A/b₃)=0,3324 бит/состояние;

H(B/a₁)=0,7830 бит/состояние;

H(B/a₂)=0,5022 бит/состояние;

H(B/a₃)=1,0069 бит/состояние;

H(A/B)=0,7661 бит/состояние;

H(B/A)=0,8098 бит/состояние.

Ошибки вычислений энтропии можно обнаружить, вычислив значения известных контрольных соотношений

H₂(A,B)=H(A)+H(B/A),                                       (18)

H₃(A,B)=H(B)+H(A/B)                                        (19)

и относительную погрешность вычислений

     (20)

Если погрешность  превышает предельно допустимое значение, следует искать ошибки вычислений.

  Для рассматриваемого примера значение энтропии сложной системы согласно (18)

H₂(A,B)=2,3105 бит/2 состояния,

согласно (19) ¾      H₃(A,B)=2,3143 бит/2 состояния,

при этом относительная погрешность вычислений согласно (20) составляет  =0,16%.

Замечание 8. На этом этапе проводится следующий анализ результатов: сравниваются значения энтропии в индивидуальном H_инд(A) и коллективном H_кол(A) вариантах. Известно свойство энтропии принимать максимальное значение, если все состояния a_i, , системы A имеют одинаковую вероятность. Следовательно, необходимо вычислить среднеквадратическое отклонение вероятностей p(a_i) состояний систем источников от равновероятного значения и, сравнив полученные результаты, объяснить, почему в одном из вариантов энтропия источника имеет большее значение.

Замечание 9. Необходимо обратить внимание, что в процессе вычислений значений энтропии подтвердились некоторые ее свойства:

• энтропия дискретной системы есть величина вещественная, конечная и неотрицательная;
• H(A/B)=0,7661 бит/состояние< H(A)=1,5007 бит/состояние;
• H(B/A)=0,8098 бит/состояние< H(B)=1,5482 бит/состояние;
• H₃(A,B)=2,3143< H(A)+H(B)=3,0489.

3. Вычисление количества информации в сложной системе
   • Постановка задачи к разделу 3

Используя результаты вычислений первого и второго разделов, вычислить с точностью до четвертого знака следующие значения:

• частную информацию I(a_i,b_k) в сложной системе (A,B) о состоянии системы источника a_i,  если на входе приемника сообщений принят сигнал b_k, ;
• частную информацию I(A,b_k) о системе A, если система B находится в состоянии b_k, ;
• полное количество информации I(A,B) в сложной системе (A,B);
• провести проверку результатов вычислений по всем известным контрольным соотношениям.

Размерность количества информации ¾ бит.

• Выполнение задания к разделу 3

При выполнении задания третьего раздела студенты пользуются следующими формулами:

Приведем итоговые результаты вычислений по формулам (21)…(23).

С целью сокращения объема данной статьи представим значения частной информации I(a_i,b_k), вычисленных согласно (21), в виде матрицы (24).

        бит.               (24)

Представим результаты вычисления частной информации I(A,b_k) согласно (22):

I(A, b₁)=0,9998 бит;

I(A, b₂)=0,5650 бит;

I(A, b₃)=0,7401 бит

и полной информации I₁(A, B), вычисленной согласно (23):

I₁(A,B)=0,7348 бит.

Ошибки вычислений полной информации I₁(A,B) можно обнаружить, вычислив значения известных контрольных соотношений (25)-(27).

I₂(A,B)=H(A)-H(A/B);                                         (25)

I₃(A,B)=H(B)-H(B/A);                                          (26)

I₄(A,B)=H(A)+H(B)-H(A,B)                                (27)

и относительную погрешность вычислений

    (28)

Если погрешность  превышает предельно допустимое значение, следует искать ошибки вычислений.

Для рассматриваемого примера значение полной информации в сложной системе согласно (25)

I₂(A,B)=0,7346 бит,

согласно (26) ¾                           I₃(A,B)=0,7344 бит,

согласно (27) ¾                           I₄(A,B)=0,7354 бит,

при этом относительная погрешность вычислений согласно (28) составляет 

=0,14%.

Замечание 10. При вычислении частной информации I(a_i,b_k), , по формуле (21) необходимо обратить внимание, что, согласно постановке задачи, точность представления вероятностей задана до третьего знака, поэтому и отношение вероятностей  надо вычислять с точностью до третьего знака, а количество информации ¾ с точностью до четвертого знака.

Замечание 11. Необходимо обратить внимание, что в процессе вычислений количества информации подтвердились некоторые ее свойства:

• частная информация I(a_i,b_k), , может быть как положительной, так и отрицательной величиной (24);
• частная информация I(A,b_k), и полная информация I(A,B) ¾ всегда величины неотрицательные;
• при передаче сообщений по каналу с шумом I(A,B)=0,7354 бит < H(A)=1,5007 бит/состояние.

4. Вычисление информационных характеристик источника сообщений и канала связи
   • Постановка задачи к разделу 4

Используя результаты предыдущих разделов, вычислить с точностью до четвертого знака значения следующих характеристик:

• избыточность D источника сообщений A;
• скорость передачи информации R по каналу связи;
• пропускную способность C канала связи;
• коэффициент использования канала связи h;
• скорость передачи сигналов V по каналу связи;
• среднюю вероятность ошибки p_{ош. ср.} при передаче сообщений по каналу связи;
• остаточную энтропию H_ост источника A.

Принять значение среднего времени t передачи одного символа a_i, , равным 0,02мкс.

Сравнить значения вычисленных характеристик со значениями аналогичных характеристик известной системы связи.

• Выполнение задания к разделу 4

При выполнении задания к четвертому разделу студенты пользуются следующими формулами:

Приведем итоговые результаты вычислений по формулам (29)…(35):

D=0,0532;

H_max=1,5850бит/состояние;

R=36,7300Мбит/с;

C=40,9450Мбит/с;

h=89,70%;

V=5010⁶символ/с;

p_{ош. ср.}=0,179;

H_ост.=0,6781 бит/состояние.

На этом этапе проводится итоговый анализ результатов.

Замечание 12. Отметим, что анализ выражения (28) приводит к выводу о том, что значение избыточности источника сообщений стремится к нулю, если энтропия источника сообщений стремится к своему максимальному значению. Таким образом, при сравнении значений избыточности источника сообщений в индивидуальном D_инд и коллективном D_кол вариантах можно воспользоваться замечанием 8 и вычислить среднеквадратическое отклонение вероятностей p(a_i) состояний систем источников от равновероятного значения и, сравнив полученные результаты, объяснить, почему в одном из вариантов избыточность источника сообщений имеет большее значение.

Замечание 14. Значение средней вероятности ошибочного приема        p_{ош. ср.}=0,179 можно интерпретировать следующим образом: из каждых 1000 символов a_i,  источника сообщений A, переданных по каналу связи, искажениям подвергаются 179 символов.

Замечание 15. Значение остаточной энтропии H_ост.=0,6781 бит/состояние можно оценить, вычислив

                                (36)

где  ¾ доля неснятой в процессе передачи сообщений меры неопределенности H(A) системы источника A. Это большое значение  объясняется, в частности, тем, что при передаче букв a₁ и  a₂ вероятности верной передачи (p(b₁/a₁)=0,816 и p(b₂/a₂)=0,915) ближе к единице, чем вероятность p(b₃/a₃)=0,766 верной передачи буквы a₃, при этом вероятности появления букв a₁ и a₂ (p(a₁)=0,215 и p(a₂)=0,295) существенно меньше вероятности появления буквы a₃ (p(a₃)=0,490)), то есть, буква с большей вероятностью появления на входе канала связи передается с меньшей достоверностью.

На основании полученных значений характеристик исследуемой системы связи можно сделать следующие выводы:

• по значению пропускной способности канала связи C и скорости передачи информации R исследуемую систему связи можно сравнить с существующими мобильными сетями WiMAX (стандарт IEEE 802.16e), которые обеспечивают теоретическую пропускную способность до 40 Мбит/с;
• канал связи используется достаточно эффективно (h90%);
• скорость передачи сигналов по каналу связи достаточно высокая;
• избыточность источника сообщений можно считать допустимой;
• характеристики помехоустойчивости системы связи (средняя вероятность ошибки p_ош.ср.=0,179 и остаточная энтропия H_ост=0,6781бит/состояние) являются неудовлетворительными, в результате доля неснятой в процессе передачи сообщений энтропии m0,4519.

Заключение

Реализация представленного подхода требует от преподавателя больших временных затрат на фронтальную проверку каждого задания каждого студента, однако, учитывая низкий уровень подготовки студентов, эти затраты себя вполне оправдывают. Кроме того, это вполне согласуется с современными требованиями: в процессе организации самостоятельной работы студентов возрастает потребность в тьютерской роли педагогов (тьютер ¾ это педагог, всегда готовый помочь каждому студенту его группы преодолеть индивидуальные затруднения при изучении учебных дисциплин).

У внимательного читателя может возникнуть естественное замечание по поводу того, что при выполнении задания практически не используется компьютер (считается, что компьютерная поддержка организации самостоятельной работы студентов становится абсолютно необходимой). По этому поводу можно высказать следующие возражения:

• студенты данного направления подготовки бакалавров (Информатика и вычислительная техника) получают фундаментальную подготовку по работе с компьютером в рамках изучения других дисциплин;
• опыт выполнения такого задания студентами с использованием компьютера оказался неудачным ¾ программа, созданная одним студентом, тиражировалась другими студентами, все сводилось к вводу исходных данных для индивидуального варианта, при этом материал дисциплины не осваивался;
• известно, что компьютерные программы, несмотря на заданную точность вычислений, выполняют округление лишь на последнем этапе вычислительного процесса (но не после каждого действия, как того требует теория погрешностей);
• выполнение данного задания вручную при последующем составлении компьютерной программы фактически обеспечивает подготовку хороших тестовых примеров;
• выполнение задания вручную с анализом результатов на каждом этапе вычислений способствует более глубокому изучению материала дисциплины и приобретению опыта анализа сложных систем.

Список литературы

1. Цымбал В.П. Задачник по теории информации и кодированию. Москва: изд-во Ленанд, 2014. 280с.
2. Цымбал В.П. Теория информации и кодирование. Киев: изд-во Вища школа, 1973. 288 с.[schema type=»book» name=»МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ ОРГАНИЗАЦИИ САМОСТОЯТЕЛЬНОЙ РАБОТЫ СТУДЕНТОВ ПО ДИСЦИПЛИНЕ «ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ И КОДИРОВАНИЯ»» description=»На примере организации выполнения самостоятельной работы по одной из дисциплин подготовки бакалавров направления 09.03.01 «Информатика и вычислительная техника» иллюстрируются приемы, формирующие у студентов системный подход к решению задач проектирования и исследования систем связи.» author=»Щепин Юрий Николаевич, Козлова Елена Вадимовна» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2017-01-31″ edition=»ЕВРАЗИЙСКИЙ СОЮЗ УЧЕНЫХ_31.10.15_10(19)» ebook=»yes» ]