ОЦЕНКА ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ТЕСТОВ И ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

К числу факторов, снижающих эффективность обучающих технологий, относится субъективность оценок, выставляемых преподавателями на различных этапах обучения студентов. Известно, что для снижения влияния такого рода факторов используются машинные методы тестирования. Практический интерес представляет задача объективной оценки знаний студентов, изучающих разделы общей физики в рамках университетского курса.

1 Постановка задачи

Задача оценки знаний формулируется в следующей постановке. Создается тест, вопросы которого относятся к одному из выбранных разделов. Каждый из этих вопросов предполагает выбор одного из нескольких вариантов ответов и кодируется 0, если ответ выбран неправильно, или 1, если правильно. Заметим, что любой сложный вопрос можно представить в виде конечной последовательности из M элементарных высказываний, ответами на которые являются бинарные переменные x1, ..., xM. При этом значимость коэффициентов l1, ..., lM переменных x1, ..., xM может быть различной.

2 Методы решения

Информация о величине коэффициентов l1, ..., lM важна для выбора метода принятия решения. Если все ответы имели бы равную значимость, т.е. l1 = l2 = ... = lM, или же значимость каждого из них была бы известной, можно было бы применить широко известный метод суммирования баллов. Однако такой подход требует предварительного изучения коэффициентов l1, ..., lM и соответствующих порогов u1, ... up принятия p = 4 решений (баллов 2, 3, 4 и 5) на достаточно представительном классифицированном материале.

Сбор и объективный анализ этих данных представляет собой достаточно трудную задачу. Объективность принятого решения в рамках этого метода полностью зависит от качества оценок коэффициентов l1, ..., lM. Несмотря на эти ограничения, благодаря своей простой реализации данный метод является наиболее распространенным для оценки знаний.

2.1 Применение нейронных сетей

Использование искусственных нейронных сетей позволяет решить поставленную задачу без явного определения оценок коэффициентов l1, ..., lM и порогов u1, ... up. В известных подходах предварительно задается архитектура нейронной сети (как правило, выбирается многослойный перцептрон с заданным количеством нейронов и слоев). Далее формируется обучающая выборка XY:

X = (x(1), ..., x(n))T, Y = (y1, ..., yn)T,

составленная из n примеров решений yi = {2, 3, 4, 5}, i = 1, ..., n, относящихся к оценке знаний i-го студента по тесту x(i) = (x(i)1, ..., x(i)M).

Каждый из этих примеров тщательно анализируется для того, чтобы в дальнейшем исключить необъективные решения. Для обучения нейронных сетей чаще всего используются методы обратного распространения ошибки. Для успешной реализации этих методов требуется несколько сотен обучающих примеров. Алгоритмы этого типа не всегда приводят к желаемому результату, если обучающая выборка составлена всего из нескольких десятков примеров.

3 Самоорганизация нейронной сети

Перечисленные недостатки в меньшей степени свойственны нейронным сетям, структура и параметры которых определяются в процессе обучения методом самоорганизации А.Г. Ивахненко. Однако результаты самоорганизации остаются зависимыми от некоторых задаваемых извне условий. Ниже представлены экспериментальные результаты, полученные с помощью предложенного нами алгоритма самоорганизации.

4 Экспериментальные результаты

Обучающая выборка была составлена из n = 23 примеров ответов на M = 15 вопросов, относящихся к одному из разделов физики. Первоначально в выборке присутствовало соответственно 2, 8, 9 и 4 примеров, оцененных на бинарном тесте 2, 3, 4 и 5 баллами. Упомянутый метод суммирования баллов ошибается на этой выборке два раза. Обученная нейронная сеть состоит из коллектива L = 4 нейронов, описываемых нелинейным полиномом Колмогорова-Габора, и обеспечивает безошибочную классификацию всех обучающих примеров. Сложность каждого нейрона оценивалась количеством r слоев и числом m входных переменных. Для наилучшего полинома значения r = 14 и m = 15, а суммарная величина абсолютной ошибки

e = S i|yi - y'i | = 4.42,

где y'i - реакция обученной нейронной сети на i-й пример.

Среднее отклонение имеет величину 0.19 балла. Заметим, что на одном из обучающих примеров все нейроны вырабатывали одинаковую ошибку. Это указывает на неточную классификацию примера, и поэтому в процессе обучения он был заменен другим, в результате чего качество обучения улучшилось. Окончательные решения принимались большинством голосов.

5 Выводы

Таким образом, приведенные результаты показывают, что для принятия решений по оценке знаний студентов, ответивших на тесты, могут быть успешно использованы искусственные нейронные сети, обученные методом самоорганизации. Структура нейронных сетей, синтезированных этим методом, не зависит от субъективных факторов и содержит минимальное количество нейронов. Предложенный метод может быть использован для эффективной организации учебного процесса.

Back to Home