home

Добавлена учебная аналитика на основе данных xAPI в H5P

playlog-education-analytics.png

В экспериментальном режиме для заданий H5P добавлена учебная аналитика, работающая на анализе событий xAPI.

Аналитика сообщает сколько уникальных пользователей просмотрело ресурс (успешно или неуспешно выполнило заданий), трудность/легкость заданий и дискриминативность.

Трудность[править]

Трудность = (число пользователей, не выполнивших задание) / (общее число пользователей отправивших ответ на задание).

Если трудность близка к 0 - значит все легко отвечают на задание и возможно его надо усложнить.

Если трудность близка к 1 - значит задание слишком трудное, мало кто его может выполнить.

Пользователи, открывшие задание и не ответившие на него не учитываются.

Легкость[править]

Легкость = (число пользователей, выполнивших успешно задание) / (общее число пользователей отправивших ответ на задание).

Если легкость близка к 0 - значит задание слишком трудное и его стоит упростить.

Если легкость близка к 1 - значит задание слишком простое и его стоит усложнить.

Пользователи, открывшие задание и не ответившие на него не учитываются.

Дискриминативность[править]

Насколько задание хорошо различает тех, кто много знает и тех, кто знает мало.

Вычисляется как указано здесь. В начале считаются уникальные пользователи. Затем по ним смотрится кто из них отправлял ответ на конкретное задание и берутся только те, кто ответил успешно (но при этом мог набрать разное количество баллов). Дальше эти пользователи выстраиваются в ряд по числу правильных ответов во всем тесте (включающем как текущее задание, так и другие) и делятся на две группы: 25% пользователей набравших наименьшее количество баллов и 25% набравших наибольшее количество баллов и из большего вычитается меньшее и результат делится на число пользователей в группе. Т.о. дискриминативность показывает разницу между баллами сильной четверти группы и слабой четверти группы.

Если дискриминативность близка к нулю, значит задание сильных и слабых обучающихся не различает и следует усложнить задание.

Если дискриминативность отрицательна, значит сильная группа отвечает на это задание хуже слабой и возможно есть проблемы с самим заданием.

Если задание состоит только из одного варианта ответа (например True/False) - дискриминативность такого задания всегда равна нулю.

Аналитика для банка ресурсов[править]

Положим у вас есть банк ресурсов и вы в течении некоторого промежутка времени T провели А/Б-тестирование, разместив в банке два задания.

Чтобы сравнить результаты для двух заданий надо открыть каждое из заданий и просмотреть отчеты. Обратите внимание, что сравнивать надо за тот же промежуток времени T, в течении которого вы проводили А/Б-тест, а не за всё время существования ресурса.