В экспериментальном режиме для заданий H5P добавлена учебная аналитика, работающая на анализе событий xAPI.
Аналитика сообщает сколько уникальных пользователей просмотрело ресурс (успешно или неуспешно выполнило заданий), трудность/легкость заданий и дискриминативность.
Трудность[править]
Трудность = (число пользователей, не выполнивших задание) / (общее число пользователей отправивших ответ на задание).
Если трудность близка к 0 - значит все легко отвечают на задание и возможно его надо усложнить.
Если трудность близка к 1 - значит задание слишком трудное, мало кто его может выполнить.
Пользователи, открывшие задание и не ответившие на него не учитываются.
Легкость[править]
Легкость = (число пользователей, выполнивших успешно задание) / (общее число пользователей отправивших ответ на задание).
Если легкость близка к 0 - значит задание слишком трудное и его стоит упростить.
Если легкость близка к 1 - значит задание слишком простое и его стоит усложнить.
Пользователи, открывшие задание и не ответившие на него не учитываются.
Дискриминативность[править]
Насколько задание хорошо различает тех, кто много знает и тех, кто знает мало.
Вычисляется как указано здесь. В начале считаются уникальные пользователи. Затем по ним смотрится кто из них отправлял ответ на конкретное задание и берутся только те, кто ответил успешно (но при этом мог набрать разное количество баллов). Дальше эти пользователи выстраиваются в ряд по числу правильных ответов во всем тесте (включающем как текущее задание, так и другие) и делятся на две группы: 25% пользователей набравших наименьшее количество баллов и 25% набравших наибольшее количество баллов и из большего вычитается меньшее и результат делится на число пользователей в группе. Т.о. дискриминативность показывает разницу между баллами сильной четверти группы и слабой четверти группы.
Если дискриминативность близка к нулю, значит задание сильных и слабых обучающихся не различает и следует усложнить задание.
Если дискриминативность отрицательна, значит сильная группа отвечает на это задание хуже слабой и возможно есть проблемы с самим заданием.
Если задание состоит только из одного варианта ответа (например True/False) - дискриминативность такого задания всегда равна нулю.
Аналитика для банка ресурсов[править]
Положим у вас есть банк ресурсов и вы в течении некоторого промежутка времени T провели А/Б-тестирование, разместив в банке два задания.
Чтобы сравнить результаты для двух заданий надо открыть каждое из заданий и просмотреть отчеты. Обратите внимание, что сравнивать надо за тот же промежуток времени T, в течении которого вы проводили А/Б-тест, а не за всё время существования ресурса.