home

Проведение А/Б-тестов

Представим ситуацию, что у вас есть какой-нибудь ресурс H5P и по результатам аналитики вы видите, что у этого ресурса есть проблемы с каким-то из заданий. Вы исправляете это задание, но как понять стало лучше или хуже?

В более общем случае надо сравнить два ресурса, чтобы измерить эффективность.

Для решения этой задачи в ELiS есть модуль ELiS Resource Bank.

Идея[править]

В папку помещается два ресурса и когда пользователь открывает папку, помеченную, что она работает не обычной папкой, а в режиме банка ресурсов, пользователю выдается один из случайно размещенных в ней ресурсов.

Вы приводите на эту папку множество пользователей и их случайным образом распределяет по ресурсам в папке. Дальше смотрите аналитику по каждому из ресурсов, чтобы понять, какой лучше.

То есть ставится эксперимент и по результатам можно не просто предполагать, а измерить.

Как провести эксперимент[править]

Для проведения эксперимента:

  • создайте папку;
  • у созданной папки в поле типа папки установите банк ресурсов;
  • добавьте в папку два или больше ресурсов, которые участвуют в эксперименте;
  • отправьте пользователям ссылку на папку (не на конкретный ресурс, а на папку);
  • проведите эксперимент, желательно участие 500+ пользователей. Не проводите эксперимент на малом числе пользователей, на 20-30 пользователях собранная статистика будет иметь слишком большую погрешность, чтобы ею можно было пользоваться;
  • закончив эксперимент просмотрите статистику, для этого можно открыть вкладку отчетов как с ноды папки, так и по отдельности просмотреть статистику по каждому участвующему в эксперименте ресурсу.

Советы[править]

Обратите внимание:

  • чем больше ресурсов тестируете, тем больше надо пользователей пропустить для приемлемой точности;
  • при анализе смотрите (отфильтруйте) аналитику только за промежуток времени, в котором шел эксперимент (не за все время существования ресурса);
  • по малому числу измерений (пришедших пользователей) нельзя делать достоверные выводы;
  • А/Б-тесты могут проводиться не только для улучшения тестов, но и для улучшения теории, для этого меняйте теорию и смотрите какие результаты тестов будут с её изменением;
  • помните при анализе заданий, что пользователя должны быть распределены равномерно и анализ надо делать именно по времени проведения эксперимента.
  • помните: то, на сколько хорошо обучающиеся решают задачи, зависит не только от качества ресурса, но и от того, насколько группа сильна;
  • если вы меняете ресурс, то эксперимент надо проводить заново.

Как понять, что видят пользователи[править]

Создатель ресурса (имеющий права на редактирование папки) будет видеть не случайный ресурс, а все ресурсы. Сделано это чтобы он легко мог их увидеть и отредактировать. Чтобы увидеть банк ресурсов глазами пользователя откройте его в анонимном режиме (не под своим пользователем).

Сколько пользователей достаточно[править]

Положим вы считаете, что улучшили какую-то характеристику ресурса (например процент успешно сдавших задание). Сколько надо пользователей привести на А/Б-тест, чтобы считать, что измеренная разница между А и Б статистически значима и не является просто случайным отклонением (а на самом деле А и Б не отличаются по сравниваемому параметру)?

Для этого воспользуйтесь калькулятором: https://mindbox.ru/ab-test-calculator/

В калькуляторе в среднем показатели введите тот параметр, который вы проверяете, а в ожидаемый абсолютный прирост на сколько процентов вы предполагаете, что средний показатель (например процент успешно сдавших задание пользователей) изменится.

Калькулятор покажет сколько пользователей вам надо привести, чтобы измеренный абсолютный прирост был статистически достоверным.

Отличие А/Б-тестов от банка заданий[править]

Отличий A/B-тестов от банка с множеством заданий нет. Именно поэтому оно называется банком ресурсов, а не банком заданий.

Поэтому для А/Б-тестирования можно использовать инструкцию для банка ресурсов: