В 2020 г. компания Юрайт опубликовала рейтинг вузов и СПО на базе своей статистики. Официальная цель: проранжировать вузы по качеству цифрового образования.
Юрайт.Статистика выпустила подобный рейтинг в преддверии приемной кампании 2020 года – мы считаем нашей социальной ответственностью дать ориентир абитуриентам. Поскольку дни открытых дверей отменены, а приемные комиссии вынуждены функционировать в дистанционном формате, наш рейтинг призван показать, где в России можно найти качественное цифровое высшее образование.
Познакомиться с рейтингом можно здесь: https://urait.ru/info/stat.
Рейтинг по умолчанию отсортирован по показателю времени учебного взаимодействия (в плеерах).
Давайте порассуждаем, чем такой показатель хорош.
Когда пользователь открывает книгу, видео, тест и т.д., он учится. Значит общее учебное время показывает насколько требовательны преподаватели к освоению учебных дисциплин с помощью учебных ресурсов (т.е. требуют больше, чем на лекциях рассказывают и заучить лекционные материалы недостаточно для сдачи предмета). Действительно в России есть проблема, что для сдачи многих предметов на "5" учебник читать совсем не нужно. А там где таки нужно, говорит о требовательности преподавателей, а значит можно подозревать выше качество обучения.
Ну а дальше Юрайт просто суммирует общее учебное время проведенное на его сервисе всех ассоциированых с вузом пользователей и получает некий простой показатель, по которому и ранжирует вузы, утверждая, что тем самым он ранжирует их по качеству образования и у какого вуза позиция выше, там и образование качественней, такой и надо выбирать для учебы.
Это конечно не так.
Содержание
Как вообще строятся рейтинги[править]
Обычно рейтинги нужны не только чтобы показать место организации среди подобных, но и выступают стимулом к улучшению. В данном случае стимулом активнее использовать Юрайт (во многом в этом и есть интерес коммерческой ЭБС).
Обычно рейтинги не строятся на одном единственном показателе т.к. просто нет одной простой универсальной величины, которая хорошо и комплексно описывала бы организацию. Рейтинги тогда делают так: берут несколько характеристик и складывают их с весовыми коэффициентами. Выбор весовых коэффициентов в значительной степени произволен, как и выбор характеристик, но создатель рейтинга должен обосновать выбор и показателей и весов. Меняя веса, можно направлять развитие организаций в нужную сторону. Скажем в рейтингах вуза может быть доля иностранных студентов, наукометрия, число преподавателей на студента и т.п. показатели и все это с какими-то весами складывается и получается общий рейтинг.
Проблемы рейтинга Юрайт[править]
1) Не указана методика расчета часов[править]
Когда кто-то говорит, что вот сколько пользователь плеер держал открытым, столько он и читал - кажется это простой метрикой. Но давайте подумаем про детали.
Приведу пример: студент открыл в браузере вкладку с книгой, пролистал 3 страницы за 2 минуты, отошел на 10 минут попить чай, компьютер у него ушел в спящий режим, студент после чая заснул, компьютер простоял в спящем режиме 8 часов до утра, студент утром встал, пробудил компьютер, компьютер проснулся там же где заснул (на плеере книги на 3 странице спустя 8 часов 10 минут как студент прекратил читать), студент переключился но новую вкладку, посидел 10 минут в соцсетях, усыпил компьютер, добрался до вуза за 1 час, там включил компьютер, работал 3 часа в других вкладках, потом вспомнил про вкладку с книгой, переключился и закрыл ее.
Сколько времени будет засчитано в статистику?
Есть нюанс: плеер в браузере не знает, что компьютер заснул. Для плеера это выглядит так, что за секунду прошло 8 часов! На стороне плеера в браузере нельзя узнать, что сайт засыпал, нельзя узнать, что студент ушел чай пить, нельзя узнать читает он в данный момент или в другую вкладку переключился. Т.е. измерить точное время в течении которого открыт плеер не так и просто и легко можно наврать в некоторых случаях на часы. А раз типичная длительность работы с учебником обычно не большая и составляет минуты, даже не слишком частое вранье на часы сильно искажает статистику. Конечно, можно ожидать, что ты наврешь по всем вузам примерно равномерно, поэтому места между ними не поменяются. Это так, но тогда надо раскрывать подробно методику, чтобы люди понимали, что то время, которое показывается в статистике не соответствует реальному времени чтения.
В ELiS, например, подсчет числа времени открытия плеера тоже есть, только там более значимым считается не сумма часов когда открыт плеер, а медиана. Хотя и медиана тоже не идеальный показатель, но уж точно лучше, чем сумма всех в кучу. И на примере статистики ELiS я могу показать, что вот эти не закрытые часами вкладки могут завышать общую продолжительность чтения в 20 раз:
На скриншоте ниже представлена статистика одной из установок ELiS в вузе. Общее время открытия плеера считается путем вычитания момента закрытия из момента открытия. Т.е. из примера выше это будет: 2 мин + 10 мни + 8 часов + 1 час + 3 часа. Но еще считается медиана, равная 421 секундам (половина плееров была закрыта за 421 секунду или раньше, а половина через 421 секунду или позже). Если мы умножим медиану на число сессий, то получим время в 20 раз меньше суммарного времени. Т.е. та половина случаев открытия плееров, что больше 421 секунд дала вклад в общую сумму просмотров в 20 раз больший вклад той половины сессий, в которых книги были открыты меньше 421 секунды. Ну а характерным временем чтения книги половиной пользователей является как раз медианные 421 секунды (7 минут), а не среднее значение, равное одному часу!
Поэтому методика расчета времени чтения в ЭБС становится принципиальной, ибо она будет давать завышение где-то в интервале 1-20 раз от действительного времени чтения.
2) Рейтинг исходит из абсолютных величин и мешает всех в кучу по данным одной ЭБС[править]
В каком вузе студенты в часах больше начитали, в том и лучше обучение студентов и в такой вуз и надо поступать. Но действительно ли это так? Давайте сравним позиции 3 и 5 рейтинга.
Казалось бы и общее время и процент студентов использующих Юрайт у юридического вуза заметно больше Кубанского гос. университета. И число начитанных часов больше даже при том, что в кубанском вузе заметно больше студентов!
Но теперь давайте подумаем: для юридического вуза издательство Юрайт естественно является основной ЭБС. А вот про огромного КубГУ тоже самое сказать нельзя! Каков вообще процент студентов, которые по учебникам Юрайта в КубГУ обучается - мы не знаем. И Юрайт не знает. И никак это не учитывает. Т.е. Юрайту в принципе не надо в лоб сравнивать юридический вуз и классический. Если Юрайт не может сосчитать число студентов в вузе, в программу обучения которых входит использование ЭБС Юрайт, то вообще не следует строить какие-либо рейтинги качества обучения!
Ну а если знаешь сколько студентов в вузе должно учиться по книгам в ЭБС Юрайт, то конечно надо и на число книг в программе и на число студентов нормировать! От того, что студенты вуза А начитали в сумме больше студентов вуза Б вовсе не значит, что в А образование лучше. Может если взять студента вуза Б, он читает и учится лучше, просто у него книги не в ЭБС Юрайт лежат. Или в вузе А студентов много, вот в сумме они и начитывают много, а студентов в вузе Б в 10 раз меньше, зато каждый из них читает в 5 раз больше студента вуза А? В каком вузе студенты учатся больше, в том в котором в сумме много читают или в том, в котором каждый студент много читает? Ответ очевиден, да только рейтинг базируется не на относительных величинах!
Чтобы не быть голословным, как думаете, какое место в рейтинге занимает Российская экономическая школа (РЭШ)? А вот смотрите:
Кто-то действительно верит Юрайт, что образование в РЭШ одно из худших в стране?
Выводы[править]
Исходя из описанного, Юрайт в принципе не способен делать на своей статистике национальный рейтинг качества образования.
Юрайт - не первая ЭБС сделавшая свой рейтинг. До этого были рейтинги и у Университетской библиотеки онлайн и у IPRBooks. У предыдущих рейтингов не было абсолютных значений, там просто перечисляли топ-20 вузов по активности использования ЭБС. Юрайт наконец показал абсолютные величины, характеризующие использование ЭБС образовательными организациями. Это хорошо, что абсолютные величины теперь представлены. Только вот делать по этим величинам национальный рейтинг качества образования нельзя, ибо этот рейтинг не соответствует действительности (т.е. не отображает объективно качество "цифрового образования" или скорее качество обучения).
Юрайту могу посоветовать быть скромнее и делать как конкурирующие ЭБС: представлять "Рейтинг использования ЭБС Юрайт образовательными организациями". Без претензий на национальный рейтинг качества образования.