Тестирование работы на мобильных устройствах распространенных электронных библиотек средствами Google

Постепенно растет число переходов в электронную библиотеку с мобильных устройств. Так в ELiS более 15 процентов пользователей - мобильные, из которых 2/3 - пользователи смартфонов и только 1/3 - планшетов. Среди пользователей перешедших из Google число мобильных уже 30%. И доля мобильных пользователей постоянно растет.

Если сайт не адаптировали для мобильных устройств, загрузка страниц может занимать 15-20 секунд и пользоваться таким сайтом будет совершенно невозможно.

Так возникла идея провести тестирование распространенных в России электронных библиотек, чтобы понять общее состояние. В тестировании приняли участия распространенные инсталлируемые библиотеки, внешние ЭБС и несколько сервисов.

Тест проводился средствами Google PageSpeed Insights с помощью сайта: https://testmysite.thinkwithgoogle.com

Также в тест была добавлена информация по загрузке страницы, снятая из браузера Google Chrome с помощью средств разработчика.

Таблица результатов (редактируемая): https://docs.google.com/spreadsheets/d/1ZWotxrJVbRbT1E2pOsoFl9MvASve0oo2HMfrX-V3BqM/edit?usp=sharing и вы можете сами внести какие-то уточнения или добавления, если какая-то система не была упомянута.

Источник таблицы результатов в формате Excel: http://elibsystem.ru/sites/default/files/user/ars/blog/libraries/mobile_friendly_2016/speed-comparision.xlsx

Содержание

1 Тестирование главной страницы сайта
2 Тестирование программы чтения (плеера)
- 2.1 Методика тестирования скорости работы плеера документов
- 2.2 Результаты тестов оптимизации плееров
3 Победители
4 Выводы

Тестирование главной страницы сайта[править]

Методика тестирования[править]

В https://testmysite.thinkwithgoogle.com загружалась главная страница электронной библиотеки. Если происходила автоматическая переадресация на мобильную версию сайта, то тестировалась именно мобильная версия.

У такой методики есть очевидный недостаток: первая страница может быть перегружена маркетинговой информацией или происходить вывод формы авторизации. Но с этим недостатком приходится мириться т.к. либо пользователь сразу приходит на просмотр нужного документа из поиска (и это тестируется в следующем тесте), либо по ссылке на основной сайт и скорость этого сайта все равно важна.

В таблице три измеряемых с помощью сервиса https://testmysite.thinkwithgoogle.com параметра:

mobile friendliness - насколько интерфейс адаптирован к экрану смартфона;
mobile speed - насколько быстро сайт будет загружаться на мобильных устройствах;
desktop speed - насколько быстро сайт будет загружаться на десктопах.

Параметр "среднее" - простое среднее трех измеренных параметров. Именно по нему проведена сортировка результатов.

Работа на десктопах является вспомогательным параметром. На него имеет смысл ориентироваться при доступе к библиотеке по низкоскоростным сетям (отсутствие широкополосного интернета или его дороговизна).

Еще 5 параметров измерялись средствами разработчика под Google Chrome со следующими параметрами:

Эмулируемое устройство: iPhone4 (320x480);
Пресет для эмуляции задержек сети: "Good 3G" (40мс, 1.5 Mb/s, 750 kb/s);
Disable cache: включен.

Каждая тестируемая страница перезагружалась в браузере (без закрытия браузера), чтобы исключить непрогретый кеш на стороне тестируемого сервера. Фиксировались значения второй загрузки страницы.

Пояснения параметров:

3G good, DOMContentLoaded, сек - за сколько секунд с начала загрузки полностью загружен DOM (построена структура страницы). Обычно это время, когда страница отрисована, но интерактивная составляющая еще активирована не полностью (страница еще не загрузилась).
3G good, Load, сек - через сколько секунд с начала загрузки страницы произошло завершение выполнения JavaScript встроенного непосредственно в страницу и выполняющего вместе с загрузкой DOM. Обычно (но не всегда), это время близко к отображению интерфейса плеера.
3G good, Финиш сек - за сколько секунд страница была полностью загружена. Обычно это время в течении которого был полностью загружен весь контент, включая первую страницу книги и все присутствующие на странице рисунки (баннеры) и т.п.
3G good, Requests - число сделанных запросов до окончания загрузки.
3G good, Передано КБ - сколько скачано КБайт за время загрузки.

Подробно стоит пояснить только определение окончания загрузки. Обычно это делается по событию Load, но на практике еще некоторое время могут грузиться отрендеренные страницы и другие рисунки и фактически время окончания определялось по первому длительному интервалу времени в течении которого ничего по сети не грузилось.

Конечно, методика чувствительна к конкретному тестируемому документу и это надо учитыать при интерпретации результатов.

Скорость работы сайтов электронных библиотек на мобильных устройствах[править]

Обратите внимание на количестве переданных данных. Чем больше данных передается, тем сильнее будет отставании плеера в низкоскоростных сетях.

Интерпретация результатов для сайтов[править]

Адаптированный сайт с хорошей скоростью работы[править]

Абсолютным лидером является КиберЛенинка! У нее по всем показателям хорошие результаты. Только эту библиотеку можно считать оптимизированной для мобильных устройств.

Адаптированный сайт с умеренной скоростью работы[править]

Затем вполне ожидаемо находятся хорошо-развитые коммерческие библиотеки-магазины: MyBook и ЛитРес, а между ними...

Инсталлируемая библиотека ELiS!

Наилучший результат из внешних ЭБС у Гребенникова.

Адаптированный сайт с плохой скоростью работы[править]

Дальше плотная группа из Айбукса, Xerox ПЭБ, НЭБ, Книгафонда.

Плохая работа на мобильных устройствах[править]

Остальные протестированные библиотеки можно признать неадаптированными для работы на мобильных устройствах. На самом деле у Dspace и IPRBooks есть мобильный интерфейс, но общая скорость работы низкая.

Тестирование программы чтения (плеера)[править]

Скорость работы сайта важна когда пользователь начинает свой поиск с главной страницы. В тоже время, сейчас довольно много переходов из поиска сразу на проигрыватель документа. Поэтому такую модель надо тоже протестировать и она является даже более важной т.к. человек приходит в библиотеку именно чтобы почитать и переход на страницу плеера с документом и есть цель существования библиотеки.

Методика тестирования скорости работы плеера документов[править]

Вначале искалась библиотека в которой загружены документы и к которым можно получить доступ неавторизованному пользователю. Из найденных книг выбиралась такая, которая не содержит цветные изображения, а представлена прежде всего черным текстом на белом фоне. Сделано это потому, что многие библиотеки рендерят книгу удаленно и присылают в браузер уже отрендеренную страницу. Объем отрендеренной страницы, конечно, может сильно отличаться от случая когда используется текст и графический рисунок с большим количеством шумов в следствии оцифровки.

У некоторых библиотек нет плеера, а есть просто ссылка для скачивания PDF. В таком случае библиотека помечалась не прошедшей тестирование. Но, по возможности, измерялась страница с которой происходит скачивание PDF или запуск плеера. Однако, раз тестирования плеера не было, эти библиотеки идут отдельным зачетом. При этом ЛитРес, MyBook и БиблиоТех не были протестированы т.к. открытие этих библиотек закачивалось перенаправлением на форму авторизации и нет оснований полагать, что измерения скорости формы авторизации имеют какое-то отношение к скорости загрузки плеера.

Результаты тестов оптимизации плееров[править]

Адаптированный сайт с хорошей скоростью работы[править]

Опять с большим отрывом победила КиберЛенинка!

Адаптированный плеер с умеренной скоростью работы[править]

Таких нет.

Адаптированный плеер с плохой скоростью работы[править]

Лучшим плеером из инсталлируемых ЭБС обладает ELiS.

Xerox ПЭБ идет к ELiS достаточно близко.

Здесь только две инсталлируемые библиотеки. Все внешние ЭБС (скорость которых была измерена) оказались неадаптированными.

Неадаптированный плеер с плохой скоростью работы[править]

Средство тестирования Google PageSpeed Insights считает плееры Лани и Znanium приемлемыми, но не адаптированными для мобильных устройств. В принципе, сюда же мог попасть и плеер Юрайт, но его скорость оказалась слишком низка.

Плохой плеер с плохой скоростью работы[править]

НЭБ, OJS (версия ELPUB), Научный архив, Университетская библиотека онлайн - все обладают плохими плеерами.

НЭБ:

OJS (ELPUB):

Научный архив:

Университетская библиотека онлайн:

Biblio STOR-M

Неадаптированный плеер с плохой скоростью работы[править]

Плеер Юрайт весьма неплох, но скорость работы не позволила ему формально конкурировать с остальными.

Не прошедшие тестирование[править]

Библиотека Гребенникова показала довольно неплохие результаты, могла бы претендовать на лидерство среди внешних ЭБС, но в этой библиотеке файлы просто скачиваются, поэтому измерение скорости работы плеера для нее не имеет смысла.

Для Biblio STOR-M найти работающий плеер не удалось. В единственном общедоступном сайте с мобильным интерфейсом просто не удалось найти ни одну книгу которую можно было бы открыть.

Айбукс перенаправляет на форму авторизации.

Руконт с Dspace распространяют файлы.

ИРБИС+ хоть протестировать и не удалось, но код плеера прогружается по указанному URL, поэтому приведенные результаты можно считать близкими к случаю если бы удалось провести тестирование.

Победители[править]

Из внешних сервисов с большим отрывом побеждает КиберЛенинка! Она же является абсолютным победителем тестирования.

Среди инсталлируемых библиотек побеждает ELiS!

Среди внешних ЭБС однозначного победителя нет. Сайт быстрее всех работает у Гребенникова, но в тестировании плееров эта ЭБС не приняла участия. Самый лучший плеер из протестированных у Лани, но вот сайт является плохо-оптимизированным середнячком и точно такая же ситуация у Znanium - одержать победу мешает недостаточно-оптимизированный сайт.

Выводы[править]

Только одну библиотеку можно назвать полностью оптимизированной для мобильных устройств.

Разработчики электронных библиотек обратили внимание на мобильных пользователей. Половина сайтов оптимизировала интерфейс для работы на мобильных устройствах. Но, как показало тестирование, только оптимизированного интерфейса недостаточно и надо решать вопросы и со скоростью работы на мобильных устройствах.

При тестировании плеера три библиотеки оказались полностью неработоспособны из-за использования Flash Player.

Плееры половины библиотек протестировать не удалось или из-за ограничения доступа или потому, что показ через плеер не используется и предлагается скачать незащищенный файл PDF. Отсутствие плеера в таком случае не означает, что библиотеки принципиально плохи. Просто они не участвовали в подведении итогов.

Тестирование выявило два плеера инсталлируемых библиотек, опережающих все ЭБС: ELiS и Xerox ПЭБ. Если сравнить эти плееры, то у ELiS контент адаптируется к размеру экрана пользователя, что в разы снижает объем передаваемых данных. Также чисто визуально плеер ELiS загружается заметно быстрее Xerox ПЭБ.

Лань, Znanium и Юрайт в этом году обновили свои плееры и они действительно стали лучше. Но все-же они не имеют ни одной зеленой отметки по тестам PageSpeed Insights. Разработчикам еще надо будет над ними поработать. По большому счету, всем кроме КиберЛенинки еще надо работать над плеерами.

С другой стороны, тестирование нельзя назвать всеобъемлющим, оно затрагивает только два легко-измеримых и повторяемо-измеримых параметра: загрузка главной страницы электронной библиотеки и загрузка плеера. На самом деле имеют значение и скорость чтения и скорость навигации и удобство поиска... Про скорость навигации и чтения предлагаю посмотреть этот небольшой фрагмент доклада на Конференции Крым-2016: .