Производительность браузера Brave v.1.0

[FP91G]

Перевод статьи
https://brave.com/brave-one-dot-zero-performance-methodology-and-results/

Обеспечение доступа в Интернет для всех, благодаря встроенным средствам защиты, конфиденциальности и значительному повышению эффективности
Этот блог был написан доктором Andrius Aucinas, доктором Matteo Varvello, исследователями производительности  Brave, и доктором Ben Livshits, главным научным сотрудником Brave.

В 2019 году Brave достигла важного результата с выпуском версии 1.0. Как и прежде, производительность веб-браузера является ключевым приоритетом для Brave, поэтому мы решили подробно оценить, как он соотносится с конкурентами, и разработали методологию для этого. В нашем руководстве«1.0 reviewer guide» мы суммировали значимые результаты, которые могут ожидать наши пользователи. В духе прозрачности мы представляем нашу методологию и подробные результаты.
https://brave.com/press/1.0-REVIEWERS-GUIDE.pdf

Brave имеет открытый исходный код и построен на основе 2х проектов с открытым исходным кодом: проекта Chromium и rendering engine от Blink. Проект Chromium был создан Google на основе Apple WebKit. Цель состояла в том, чтобы взять на себя работу Google по созданию Chrome и создать общее ядро ??для любого браузера, который хочет его использовать. Chromium - теперь "строительный блок" для большинства современных веб-браузеров. Использование Chromium в качестве основы позволяет небольшой команде Brave сконцентрироваться на создании мощных функций, которые выделяют браузер, а не на интерфейсе просмотра веб-страниц, как у других браузеров.

ольшинство веб-сайтов пытаются отправить большие объемы данных, из которых только немногое - это контент, который пользователь действительно хочет видеть. Остальное - это реклама, трекеры и другие материалы, для загрузки которых требуется дополнительное время и данные, они занимают место в памяти и требуют больше процессорного времени и мощности для обработки. Из-за того, что Brave блокирует все это, он значительно быстрее, чем  другие браузеры. И это вдвойне лучше для медленных или более медленных соединений, где каждый случайный цикл процессора или бит оперативной памяти имеет значение.

Для оценки версии 1.0 мы собрали комплексный стенд, в котором Brave сравнивается с Chrome, Firefox, Opera и Edge на Windows, MacOS и Android. Мы используем тестовую платформу для сравнения этих браузеров с точки зрения использования памяти, скорости загрузки страницы, использования данных и потребления ресурсов, а также традиционных синтетических тестов производительности. Мы подробно обсудим методологию и способы, которые мы использовали при разработке v 1.0, о которой мы писали выше:  Brave в итоге загружает популярные веб-страницы в 3-6 раз быстрее, при этом используя около половины памяти и мощности, а также треть данных, экономя секунды времени и мегабайты данных для каждой загрузки страницы.

Тестовая платформа
Железо и софт

Оборудование в нашем испытательном стенде включало:

MacOS: модель 2015 года с процессором Intel i5, 16 ГБ ОЗУ и MacOS 10.14.4. Все тесты выполняются на новой учетной записи пользователя MacOS с настройками по умолчанию и только запущенным тестируемым браузером.

Windows: Lenovo Ideapad 110 с процессором Intel i3, 8 ГБ памяти, Windows 10. Тесты выполняются на новой учетной записи пользователя Windows, с настройками по умолчанию и только запущенным тестируемым браузером.

Android: Samsung J7DUO (2018), оснащенный Android 9.0, Octa-core (2x2,2 ГГц Cortex-A73, 6x1,6 ГГц Cortex-A53), 4 ГБ памяти и батареей на 3000 мАч.

Для данного браузера мы оцениваем его самую последнюю стабильную версию. В случае Opera и Edge (для настольных компьютеров) мы используем  их бета-версии.

Это данные о  конкретной тестируемой версии для каждой платформы.

Brave 0.71.97 (Chromium 78.0.3904.50), Brave 1.4.2 on Android
Оба были кандидатами на выпуск Brave 1.0
Chrome 78.0.3904.63, Chrome 78.0.3904.62 on Android  
Firefox 69.0.3, Firefox 68.2.0 on Android
Opera Beta 65.0.3457.7 (Chromium 78.0.3904.21), Opera 54.0.2672.49578 on Android
Edge Beta 78.0.276.19 on MacOS, Edge 44.18362.387.0 on Windows
Safari 13.0.2 on MacOS

Параметры
Наша оценка производительности фокусируется на двух основных областях: использование ресурсов (процессор, память, батарея) и скорость (время загрузки страницы). Что касается использования ресурсов, идеальным сценарием является мониторинг всех ресурсов на наших платформах. Это не всегда практично по причинам, которые мы кратко объясним, но мы утверждаем, что это также не нужно.

Например, использование батареи гораздо важнее на мобильных устройствах, чем, например, на ноутбуках, которые часто подключены к линии электропередачи. Учитывая, что точные измерения батареи требуют подключения тестера питания к тестируемому устройству - что еще менее практично для ноутбука - и учитывая приведенный выше аргумент, мы ориентируемся только на нашу мобильную платформу для этого показателя. Точно так же управление памятью довольно своеобразно на мобильных устройствах, когда фоновые приложения агрессивно приостанавливаются при обнаружении нехватки ресурсов. Соответственно, мы измеряем использование памяти только на MacOS и Windows.

Что касается «скорости», не существует единой универсальной метрики производительности для браузера или веб-страницы. Ниже мы представляем три популярных метрики, которые охватывают различные аспекты по  производительности.

First Paint(Первая краска) измеряет, сколько времени требуется браузеру, прежде чем вывести что-либо на экране. Точно так же  First Meaningful Paint измеряет, сколько времени требуется, чтобы самое большое изображение прогрузилось, и SpeedIndex отражает, сколько времени требуется для загрузки визуального содержимого. Только First Paint стандартизирован и доступен во всех браузерах.

Page Load Time (Время загрузки страницы) измеряет, когда весь документ с его подресурсами загружен. Дополнительный контент часто загружается после того, как браузер пометил документ как «завершенный», например, средами приложений, такими как React или AngularJS, загружающими ресурсы по запросу, или трекерами и рекламными объявлениями, добавляемыми явно после загрузки главной страницы.

Fully Loaded Time (Время полной загрузки) показывает, сколько времени требуется, чтобы трафик остановился. В частности, страница считается полностью загруженной, если в течение 5 секунд не было сетевого трафика. Цель этого показателя - отразить постоянное использование ресурсов устройства, а не пользовательский опыт.

Мы считаем, что метрики, ориентированные на показ изображений, лучше всего работают на относительно чистых страницах, но плохо отражают данные на страницах, на которых установлены десятки трекеров, загружают несколько объявлений  или отображаются уведомления о согласии, которые закрывают половину экрана. Время загрузки страницы, с другой стороны, измеряет время загрузки основного документа и коррелирует с показателями загрузки, которые обычно замечают пользователи. Точно так же время полной загрузки, даже если оно не заметно для пользователей, указывает на шумность страницы и коррелирует с продолжительным использованием процессора и памяти. Поэтому мы указываем как время загрузки страницы, так и время полной загрузки в качестве ключевых показателей производительности загрузки страницы.

Нагрузка
Для наших реальных тестов использования мы произвольно выбрали 35 URL-адресов  новостных статей,целевых страниц и контента для покупок. Полный список доступен вместе с кодом, который мы использовали для автоматизации.
https://github.com/brave-experiments/browser-comparison-toolkit/blob/master/scenarios/fullset.txt
https://github.com/brave-experiments/browser-comparison-toolkit

Используя набор страниц, мы генерируем различные рабочие нагрузки, наиболее подходящие для каждого измерения. Для измерения скорости браузера мы загружаем каждую страницу отдельно, чтобы минимизировать их влияние друг на друга. Что касается памяти, мы смотрим на комбинации разных страниц и выбираем разное количество вкладок, открытых одновременно, чтобы посмотреть нагрузку  для начинающих, средних и опытных пользователей. Мы моделируем количество вкладок на данных, собранных Brave в рамках анализа продуктов, сохраняющих конфиденциальность:  данные показывают, что у 42% пользователей открыто от 2 до 5 вкладок, а у 15% пользователей открыто от 11 до 50 вкладок!

На мобильных устройствах мы изучаем страницы по категориям в рамках двух различных автоматизациях. Во-первых, мы предполагаем простую загрузку страниц, при которой каждая страница в рабочей нагрузке загружается последовательно - каждый раз при открытии новой вкладки в браузере - до 60 секунд. Далее, мы предполагаем интерактивную загрузку страницы, где через 60 секунд наша автоматизация эмулирует некоторое взаимодействие пользователя со страницей, прокручивая страницу вверх и вниз в течение следующих 60 секунд.

Desktop Benchmarking
Наш испытательный стенд для настольных ПК состоит из двух ноутбуков среднего класса на Windows и MacOS. Чтобы минимизировать вариативность, мы настраиваем новую учетную запись пользователя перед сравнительным тестированием и устанавливаем проверяемые браузеры заново. Мы автоматизируем все тесты с помощью пользовательских сценариев оболочки (Bash для MacOS и PowerShell для Windows) и сторонних инструментов.

Мы провели тесты через VPN-соединение с VPN-сервером, работающим на сервере Amazon Web Services в регионе США. Это замедлило наш быстрый домашний WiFi до скорости загрузки и выгрузки около 30 Mbps и задержки до 100 мс. Это не так быстро, как при прямом оптоволоконном соединении, но все же лучше, чем то, у многих пользователей в других странах и в США.  Мы должны были поддерживать местоположение в США во всех тестах из-за различий между здешним контентом и европейским, из-за гораздо более строгих европейских правил, защищающих конфиденциальность пользователей.
https://www.speedtest.net/insights/blog/2018-internet-speeds-global/

Скорость загрузки страницы
Самым заметным отличием для пользователей Brave является скорость загрузки веб-сайтов . Скорость зависит от комбинация различных параметров: производительность самого устройства и других задач, которые оно может выполнять параллельно, производительность сети, структура загружаемой страницы и, наконец, производительность самого браузера. Мы стремимся оценивать Brave в реальных условиях: на устройствах среднего уровня, скорости соединения в жилых помещениях и реальных веб-страницах.

Для всех настольных тестов мы использовали Browsertime, заботясь о том, чтобы перезапускать браузер и очищать кеш перед каждым тестом. Browsertime обращается к стандартным API-интерфейсам браузера для получения метрик производительности загрузки страницы (например, времени загрузки страницы) и информации о сетевых запросах. Мы рассчитываем время полной загрузки, анализируя информацию о сетевых запросах.



В Windows Brave работает значительно быстрее других как по времени загрузки страниц (PLT) так и по времени полной загрузки (FLT): в среднем Brave экономит 7,2 секунды на PLT и 9,6 секунды для полной загрузки страницы. В среднем получается  чуть менее 6 секунд, для обоих случаев. В MacOS, Firefox Brave экономит около 13 секунд как в среднем, так и в среднем случае на PLT, а также колоссальные 20 секунд в FLT (16 секунд в среднем).

love poems by unknown writers

На MacOS, несмотря на то, что ноутбук немного мощнее, чем на Windows, картинка довольно схожая, главное отличие в том, что производительность Firefox больше соответствует Chrome и Opera. Тем не менее, Brave по-прежнему загружает страницы на 10 секунд быстрее, и на 7,5 секунд в среднем случае.

[1715428739]

1715428739

[1715428739]

1715428739

[1715428739]

1715428739

[1715428739]

1715428739

[1715428739]

1715428739

[1715428739]

1715428739

[FP91G]

Использование памяти
Brave также использует меньше памяти, чем другие браузеры, что делает все остальные приложения на вашем компьютере намного быстрее. Brave поставляется с включенными дополнениями, готовыми к использованию, а главное из них - Shields(щиты). Из-за этого Brave использует немного больше памяти, чем Chrome, при отсутствии открытых сайтов (297 МБ для Brave против 167 МБ для Chrome ), но эта разница исчезает, как только пользователь открывает первую веб-страницу и Shields начинает блокировать объекты. С помощью всего лишь 5 открытых вкладок Brave использует меньше памяти на 40-47% по сравнению с Chrome и Firefox.

Сравнение "яблок с яблоками" в браузерах действительно сложное занятие, и другие задокументировали эти проблемы.. Браузеры являются многопроцессорными приложениями, и учет общей памяти, а также ее влияния на производительность браузера и остальной системы является сложным. Во-вторых, многие вещи могут меняться от одного измерения к другому, либо с конкретной страницей, либо с операциями пользователя, которые браузер может решить выполнить в «неправильное» время, что влияет на измерение. Наконец, единственная память, которая действительно тратится впустую, - это та, которая не используется: хранение данных в памяти обычно ускоряет просмотр веб-страниц, поскольку браузеру не требуется загружать информацию со значительно более медленного диска или, что еще хуже, из сети. Современные браузеры также адаптируются к доступной  памяти, используя ее более свободно, когда доступно много, и более агрессивно отбрасывают менее критичные данные при работе с небольшим количеством свободной оперативной памяти.

С другой стороны, трекеры, используемые в Интернете, сами являются ресурсоемкими приложениями, и неудивительно, что их блокировка экономит значительные ресурсы, в зависимости от того, как вы это измеряете. Мы справляемся с некоторыми проблемами с помощью нашего тестового стенда с двумя ноутбуками с разным объемом памяти (16 ГБ и 8 ГБ), а также с различными операционными системами (MacOS и Windows).

Мы выбираем случайные комбинации URL-адресов из нашего списка из 35 новостных статей,целевых страниц и контента для покупок. Мы выбираем 5 случайных комбинаций для различного количества вкладок, обычно используемых нашими пользователями:

1 страница - у 26% пользователей открыта только одна вкладка
5 страниц  - у 42% пользователей открыты от 2 до 5 вкладок
10 страниц  - у 16% пользователей открыто от 6 до 10 вкладок
20 страниц  - 15% пользователей открывают от 11 до 50 вкладок





Как и ожидалось, учитывая трудности сравнения браузеров , картинка меняется с одного набора страниц на другой. Например, Firefox в Windows имеет тенденцию быть немного лучше, чем другие, в то время как Safari в MacOS работает лучше, пока количество вкладок не достигнет уровня «опытного пользователя». С другой стороны, преимущество Brave совершенно очевидно: чем меньше памяти используется для открытия даже одной страницы, и чем больше вкладок, тем заметнее разница. Поскольку наличие 2-5 открытых вкладок является наиболее распространенным случаем, при 5 открытых страницах в Windows Brave занимает в среднем около 800 МБ в разных комбинациях, в то время как Chrome составляет 1270 МБ, а Firefox - 1200 МБ.  Brave лучше более чем на 33% по сравнению с обоими браузерами.

Android Benchmarking
Наш тестовый стенд для мобильных устройств состоит из нового устройства на Android (Samsung J7DUO, Android 9.0), подключенного к устройству на Linux, и монитора питания (Monsoon HV) через байпас аккумулятора. ПК на Linux отвечает за автоматизацию тестирования, например, за очистку профиля браузера и загрузку целевого URL, реализованного с помощью протокола отладки Android (ADB). ADB работает через Wi-Fi вместо USB, чтобы избежать неточностей, вызванных питанием USB устройства. Перед ПК на Linux также поставлена задача измерять мощность (например, устанавливать целевое напряжение и отслеживать показания силы тока) и контролировать потребление процессора устройства каждые  3 секунды.

Показатели производительности, такие как Page Load Time и SpeedIndex, собираются с помощью отдельных измерений, выполненных с использованием lighthouse, аналогично тому, что было сделано для настольных экспериментов. В этом случае мы используем ADB через USB - поскольку измерения мощности не требуется - и мы пересылаем данные на порт инструментов разработчика (9222) на ПК на Linux, где работает lighthouse.

Чтобы свести к минимуму погрешность измерений, перед каждым испытанием мы готовили устройство, используя следующие рекомендации. Мы отключаем уведомления, устанавливаем устройство в режиме полета с включенным только WiFi и закрываем все фоновые приложения. Затем мы удостоверяемся, что устройство не использует автоматическую яркость, и дополнительно устанавливаем яркость на значение по умолчанию (25%). Последний шаг имеет важное значение, поскольку изменение освещенности окружающей среды может повлиять на результат измерения и сделать недействительными измерения батареи в разных замерах.

Потребление энергии



Мы начнем с анализа производительности (энергии, процессора, пропускной способности) трех различных рабочих нагрузок, когда предполагаем простой сценарий загрузки. На рисунке показаны гистограммы для каждого измерения, в зависимости от браузера и рабочей нагрузки. Каждый столбец показывает среднее значение показателя, дополненное интерваами ошибок для визуализации стандартного отклонения. На рисунке слева показано, что экономия батареи для Brave составляет соответственно 300 Дж (30%), 250 Дж (31%) и 20 Дж (10%) в зависимости от рассматриваемой рабочей нагрузки. Чтобы лучше понять эту экономию энергии, мы прибегаем к графикам использования ЦП и пропускной способности (справа). При рассмотрении двух новостных рабочих нагрузок (домашних страниц и статей) цифры показывают, что Brave в среднем потребляет менее половины процессорного времени и пропускной способности. Это позволяет сэкономить около 30% заряда батареи. Как уже отмечалось в экспериментах с настольными компьютерами, рабочая нагрузка на магазины в целом более простая и требует меньше рекламы - менее 4 МБ, если сравнивать работу Brave без рекламы (всего 10,8 МБ) с Chrome (всего 14,4 МБ). По этой причине такая рабочая нагрузка приводит к общему снижению производительности процессора и экономии заряда батареи для Brave.



Далее мы рассмотрим сценарий, в котором пользователь дополнительно взаимодействует со страницей несколько раз (в течение дополнительных 60 секунд после загрузки).  Неудивительно, что при такой автоматизации общее потребление энергии удваивается, поскольку это связано с ресурсами, используемыми в течение более длительного времени, например, экран активен в два раза дольше. Энергетический разрыв между Brave и Chrome остается постоянным, в целом, учитывая, что основная часть работы (загрузка сайта) была достигнута в первые 60 секунд. Действительно, при сравнении графиков ЦП между простыми и интерактивными рабочими нагрузками разница лишь незначительна. Вместо этого происходит увеличение потребления пропускной способности из-за дополнительного контента, загружаемого по мере его постепенной необходимости на экране. Это увеличение особенно заметно для Chrome. Например, потребление пропускной способности во время загрузки главной страницы новостей увеличивается на 22 МБ (58-60 МБ), в то время как для Brave оно увеличивается только на 8 МБ (26-34 МБ), сохраняя в целом 50% экономии трафика при этой нагрузке.

Сравнение браузеров
Далее мы повторяем приведенный выше анализ на больший набор браузеров, в который также входят Firefox и Opera. В этом тесте мы сконцентрируемся на простом сценарии загрузки страницы и дополнительно сократим продолжительность до 30 секунд для каждого веб-сайта, чтобы ограничить продолжительность теста при наличии вдвое большего числа браузеров. Сравнивая Chrome и Brave, эти результаты подтверждают то, что наблюдалось выше для всей совокупности рабочих нагрузок, с которыми мы экспериментировали. Кроме того, этот анализ показывает, что Opera является более близким конкурентом по производительности в сравнении с Brave по всем показателям. Firefox находится на последнем месте, и по производительности отстает от всех других браузеров независимо от рассматриваемых показателей.



Скорость загрузки страницы
И последнее, но не менее важное: мы исследуем, насколько быстро загружаются веб-страницы в Android в Brave и Chrome. Для этого анализа мы используем Google lighthouse для отчетности по показателям. На рисунке ниже показан CDF времени, сэкономленного (или потраченного впустую в случае отрицательных чисел) с помощью Brave, различающим время загрузки страницы и время полной загрузки страницы (среднее для трех попыток, если доступно), как показано выше.

Из 35 протестированных веб-сайтов показатель onload дал сбой у 7 веб-сайтов при работе с Chrome и поэтому не учитывается. Что касается full-PLT, сбой произошел только для одного сайта, загруженного через Chrome. На рисунке видно, что Brave работает быстрее, чем Chrome, для 24 из 28 веб-сайтов (85% веб-сайтов) с точки зрения загрузки и для всех 34 веб-сайтов по отношению к полному PLT. Экономия времени также заметна: большинство сайтов загружаются на 10 секунд быстрее в Brave, чем в Chrome. Это результат экономии пропускной способности, которую Brave удается предложить благодаря своим функциям сохранения конфиденциальности.



Синтетические тесты
Поскольку Brave основан на том же ядре веб-рендеринга, что и Chrome и несколько других браузеров, синтетические тесты производительности, как правило, дают те же результаты при сравнении Brave и Chrome. Преимущество Brave состоит не в том, что он лучше работает с JavaScript. Преимущество Brave заключается в том, что приходится выполнять гораздо меньше работы, поскольку загружаются только те части страниц, которые нужны. Получение тех же оценок на синтетических тестах не отражает реальную производительность Brave, но мы сравнили его со всеми основными браузерами, чтобы убедиться, что ничто из того, что мы делаем, не повлияет и на нее.

Мы сравнили все браузеры  4 популярными синтетическими бенчмарками:

Kraken 1.1, который измеряет скорость нескольких различных тестовых показателей, извлеченных из реальных приложений и библиотек. Создано Mozilla.
https://krakenbenchmark.mozilla.org/

Speedometer 2.0, приложение, запускающее ряд различных популярных JavaScript-фреймворков. Создано компанией Apple.
https://browserbench.org/Speedometer2.0/

JetStream 2 объединяет различные тесты JavaScript и веб-сборки, охватывающие различные расширенные рабочие нагрузки и методы программирования.
https://browserbench.org/JetStream/

BaseMark Web 3.0, в первую очередь тестирует веб-графику в реальном времени и некоторые из самых популярных платформ JavaScript.
https://www.basemark.com/benchmarks/basemark-web/

Поскольку компьютеры MacOS и Windows имеют различное "железо", результаты на каждом из них не являются  сопоставимыми,поэтому тестируем только различные браузеры на каждом ПК. Мы используем оранжевый цвет для тестов MacOS и синий для Windows. Сами тесты также дают немного "шумные" показатели - мы выделяем запас погрешности серым цветом в каждом измерении.

[FP91G]

Эталонные тесты различаются по надежности - допустимые погрешности при нескольких запусках одной и той же версии браузера, одного и того же ПК и операционной системы предполагают, что данные одного измерения следует рассматривать с осторожностью. Это особенно заметно в случае Basemark Web 3.0 benchmark. Обратите внимание, что все браузеры на основе Chromium работают очень похоже (то есть в пределах погрешности, указанной серым цветом) как на MacOS, так и на Windows. Это ожидаемо, так как базовое ядро, отвечающее за выполнение JavaScript и рендеринг HTML, одно и то же.

Выводы
Для оценки версии 1.0 мы собрали комплексный стенд для тестирования, сравнивая Brave с Chrome, Firefox и Opera для Windows, MacOS и Android. Мы использовали тестовую платформу для сравнения этих браузеров по использованию памяти, скорости загрузки страницы, использованию данных и потребляемой мощности, а также по традиционным синтетическим тестам. Большая часть исследований  с реалистичными рабочими нагрузками была опубликована онлайн для повторного использования в будущем, так как интернет продолжает развиваться.

В этом посте подчеркивается, что внимание Brave к производительности обеспечивает результаты там, где они важны - экономя ресурсы пользователей в проверенных операционных системах (MacOS, Windows и Android) по сравнению со всеми основными браузерами. Воспользовавшись  платформой Chromium, используемой развивающейся группой браузеров, встроенные в Brave механизмы защиты конфиденциальности экономят секунды при загрузке каждой отдельной страницы, одновременно сокращая использование памяти на сотни мегабайт. Особенно важно для мобильных пользователей что Brave обеспечивает 30%-50% экономии на трафике и уменьшает нагрузку батареи, благодаря чему объем трафика пользователя, и его батареи хватает на дольше.

Повышение эффективности нашего браузера - это не вопрос самолюбия или конкуренции. Миссия Brave состоит в том, чтобы убрать существующий мусор, накопившийся в сети, вызванный годами безответственного трекинга и рекламной статистики, от которых не выигрывают ни пользователи, ни владельцы сайтов. Этот подход позволяет нам держать интернет открытым для всех, включая людей, у которых нет самого нового и мощного телефона или неограниченного трафика. Надежный и прозрачный бенчмаркинг, который мы здесь представили, является еще одним важным шагом на пути к открытому интернету.

https://brave.com/brave-one-dot-zero-performance-methodology-and-results/