A/B-тестирование — метод исследования, суть которого заключается в том, чтобы выяснить, какие из изменений элементов ПО улучшают целевой показатель теста. Метод помогает принимать решения на основе реальных данных, отражающих предпочтения пользователей ПО. Работа раскрывает методологические аспекты проведения A/B тестов, всех ключевых этапов – от планирования и проведения эксперимента до анализа результатов теста. Цель работы – разработка методологии полного цикла проведения А/B экспериментов в мобильном приложении. Подцелью работы является рассмотрение А/B тестов с исторической точки зрения развития рандомизированных экспериментов и статистических методов обработки данных до современных проблем и подходов к А/B экспериментам. В работе также были рассмотрены современные платформы для проведения экспериментов в мобильных приложениях. В практической части был спланирован и проанализирован A/B тест в мобильном приложении.

A/B testing is a research method, the essence of which is to find out which of the changes in the software elements improve the test target. The method helps to make decisions based on real data reflecting the preferences of software users. The work reveals the methodological aspects of conducting A/B tests, all key stages – from planning and conducting an experiment to analyzing test results. The purpose of the work is to develop a methodology for a full cycle of A/B experiments. The sub-goal of the work is to consider A/B tests from the historical point of view of the development of randomized experiments and statistical methods of data processing to modern problems and approaches to A/B experiments with a narrow specialization in the field of conducting randomized experiments in mobile applications. The article also considered modern platforms for conducting experiments in mobile applications. In the practical part, an A/B test was planned and analyzed in a mobile application.