С развитием информационных технологий для получения, хранения, передачи и обработки данных понятие «большие данные» (Big Data) прочно вошло в жизнь людей. Современные вычислительные мощности позволяют анализировать огромные объемы информации во всех сферах деятельности. Организации различных отраслей промышленности заинтересованы в решении задач выявления ценной информации и скрытых зависимостей из большого массива данных для увеличения прибыли, снижения рисков и убытков. Учебное пособие содержит обзорную информацию о теоретических и практических аспектах технологий, в основе которых лежат принципы получения, преобразования, хранения и обработки, а также анализа больших объемов данных. Приведены материалы, раскрывающие содержание методов, алгоритмов и архитектур программных технологий, применяемых при работе с большими данными. Представленный материал помогает при подготовке квалифицированных выпускников, умеющих обоснованно и результативно использовать, разрабатывать, совершенствовать и внедрять в производство современные технологии и инструментальные средства программной обработки больших объемов данных. Учебное пособие предназначено для студентов, изучающих дисциплину «Наука о данных и аналитика больших объемов информации», которая входит в состав основной образовательной программы направления подготовки магистров 09.04.04 «Программная инженерия».

With the development of information technologies for data acquisition, storage, transfer, and processing, the concept of Big Data has become a part of people’s lives. Modern computing power allows analyzing huge amounts of information in all spheres of activity. Organizations in various industries are interested in solving the tasks of identifying valuable information and hidden dependencies from a large data set to increase profits, reduce risks and losses. The training manual contains the overview of theoretical and practical aspects of technologies based on the principles of obtaining, converting, storing, processing, and analyzing large amounts of data. The authors provide the materials revealing the content of methods, algorithms, and architectures of software technologies used in the work with big data. The presented material helps in the training of qualified graduates who are able to reasonably and effectively use, develop, improve, and deploy to production modern technologies and tools for software processing of large amounts of data. The training manual is intended for students studying the discipline “Data science and analytics of large amounts of information” which is included in the main educational program of the Master’s degree major 09.04.04 “Software Engineering”.