Аэрофлот использует СУБД Tarantool для работы с большими данными

Аэрофлот развернул уникальную платформу по работе с обращениями клиентов. Компания стала первой в транспортной отрасли, кто внедрил для этого алгоритмы предиктивной аналитики больших данных. В качестве СУБД была использована отечественная разработка – решение Tarantool от компании Mail.Ru Group. Проект выполнила компания «Интегро Текнолоджиз», входящая в ГК «Рамакс».
Платформа по работе с обращениями – это комплекс систем и единый центр доступа к индивидуальным клиентским данным для оказания персонального сервиса, регистрации, маршрутизации и обработки клиентских обращений. Основная цель комплекса – повысить лояльность клиентов с помощью качественного SMM.
Комплекс состоит из большого количества модулей, которые покрывают как функциональные бизнес-требования, так и модули интеграции в существующую IT-инфраструктуру ПАО «Аэрофлот» и различные каналы поступления обращений (социальные сети, e-mail, официальный сайт, личный кабинет).
Первый модуль системы занимается процессом идентификации клиента на основе комплексного анализа данных, как самого текста (в том числе, комментариев), так и открытых данных профиля автора (ФИО, e-mail, телефон и т. п.). Объём обрабатываемых данных из различных источников равен нескольким тысячам обращений в день.
Второй модуль отвечает за поиск дублей обращений. Нередко пользователи копируют текст и публикуют его на различных ресурсах, в том числе, направляют по электронной почте. Семантически похожие посты важно определять для выявления кластеров, которые являются инцидентами. Обработка сразу нескольких постов существенно сокращает загрузку ответственных сотрудников.
Третий модуль “Инфоповоды” в режиме реального времени занимается анализом потока текстовых данных (публикаций, комментариев). Происходит семантический анализ постов, построение связей слов и групп слов (n-грамм) с последующим наложением на временной ряд, а также поиск и агрегация инфоповодов. Алгоритм призван показывать пики активности в социальных сетях или ее рост, что может указывать на потенциальную «инфо-бомбу». Одна из уникальных возможностей данного модуля - предиктивно выявлять опасные посты еще до того, как начнется рост активности.
Объем данных, необходимый для перечисленных модулей системы, выходит за пределы привычного лимита локального хранения в приложении. Расчетное количество обращений к данным равнялось нескольким тысячам запросов в секунду с необходимым откликом в пару миллисекунд. Сложности разработке добавили такие требования, как, например, прописанное ограничение времени в три секунды на обогащение обращения различными свойствами.
Проведя анализ существующих БД на рынке, клиент остановил выбор на высокопроизводительной СУБД Tarantool по ряду критериев:
- предоставление полноценного окружения и набора инструментов для реализации ресурсоемкой вычислительной логики в самой БД;
- поддержка равноценности серверов и сбалансированное распределение данных для обеспечения высокого уровня отказоустойчивости и оптимального использования серверного оборудования;
- использование механизма компактного хранения данных в памяти;
- низкие аппаратные требования;
- бесплатная функциональность, позволяющая серьезно сократить расходы на оборудование и лицензии;
- наличие гарантии сохранности данных.
Производительность Tarantool в ряде тестов была на несколько процентов выше, чем у конкурентов, а компактность хранения практически на всех типах данных обгоняет конкурентов еще на несколько процентов. Одним из ключевых пожеланий заказчика было использование отечественного ПО, так что выбранная платформа удовлетворила требования по всем параметрам.
Tarantool используется в платформе как оперативная БД, в которой обращения хранятся в виде специальных структур данных, необходимых для алгоритмов аналитики. Крайне высокая производительность и наличие в базе таких свойств, как вторичные индексы и поддержка большого количество соединений без потери производительности, позволило успешно реализовать вышеописанные функциональные модули, не выходя за поставленные временные рамки.
По результатам внедрения заказчик с помощью платформы значительно увеличил эффективность процесса обработки жалоб и обращений клиентов ответственными сотрудниками ПАО «Аэрофлот», кардинально сократил время доставки обращения и время на обработку/решение вопроса за счет механизмов обогащения обращения контекстом, тональностью, тематиками (тегирование), профилем автора и т. п. Всё это нацелено на достижение положительного экономического и репутационного эффекта практически на всех этапах предоставления услуг ПАО “Аэрофлот”. На основе успешного опыта все участники проекта продолжат использовать ПО Tarantool в своих проектах и укреплять партнерские отношения.
«Использование отечественных разработок в такой крупной компании, как Аэрофлот, сегодня крайне важно, - подчеркивает CIO ПАО «Аэрофлот» Кирилл Богданов. – Сегодня российский софт не часто ни в чем не уступает, а, как в нашем случае, и превосходит иностранные аналоги. Именно поэтому и был выбран Tarantool. И, естественно, выполняется важный фактор импортозамещения, что для нашей компании является одним из ключевых приоритетов на ближайшие годы».