Хранилище данных для телекома: как устроены DWH и DMP
Хранилище данных собирает информацию из систем оператора, приводит ее к единому виду и отдает витрины во внешние BI-системы. Главный практический эффект — тяжелые аналитические запросы перестают выполняться на продуктивном биллинге, где они конкурируют с тарификацией за ресурсы. Схема загрузки бывает двух видов: преобразование до загрузки или после нее.
Хранилище данных собирает информацию из систем оператора, приводит ее к единому виду и отдает готовые срезы тем, кто с ними работает: аналитикам, BI-инструментам, системам маркетинга.
Состав продукта — на странице Forward DMP.
Зачем это выносить из биллинга
| Тип работы | Где выполняется | Почему |
|---|---|---|
| Операционный отчет | Продуктивная расчетная система | Короткий, нужен сразу, читает мало данных |
| Сводная аналитика | Хранилище | Читает много данных за длинный период |
| Корреляция источников | Хранилище | Данные из разных систем нужно сначала сопоставить |
| Профиль клиента | Хранилище | Агрегаты по потреблению, платежам и обращениям |
| Реакция на событие | Система маркетинга в реальном времени | Решение нужно за секунды, а не по расписанию |
Граница между первой и второй строкой проводится на этапе обследования и обычно проходит не там, где ее ожидают: часть привычно «тяжелых» отчетов после нормализации данных считается быстро, а часть коротких на вид запросов читает половину базы.
Два порядка загрузки
ETL — преобразование до загрузки. В хранилище попадает уже приведенный к нужному виду набор. Экономит место, дает предсказуемую структуру, но изменившаяся задача требует новой загрузки.
ELT — преобразование внутри хранилища. Сырые данные загружаются как есть, а обработка выполняется на месте. Занимает больше места, зато позволяет пересчитать иначе, когда вопрос к данным изменился.
Выбор зависит от того, насколько стабильны требования к отчетности. Там, где набор отчетов меняется каждый квартал, второй порядок обычно оказывается дешевле в сумме.
Витрины
Витрина — это подготовленный под задачу срез: агрегаты, показатели, признаки. BI-инструмент читает витрину, а не сырые таблицы, поэтому отчет строится быстро и одинаково у всех, кто им пользуется.
Обновляются витрины по расписанию, своему у каждой. Реальное время для хранилища избыточно: сценарии, которым нужна мгновенная реакция, работают в Forward RTM на живых событиях.
Big data и BI: где граница
Big data в телекоме и BI часто называют одним словом «аналитика», хотя это разные классы задач и разные данные.
| Признак | Big data | BI |
|---|---|---|
| Объем | Петабайты или близко к этому | Терабайты |
| Хранение | В разных системах | В одном хранилище |
| Структура | Неструктурированные и слабоструктурированные записи | Нормализованные таблицы |
| Связь источников | Слабая, сопоставление требует работы | Высокая, есть иерархия |
| Что на входе | Сырые события | Агрегаты и показатели |
Обычно контур больших данных служит источником для BI: из сырых событий собираются агрегаты для отчетов. Обратный путь тоже бывает, например когда сегменты и прогнозы из BI возвращают в обработку событий.
Данные в таком контуре проходят полный цикл: сбор сырых событий с оборудования и из систем, обогащение, нормализация, агрегация, анализ, построение модели, выдача результата человеку или передача во внешнюю систему. Затем цикл повторяется на новом срезе по времени.
Сложной прогнозной модели нужно достаточно размеченных наблюдений: событий нужного типа, полных признаков, истории для проверки. У оператора с базой в десятки тысяч абонентов таких данных часто не хватает, и рабочим инструментом остается BI с проверкой гипотез на сегментах.
Какие задачи оператор решает на этих данных
В проектах автоматизации расчетов цели обычно выстраиваются в таком порядке:
- Снижение оттока абонентов.
- Рост доходности абонента и ARPU.
- Привлечение новых абонентов.
- Расширение экосистемы: контентные сервисы, партнерские продукты, смежные ИТ-услуги.
- Снижение затрат на развитие и поддержку инфраструктуры.
Почти все эти задачи сводятся к одному: найти устойчивые паттерны поведения абонента и вовремя предложить ему подходящий продукт. Отсюда типовой набор работ: сегментация по поведению, прогноз жизненного цикла продукта, персональные предложения, ускорение решений о подключении или отказе в услуге.
Пример сегментации из практики: по косвенным признакам в хранилище выделили абонентов, которые летом уезжают за город, и предложили им дачный интернет партнера в одном тарифе с домашним. Проверку возможности подключения после знакомства с предложением запросили 32% абонентов сегмента.
Источники делятся на внутренние и внешние. Внутренние — это все, что собирают системы оператора по собственной базе: транзакции, потребление трафика и услуг, отклик на маркетинговые кампании. Внешние — отзывы, форумы, открытые данные. Готовую модель оттока, построенную на большой базе, не всегда удается перенести на небольшого оператора: ей нужны конкретные метрики, а их малый оператор может не собирать. Поэтому состав метрик проверяется до выбора модели.
С чего начинать
Со списка решений, которые должны приниматься на этих данных. Хранилище, построенное «на всякий случай», наполняется и не используется: никто не знает, какие вопросы к нему задавать.
Обратный порядок — от конкретного вопроса, на который бизнес хочет получать ответ регулярно, — сразу задает состав источников, глубину истории и структуру витрин.
В проектах
В РБК на данных контура работала система персональных офферов и маркетинговых кампаний. В «Альфа-Мобайл» аналитическая часть входила в состав платформы виртуального оператора.
Вопросы и ответы
Зачем оператору отдельное хранилище?
Чтобы разделить два типа работы. Расчетная система занята тарификацией и закрытием периода; тяжелый запрос по всей базе за год мешает ей это делать. Повседневные операционные отчеты остаются на продуктивной системе, а сводная аналитика и корреляция разнородных данных уходят в хранилище.
Что считается big data в телекоме?
Данные, с которыми не справляется обычная отчетная система: суммарный объем в петабайтах или близко к этому, хранение в разных системах, слабая структура и слабая связь между источниками. BI работает с другим материалом: терабайты, одно хранилище, связанные и уже агрегированные данные. Обычно контур больших данных служит источником для BI.
Чем DWH отличается от DMP?
В отраслевой практике термины часто используются как синонимы, и разница скорее в акценте. Хранилище данных описывает способ организации: собрать, привести к единому виду, хранить историю. Платформа управления данными делает акцент на применении — профилях, сегментах, витринах для систем, которые работают с клиентом. На практике речь об одном контуре.
Что такое ETL и ELT?
Два порядка загрузки. При ETL данные преобразуются до попадания в хранилище: в него ложится уже приведенный к нужному виду набор. При ELT сырые данные загружаются как есть, а преобразование выполняется внутри хранилища. Первый экономит место и дает предсказуемую структуру, второй сохраняет исходные данные и позволяет пересчитать иначе, когда задача изменилась.
Что такое витрина данных?
Подготовленный под конкретную задачу срез: агрегаты, показатели и признаки, которые нужны для отчета или для работы другой системы. BI-инструмент читает витрину, а не сырые таблицы, поэтому отчет строится быстро и одинаково у всех, кто им пользуется.
Как часто обновляются данные?
По расписанию, свое у каждой витрины. Регулярная отчетность обновляется реже, данные для маркетинговых сценариев чаще. Обновление в реальном времени для хранилища обычно избыточно: сценарии, которым нужна мгновенная реакция, работают в системе маркетинга в реальном времени на живых событиях.
С чего начинать проект?
Со списка отчетов и решений, которые должны появиться. Хранилище, построенное «на всякий случай», наполняется данными и не используется. Обратный порядок — от конкретного вопроса, на который бизнес хочет получать ответ регулярно, — задает и состав источников, и структуру витрин.