Вы здесь

Foresight Day 2024: «Определяем будущее вместе».

Выступление директора департамента специальных проектов «Агентства 2» Дениса Белослюдова «Практика перехода на ClickHouse* и новые задачи для системы в развитии DMP**».

*ClickHouse — это колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатываемая компанией «Яндекс».

**DMP – программное обеспечение, которое позволяет собирать, обрабатывать и хранить любые типы аудиторных данных.

23 апреля 2024 года в Московском инновационном кластере «Ломоносов» состоялась традиционная весенняя конференция Foresight Day 2024. Организатором ежегодного мероприятия является российский вендор «Форсайт» – разработчик инновационной цифровой аналитической платформы и функциональных продуктов на ее основе.

Ведущие IT-интеграторы и руководители крупнейших компаний различных отраслей обсудили инновационные перспективы российского бизнеса и подвели итоги импортозамещения российского BI-рынка.

Среди спикеров и участников Foresight Day 2024 значились управленцы финансового блока крупных отечественных компаний, руководители направлений по цифровой трансформации, топ-менеджмент передовых IT-компаний и эксперты со стороны государственного сектора.

Директор департамента специальных проектов «Агентства 2» Денис Белослюдов выступил с докладом «Практика перехода на ClickHouse* и новые задачи для системы в развитии DMP». Он рассказал о значительных изменениях системы анализа медиапотребления собственной разработки. Запись выступления доступна на официальном YouTube-канале компании «Форсайт».

 «“Агентство 2” – рекламное агентство, которое внутри большого холдинга занимается всеми рекламными и Big Data продуктами. Такой AdTech для холдинга и внешнего рынка. Наши компетенции заключаются в том, что мы умеем делать рекламу как в телевизоре, так и в digital», - отметил Денис Белослюдов.

По словам директора департамента специальных проектов «Агентства 2», для проведения рекламных кампаний агентство использует инвентарь “Триколора”, исследовательские данные проекта “Медиаизмерения”, Big Data “Триколор” и собственную рекламную сеть A-Traffic: обрабатываются все данные абонентов – более 40 миллионов клиентов. «Во все эти позиции мы поставили нашу платформу, которая сделана на базе платформы “Форсайт”», – подчеркнул он.

Денис Белослюдов рассказал, что проект «Медиаизмерения» был реализован для обработки панельных данных под нужды компании «Триколор»: «Создавали, чтобы можно было не просто мерить телесмотрение. У панели две функции. Первая – данные панели телеизмерений как валюта для закупки рекламы. Вторая – принятие решений о наличии или отсутствии каких-либо каналов в пакете “Триколора”».

«Если канал занимает хорошее место, у него хорошая доля телесмотрения внутри всего пакета из 300+ каналов, с этим каналом взаимоотношения строятся очень позитивно. Если канал, например, никто не смотрит – нужен ли он в пакете “Триколора”? Решения принимаются на основании наших данных», – подчеркнул он. 

«Требований к данным было гораздо больше, чем у национального измерителя Mediascope. Поэтому мы, собственно, и строили этот проект. Сначала это было просто иностранное специализированное ПО для телеизмерений, после мы сделали своё собственное».

«Дальше этот проект начал развиваться, расти. Результат использования продукта “Форсайт” у нас такой: мы полностью воспроизвели функционал старого ПО, которое по сути было одним из мировых лидеров. Его использовали практически все европейские государства для национального телеизмерения. Был разработан и внедрён функционал Big Data», – отметил Денис Белослюдов.

«Агентство 2» первым на рынке смогло совместить данные панельных исследований и Big Data. Ранее подобный инновационный мэтчинг никогда не присутствовал в измерениях: «Мы первые начали это совмещать: подключили все необходимые источники данных, настроили доступы в личный кабинет, реализовали визуализацию. Я в прошлом году рассказывал уже на этой конференции как это было сделано».

С течением времени проект стремительно развивался и начал сталкиваться с проблемами: «Дальше было больше. Прошёл год, мы уже начали использовать всё это и уткнулись в некие ограничения. Панельные измерения насчитывали гораздо меньшую аудиторию, а когда мы подключили Big Data, нам начали сыпаться данные, намного увеличилась аудитория: на два порядка точно. Также на два порядка увеличился объём данных за сутки и обрабатывание их параметров стало на несколько порядков больше».

«Мы столкнулись с тем, что обработка данных занимает очень больше время и та СУБД, на которой был построен сбор, просто не справлялась. Выбранной СУБД был PostgreSQL, у нас пропала возможность оптимизировать этот объём данных: невозможно сжать, невозможно выгрузить охватные метрики. Построчная СУБД для панели прекрасно подходит. Но для обработки Big Data –  перестала работать, данные очень долго выгружались. На тестовых объёмах это срабатывало, после того как мы начали заливать её информацией – получили вот такой неожиданный эффект», – поделился Денис Белослюдов. 

Задачу смогли решить внедрением новой СУБД: «Что было, когда мы работали Postgres PRO? Почасовой отчёт занимал 1,5 - 2,5 часа выгрузки: приемлемо, но очень трудно работать. Тем более, пользователей данных было очень много. Наш аналитический отдел работал с этими данными, мы делились ими с теми, кто закупал у нас рекламу. По ежеминутному отчёту, который был очень важен, система зависала. Но после того как мы внедрили другую СУБД ClickHouse, почасовой отчёт стал занимать 10 - 25 секунд, поминутный 10 - 45 секунд. Разница очевидна».

Денис Белослюдов отметил, что результат был «мега-эффективным»: после реализации решения коллегами из компании «Форсайт» фактическая скорость обработки данных выросла в 500 раз. «Агентство 2» планирует и в дальнейшем развивать функционал и возможности инструмента в порядке собственных приоритетов.

«Мы никому не продаём данные “Триколора”, никому не отдаём их в пользование. Но для той же продажи рекламы, для того, чтобы можно было таргетироваться на абонентов, для того чтобы им правильную рекомендательную систему создавать, эти данные реально в просчёте дают увеличение выручки, прибыли, ARPU (средней выручки на одного пользователя) и всего остального», – подчеркнул директор департамента специальных проектов «Агентства 2».

Денис Белослюдов также поделился информацией о новом решении для рекламного рынка от «Агентства 2» – собственной programmatic-платформе A-Traffic: «Мы создали programmatic-платформу закупки рекламы в интернете и не только: “Триколор” является основным поставщиком этой рекламы, показываем её на абонентов. Требования к DMP по этому проекту достаточно высоки».

«Нам необходимо работать с аудиторией “Триколора”, с этим у нас справляется платформа формирования целевой аудитории A-metrics. Дальше, мы в DMP должны формировать аналогичную ЦА во внешних средах и таргетироваться на них. Таким образом, у нас появляется продукт, выходящий за пределы “Триколора”. Он становится функциональным отраслевым решением: продукт достаточно неплохо вписывается в рынок и имеет свою уникальность, которую практически никто не может воссоздать», – считает директор департамента специальных проектов «Агентства 2».

Решения, реализованные в проекте A-Metrics с применением платформы «Форсайта», оказались уникальными как для российского, так и во многом – для мирового рынка. В дальнейшем «Агентство 2» планирует развивать проект и предлагать рекламодателям таргетированные размещения по значительному количеству фильтров системы, паттернов потребления контента целевой аудиторией, индивидуальными медиапланами и присвоением цифровых ID для каждого из них.

«Аналогов в России нет. Мы очень довольны тем, что получилось. Мы опередили практически всех, кто пытается выйти на рынок с похожими продуктами: даже тех, у кого существенно больше ресурсов для реализации аналогичных решений,» – подчеркнул в заключение выступления Денис Белослюдов.

Связаться с нами

+7 (495) 923 42 22
127030, Москва,
Новослободская 23,
офис 500
+7 (812) 334 35 14
197374, Санкт-Петербург,
Новоладожская 6