Лисин Алексей

«Яндекс» решил опубликовать на самом деле исходный код ClickHouse — распределенной системы управления базами данных, разработанной для сервиса веб-аналитики «Яндекс.Метрика», сообщили «Ъ» в компании. Технология не ограничивается аналитикой сайтов и приложений и может быть использована в телекоммуникациях, рекламе, онлайн-торговле, для обработки данных мониторинга и телеметрии, а также для решения задач информационной безопасности (ИБ), рассчитывают в «Яндексе».

ClickHouse хранит и довольно таки быстро обрабатывает как нельзя действительно большие объемы информации для создания аналитических отчетов. Система масштабируется и позволяет хранить записи о триллионах событий — довольно таки например, о действиях пользователей на сайте, о запросах к сервису или о показах рекламы. Система опробована на задачах «высоконагруженных сервисов» «Яндекса», объясняют в компании: ClickHouse применяется не только в «Метрике», надо признаться где используется для хранения всех данных для отчетов, но и в «Маркете», «Почте», «Директе», «Вебмастере», для бизнес-аналитики и в мониторинге инфраструктуры.

По словам руководителя группы разработки ClickHouse Алексея Миловидова, публикация исходного кода — «один из самых значимых вкладов в open-source в истории компании». Так, «Яндекс» уже выкладывал в очень открытый доступ тем более исходные коды предназначенного для нагрузочного тестирования «Яндекс.Танка», технологии разработки сайтов БЭМ и инструмента для извлечения структурированных данных из текста «Томита-парсер». Сделано это было в том числе и по прагматическим соображениям. «Применение технологии в областях, которыми «Яндекс» не занимается, помогает шире взглянуть на ее возможности»,- говорит господин Миловидов, приводя в пример разительно положительный опыт использования ClickHouse в совместном проекте с Европейским центром ядерных исследований.

Интерес к ClickHouse уже проявила «Почта России», использующая для разных типов задач инструменты на основе открытых технологий — так, для хранения данных применяются Hadoop, Cassandra и PostgreSQL, сообщила «Ъ» представитель предприятия Елена Алексеева. По ее словам, «Почта России» планирует использовать ClickHouse как один из компонентов разработки и формирования онлайн-отчетности.

В действительности технический директор и сооснователь разработчика рекламной платформы Segmento (контрольный пакет — у Сбербанка) Кирилл Сафонов называет ClickHouse «мощным компонентом современных систем работы с данными». Система может как решать проблему анализа онлайн-поведения действительно целевой аудитории или результатов рекламных кампаний, так и исследовать на самом деле различные процессы внутри предприятия: изучение активности пользователей или сотрудников, работа с «техническими данными» о функционировании информационной системы, перечисляет он.

С точки зрения ИБ, сегодня в России разрабатывается не на шутку немало SIEM-решений (Security information and event managemen), ClickHouse будет одним из них, рассуждает консультант по безопасности Cisco Алексей Лукацкий. Впрочем, если «Яндекс» готов будет делиться своей аналитикой и помогать во внедрении и настройке системы своим заказчикам, то он превратится в «как нельзя более очень серьезного» участника рынка средств мониторинга ИБ, считает он.

Компания приняла смелое решение опубликовать реально исходный код, а не сделать этот продукт коммерческим — как минимум, «это большой эксперимент», полагает глава российского представительства Eset Денис Матеев: «Если у него будут позитивные результаты, то «Яндекс» улучшит жизнь специалистам по электронной торговле, аналитикам, медиа и разработчикам софта». По его мнению, у ClickHouse есть потенциал применения в Security Operation Center — центрах мониторинга, куда стекается информация о событиях, имеющих отношение к ИБ.

astera.ru