В настоящее время мы становимся свидетелями повсеместного использования цифровых технологий для оптимизации бизнес-процессов. Реальные конкурентные преимущества на рынке и повышение эффективности компании основаны на автоматизации бизнес-процессов и широком применении инструментов Business intelligence (BI). Термин «Большие Данные» прочно вошел в нашу жизнь и поэтому классические «строчные» СУБД начали сдавать свои позиции «колоночным», то есть данные хранятся в колонках, что ускоряет доступ к ним и позволяет оптимизировать хранение. Одним из самых ярких представителей «колоночных» СУБД стала Vertica. На вопросы о том, на чем базируется это новое для азербайджанского рынка решение, в интервью Infocity рассказывает старший менеджер по развитию бизнеса Vertica в Украине и СНГ Антон Голубенко.
— Какие решения Vertica предлагает в сфере анализа Больших Данных?
— Аналитика Больших данных требует скоординированных усилий IТ-службы, руководства компании, профильных подразделений и других служб, в том числе маркетинга. Вам понадобятся не только квалифицированные специалисты по данным, но и сотрудники IТ-службы, а также бизнес-подразделений, способные сосредоточиться на этом процессе, так как необходимо будет уделить внимание оценке не только технических, так и бизнес-навыков.
Vertica обеспечивает высокую скорость, масштабируемость и простоту исполнения аналитических запросов с помощью распределенной колоночной архитектуры, использующей сжатие данных. Vertica — это непревзойденная скорость (выполнение запросов в 50-1000 раз быстрее, чем в традиционных СУБД), масштабируемость до петабайтов (можно хранить на каждом из серверов в 10-30 раз больше данных, чем в традиционных СУБД), открытость и простота (можно использовать любые средства бизнес-анализа и ETL, а также Hadoop). И все это вы получаете с гораздо более низкими затратами, чем при использовании традиционных решений для хранилищ данных.
Vertica предоставляет заказчикам следующие возможности:
- Полная поддержка стандартных и расширенных аналитических функций SQL.
- Кластерный подход к хранению данных, обеспечивающий необходимую скорость выполнения поисковых и аналитических запросов.
- Эффективное сжатие данных, позволяющее снижать планку требований к оборудованию и хранилищу по сравнению с аналогичными решениями.
- Гибкость и масштабируемость, дающие возможность повышать производительность по мере увеличения аналитической нагрузки.
- Одновременное выполнение загрузки данных и запросов к ним.
- Встроенные функции предиктивной аналитики, а также возможность использования библиотек с применением Python и R.
- Снижение затрат и усилий на администрирование платформы и ее оптимизацию.
Vertica предлагает различные модели использования, в том числе:
- С локальным развертыванием (Vertica Enterprise [версии Premium и Express]).
- С развертыванием в облаке (Vertica on Amazon применяется с версией Amazon Machine Image [AMI]).
- По требованию (Vertica OnDemand).
- С хранением данных в Hadoop (Vertica SQL on Hadoop), что позволяет с легкостью анализировать данные, размещенные на узлах Hadoop.
— Какова роль машинного обучения в ваших продуктах?
— Начиная с 7-й версии Vertica была дополнена библиотекой Machine Learning, с помощью которой стало возможным подготавливать примеры данных для машинного обучения, тренировать модели машинного обучения на подготовленных данных и проводить предиктивный анализ данных хранилища на сохраненных моделях машинного обучения. Библиотека идет сразу в комплекте с инсталляцией Vertica для всех версий, в том числе с бесплатной версией Community. Работа с ней оформлена в виде вызова функций из-под SQL, которые подробно описаны в документации с примерами использования на подготовленных демонстрационных данных.
— Вы можете назвать самые распространенные проблемы у ваших заказчиков, с которыми Vertica помогла справиться?
— К самым часто встречающимся проблемам можно отнести устаревшие решения по аналитике, задержку с выполнением отчетности, дороговизну текущей архитектуры при масштабировании, доступ к критически важным отчетам, создание единого стандартизованного подхода к множеству разрозненных данных, консолидацию данных с различных источников и их анализ для решения широкого круга бизнес-задач. Также можно выделить сложности, связанные с низкой эффективностью маркетинговых кампаний и ограничением роста продаж.
— Какими конкурентными преимуществами обладают решения Vertica?
— Во-первых, я бы отметил возможность массивно-параллельной обработки данных. Вы можете выполнять запросы параллельно в инфраструктуре и линейно масштабировать их для повышения производительности или увеличения числа пользователей. Во-вторых, это встроенная аналитика и машинное обучение. Машинное обучение Vertica в базе данных поддерживает весь процесс прогнозной аналитики с массово-параллельной обработкой и знакомым интерфейсом SQL. В-третьих, наш продукт привлекателен тем, что предлагает одну лицензию для всех сред. Вы можете развернуть его как в виртуальной среде в собственном ЦОД, так и в облаке. И, наконец, Vertica обладает алгоритмами, обеспечивающими улучшенное сжатие данных. Передовые алгоритмы сжатия уменьшают дисковое пространство до 90% и повышают производительность за счет снижения затратного ввода-вывода.
— В каких отраслях более всего востребованы решения Vertica?
— Наибольший интерес данное решение может вызвать в промышленной отрасли, в финансовых институтах, ритейле, в отраслях, занимающихся добычей ископаемых, а также у сервис-провайдеров и телекоммуникационных операторов.
— Расскажите, пожалуйста, о самых знаковых проектах.
— В числе проектов компании Vertica хотел бы отметить работу с нефтехимической компанией, для которой специалисты Vertica занимались постройкой единой платформы данных. Цель проекта состояла в том, чтобы объединить множество источников данных в рамках единой цифровой платформы, обеспечить удобный доступ к данным бизнес-пользователей и цифровых продуктов. В результате мы добились внедрения в компании культуры работы с данными. Сотрудники компании были обеспечены аналитическими сервисами самообслуживания и был сформирован единый источник корректных данных. Кроме того, цифровые продукты компании были обеспечены данными.
Еще один удачный проект был реализован совместно с телекоммуникационной компанией «China Telecom», которая является крупнейшим оператором телефонной связи и третьим по величине оператором сотовой связи в Китае. Главной задачей этого проекта являлся анализ больших объемов критически важных для бизнеса данных и данных о клиентах с целью предоставления персонализированных мобильных и интернет-услуг в масштабах компании. В итоге компания добилась значительной экономии средств и одновременно смогла повысить производительность критически важной деятельности по составлению отчетов. Благодаря мощным компрессионным возможностям Vertica затраты компании снизились на 50%, а расходы — на 30%.
Также я могу выделить проект, реализованный в крупнейшей банковской холдинговой компании США Bank Of America. Благодаря Vertica здесь была решена проблема кредитного скоринга в режиме реального времени. Новая система позволяет выполнять оценку кредитоспособности заемщика в момент оплаты кредитной картой и предлагать оформление рассрочки непосредственно в магазине.
— Что из себя представляет управляемый облачный сервис Vertica Accelerator и в чем заключаются его преимущества?
— Vertica Accelerator или Vertica-as-a-Service (SaaS) — это сервис, предоставляющий унифицированную высокопроизводительную платформу расширенной аналитики и машинного обучения с автоматической настройкой облака и помощью в адаптации. Он работает в вашей собственной облачной учетной записи AWS с автоматизацией из плоскости управления Vertica. Благодаря автоматизации Vertica Accelerator, которая обрабатывает обновления, резервное копирование и установку, вы можете сосредоточиться непосредственно на аналитике и машинном обучении. Кроме того, сервис позволяет автоматически увеличивать объем вычислений с помощью настраиваемых пользователем ограничений, что позволяет избежать неожиданно высоких счетов.
ERC Distribution является официальный дистрибьютором Vertica в Азербайджане и совместно с компанией ULTRA Technologies планирует развивать решения Vertica на IТ-рынке Азербайджана.
