Хранилище данных (DWH)

В парадигме управления компанией на основе данных, DWH является фундаментом всего процесса. И не важно, построено ли хранилище на собственном сервере или в "облаке", важен только результат в виде сбора и хранения данных.
В связи с этим, есть несколько требований:

1. в компании должен осуществляться сбор данных.
2. данные должны быть общедоступными.

Несомненно, данные — ключевой компонент. При этом речь идет не о любых данных, а о правильных. Необходимо, чтобы набор данных соответствовал вопросу, который требуется решить.

Специалистам-аналитикам нужны правильные данные, собранные правильным образом и в правильной форме, в правильном месте, в правильное время. (Они просят совсем не много.) Если какое-то из этих требований не выполнено или выполнено недостаточно хорошо, у аналитиков сужается круг вопросов, на которые они способны дать ответ, а также снижается качество выводов, которые они могут сделать на основании данных.

Все вышеперечисленное строится на базе корпоративного хранилища, которое выполняет функцию единого репозитория структурированных данных для построения бизнес-аналитики и аналитических отчётов.

В DWH заполняется из информационных систем, баз данных и других источников (CRM, ERP, кассовых систем, систем учета и т. д.), и хранятся в подробной или агрегированной форме. Отчетность, которая строится на данных из хранилища, может быть управленческой, финансовой, регуляторной или аналитической. Современная бизнес-аналитика в сочетании с единым хранилищем данных открывает новые возможности для управления бизнесом.

Сам процесс путешествия данных в организации, в общих чертах, выглядит так:

Если кратко, то хранилище данных преобразует реляционные данные и другие источники данных в многомерные схемы с единственной целью, для проведения анализа. Во время этого преобразования создаются метаданные, которые повышают скорость запросов и поиска. Семантический уровень лежит поверх этого уровня данных и предназначен для организации и отображения сложных данных на привычном бизнес-языке, таком как «продукт» или «клиент», чтобы аналитики могли быстро проводить анализ без необходимости знать имена таблиц базы данных. Наконец, уровень аналитики располагается поверх семантического уровня, предоставляя авторизованным пользователям доступ к данным, их визуализацию и интерпретацию.

Более подробно рассмотрим далее.

Как упоминалось выше, главная цель использования, это для анализа множества различных типов бизнес-данных за пределами производственной среды. Это позволяет операционным базам (1С, CRM, БД сайта и т.д.) продолжать записывать транзакции и поддерживать бизнес без дополнительной нагрузки на оперативную память и процессоры серверов.
Таким образом все ресурсы хранилища можно применить только в аналитике для обнаружения закономерностей, тенденций, выбросов и других взаимосвязей, которые развиваются с течением времени.

Другими важными преимуществами хранилища данных являются то, что оно может анализировать данные из нескольких источников и извлекать данные из систем хранения разных типов. DWH обеспечивает целостность данных компании, позволяя собственникам и управленцам запрашивать их без случайного изменения и в любое время не нарушая производственную среду.

/ КОГДА ИСПОЛЬЗОВАТЬ DWH?

Несмотря на множество веских причин использовать хранилище данных, выделяются следующие шесть:

1. Для анализа разноформатных данных из разрозненных источников.
Хранилище позволяет актуализировать, нормализовать, обогатить данные и объединить их из различных информационных систем, таблиц и других внешних источников в единую структуру, для удобства работы и эффективной аналитики.

2. Для исторического анализа данных.
В корпоративных хранилищах в удобном для анализа виде хранятся архивные, исторические данные за разный период, что позволяет проводить анализ трендов во времени. В операционной базе данных такой объем данных хранить нецелесообразно.

3. При работе с высоконагруженными системами, содержащими критически важные для бизнеса данные.
Корпоративное хранилище функционирует отдельно от оперативной базы данных компании. Вы можете исключить
негативное влияние на другие процессы и системы, не работая напрямую с базами данных приложений, а отправлять данные
в хранилище и обрабатывать их там.
Благодаря своей структурированности и оптимизации данных, DWH позволяет получить быстрый доступ к большим объемам информации без значительного влияния на производительность.

4. Для стабильной работы BI инструментов с имеющимися базами данных.
Некоторые инструменты BI не могут работать с NoSQL (нереляционными) базами. Такие данные можно переместить в хранилище, где BI-приложения смогут получить к ним доступ.

5. Для ускорения обработки запросов.
Если данные хранятся в сотнях тысяч строк, на выполнение стандартных запросов уходит много времени. В хранилище создаются сводные таблицы, агрегирующие данные. С их помощью запросы выполняются быстрее.

6. Для персональных дашбордов и отчетов для конкретных пользователей или подразделений.
Хранилище данных структурирует всю корпоративную информацию и позволяет настроить доступ к ней таким образом, что бизнес-пользователи могут использовать только необходимые и доступные им в соответствии с ролевой моделью адаптированные данные.

/ DWH И ОЗЕРО ДАННЫХ?

Хранилище данных может анализировать огромные объемы реляционных данных из самых разных источников, включая транзакционные системы, операционные базы данных и бизнес-приложения. Это может составлять сотни гигабайт и даже петабайты (триллионы байт) данных. Поскольку данные тщательно контролируются, они могут служить золотым стандартом компании или чистовой версией информации. Общие приложения включают BI-аналитику и графическую визуализацию.

С другой стороны озеро данных, может использоваться для анализа всех типов данных, включая как структурированные (например, данные, найденные в реляционной базе данных), так и неструктурированные (например, биты и байты, составляющие видео, текстовый файл, сообщение или публикацию в социальных сетях). Сюда также могут относиться необработанные данные, которые не были очищены, дедуплицированы или обработаны. Общие приложения озера данных включают машинное обучение, обнаружение данных, анализ больших данных и профилирование.

/ DWH И БАЗЫ ДАННЫХ?

Базы данных предназначены для создания записей о транзакциях по мере их возникновения. Они собирают данные «как есть» из одного источника, например, из системы обработки кредитных карт. Они делают это постоянно, в режиме реального времени, по мере обработки транзакций.

Хранилища данных, напротив, предназначены для анализа огромных объемов данных из разных источников. В отличие от регистрации отдельных записей на максимальной скорости, хранилища данных оптимизированы для быстрого запроса больших объемов этих данных после их записи.

/ DWH И ВИТРИНЫ ДАННЫХ?

Витрина данных — это подмножество хранилища данных, предназначенное для нужд определенной функции или бизнес-подразделения, например финансов, маркетинга или продаж. Витрина данных меньше и более специализирована, чем полноценное хранилище данных, и объединяет данные из меньшего количества источников. Его можно настроить как отдельную дискретную систему или как часть более крупного хранилища данных.

/ КАК DWH, БАЗЫ ДАННЫХ И
ОЗЕРА ДАННЫХ РАБОТАЮТ ВМЕСТЕ?

Многие организации используют комбинацию баз данных, озер данных и хранилищ данных для хранения и анализа. Данные могут быть записаны в оперативные БД, а затем переданы в хранилища данных для дальнейшего анализа.

Но не все данные поступают из структурированной БД, хранящей данные в табличном формате.

Например, анализ больших данных, полнотекстовый поиск и машинное обучение, могут использовать неструктурированные данные, такие как телефонные звонки и рукописные заметки. Данные такого типа собираются и передаются в озеро данных компании, где их можно подготовить для дальнейшего анализа в хранилище данных.

/ ФУНКЦИИ DWH

Хранилище данных специально разработано для выполнения анализа данных. Обычно это влечет за собой сортировку больших объемов данных из разных источников с целью выявления различных тенденций и взаимосвязей, отраженных в данных. Хранилище имеет две основные функции:

1. Обрабатывать данные и управлять ими, чтобы их можно было использовать в целях расширенной аналитики и отчетности.
2. Хранить данные, чтобы их можно было использовать в различных программах для бизнес-аналитики и непосредственно проведения анализа.

В совокупности эти базовые функции позволяют широкому спектру аналитических инструментов интегрировать различные виды данных из разных источников, а затем анализировать их, чтобы отвечать на вопросы, выявлять бизнес-тенденции и прогнозировать будущие результаты.

/ ТИПЫ DWH

В зависимости от задач и объёма базы данных хранилища располагают локально или мигрируют в облако.
Ниже взгляд на варианты типов хранилищ и то, что каждый из них может предложить.

Локальное хранилище данных. При локальном подходе все необходимое оборудование и программное обеспечение приобретается, лицензируется, развертывается и обслуживается компанией, которая их использует. Этот подход часто используется и предлагает организациям ряд преимуществ:

• Полный контроль над всей системой, в том числе над тем, кто и как будет ее использовать.
• Возможность настройки и адаптации хранилища данных под конкретные требования и оптимизации его производительности.

Устройство хранилища данных. Одним из типов локального хранилища данных является устройство DWH. Эти автономные аппаратные устройства позволяют компаниям легче масштабировать свою инфраструктуру для поддержки потребностей в бизнес-аналитике по мере роста и расширения. Однако эти устройства, как и локальные системы в целом, заменяются по мере того, как компании всех размеров переходят на новейшие типы хранилищ данных.

Облачные хранилища данных. Как и все облачные приложения, облачные хранилища данных не требуют от организации приобретения или обслуживания какого-либо оборудования или программного обеспечения. Бизнес просто платит за подписку, место для хранения и вычислительную мощность, необходимые ему в данный момент. Расширение емкости облачного хранилища данных — это простой вопрос добавления дополнительных облачных ресурсов; нет необходимости нанимать людей для администрирования или обслуживания базовой технологической инфраструктуры, поскольку эти задачи выполняются поставщиком облачных услуг.
Но есть и минусы связанные с аппаратной частью, возможностями и правилами хостинг-провайдера. В некоторых моментах просто невозможно повлиять на ситуацию в отличии от локального сервера данных.

/ АРХИТЕКТУРА DWH

Проект или архитектура хранилища данных обычно состоит из трех уровней:

1. Слой аналитики. Уровень аналитики — это интерфейс, ориентированный на пользователя, который представляет результаты анализа с использованием инструментов визуализации данных.
2. Семантический слой. Семантический уровень состоит из аналитического механизма, используемого для доступа к данным и их анализа.
3. Уровень данных. Уровень данных в архитектуре — это сервер базы данных, где данные преобразуются, загружаются, управляются и хранятся.

Хотя эти три уровня остаются согласованными, архитектура любого отдельного хранилища данных обычно включает модификации, специфичные для нужд компании. Начиная с основ, все хранилища данных включают в себя центральную базу данных для хранения метаданных, сводных данных и необработанных данных. Это хранилище, которое принимает данные и к которому получают доступ лица, принимающие бизнес-решения, для проведения анализа.
Дополнительные подходы основаны на этой простой архитектуре, в том числе:

• C промежуточной областью: некоторые хранилища добавляют промежуточную область, где данные подготавливаются перед попаданием в центральное DWH.
• Центр и звезда: этот подход предоставляет различным бизнес-подразделениям компании витрины данных, содержащие подмножества данных, специфичные для них, что делает их анализ более быстрым и эффективным.
• Песочницы. Виртуальные песочницы — это вычислительные пространства, которые позволяют компаниям безопасно «играть» со своими данными. Здесь возможно все — данные не обязательно должны соответствовать правилам, регулирующим центральный репозиторий их хранилища данных.

/ СХЕМА DWH

Все хранилища данных основаны на схеме, которая представляет собой своего рода логическое описание того, как организованы данные. Схема включает в себя название и описание различных видов записей, хранящихся в базе данных. Существует три базовые модели:

Схема звезды. В звездообразной схеме таблицы данных являются одномерными, то есть каждая таблица содержит данные, описывающие один атрибут, например время, местоположение или проданные единицы.

Схема снежинка. Схема «снежинка» более сложна, но также занимает меньше места для хранения и ее легче поддерживать. Таблицы данных в этой схеме многомерны; вместо одного атрибута они подразделяются на дополнительные таблицы, содержащие связанные атрибуты. Так, например, таблица продаж может включать атрибут местоположения, который связан с другой таблицей, предоставляющей дополнительную информацию, например город и улицу. Запись города в таблице местоположения также может быть связана с еще одной таблицей, которая содержит данные об области или республике и стране, в которой расположен город.

Схема галактики. Схема созвездия, также известная как схема галактики, представляет собой нечто среднее между звездой и снежинкой, поскольку она может содержать таблицы данных, которые являются как одномерными, так и многомерными.

/ ПОЛЬЗА ОТ DWH ДЛЯ БИЗНЕСА?

Основная польза от хранилища данных заключается в том, что оно позволяет бизнесу анализировать большие объемы различных типов данных и вести их исторический учет. В частности, преимущества хранилища данных включают в себя возможность:

• Объединять данные из разных источников.
• Поддерживать высочайший уровень качества, согласованности и точности данных.
• Выполнять анализ данных, не нарушая работу транзакционных баз данных организации и поддерживаемых ими бизнес-операций.
• Проводить анализ исторических данных.
• И, основываясь на вышесказанном, помогает бизнесу принимать более правильные решения.

/ ПРИМЕРЫ DWH?

Вот как хранилища данных часто используются для поддержки бизнес-операций в трех различных отраслях промышленности:

1. В финансовом и страховом секторе хранилища данных используются для анализа тенденций клиентов и рынка. Двумя направлениями бизнеса, в которых хранилища данных играют важную роль, являются обмен иностранной валюты (форекс) и торговля акциями, поскольку небольшие переменные могут привести к огромным потерям на этих рынках. Для финансовых и торговых приложений хранилища данных обычно используют потоковую передачу данных в реальном времени.
2. В секторе розничной торговли хранилища данных в основном используются с приложениями бизнес-аналитики и прогнозирования. Примеры включают отслеживание эффективности продукта, определение оптимальных цен, оценку рекламных стратегий и анализ моделей покупок клиентов.
3. Хранилища данных получили широкое распространение во всем секторе здравоохранения, где они широко используются для прогнозирования результатов лечения, отслеживания и анализа демографических тенденций, обмена данными со страховыми компаниями, а также для сбора и анализа данных исследований.

/ DWH ДЛЯ СОВРЕМЕННОГО ДАТАЦЕНТРИЧНОГО БИЗНЕСА

Сегодня предприятия не могут оставаться конкурентоспособными без использования своих данных. Успешные компании всех типов и размеров полагаются на информацию, основанную на данных, чтобы "держать руку на пульсе" бизнеса и быть актуальными для своих клиентов. Чтобы в полной мере воспользоваться своими данными и извлечь всю возможную ценную информацию, компаниям необходимо создать свое хранилище данных в облаке или на собственном сервере.

Поскольку коммерция все больше переходит в цифровую сферу, предприятия должны снабжать всех, от инженеров по продуктам до менеджеров по продажам, знаниями о данных, которые помогут им более эффективно выполнять свою работу и участвовать в таком анализе данных, который ведет к инновационной работе продвигая бизнес вперед. В противном случае они просто отстанут от тех организаций, которые это делают. Таким образом, хорошо спроектированные хранилища данных, обеспечивающие основу для бизнес-аналитики, стали необходимостью для организаций любого размера.

/ ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ ПО DWH

Для чего используется хранилище данных?
Хранилище данных можно использовать для анализа множества различных типов бизнес-данных без ограничений обычной базы данных. В отличие от большинства реляционных баз данных, DWH может анализировать данные из нескольких источников и извлекать данные из систем хранения разных типов. Также обеспечивает целостность данных компании, позволяя пользователям запрашивать их, не изменяя и не нарушая их каким-либо образом.

Что является примером хранилища данных?
В розничной торговле хранилища данных используются для прогнозирования и предоставления бизнес-аналитики. Использование включает отслеживание эффективности продукта, определение оптимальных цен, оценку рекламных стратегий и анализ моделей покупок клиентов.

Каков процесс хранения данных?
Хранилище данных централизует и консолидирует большие объемы данных из нескольких источников. Со временем создаются исторические данные, которые могут оказаться неоценимыми для специалистов по данным и бизнес-аналитиков. Хранимые данные имеют высочайшее качество, а записи хранилища данных часто считаются окончательными и служат «единственным источником правды» для организации.
Многие предприятия используют комбинацию баз данных, озер данных и хранилищ данных для хранения и анализа своих данных. Данные могут быть записаны в их оперативные базы данных, а затем переданы в их хранилища данных для дальнейшего анализа.

Внедрение от проекта до первого дашборда

/ ПОЛУЧИТЕ КОНСУЛЬТАЦИЮ

Узнайте как бизнес-аналитика может оптимизировать ваш бизнес.

Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности.