Казахстан, г. Алматы, ул. Шевченко 90, БЦ «Каратал», офис 53
Казахстан, г. Астана, ул. Иманова 19, БЦ Деловой Дом "Алма-Ата", офис 612

кол-во дней: 3
кол-во часов: 24
код курса: O11gWHF

Во время курса слушатели изучают основные концепции технологии хранилищ данных, а также вопросы, связанные с планированием, проектированием, построением, заполнением и сопровождением успешных хранилищ. Изучается как, используя различные свойства базы данных Oracle, улучшить производительность и управляемость в хранилищах данных. Рассматриваются основы архитектуры секционирования в базе данных Oracle, определяются преимущества секционирования. Слушатели знакомятся с преимуществами использования параллелизма для уменьшения времени отклика информационно емких операций. Изучаются процессы извлечения, преобразования, загрузки данных хранилище. Обсуждаются основные преимущества использования материализованных представлений для улучшения производительности. Слушатели подробно изучают как улучшить производительность запроса с помощью механизма перезаписи запросов. знакомятся с OLAP и Data Mining, и получают некоторые рекомендации по реализации хранилищ данных. В ходе курса идет краткое знакомство с некоторыми инструментами для организации хранилищ данных: Oracle Warehouse Builder, Analytic Workspace Manager и Oracle Application Express.

Слушатели изучат, как:

использовать терминологию и объяснять основные концепции технологии хранилищ данных

идентифицировать технологию и инструменты Oracle для построения успешных хранилищ данных

описывать методы и инструменты для извлечения, преобразования и загрузки данных

идентифицировать некоторые инструменты для доступа к данным хранилища и их анализа

описывать преимущества использования секционирования, параллелизма, материализованных представлений и механизма перезаписи запросов в хранилищах данных

объяснять основные технические и организационные вопросы, требующие разрешения в ходе реализации проектов, связанных с проектами хранилищ данных

 

Цель курса:

  • Использование материализованных представлений и механизма перезаписи запросов для улучшения производительности хранилищ данных
  • Знакомство с некоторыми новыми свойствами базы данных Oracle 11g, способствующих реализации хранилищ данных
  • Описание методов и инструментов для извлечения, преобразования и загрузки данных
  • Идентификация некоторых инструментов для доступа к данным хранилища и их анализа
  • Описание преимуществ использования секционирования в хранилищах данных
  • Использование параллелизма для уменьшения времени отклика информационно емких операций
  • Определение терминологии и объяснение основных концепций технологии хранилищ данных
  • Идентификация технологий и инструментов Oracle для построения успешных хранилищ данных
  • Описание преимущества использования секционирования, параллелизма, материализованных представлений и механизма перезаписи запросов в хранилищах данных
  • Объяснение основных технических и организационных вопросов, требующих разрешения в ходе реализации проектов, связанных с проектами хранилищ данных
  • Определение назначения системы принятия решений и конечной задачи хранилищ данных
  • Формирование знаний о некоторых технологиях, необходимых для реализации хранилищ данных

 

Круг слушателей:

  • Разработчики хранилищ данных
  • Функциональные разработчики
  • Администраторы хранилищ данных
  • Аналитики хранилищ данных
  • Разработчики
  • Менеджеры проектов
  • Разработчики приложений
  • Специалисты технической поддержки

 

Введение

  • Цели курса. Программа курса. Рекомендуемая предварительная подготовка к курсу. Демонстрационные схемы sh, dm и приложения, используемые в курсе. Информация об учетных записях, используемых на занятиях. Инструменты для работы с SQL и для организации хранилищ данных, используемые на данном курсе. Организация хранилищ данных в Oracle 11g, документация по SQL и сайт Oracle By Examples. Рекомендуемые курсы для продолжения обучения.


Хранилища данных, бизнес-анализ, OLAP и Data Mining

  • Определения и характеристики хранилищ данных. Хранилища данных, бизнес-анализ, витрины данных и системы интерактивной обработки транзакций (OLTP). Основные компоненты хранилищ данных. Основные подходы к разработке хранилищ данных. Технология извлечения, преобразования и загрузки данных (ETL). Многомерная модель и Oracle OLAP. Oracle Data Mining.


Определение терминологии и концепций хранилищ данных

  • Определения и характеристики хранилищ данных. Сравнение хранилищ данных с системами интерактивной обработки транзакций (OLTP). Сравнение хранилищ данных с витринами данных. Основные компоненты хранилищ данных. Основные подходы к разработке хранилищ данных. Компоненты процесса организации хранилищ данных. Стратегические аспекты полученных результатов. Анализ учебного примера: Roy Independent School District (RISD).


Создание модели бизнеса, логической, многомерной и физической модели

  • Основные вопросы, связанные с моделированием хранилищ данных. Создание бизнес-модели. Создание логической модели. Создание многомерной модели. Создание физической модели: звезда, снежинка и третья нормальная форма. Особенности таблиц фактов и таблиц измерений. Преобразование бизнес-измерений в таблицы измерений. Преобразование многомерной модели в физическую модель.


Физическое моделирование: анализ размеров хранилища данных, способов физического хранения объектов, производительности и информационной безопасности

  • Анализ размеров базы данных, оценка и обоснование выбора размера базы данных. Архитектурные преимущества базы данных Oracle. Секционирование данных. Индексирование. Оптимизация запросов типа "звезда": Настройка производительности запросов типа "звезда". Параллелизм. Обеспечение информационной безопасности хранилищ данных. Стратегия Oracle по обеспечению информационной безопасности хранилищ данных.


ETL-процессы: извлечение данных

  • Основные принципы ETL-процессов (извлечение, преобразование и загрузка данных), используемых для построения хранилищ данных. ETL-задачи, их важность и стоимость. Извлечение данных и изучение источников данных. Построение соответствий между данными источника и данными хранилища. Способы логического и физического извлечения данных. Приемы извлечения данных и управление извлечением метаданных. Возможные сбои в работе ETL и управление качеством ETL. Инструменты корпорации Oracle для ETL-процессов: Oracle Warehouse Builder, SQL*Loader и Data Pump.


ETL-процессы: преобразование данных

  • Определение преобразования. Удаленная и локальная модели промежуточной области. Аномалии данных. Стандартные подходы к преобразованию данных. Преобразование данных: Проблемы и решения. Качество данных: важность и преимущества. Виды преобразования и инструменты для преобразований. Управление преобразованием метаданных.


ETL-процессы: загрузка данных

  • Загрузка данных в хранилище. Перемещение данных с помощью плоских файлов, распределенные системы и перемещаемые табличные пространства. Модели обновления данных: Точные условия обработки. Построение процесса загрузки. Гранулярность данных. Технологий загрузки, поставляемые Oracle. Последующая обработка загруженных данных. Индексирование и сортировка данных, проверка целостности данных.


Актуализация (периодическое обновление) данных хранилища

  • Создание стратегии актуализации для отслеживания изменений в источниках данных. Требования пользователей и поддержка. Требования к окну загрузки. Планирование и расписание выполнения окна загрузки. Отслеживания изменений в источниках данных для обновления. Отметка времени и даты, триггеры базы данных и журнал базы данных. Применение изменений к данным. Заключительные задачи.


Материализованные представления

  • Использование итоговых данных для повышения производительности. Использование материализованных представлений для управления итоговыми данными. Типы материализованных представлений. Режимы построения и методы обновления. Обзор механизма перезаписи запросов. Процесс перезаписи запроса оптимизатором по стоимости. Работа с объектами-размерностями и иерархиями.


Ведение метаданных

  • Определение метаданных хранилища. Пользователи метаданных и типы метаданных. Изучение метаданных: метаданные ETL. Извлечение, преобразование и загрузка метаданных. Определение задач метаданных и предполагаемое использование. Идентификация пользователей, полученных метаданных, выбор инструментов метаданных и подходов. Интеграция метаданных, генерируемых разными инструментами. Управление изменениями метаданных.


Рекомендации по внедрению хранилищ данных

  • Управление проектом. Спецификация или постановка требований. Логическая, пространственная и физическая модели данных. Архитектура хранилища данных. Рекомендации по технологии извлечения, преобразования и загрузки данных (ETL), по составлению отчетов и обеспечению безопасности. Управление метаданными. Тестирование внедрения и управление внесением изменений во внедренную систему. Некоторые полезные ресурсы и официальные издания.