Казахстан, г. Алматы, ул. Шевченко 90, БЦ «Каратал», офис 53
Казахстан, г. Астана, ул. Иманова 19, БЦ Деловой Дом "Алма-Ата", офис 612

Даты проведения курса

Выберите удобное для вас число,
запишитесь на курс, заполнив простую форму

город: Алматы
28.11.2022
-
02.12.2022 Подтвержден
записаться на курс
направление: Azure кол-во дней: 5
вендор: Microsoft кол-во часов: 40
код курса: DP-203T00

Этот курс предоставит слушателям знания и навыки о шаблонах и методах проектирования данных, касающихся работе с пакетными аналитическими решениями и решениями в реальном времени с использованием технологий платформы данных Azure

Этот курс охватывает следующие технологии:

  • Azure Synapse Analytics,

  • Azure Databricks,

  • Azure Stream Analytics,

  • Azure Data Lake.

Предварительные требования:

Успешное окончание курса AZ - 900T01А: Основы Microsoft Azure или эквивалентная подготовка. Успешное окончание курса DP - 900: Основы баз данных в Microsoft Azure или эквивалентная подготовка. Английский язык

Цель курса:

Вы научитесь

  • Изучать варианты вычислений и хранения для рабочих нагрузок инженерии данных в Azure

  • Разработке и реализации уровня обслуживания

  • Понимать особенности инженерии данных

  • Выполнению интерактивных запросов с использованием бессерверных пулов SQL

  • Изучать, преобразовывать и загружать данные в хранилище данных с помощью Apache Spark

  • Выполнению исследования и преобразования данных в Azure Databricks

  • Получению и загрузке данных в хранилище данных

  • Преобразованию данных с помощью фабрики данных Azure или Azure Synapse Pipelines

  • Интеграции данных из записных книжек с фабрикой данных Azure или конвейерами Azure Synapse

  • Оптимизации производительности запросов с помощью выделенных пулов SQL в Azure Synapse

  • Анализировать и оптимизировать хранилище данных в хранилище данных

  • Поддержке гибридной транзакционной аналитической обработки (HTAP) с помощью Azure Synapse Link

  • Обеспечению сквозной безопасности с помощью Azure Synapse Analytics

  • Выполнять потоковую обработку в реальном времени с помощью Stream Analytics

  • Созданию решения для потоковой обработки с концентраторами событий и Azure Databricks

  • Создавать отчеты с помощью интеграции Power BI с Azure Synpase Analytics

  • Выполнению интегрированных процессов машинного обучения в Azure Synapse Analytics

Аудитория курса:

Основная аудитория этого курса - профессионалы в области данных, архитекторы данных и профессионалы в области бизнес-аналитики, которые хотят узнать об инженерии данных и создании аналитических решений с использованием технологий платформы данных, существующих в Microsoft Azure. Вторичная аудитория этого курса - аналитики данных и специалисты по данным, работающие с аналитическими решениями на базе Microsoft Azure.

Модуль 1. Изучение возможностей вычислений и хранения для рабочих нагрузок инженерии данных 

  • Введение в Azure Synapse Analytics

  • Описание Azure Databricks

  • Введение в хранилище озера данных Azure

  • Опишите архитектуру озера Дельта

  • Работа с потоками данных с помощью Azure Stream Analytics

Лабораторная работа: Изучение возможностей вычислений и хранения для рабочих нагрузок инженерии данных.

  • Объедините потоковую и пакетную обработку в едином конвейере

  • Организуйте озеро данных по уровням преобразования файлов

  • Индексируйте хранилище озера данных для ускорения запросов и рабочих нагрузок

 

Модуль 2. Разработка и реализация уровня обслуживания 

  • Разработайте многомерную схему для оптимизации аналитических рабочих нагрузок

  • Масштабируемое преобразование без кода с помощью фабрики данных Azure

  • Заполнение медленно меняющихся измерений в конвейерах Azure Synapse Analytics

Лабораторная работа: Разработка и реализация уровня обслуживания.

  • Разработайте звездообразную схему для аналитических рабочих нагрузок

  • Заполнение медленно изменяющихся измерений с помощью фабрики данных Azure и сопоставление потоков данных

 

Модуль 3. Рекомендации по проектированию данных для исходных файлов 

  • Проектирование современного хранилища данных с помощью Azure Synapse Analytics

  • Защита хранилища данных в Azure Synapse Analytics

Лабораторная работа: Вопросы инженерии данных.

  • Управление файлами в озере данных Azure

  • Защита файлов, хранящихся в озере данных Azure

 

Модуль 4. Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics 

  • Изучите возможности бессерверных пулов SQL в Azure Synapse

  • Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse

  • Создание объектов метаданных в бессерверных пулах SQL Azure Synapse

  • Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse

Лабораторная работа: Выполнение интерактивных запросов с использованием бессерверных пулов SQL.

  • Запрос данных Parquet с помощью бессерверных пулов SQL

  • Создание внешних таблиц для файлов Parquet и CSV

  • Создание представлений с помощью бессерверных пулов SQL

  • Безопасный доступ к данным в озере данных при использовании бессерверных пулов SQL

  • Настройка безопасности озера данных с помощью управления доступом на основе ролей (RBAC) и списка управления доступом

 

Модуль 4. Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics 

  • Изучите возможности бессерверных пулов SQL в Azure Synapse

  • Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse

  • Создание объектов метаданных в бессерверных пулах SQL Azure Synapse

  • Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse

Лабораторная работа: Выполнение интерактивных запросов с использованием бессерверных пулов SQL.

  • Запрос данных Parquet с помощью бессерверных пулов SQL

  • Создание внешних таблиц для файлов Parquet и CSV

  • Создание представлений с помощью бессерверных пулов SQL

  • Безопасный доступ к данным в озере данных при использовании бессерверных пулов SQL

  • Настройка безопасности озера данных с помощью управления доступом на основе ролей (RBAC) и списка управления доступом

 

Модуль 6. Исследование и преобразование данных в Azure Databricks

  • Описание Azure Databricks

  • Чтение и запись данных в Azure Databricks

  • Работа с DataFrames в Azure Databricks

  • Работа с расширенными методами DataFrames в Azure Databricks

Лабораторная работа: Исследование и преобразование данных в Azure Databricks.

  • Использование DataFrames в Azure Databricks для изучения и фильтрации данных

  • Кэшировать DataFrame для более быстрых последующих запросов

  • Удалить повторяющиеся данные

  • Управление значениями даты / времени

  • Удалить и переименовать столбцы DataFrame

  • Сводные данные, хранящиеся в DataFrame

 

Модуль 7. Получение и загрузка данных в хранилище данных

  • Используйте рекомендации по загрузке данных в Azure Synapse Analytics

  • Прием петабайтов с помощью фабрики данных Azure

Лабораторная работа: Получение и загрузка данных в хранилище данных.

  • Выполнение приема петабайтов с помощью Azure Synapse Pipelines

  • Импорт данных с помощью PolyBase и КОПИРОВАНИЕ с помощью T-SQL

  • Используйте рекомендации по загрузке данных в Azure Synapse Analytics

 

Модуль 8. Преобразование данных с помощью фабрики данных Azure или Azure Synapse Pipelines

  • Интеграция данных с фабрикой данных Azure или Azure Synapse Pipelines

  • Масштабируемое преобразование без кода с помощью фабрики данных Azure или Azure Synapse Pipelines

Лабораторная работа: Преобразование данных с помощью фабрики данных Azure или Azure Synapse Pipelines.

  • Выполняйте масштабные преобразования без кода с помощью Azure Synapse Pipelines

  • Создайте конвейер данных для импорта плохо отформатированных файлов CSV

  • Создание потоков данных сопоставления

 

Модуль 9. Управление перемещением и преобразованием данных в Azure Synapse Pipelines

  • Управляйте перемещением и преобразованием данных в фабрике данных Azure

Лабораторная работа: Управление перемещением и преобразованием данных в Azure Synapse Pipelines.

  • Интеграция данных из записных книжек с фабрикой данных Azure или конвейерами Azure Synapse

 

Модуль 10. Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse

  • Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics

  • Ознакомьтесь с функциями Azure Synapse Analytics для разработчиков хранилища данных.

Лабораторная работа: Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse.

  • Изучите особенности Azure Synapse Analytics для разработчиков

  • Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics

Модуль 11. Анализ и оптимизация хранилища данных 

  • Анализируйте и оптимизируйте хранилище хранилища данных в Azure Synapse Analytics

Лабораторная работа: Анализ и оптимизация хранилища данных.

  • Проверьте искаженные данные и использование пространства

  • Сведения о хранилище хранилища столбцов

  • Изучите влияние материализованных представлений

  • Изучите правила для минимально регистрируемых операций

 

Модуль 12. Поддержка гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link

  • Разработка гибридной транзакционной и аналитической обработки с помощью Azure Synapse Analytics

  • Настройка ссылки Azure Synapse с помощью Azure Cosmos DB

  • Запросы к Azure Cosmos DB с пулами Apache Spark

  • Запросы к Azure Cosmos DB с бессерверными пулами SQL

Лабораторная работа: Поддержка гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link.

  • Настройка ссылки Azure Synapse с помощью Azure Cosmos DB

  • Запросы к Azure Cosmos DB с помощью Apache Spark для Synapse Analytics

  • Запросы к Azure Cosmos DB с бессерверным пулом SQL для Azure Synapse Analytics

 

Модуль 13. Комплексная безопасность с помощью Azure Synapse Analytics

  • Защита хранилища данных в Azure Synapse Analytics

  • Настройка и управление секретами в Azure Key Vault

  • Внедрить контроль соответствия для конфиденциальных данных

Лабораторная работа: Комплексная безопасность с помощью Azure Synapse Analytics.

  • Безопасная инфраструктура поддержки Azure Synapse Analytics

  • Защита рабочей области Azure Synapse Analytics и управляемых служб

  • Защита данных рабочей области Azure Synapse Analytics

 

Модуль 14. Обработка потоков в реальном времени с помощью Stream Analytics 

  • Обеспечьте надежный обмен сообщениями для приложений больших данных с помощью концентраторов событий Azure

  • Работа с потоками данных с помощью Azure Stream Analytics

  • Получение потоков данных с помощью Azure Stream Analytics

Лабораторная работа: Обработка потоков в реальном времени с помощью Stream Analytics.

  • Используйте Stream Analytics для обработки данных в реальном времени из концентраторов событий

  • Используйте оконные функции Stream Analytics для создания агрегатов и вывода в Synapse Analytics.

  • Масштабируйте задание Azure Stream Analytics для увеличения пропускной способности за счет секционирования.

  • Переразбейте входной поток для оптимизации распараллеливания

 

Модуль 15. Создание решения для потоковой обработки с концентраторами событий и Azure Databricks

  • Обработка потоковых данных с помощью структурированной потоковой передачи Azure Databricks

Лабораторная работа: Создание решения для потоковой обработки с концентраторами событий и Azure Databricks.

  • Изучите ключевые функции и способы использования структурированной потоковой передачи

  • Потоковая передача данных из файла и запись их в распределенную файловую систему

  • Используйте скользящие окна для агрегирования фрагментов данных, а не всех данных

  • Применение водяных знаков для удаления устаревших данных

  • Подключение к концентраторам событий для чтения и записи потоков

 

Модуль 16. Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics 

  • Создавайте отчеты с помощью Power BI, используя его интеграцию с Azure Synapse Analytics.

Лабораторная работа: Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics.

  • Интеграция рабочей области Azure Synapse и Power BI

  • Оптимизировать интеграцию с Power BI

  • Повышение производительности запросов с помощью материализованных представлений и кэширования набора результатов

  • Визуализируйте данные с помощью SQL Serverless и создайте отчет Power BI

 

Модуль 17. Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics

  • Используйте интегрированный процесс машинного обучения в Azure Synapse Analytics

Лабораторная работа: Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics.

  • Создание связанной службы машинного обучения Azure

  • Запуск эксперимента Auto ML с использованием данных из таблицы Spark

  • Обогащайте данные с помощью обученных моделей

  • Показывать результаты прогнозов с помощью Power BI