Выберите удобное для вас число,
запишитесь на курс, заполнив простую форму
Этот курс предоставит слушателям знания и навыки о шаблонах и методах проектирования данных, касающихся работе с пакетными аналитическими решениями и решениями в реальном времени с использованием технологий платформы данных Azure
Этот курс охватывает следующие технологии:
Azure Synapse Analytics,
Azure Databricks,
Azure Stream Analytics,
Azure Data Lake.
Предварительные требования:
Успешное окончание курса AZ - 900T01А: Основы Microsoft Azure или эквивалентная подготовка. Успешное окончание курса DP - 900: Основы баз данных в Microsoft Azure или эквивалентная подготовка. Английский язык
Цель курса:
Вы научитесь
Изучать варианты вычислений и хранения для рабочих нагрузок инженерии данных в Azure
Разработке и реализации уровня обслуживания
Понимать особенности инженерии данных
Выполнению интерактивных запросов с использованием бессерверных пулов SQL
Изучать, преобразовывать и загружать данные в хранилище данных с помощью Apache Spark
Выполнению исследования и преобразования данных в Azure Databricks
Получению и загрузке данных в хранилище данных
Преобразованию данных с помощью фабрики данных Azure или Azure Synapse Pipelines
Интеграции данных из записных книжек с фабрикой данных Azure или конвейерами Azure Synapse
Оптимизации производительности запросов с помощью выделенных пулов SQL в Azure Synapse
Анализировать и оптимизировать хранилище данных в хранилище данных
Поддержке гибридной транзакционной аналитической обработки (HTAP) с помощью Azure Synapse Link
Обеспечению сквозной безопасности с помощью Azure Synapse Analytics
Выполнять потоковую обработку в реальном времени с помощью Stream Analytics
Созданию решения для потоковой обработки с концентраторами событий и Azure Databricks
Создавать отчеты с помощью интеграции Power BI с Azure Synpase Analytics
Выполнению интегрированных процессов машинного обучения в Azure Synapse Analytics
Аудитория курса:
Основная аудитория этого курса - профессионалы в области данных, архитекторы данных и профессионалы в области бизнес-аналитики, которые хотят узнать об инженерии данных и создании аналитических решений с использованием технологий платформы данных, существующих в Microsoft Azure. Вторичная аудитория этого курса - аналитики данных и специалисты по данным, работающие с аналитическими решениями на базе Microsoft Azure.
Модуль 1. Изучение возможностей вычислений и хранения для рабочих нагрузок инженерии данных
Введение в Azure Synapse Analytics
Описание Azure Databricks
Введение в хранилище озера данных Azure
Опишите архитектуру озера Дельта
Работа с потоками данных с помощью Azure Stream Analytics
Лабораторная работа: Изучение возможностей вычислений и хранения для рабочих нагрузок инженерии данных.
Объедините потоковую и пакетную обработку в едином конвейере
Организуйте озеро данных по уровням преобразования файлов
Индексируйте хранилище озера данных для ускорения запросов и рабочих нагрузок
Модуль 2. Разработка и реализация уровня обслуживания
Разработайте многомерную схему для оптимизации аналитических рабочих нагрузок
Масштабируемое преобразование без кода с помощью фабрики данных Azure
Заполнение медленно меняющихся измерений в конвейерах Azure Synapse Analytics
Лабораторная работа: Разработка и реализация уровня обслуживания.
Разработайте звездообразную схему для аналитических рабочих нагрузок
Заполнение медленно изменяющихся измерений с помощью фабрики данных Azure и сопоставление потоков данных
Модуль 3. Рекомендации по проектированию данных для исходных файлов
Проектирование современного хранилища данных с помощью Azure Synapse Analytics
Защита хранилища данных в Azure Synapse Analytics
Лабораторная работа: Вопросы инженерии данных.
Управление файлами в озере данных Azure
Защита файлов, хранящихся в озере данных Azure
Модуль 4. Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics
Изучите возможности бессерверных пулов SQL в Azure Synapse
Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse
Создание объектов метаданных в бессерверных пулах SQL Azure Synapse
Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse
Лабораторная работа: Выполнение интерактивных запросов с использованием бессерверных пулов SQL.
Запрос данных Parquet с помощью бессерверных пулов SQL
Создание внешних таблиц для файлов Parquet и CSV
Создание представлений с помощью бессерверных пулов SQL
Безопасный доступ к данным в озере данных при использовании бессерверных пулов SQL
Настройка безопасности озера данных с помощью управления доступом на основе ролей (RBAC) и списка управления доступом
Модуль 4. Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics
Изучите возможности бессерверных пулов SQL в Azure Synapse
Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse
Создание объектов метаданных в бессерверных пулах SQL Azure Synapse
Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse
Лабораторная работа: Выполнение интерактивных запросов с использованием бессерверных пулов SQL.
Запрос данных Parquet с помощью бессерверных пулов SQL
Создание внешних таблиц для файлов Parquet и CSV
Создание представлений с помощью бессерверных пулов SQL
Безопасный доступ к данным в озере данных при использовании бессерверных пулов SQL
Настройка безопасности озера данных с помощью управления доступом на основе ролей (RBAC) и списка управления доступом
Модуль 6. Исследование и преобразование данных в Azure Databricks
Описание Azure Databricks
Чтение и запись данных в Azure Databricks
Работа с DataFrames в Azure Databricks
Работа с расширенными методами DataFrames в Azure Databricks
Лабораторная работа: Исследование и преобразование данных в Azure Databricks.
Использование DataFrames в Azure Databricks для изучения и фильтрации данных
Кэшировать DataFrame для более быстрых последующих запросов
Удалить повторяющиеся данные
Управление значениями даты / времени
Удалить и переименовать столбцы DataFrame
Сводные данные, хранящиеся в DataFrame
Модуль 7. Получение и загрузка данных в хранилище данных
Используйте рекомендации по загрузке данных в Azure Synapse Analytics
Прием петабайтов с помощью фабрики данных Azure
Лабораторная работа: Получение и загрузка данных в хранилище данных.
Выполнение приема петабайтов с помощью Azure Synapse Pipelines
Импорт данных с помощью PolyBase и КОПИРОВАНИЕ с помощью T-SQL
Используйте рекомендации по загрузке данных в Azure Synapse Analytics
Модуль 8. Преобразование данных с помощью фабрики данных Azure или Azure Synapse Pipelines
Интеграция данных с фабрикой данных Azure или Azure Synapse Pipelines
Масштабируемое преобразование без кода с помощью фабрики данных Azure или Azure Synapse Pipelines
Лабораторная работа: Преобразование данных с помощью фабрики данных Azure или Azure Synapse Pipelines.
Выполняйте масштабные преобразования без кода с помощью Azure Synapse Pipelines
Создайте конвейер данных для импорта плохо отформатированных файлов CSV
Создание потоков данных сопоставления
Модуль 9. Управление перемещением и преобразованием данных в Azure Synapse Pipelines
Управляйте перемещением и преобразованием данных в фабрике данных Azure
Лабораторная работа: Управление перемещением и преобразованием данных в Azure Synapse Pipelines.
Интеграция данных из записных книжек с фабрикой данных Azure или конвейерами Azure Synapse
Модуль 10. Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse
Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics
Ознакомьтесь с функциями Azure Synapse Analytics для разработчиков хранилища данных.
Лабораторная работа: Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse.
Изучите особенности Azure Synapse Analytics для разработчиков
Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics
Модуль 11. Анализ и оптимизация хранилища данных
Анализируйте и оптимизируйте хранилище хранилища данных в Azure Synapse Analytics
Лабораторная работа: Анализ и оптимизация хранилища данных.
Проверьте искаженные данные и использование пространства
Сведения о хранилище хранилища столбцов
Изучите влияние материализованных представлений
Изучите правила для минимально регистрируемых операций
Модуль 12. Поддержка гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link
Разработка гибридной транзакционной и аналитической обработки с помощью Azure Synapse Analytics
Настройка ссылки Azure Synapse с помощью Azure Cosmos DB
Запросы к Azure Cosmos DB с пулами Apache Spark
Запросы к Azure Cosmos DB с бессерверными пулами SQL
Лабораторная работа: Поддержка гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link.
Настройка ссылки Azure Synapse с помощью Azure Cosmos DB
Запросы к Azure Cosmos DB с помощью Apache Spark для Synapse Analytics
Запросы к Azure Cosmos DB с бессерверным пулом SQL для Azure Synapse Analytics
Модуль 13. Комплексная безопасность с помощью Azure Synapse Analytics
Защита хранилища данных в Azure Synapse Analytics
Настройка и управление секретами в Azure Key Vault
Внедрить контроль соответствия для конфиденциальных данных
Лабораторная работа: Комплексная безопасность с помощью Azure Synapse Analytics.
Безопасная инфраструктура поддержки Azure Synapse Analytics
Защита рабочей области Azure Synapse Analytics и управляемых служб
Защита данных рабочей области Azure Synapse Analytics
Модуль 14. Обработка потоков в реальном времени с помощью Stream Analytics
Обеспечьте надежный обмен сообщениями для приложений больших данных с помощью концентраторов событий Azure
Работа с потоками данных с помощью Azure Stream Analytics
Получение потоков данных с помощью Azure Stream Analytics
Лабораторная работа: Обработка потоков в реальном времени с помощью Stream Analytics.
Используйте Stream Analytics для обработки данных в реальном времени из концентраторов событий
Используйте оконные функции Stream Analytics для создания агрегатов и вывода в Synapse Analytics.
Масштабируйте задание Azure Stream Analytics для увеличения пропускной способности за счет секционирования.
Переразбейте входной поток для оптимизации распараллеливания
Модуль 15. Создание решения для потоковой обработки с концентраторами событий и Azure Databricks
Обработка потоковых данных с помощью структурированной потоковой передачи Azure Databricks
Лабораторная работа: Создание решения для потоковой обработки с концентраторами событий и Azure Databricks.
Изучите ключевые функции и способы использования структурированной потоковой передачи
Потоковая передача данных из файла и запись их в распределенную файловую систему
Используйте скользящие окна для агрегирования фрагментов данных, а не всех данных
Применение водяных знаков для удаления устаревших данных
Подключение к концентраторам событий для чтения и записи потоков
Модуль 16. Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics
Создавайте отчеты с помощью Power BI, используя его интеграцию с Azure Synapse Analytics.
Лабораторная работа: Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics.
Интеграция рабочей области Azure Synapse и Power BI
Оптимизировать интеграцию с Power BI
Повышение производительности запросов с помощью материализованных представлений и кэширования набора результатов
Визуализируйте данные с помощью SQL Serverless и создайте отчет Power BI
Модуль 17. Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics
Используйте интегрированный процесс машинного обучения в Azure Synapse Analytics
Лабораторная работа: Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics.
Создание связанной службы машинного обучения Azure
Запуск эксперимента Auto ML с использованием данных из таблицы Spark
Обогащайте данные с помощью обученных моделей
Показывать результаты прогнозов с помощью Power BI
