DP-601 Implement a Lakehouse with Microsoft Fabric

Цель курса – предоставить слушателям знания и навыки, необходимые для проектирования и внедрения архитектуры Lakehouse с использованием Microsoft Fabric. Участники изучат основные принципы и подходы к интеграции различных источников данных, обеспечению хранения и обработки больших объемов данных, а также реализации аналитических решений на базе Lakehouse. Курс охватывает оснащение участников инструментами для оптимизации производительности и безопасности решений, а также управления жизненным циклом данных.

Аудитория

Этот курс предназначен для специалистов в области данных, включая аналитиков данных, инженеров по данным и облачным технологиям, архитекторов систем и ИТ-специалистов, которые занимаются разработкой и внедрением аналитических решений на базе Lakehouse. Он также будет полезен руководителям проектов и бизнес-аналитикам, стремящимся углубить свои знания в области обработки данных и создать эффективные решения для работы с большими объемами неструктурированных и структурированных данных.

По окончании курса слушатели смогут:

• Понимать основы инженерии данных на платформе Fabric через изучение Lakehouse.
• Изучить мощные возможности Apache Spark для распределенной обработки данных.
• Освоить основные техники эффективного управления данными, версионирования и надежности, работая с таблицами Delta Lake.
• Изучить погружение данных и оркестрацию с использованием Dataflows Gen2 и конвейеров Data Factory.

Необходимая подготовка

Для эффективного обучения на курсе слушатели должны обладать следующими знаниями и навыками:

• Опыт работы с озерами данных и хранилищами данных
• Знание принципов больших данных и распределенной обработки
• Понимание форматов данных (Parquet, Delta Lake и др.)
• Опыт работы с SQL и языками запросов для больших данных
• Знакомство с конвейерами данных и интеграцией
• Базовые знания о Microsoft Fabric и его компонентах
• Понимание принципов управления данными
• Опыт работы с инструментами аналитики данных
• Знакомство с концепциями облачного хранения
• Знание принципов производительности и оптимизации

Модуль 1: Начало работы с lakehouse в Microsoft Fabric

Темы

• Изучение lakehouse в Microsoft Fabric
• Работа с lakehouse в Microsoft Fabric
• Изучение и преобразование данных в lakehouse

Лабораторная работа: Создание lakehouse в Microsoft Fabric

Модуль 2: Использование Apache Spark в Microsoft Fabric

Темы

• Подготовка к использованию Apache Spark
• Запуск кода Spark
• Подключение к источникам данных и загрузите данные
• Работа с данными в датафрейме Spark
• Работа с данными, используя Spark SQL
• Визуализиация данных в ноутбуке Spark

Лабораторная работа: Анализ данных с помощью Apache Spark

Модуль 3: Работа с таблицами Delta Lake в Microsoft Fabric

Темы

• Понимание Delta Lake
• Создание дельта-таблиц
• Работа с дельта-таблицами в Spark
• Использование дельта-таблиц с потоковыми данными

Лабораторная работа: Использование дельта-таблицы в Apache Spark

Модуль 4: Загрузка данных с помощью Dataflows Gen2 в Microsoft Fabric

Темы

• Понимание Dataflows Gen2 в Microsoft Fabric
• Изучение Dataflows Gen2 в Microsoft Fabric
• Интеграция Dataflows Gen2 и конвейеры в Microsoft Fabric

Лабораторная работа: Создание и использование Dataflow Gen2 в Microsoft Fabric

Модуль 5: Оркестрация процессов и перемещение данных с помощью Microsoft Fabric

Темы

• Понимание конвейеров
• Использование активности Copy Data
• Использование шаблонов конвейеров
• Запуск и контроль конвейеров

Лабораторная работа: Загрузка данных с помощью конвейера