Дата прекращения поддержки - 30/09/2026
Курс на замену: DP-750T00: Implement data engineering solutions using Azure Databricks
Цель курса – предоставить участникам знания и практические навыки, необходимые для разработки и реализации аналитических решений с использованием Azure Databricks. Слушатели научатся интегрировать различные источники данных, применять методы анализа и визуализации данных, а также применять инструменты машинного обучения для получения инсайтов и поддержки принятия бизнес-решений.
Аудитория
Этот курс предназначен для специалистов по данным, аналитиков, дата-инженеров и разработчиков, которые хотят освоить платформу Azure Databricks и использовать её возможности для анализа большого объёма данных. Курс будет полезен также для ИТ-специалистов и руководителей, заинтересованных в внедрении решений по обработке и анализу данных для улучшения бизнес-процессов и принятия более обоснованных управленческих решений.
По окончании курса слушатели смогут:
Создавать рабочую область Azure Databricks
Определять основные рабочие нагрузки и роли пользователей для Azure Databricks
Описывать ключевые концепции решения на базе Azure Databricks
Описывать ключевые элементы архитектуры Apache Spark
Создавать и настраивать кластер Spark
Описывать примеры использования Spark
Использовать Spark для обработки и анализа данных, хранящихся в файлах
Использовать Spark для визуализации данных
Описывать основные функции и возможности Delta Lake
Создавать и использовать таблицы Delta Lake в Azure Databricks
Создавать таблицы каталога Spark для данных Delta Lake
Использовать таблицы Delta Lake для потоковых данных
Создавать и настраивать SQL-склады в Azure Databricks
Создавать базы данных и таблицы
Создавать запросы и панели мониторинга
Описывать, как блокноты Azure Databricks могут выполняться в конвейере
Создавать связанный сервис Azure Data Factory для Azure Databricks
Использовать активность блокнота в конвейере
Передавать параметры в блокнот
Необходимая подготовка
Для эффективного обучения на курсе слушатели должны обладать следующими знаниями и навыками:
Опыт программирования на Python или Scala
Глубокие знания SQL и обработки данных
Понимание концепций больших данных и распределенной аналитики
Знакомство с Azure Databricks и его экосистемой
Опыт работы с фреймворками для обработки данных
Знание принципов инженерии данных
Понимание архитектур данных в облаке
Опыт работы с ETL/ELT конвейерами данных
Знакомство с концепциями производительности и оптимизации
Модуль 1: Изучение Azure Databricks
Темы
Начало работы с Azure Databricks
Определение рабочих нагрузок Azure Databricks
Понимание ключевых концепций
Управление данными с помощью Unity Catalog и Microsoft Purview
Лабораторная работа: Исследование Azure Databricks
Модуль 2: Выполнение анализа данных с помощью Azure Databricks
Темы
Загрузка данных в Azure Databricks
Инструменты для анализа данных в Azure Databricks
Анализ данных с использованием API DataFrame
Лабораторная работа: Исследование данных с помощью Azure Databricks
Модуль 3: Использование Apache Spark в Azure Databricks
Темы
Знакомство со Spark
Создание кластера Spark
Использование Spark в блокнотах
Работа с файлами данных с использованием Spark
Визуализация данных
Лабораторная работа: Использование Spark в Azure Databricks
Модуль 4: Управление данными с помощью Delta Lake
Темы
Начало работы с Delta Lake
Управление ACID-транзакциями
Реализация соблюдения схемы
Версионирование данных и временные перемещения в Delta Lake
Целостность данных с Delta Lake
Лабораторная работа: Использование Delta Lake в Azure Databricks
Модуль 5: Создание конвейеров данных с помощью Delta Live Tables
Темы
Изучение Delta Live Tables
Загрузка данных и интеграция
Обработка в реальном времени
Лабораторная работа: Создание конвейера данных с помощью Delta Live Tables
Модуль 6: Развертывание рабочих нагрузок с помощью Azure Databricks Workflows
Темы
Что такое Azure Databricks Workflows?
Понимание ключевых компонентов Azure Databricks Workflows
Изучение преимуществ Azure Databricks Workflows
Развертывание рабочих нагрузок с использованием Azure Databricks Workflows
Лабораторная работа: Создание рабочего процесса Azure Databricks
