DP-3011 Implementing a Data Analytics Solution with Azure Databricks

Цель курса – предоставить участникам знания и практические навыки, необходимые для разработки и реализации аналитических решений с использованием Azure Databricks. Слушатели научатся интегрировать различные источники данных, применять методы анализа и визуализации данных, а также применять инструменты машинного обучения для получения инсайтов и поддержки принятия бизнес-решений.

Аудитория

Этот курс предназначен для специалистов по данным, аналитиков, дата-инженеров и разработчиков, которые хотят освоить платформу Azure Databricks и использовать её возможности для анализа большого объёма данных. Курс будет полезен также для ИТ-специалистов и руководителей, заинтересованных в внедрении решений по обработке и анализу данных для улучшения бизнес-процессов и принятия более обоснованных управленческих решений.

По окончании курса слушатели смогут:

• Создавать рабочую область Azure Databricks
• Определять основные рабочие нагрузки и роли пользователей для Azure Databricks
• Описывать ключевые концепции решения на базе Azure Databricks
• Описывать ключевые элементы архитектуры Apache Spark
• Создавать и настраивать кластер Spark
• Описывать примеры использования Spark
• Использовать Spark для обработки и анализа данных, хранящихся в файлах
• Использовать Spark для визуализации данных
• Описывать основные функции и возможности Delta Lake
• Создавать и использовать таблицы Delta Lake в Azure Databricks
• Создавать таблицы каталога Spark для данных Delta Lake
• Использовать таблицы Delta Lake для потоковых данных
• Создавать и настраивать SQL-склады в Azure Databricks
• Создавать базы данных и таблицы
• Создавать запросы и панели мониторинга
• Описывать, как блокноты Azure Databricks могут выполняться в конвейере
• Создавать связанный сервис Azure Data Factory для Azure Databricks
• Использовать активность блокнота в конвейере
• Передавать параметры в блокнот

Необходимая подготовка

Для эффективного обучения на курсе слушатели должны обладать следующими знаниями и навыками:

• Опыт программирования на Python или Scala
• Глубокие знания SQL и обработки данных
• Понимание концепций больших данных и распределенной аналитики
• Знакомство с Azure Databricks и его экосистемой
• Опыт работы с фреймворками для обработки данных
• Знание принципов инженерии данных
• Понимание архитектур данных в облаке
• Опыт работы с ETL/ELT конвейерами данных
• Знакомство с концепциями производительности и оптимизации

Модуль 1: Изучение Azure Databricks

Темы

• Начало работы с Azure Databricks
• Определение рабочих нагрузок Azure Databricks
• Понимание ключевых концепций
• Управление данными с помощью Unity Catalog и Microsoft Purview

Лабораторная работа: Исследование Azure Databricks

Модуль 2: Выполнение анализа данных с помощью Azure Databricks

Темы

• Загрузка данных в Azure Databricks
• Инструменты для анализа данных в Azure Databricks
• Анализ данных с использованием API DataFrame

Лабораторная работа: Исследование данных с помощью Azure Databricks

Модуль 3: Использование Apache Spark в Azure Databricks

Темы

• Знакомство со Spark
• Создание кластера Spark
• Использование Spark в блокнотах
• Работа с файлами данных с использованием Spark
• Визуализация данных

Лабораторная работа: Использование Spark в Azure Databricks

Модуль 4: Управление данными с помощью Delta Lake

Темы

• Начало работы с Delta Lake
• Управление ACID-транзакциями
• Реализация соблюдения схемы
• Версионирование данных и временные перемещения в Delta Lake
• Целостность данных с Delta Lake

Лабораторная работа: Использование Delta Lake в Azure Databricks

Модуль 5: Создание конвейеров данных с помощью Delta Live Tables

Темы

• Изучение Delta Live Tables
• Загрузка данных и интеграция
• Обработка в реальном времени

Лабораторная работа: Создание конвейера данных с помощью Delta Live Tables

Модуль 6: Развертывание рабочих нагрузок с помощью Azure Databricks Workflows

Темы

• Что такое Azure Databricks Workflows?
• Понимание ключевых компонентов Azure Databricks Workflows
• Изучение преимуществ Azure Databricks Workflows
• Развертывание рабочих нагрузок с использованием Azure Databricks Workflows

Лабораторная работа: Создание рабочего процесса Azure Databricks