DP-3012 Implementing a Data Analytics Solution with Azure Synapse Analytics

Цель курса – обучить участников проектированию и внедрению аналитических решений с использованием Azure Synapse Analytics. Слушатели познакомятся с методами интеграции, обработки и анализа данных из различных источников, научатся создавать и оптимизировать аналитические рабочие нагрузки, а также использовать мощные инструменты визуализации и отчетности для извлечения значимых бизнес-инсайтов.

Аудитория

Этот курс предназначен для специалистов по данным, дата-инженеров, аналитиков и архитекторов данных, которым необходимо освоить Azure Synapse Analytics для создания комплексных решений по обработке и анализу данных. Курс также будет полезен для руководителей и ИТ-специалистов, заинтересованных в повышении эффективности аналитических процессов и интеграции больших объемов данных в бизнес-стратегии.

По окончании курса слушатели смогут:

• Определять бизнес-проблемы, которые решает Azure Synapse Analytics.
• Описывать основные возможности Azure Synapse Analytics.
• Определять, когда следует использовать Azure Synapse Analytics.
• Выявлять возможности и варианты использования безсерверных SQL-пулов в Azure Synapse Analytics.
• Запрашивать файлы CSV, JSON и Parquet, используя безсерверный SQL-пул.
• Создавать внешние объекты баз данных в безсерверном SQL-пуле.
• Определять основные функции и возможности Apache Spark.
• Настраивать Spark-пул в Azure Synapse Analytics.
• Выполнять код для загрузки, анализа и визуализации данных в блокноте Spark.
• Описывать основные функции и возможности Delta Lake.
• Создавать и использовать таблицы Delta Lake в Spark-пуле Synapse Analytics.
• Создавать таблицы каталога Spark для данных Delta Lake.
• Использовать таблицы Delta Lake для потоковых данных.
• Запрашивать таблицы Delta Lake из SQL-пула Synapse Analytics.
• Проектировать схему для реляционного хранилища данных.
• Создавать фактические, размерные и промежуточные таблицы.
• Использовать SQL для загрузки данных в таблицы хранилища данных.
• Использовать SQL для запросов к таблицам реляционного хранилища данных.
• Описывать основные концепции для конвейеров Azure Synapse Analytics.
• Создавать конвейер в Azure Synapse Studio.
• Реализовывать активность потока данных в конвейере.
• Инициировать и контролировать выполнение конвейеров.

Необходимая подготовка

Для эффективного обучения на курсе слушатели должны обладать следующими знаниями и навыками:

• Опыт работы с блокнотами: Участники должны быть знакомы с использованием блокнотов, которые используют различные языки и движки Spark, такие как Databricks, Jupyter Notebooks и Zeppelin Notebooks.
• Навыки в SQL и Python: Необходим некоторый опыт работы с SQL и Python.
• Инструменты Azure: Участники должны иметь опыт работы с инструментами Azure, особенно с Azure Data Factory.

Модуль 1: Введение в Azure Synapse Analytics

Темы

• Что такое Azure Synapse Analytics 
• Как работает Azure Synapse Analytics 
• Когда использовать Azure Synapse Analytics 

Лабораторная работа: Изучение Azure Synapse Analytics 

Модуль 2: Использование безсерверного SQL-пула Azure Synapse для запроса файлов в озере данных

Темы

• Понимание возможностей и вариантов использования безсерверного SQL-пула Azure Synapse 
• Запрос файлов с использованием безсерверного SQL-пула 
• Создание внешних объектов баз данных 

Лабораторная работа: Запрос файлов с использованием безсерверного SQL-пула 

Модуль 3: Анализ данных с помощью Apache Spark в Azure Synapse Analytics

Темы

• Знакомство с Apache Spark 
• Использование Spark в Azure Synapse Analytics 
• Анализ данных с помощью Spark 
• Визуализация данных с помощью Spark 

Лабораторная работа: Анализ данных с помощью Spark 

Модуль 4: Использование Delta Lake в Azure Synapse Analytics

Темы

• Понимание Delta Lake 
• Создание таблиц Delta Lake 
• Создание каталогов таблиц 
• Использование Delta Lake с потоковыми данными 
• Использование Delta Lake в SQL-пуле 

Лабораторная работа: Использование Delta Lake в Azure Synapse Analytics 

Модуль 5: Анализ данных в реляционном хранилище данных

Темы

• Проектирование схемы хранилища данных 
• Создание таблиц хранилища данных 
• Загрузка таблиц хранилища данных 
• Запрос к хранилищу данных 

Лабораторная работа: Изучение хранилища данных 

Модуль 6: Построение данных в Azure Synapse Analytics

Темы

• Понимание конвейеров в Azure Synapse Analytics 
• Создание конвейера в Azure Synapse Studio 
• Определение потоков данных 
• Запуск конвейера 

Лабораторная работа: Построение данных в Azure Synapse Analytics