Казахстан, г. Алматы, ул. Шевченко 90, БЦ «Каратал», офис 53
Казахстан, г. Нур-Султан, ул. Иманова 19, БЦ Деловой Дом "Алма-Ата", офис 612

направление: Основы Hadoop кол-во дней: 3
вендор: Hadoop кол-во часов: 24

Описание:

Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.

Цели:

  • понимать ключевые концепции и архитектуру Hadoop®;
  • уметь записывать и читать данные в/из HDFS;
  • разрабатывать программы для классического MapReduce и для YARN;
  • работать с данными в HDFS из MapReduce-программ;
  • получить представление об экосистеме, сложившейся вокруг Hadoop® и ее ключевых компонентах.

Целевая аудитория:

  • Разработчики, архитекторы, разработчики баз данных, администраторы баз данных.

Предварительная подготовка:

  • Базовые навыки программирования на Java. Умение работать в командной оболочке Unix/Linux (bash). Опыт работы с базами данных желателен, но не обязателен.
  • Основные концепции Hadoop®;
  • Установка и конфигурирование: локально и в облаке;
  • HDFS: Архитектура, репликация, чтение и запись данных;
  • Команды HDFS;
  • Структура классической MapReduce-программы;
  • Форматы данных для MapReduce;
  • Архитектура YARN;
  • Выполнение работ в классическом MapReduce и в YARN;
  • Распределенный кеш и счетчики;
  • Hadoop Streaming;
  • Экосистема и вендоры Hadoop®;
  • Введение в Pig™;
  • Введение в Hive;
  • Введение в Sqoop;
  • Введение в Flume;
  • Введение в Spark™;
  • Введение в Mahout™.