В рамках этого курса вы получите все необходимые навыки эффективного хранения и обработки больших данных.

Экспоненциальный рост данных в современном мире заставляет применять все более сложные инструменты для работы с ними. 
Спрос на специалистов в области Big Data (более точно Data Engineers) на международном рынке более чем в 5 раз превышает спрос на специалистов анализа данных (Data Scientist).

Что вы узнаете?

1. Получите хорошее понимание экосистемы Hadoop
2. Разберетесь в деталях каким образом работает MapReduce и каким образом можно оптимизировать распределенные вычисления
3. Узнаете про тонкости хранения данных для оптимизации вычислений в высокоуровневых инструментах типа Hive
4. Узнаете что такое Resilient Distributed Dataset (RDD), а также познакомитесь с более высокоуровневым API (Spark SQL, Spark Dataframe).

Чему вы научитесь?

1. Оценивать стоимость хранения и обработки данных
2. Выбирать технологии Big Data для решения конкретной задачи
3. Научитесь пользоваться распределенной файловой системой (HDFS)
4. Научитесь пользоваться Apache Spark
5. Научитесь строить сервисы, использующие результаты обработки больших объемов данных

Для кого этот курс?

ИТ-специалист, разработчик

1. Узнать о современных технологиях для хранения и обработки больших объемов данных
2. Получить практические навыки, которые не всегда возможно получить внутри компании (переквалификация или повышение квалификации).

Data scientist

1. Расширить кругозор
2. Научиться пользоваться инструментами для работы с Big Data
3. Понять каким образом принятые алгоритмические решения анализа данных отразятся на сложности внедрения и поддержки этого решения (например - с целью повышения скорости выведения на рынок новых продуктов компании). 

Какие знания и навыки необходимы для обучения на курсе? 

1. Умение программировать на Python (знание базовых структура данных, умение писать функции, отлаживать код)
2. Аналитический склад ума (умение решать алгоритмические задачи, понимание нотации "О-большое" сложности вычислений)

Технические требования 

Компьютер с предустановленным Python, Docker