ETL разработчик — человек, который управляет процессом загрузки и трансформации данных. Профессиональных инструментов у ETL-специалиста очень много. Поэтому для работы в данной области надо пройти достаточно серьезное обучение.

На онлайн курсах по ETL-разработке вы научитесь проектировать схемы хранилища, применять нормализацию, индексы, фильтрацию, агрегацию, настраивать и конфигурировать ETL / ELT-процессы и многому другому. Все эти навыки позволят вам получить одну из самых высокооплачиваемых должностей в области Big Data и работать в крупных компаниях.

Нетология

ETL-разработчик: пайплайны, хранилища данных и BI-решения

Ни аналитик, ни инженер данных не пишет ETL с нуля, но умеет его наладить и использовать готовые решения, где это возможно. Такой подход не требует глубокого знания программирования и помогает избегать костыльных решений, которые компании не могут масштабировать.

Аналитик, разработчик или инженер — каждый найдёт в этом курсе практику и знания для усиления своих профессиональных позиций.

Чему вы научитесь?

1. Применять нормализацию, проектировать схемы хранилища: Star Schema, Snowflake Schema, Hybrid Schemas
2. Применять индексы, фильтрацию, агрегацию, импорт/экспорт данных
3. Понимать особенности популярных решений: Snowflake, BigQuery, Azure SQL DW, Redshift и прочих
4. Научитесь понимать, пояснять и обогащать данные отчётов, дашбордов и других источников информации
5. И строить RTDM-системы с использованием массовых enterprise BI-решений
6. Настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах

Учитесь в своем темпе, если так комфортнее. Гибкие форматы обучения: видеолекции, статьи, вебинары, индивидуальные и групповые задания. Вас ждут домашние и лабораторные работы, а также дипломный проект. Кураторы, аспиранты и эксперты программы всегда на связи в закрытом студенческом канале курса. Также предусмотрены 2 персональные консультации с ментором.

Big Data

Организация ETL/ELT-процессов с большими данными для дата-инженеров и разработчиков: Apache Hadoop, Kafka, Spark, AirFlow, NiFi, Greenplum.

Практические курсы по инженерии данных предназначены для аналитиков, разработчиков программного обеспечения, руководителей и специалистов по работе с большими данными, которые хотят получить следующие знания и навыки:

• Понять принципы организации и работы корпоративных хранилищ и озер данных
• Познакомиться с основами Data Science и Machine Learning
• Освоить лучшие практики построения ETL/ELT-конвейеров с применением Spark, Livy и других технологий Big Data
• Овладеть востребованными пакетными и потоковыми оркестраторами заданий (AirFlow, NiFi)
• Научиться работать с технологиями потоковой передачи событий (Kafka, Spark Streaming, Flink)
• Понять, что такое DataOps и как это использовать

Курсы по инженерии данных помогут вам внедрить практики data-driven управления через быструю поставку требуемых данных нужным людям и приложениям. После обучения вы сможете начать профессиональную карьеру дата-инженера и разработчика Data Flow.

Coursera

Специализация Основы BI с SQL, ETL и хранилищем данных

Чему вы научитесь?

• Писать SQL-запросы для работы с реляционными базами данных, включая создание таблицы, выбор, вставку, обновление, удаление, порядок, объединение, функции и т.д.
• Выполнять часто используемые команды Linux; Автоматизировать задания извлечения, преобразования и загрузки (ETL) и конвейеры данных с помощью скриптов BASH, Apache Airflow и Kafka
• Проектировать хранилища данных с использованием схем «звезда» и «снежинка», загружайте и проверяйте данные в промежуточных областях, создавайте кубы, свертки и материализованные представления/ таблицы
• Анализировать данные в хранилищах с помощью интерактивных отчетов и информационных панелей с помощью инструментов BI, таких как Cognos Analytics.

Каждый курс содержит много практических занятий с использованием практических лабораторий и проектов в облачных средах с использованием реальных инструментов. Практические упражнения включают в себя: запуск команд и каналов Linux, создание сценариев оболочки, планирование заданий с использованием cron, построение ETL и конвейеров данных, создание и мониторинг DAG потоков данных, работа с потоковыми данными с помощью Kafka, проектирование хранилищ данных со схемами star и snowflake, проверка качества данных, загрузка промежуточных и производственных хранилищ, написание SQL-запросов и соединений с базами данных PostgreSQL, MySQL и DB2, разработка кубов, сводных данных и материализованных представлений / таблиц, создание интерактивных отчетов и информационных панелей, а также анализ данных хранилища с помощью инструментов BI, таких как Cognos Analytics.

Курс на английском языке