Pós-Graduação
MIT em Engenharia de Dados: Big Data

Disciplinas e competências

• SQL Avançado para Engenharia de Dados

  • Otimizar a performance de consultas complexas em grandes volumes de dados distribuídos
  • Implementar lógicas analíticas avançadas utilizando funções de janela e CTEs recursivas
  • Estruturar modelos de dados escaláveis para arquiteturas modernas de Data Warehousing
  • Automatizar fluxos de transformação de dados através de procedimentos e funções programáveis

• Transformação e Qualidade de Dados com dbt

  • Construir pipelines de transformação modulares utilizando a linguagem SQL e referenciamento dinâmico entre tabelas do data warehouse
  • Implementar testes automatizados de integridade e qualidade para garantir a confiabilidade dos dados consumidos pelas áreas de negócio
  • Gerenciar o ciclo de vida dos modelos de dados através de versionamento e ambientes distintos de desenvolvimento e produção
  • Desenvolver documentação técnica detalhada e linhagem de dados automatizada para facilitar a governança e descoberta de ativos informacionais

• Processamento de Big Data com Apache Spark e Spark SQL

  • Desenvolver pipelines de processamento distribuído utilizando RDDs e DataFrames para manipulação eficiente de grandes volumes de dados
  • Otimizar o desempenho de aplicações Spark através de técnicas de particionamento, caching e gerenciamento de recursos do cluster
  • Implementar transformações de dados complexas utilizando Spark SQL para integrar fontes heterogêneas em ambientes de Big Data
  • Construir soluções de processamento em tempo real e em lote garantindo a tolerância a falhas e escalabilidade

• Implementação de Data Lakehouse com Databricks e Delta Lake

  • Projetar arquiteturas de dados utilizando o padrão Medallion para organizar camadas de bronze, prata e ouro com eficiência
  • Implementar tabelas Delta para garantir transações ACID e versionamento de dados em ambientes de armazenamento em nuvem escaláveis
  • Otimizar a performance de leitura e escrita utilizando técnicas de Z-Ordering e compactação de arquivos no Delta Lake
  • Desenvolver fluxos de governança e segurança de dados integrados ao Unity Catalog para controle de acesso granular

• ELT com AWS Glue Studio

  • Configurar crawlers e catálogos de dados para automatizar a descoberta de metadados em diferentes fontes de armazenamento
  • Desenvolver jobs de extração e transformação visual utilizando componentes nativos do Glue Studio para processamento escalável
  • Implementar scripts personalizados em Python ou Scala para estender as funcionalidades padrão de transformação no ambiente Spark
  • Orquestrar fluxos de trabalho complexos utilizando gatilhos e monitoramento para garantir a execução pontual das pipelines de dados

• Orquestração de Pipelines de Dados com AWS Step Functions

  • Projetar fluxos de trabalho resilientes utilizando máquinas de estados para coordenar serviços distribuídos na nuvem da AWS
  • Implementar estratégias de retentativa e tratamento de erros customizados para garantir a continuidade das pipelines de processamento
  • Integrar funções Lambda e serviços de containers para executar tarefas granulares dentro de orquestrações complexas de dados
  • Monitorar a execução de fluxos de trabalho em tempo real utilizando logs para otimizar o desempenho operacional

• Data Streaming e Processamento em Tempo Real com Kafka

  • Explicar a finalidade, a arquitetura e o funcionamento do Apache Kafka, abordando tópicos, partições, offsets e brokers, bem como a criação, manipulação, produção e consumo de mensagens via linha de comando
  • Implementar o Apache Kafka em ambientes distribuídos, compreendendo o papel do KRaft ou ZooKeeper, a configuração de particionamento, replicação, grupos de consumidores e garantias de entrega de mensagens
  • Processar dados com Apache Kafka utilizando Python, gerenciando grupos de consumidores, otimizando desempenho e retenção de mensagens, e aplicando o Kafka de forma adequada em projetos de engenharia de dados
  • Implementar pipelines de streaming em tempo real com Kafka Connect, Kafka Streams e KSQL, avaliando alternativas e monitorando o cluster por meio de métricas e ferramentas como o Prometheus

• Engenharia de Dados para MLOps e Inteligência Artificial

  • Implementar Feature Stores para centralizar o armazenamento e o compartilhamento de atributos entre diferentes modelos de produção
  • Desenvolver pipelines de dados automatizados que integrem a validação de esquemas e o monitoramento de desvios de dados
  • Estruturar fluxos de ingestão em tempo real para alimentar sistemas de inteligência artificial com dados de baixa latência
  • Orquestrar o ciclo de vida dos dados de treinamento utilizando versionamento para garantir a reprodutibilidade dos experimentos realizados

Sobre a pós

• É reconhecido pelo MEC?

  Sim. Consulte aqui o cadastro da instituição no Sistema e-MEC:

  

• Quais são os pré-requisitos do curso?

  Este MBA em Engenharia de Dados é indicado para profissionais de TI que já tenham base em programação e SQL, e desejam evoluir para engenharia de dados.
  
  É importante ter familiaridade com lógica de desenvolvimento, consultas a banco de dados e ambiente Linux, além de interesse em aprender cloud e processamento distribuído.

• Conheça o coordenador

  CARLOS EDUARDO GERTNERS

  Coordena o MBA em Engenharia de Dados, que é ministrado por professores do quadro permanente do Infnet e especialistas convidados para disciplinas específicas. É graduado em Processamento de Dados e possui formação em Big Data e Data Science. 

  Atua há mais de 20 anos com bancos de dados, BI e engenharia de dados, com passagens por empresas como Rede D’Or, Halliburton, SulAmérica e Vivo. Professor e coordenador no Infnet desde 2013, une prática de mercado à experiência acadêmica para formar profissionais de excelência para a engenharia de dados moderna.