Pack de aprendizagem para Engenharia de Dados

Faaalla Turma,

Nesse mini post vou compartilhar com vocês alguns cursos/podcasts sobre o ecossistema de Big Data / Engenharia de dados.

Alguns cursos eu já fiz e indico, outros eu recebi indicações de grandes amigos que considero referência para mim em meus estudos.

Vamos lá então, separei por categoria para facilitar a visualização de vocês:

Cursos:

• Formação Engenheiro de Dados (datascienceacademy.com.br)
  Essa formação da Data Science Academy é muito legal, fiz ela no final do ano e meu trouxe uma visão bem ampla sobre alguns conceitos e tecnologias que não tinha tido a oportunidade de trabalhar ainda. Recomento para quem assim como eu estava surfando as primeiras ondas no mundo de engenhariaç

• Cursos de Engenharia de Dados – Data Science | Alura
  Sou suspeito em falar da Alura, sou muito fã do conteúdo desses caras. Eu conheci essa empresa através do Podcast do Jovem Nerd, para quem não conhece recomendo… eu passo horas ouvindo e rindo com esses caras
  Essa formação eu ainda não completei, mas pretendo em breve.

• Formação Engenheiro de Dados: Domine Big Data! | Udemy
  Esse curso da Udemy é muito bom principalmente para quem está trabalhando ou tem muito interesse sobre o ecossistema Hadoop. Ele pega muito nos conceitos do mundo on-premise… bem bacana também.

• The Ultimate Hands-On Hadoop: Tame your Big Data! | Udemy
  Como diria o craque Neto, esse cara (Frank Kane) é monstro sagrado. Curso muito bom, didática e mão na massa. É aquele curso para você fazer sem pressa.

• Taming Big Data with MapReduce and Hadoop – Hands On! | Udemy
  Outro do Frank Kane, então só ler a descrição anterior haha.

• Big Data com Hadoop: direto ao ponto e foco na prática | Udemy
  Foi um dos primeiros cursos que fiz para entender o que fato era essa mercado de Big Data.

• Big Data – Processamento de dados com Spark e PySpark | Udemy
  Estou fazendo esse nessa sprint (sim, divido meus estudos em sprints haha). Estou aprendendo python e como quero avançar os estudos no Databricks, comecei nesse como base para o spark e pyspark.

• Big Data: The Big Picture | Pluralsight
  Gosto muito dessa série de cursos da Pluralsight denominado “The Big Picture”. O curso é rápido (2 horas no máximo) e da uma visão ampla sobre o assunto.

• Python: The Big Picture | Pluralsight
  Opa… mesma descrição do curso anterior. The Big Picture é muito bom.

• Building Your First Data Pipeline in Azure Data Factory | Pluralsight
  Durante a construção dos seus pipelines, em algum momento você vai precisar orquestrar execução de load, extração seja em um notebook ou uma aplicação python. O Azure Data Factory é um desses orquestradores que você pode utilizar se estiver na Azure.

• Implementing an Azure Databricks Environment in Microsoft Azure | Pluralsight
  Databricks é uma plataforma de dados baseado em Apache Spark. Esse curso não é tão iniciante, mas vale a pena (estou quase na metade)

• Python for Data Analysts | Pluralsight
  Se você curte o trabalho do cientistas de dado, esse curso pode te ajudar a entender um pouco eles fazem aqueles analises bem doidas rsrs.

• Understanding Azure Synapse Analytics | Pluralsight
  Azure Synapse é um lançamento recente da Microsoft e nesse curso você entende o proposito e já da até para sair brincado com ele.

• Deploying Data Pipelines in Microsoft Azure | Pluralsight
  Data Pipelines… recomento 100% esse curso. Me abriu muito a mente para projetos de dados.

• Building, Deploying, and Monitoring Your First Apache NiFi Dataflow | Pluralsight
  Orquestração de DataFlow. Nifi é uma das ferramentas mais utilizadas em pipelines de dados atualmente.

• GitHub: Getting Started | Pluralsight
  Se você assim como eu está entrando no mundo de engenharia e não veio do mundo de Desenvolvimento de Software.. faço esse curso hoje hahaa. Git e Github é seu aliado no processo de versionamento de código e entendo que é um conceito básico e necessário para o dia dia.

---

Podcasts:

Assino esses Podcasts:

• The Microsoft Azure Security Podcast (azsecuritypodcast.net)

• Podcast DSA – Data Science Academy

• Pizza de Dados

• Data Hackers Podcast – 100% Data Science e Machine Learning!

• Hipsters ponto Tech

• Data Engineering Podcast

• Data Science at home Podcast

• Data Skepticgit

---

Artigos legais:

Alguns posts que li recentemente e que pode contribuir na sua jornada de estudos também.

• Aprendendo Engenharia de Dados de graça (ou quase) | by Diogo Akio Balboni Miyake | Medium

• O que faz um Engenheiro de Dados? | by Allan Sene | Data Hackers | Medium

• Os Tipos de Engenheiros de Dados. Quais os perfis dessa profissão nova… | by Allan Sene | Data Hackers | Medium

• O que um Engenheiro de Dados faz? — Data Hackers Podcast | by Paulo Vasconcellos | Data Hackers | Medium

• Building Data Pipelines With Kafka | by Sarath Jiguru | Medium

• Data Lake e Delta Lake, você sabe a diferença? | by Janete Ribeiro | Medium

• 24 projetos completos de Data Science para impulsionar seu aprendizado – Data Hackers

• 8 ferramentas de Engenharia de Dados que ninguém te conta | by Allan Sene | Data Hackers | Medium

• Introdução ao Azure Data Lake Storage – Learn | Microsoft Docs

• Machine Learning Datasets | Papers With Code

• Deploying and managing your first Landing zone with Azure Blueprints (wesleyhaakman.org)

• Why you need to build landing zones (and use Azure Blueprints) (wesleyhaakman.org)

---

Alguns geradores de conteúdo TOP:

Luan Moreno M. Maciel – YouTube
Luan Moreno é referência na área de Dados, promove muito conteúdo top e também faz alguns treinamentos durante o ano (fique de olho).

Databricks – YouTube
Canal da Databricks, aprendi muito com o conteúdo disponibilizado por eles.

Karolina Sowinska – YouTube
Karolina tem uma didática muito legal, são vídeos curtos e com um conteúdo muito bacana, além de treinar o inglês haha

Edureka! – YouTube
Edureka é uma espécie de canal multifuncional, tem de tudo, inclusive Big Data e Machine Learning.

---

Por enquanto são esses turma, claro que para cada tecnologia que você for trabalhar tem centenas de outros cursos. Esse pack que compartilhei é algo genérico… conforme eu for me aprofundando nos estudos e descobrindo novos cursos, atualizo essa lista aqui para vocês.

Fique de olho na série que vou compartilhar com vocês sobre o desenvolvimento de um projeto END-to-END de uma pipeline de dados… com Databricks, Python, Data Factory, Data Lake, Azure ML e muito mais 😉
Projeto – link

Grande abraço e TMJ

Garetti []s