#03 – [Projeto Data Pipeline] – Azure SQL Database

Falla Tuurma, Estamos progredindo com o projeto de Data Pipeline, para quem não entendeu… da um bisu nesse link aqui. No post anterior, aprendemos como subir rapidamente uma Azure VM e configurar um SFTP que posteriormente será utilizado como interface de integração entre um sistema e o Data Lake. No post de hoje, vamos continuar …

#01 – [Projeto Data Pipeline] – Arquitetura

Faaaaalla Turma, Esse post é o primeiro de uma série que vamos aprender e construir juntos ao longo dos próximos meses. O Projeto A empresa fictícia GAR Motors precisa criar uma estrutura para analisar seus dados, proporcionando ao time de vendas alguns insights sobre os potenciais clientes. A ideia central é construir um pipeline de …

Pack de aprendizagem para Engenharia de Dados

Faaalla Turma, Nesse mini post vou compartilhar com vocês alguns cursos/podcasts sobre o ecossistema de Big Data / Engenharia de dados. Alguns cursos eu já fiz e indico, outros eu recebi indicações de grandes amigos que considero referência para mim em meus estudos. Vamos lá então, separei por categoria para facilitar a visualização de vocês: …

Tendências para Big Data em 2021

Faaaaala turma, tudo bem? Ontem (18/01/2021) publiquei um artigo no portal da Data Tuning e compartilho aqui com vocês também. Peguei alguns trechos do relatório anual da Gartner e somei com artigos nacionais e internacionais que venho lendo nos últimos dias, com o objetivo de entender o panorama do mercado de dados para 2021, diante …

Já ouviu sobre Data Gravity ?

Falla Turma, Um tempo atrás escrevi sobre Data Lake e Virtualização de Dados, que juntos se complementam em uma visão de arquitetura Data Lake MultiCloud. Buut, um outro aspecto bem interessante em arquiteturas dessa magnitude e que impacta não só como será o Lift and Shift mas também toda a estratégia da empresa perante a …

Data Virtualization: Uma das facetas do Big Data Clusters

Provavelmente você já ouviu falar o termo Virtualização de Dados por ai, em artigos ou conteúdo relacionado a Big Data ou Cloud. Virtualizar os dados não “tem muita” ligação com Maquina Virtual (VM) como já conhecemos e usamos a muitos anos em nossas arquiteturas. A Virtualização de Dados (VD) é uma abordagem de arquitetura para …

Workshop Hands-On: Big Data no Azure com Big Data Clusters

Falla Turma, Dia 15 de Agosto, vamos fazer um Workshop do Big Data Clusters. O evento será online e gratuito. O escopo do Workshop terá tópicos do Kafka, Spark, HDFS, Python e claro o Big Data Clusters instanciado na Azure sob o AKS (Azure Kubernetes Services). O objetivo é promover um evento com muita prática. …

Github é vida

Fala Turma, Nós de “Dados” e aqui incluo DBA, Cara do BI, Engenheiro de Dados e relacionados (rsrs) não temos muito o costume de utilizar versionamento de código certo? Nesse (e somente neste) caso os Devs estão na nossa frente hahah. Alguns amigos me pediram códigos do Big Data Clusters e Python para automações no …

Data Lake

Falla Turma, Primeiro artigo de 2020 \o/ agora a porra ficou séria … ano começou definitivamente haha. Vamos quebrar a sequência dos posts sobre Big Data Clusters (semana que vem voltaremos com mais BDC) e conversar sobre um assunto que toda empresa em processo de transformação digital, ou que pensa em utilizar Big Data, ou …

O que é MPP (Massively Parallel Processing) ?

Falla Turma, Quando estamos estudando Big Data, Ciência e/ou Engenharia de Dados, provavelmente já nos deparamos com a sigla MPP. Nos primórdios, o termo Big Data foi originado fazendo referência a grandes volumes de dados, mas principalmente relacionado ao processamento dessa montanha de informação, com o objetivo de entender, analisar e fazer algo com o …

#YouSabia? – Big Data está impactando esportes

Que Big Data é uma buzzword não é novidade, a utilização de análise de dados para tomada de decisão também não, correto? Já parou para pensar, quais são os mercados que big data está impactando? É comum pensarmos nos seguimentos Bancário, Seguros, Governo e até Militar… mas e no esporte? Sim, o esporte está se …

TED: Big Data is Better Data

Um excelente TED, tive que assistir duas vezes para realmente compreender todo o conteúdo deste vídeo. Big Data, Machine Learning, IA já estão mudando o mundo em que vivemos. O interessante é observar algumas coisas mencionadas como “impossível” no passado, como carros autônomos e que hoje é realidade, será que existe limite para evolução tecnologia?….. …

MBA em Big Data, vale a pena?

Conversando com um amigo da área, ele me questionou se vale realmente a pena investir no MBA, em especifico de Big Data. Afinal, a média de um MBA está entre 20k a 30k (variando de Instituição para Instituição). Ficamos algum tempo conversando sobre isso e chegamos em algumas conclusões: Depende do seu objetivo a curto e …