#01 – [Projeto Data Pipeline] – Arquitetura

Faaaaalla Turma, Esse post é o primeiro de uma série que vamos aprender e construir juntos ao longo dos próximos meses. O Projeto A empresa fictícia GAR Motors precisa criar uma estrutura para analisar seus dados, proporcionando ao time de vendas alguns insights sobre os potenciais clientes. A ideia central é construir um pipeline de… Read More

Pack de aprendizagem para Engenharia de Dados

Faaalla Turma, Nesse mini post vou compartilhar com vocês alguns cursos/podcasts sobre o ecossistema de Big Data / Engenharia de dados. Alguns cursos eu já fiz e indico, outros eu recebi indicações de grandes amigos que considero referência para mim em meus estudos. Vamos lá então, separei por categoria para facilitar a visualização de vocês:… Read More

Tendências para Big Data em 2021

Faaaaala turma, tudo bem? Ontem (18/01/2021) publiquei um artigo no portal da Data Tuning e compartilho aqui com vocês também. Peguei alguns trechos do relatório anual da Gartner e somei com artigos nacionais e internacionais que venho lendo nos últimos dias, com o objetivo de entender o panorama do mercado de dados para 2021, diante… Read More

Play no Youtube

Faaaaaala Turma, Queria compartilhar com vocês que agora também temos um canal no Youtube 🙂 um complemento aqui do blog, onde vou compartilhar vídeos conceituais e também bem técnicos, além disso, estou preparando uma série de entrevistas com algumas pessoas bem legais, especialistas em diversas áreas pra gente aprender de uma maneira diferente. Espero que… Read More

now, Microsoft MVP

Oláaaaaaaaa Turma, Hoje o post não é técnico, nem sobre eventos… hoje será sobre a realização de um sonho. Domingo, 01 de novembro… estava almoçando quando recebi um alerta de e-mail no celular, fui olhar e sabe quando da aquela engasgada? os olhos ficaram embasados hahaha… Era um e-mail da Microsoft com o titulo “Congratulations… Read More

[Eventos] TDC São Paulo – Online

Falla Turma, Esse semana estou voltando com as contribuições depois de um período de férias forçada pela Saúde 🙂 E hoje trago uma coisa muito bacana, na ultima semana de Agosto acontecerá o TDC São Paulo e devido as circunstancias o evento será Online. Por um lado é ruim não ter a interação humana, sentir… Read More

[Papo de Sexta] Eventos Internacionais a um click

Falla Guys, Esse ano fomos expostos a novas variáveis que impactaram diretamente e indiretamente nossas vidas, tanto no âmbito pessoal quanto profissional. Recentemente li um artigo onde dizia que a existência de alguns eventos acelera a evolução do mundo. Olhando para a história, a cada pós-guerra, varias evoluções aconteceram, novos veículos foram inventados, novas formas… Read More

Já ouviu sobre Data Gravity ?

Falla Turma, Um tempo atrás escrevi sobre Data Lake e Virtualização de Dados, que juntos se complementam em uma visão de arquitetura Data Lake MultiCloud. Buut, um outro aspecto bem interessante em arquiteturas dessa magnitude e que impacta não só como será o Lift and Shift mas também toda a estratégia da empresa perante a… Read More

[News] Big Data Clusters no OpenShift

Fala Turma, “Expanding SQL Server Big Data Clusters capabilities, now on Red Hat OpenShift”https://cloudblogs.microsoft.com/sqlserver/2020/06/23/expanding-sql-server-big-data-clusters-capabilities-now-on-red-hat-openshift/ Foi com essa linda notícia que comecei o dia 🙂Para quem é Microsoft raiz trabalhando com SQL Server desde a versão 2000, pensar que um dia faríamos deploy do SQL Server em plataforma baseada em Linux era quase “impossível” 🙂 Ainda… Read More

Data Virtualization: Uma das facetas do Big Data Clusters

Provavelmente você já ouviu falar o termo Virtualização de Dados por ai, em artigos ou conteúdo relacionado a Big Data ou Cloud. Virtualizar os dados não “tem muita” ligação com Maquina Virtual (VM) como já conhecemos e usamos a muitos anos em nossas arquiteturas. A Virtualização de Dados (VD) é uma abordagem de arquitetura para… Read More

Workshop Hands-On: Big Data no Azure com Big Data Clusters

Falla Turma, Dia 15 de Agosto, vamos fazer um Workshop do Big Data Clusters. O evento será online e gratuito. O escopo do Workshop terá tópicos do Kafka, Spark, HDFS, Python e claro o Big Data Clusters instanciado na Azure sob o AKS (Azure Kubernetes Services). O objetivo é promover um evento com muita prática.… Read More

#06-[Série] SQL Server Big Data Clusters – Capturando tweets

Fala Turma, Já pensou em capturar dados do Twitter via programação? De uma hashtag específica que está no top trends? e se tudo isso for via Streaming? e se além da hashtag, Streaming, tivesse uma analise de sentimento nesses dados, e se tudo isso estivesse dentro de uma arquitetura com Big Data Clusters ? Neste… Read More

[Azure] azData – Token Expired

Falla Turma, Ontem recebi um e-mail do Rafael Cremonin (de Campo Grande) pedindo ajuda com o erro “Token Expired” que estava ocorrendo quando tentava abrir conexão com o hdfs do Big Data Clusters ou executar algum comando via CLI do Azure. Conversando com ele, acessamos o ambiente e simulando o erro pude compreender o que… Read More

#05-[Série] SQL Server Big Data Clusters – Principais Tools para trabalhar com BDC

Falla Turma, Antes de iniciar a configuração do seu Big Data Clusters é importante verificar a instalação e versão de algumas ferramentas que serão necessárias durante o gerenciamento e uso do BDC. Não sabe como instalar o BDC ainda? No problem… clique nesse link e siga o passo a passo 😉 Azure Data Studio (ADS)… Read More

[Azure] Exceeding Approved cores Quota

Falla Turma, Recentemente estava criando um cluster AKS (Azure Kubernetes Services) para realizar o deploy do Big Data Clusters e tomei um erro estranho. Esse bichão ai: Lendo o erro, observei o seguinte: “Operation could not be completed as it results is in exceeding approved stantardESv3Family cores quota“Ou seja, na minha subscription não tinha a… Read More