O que aprendi trabalhando como Arquiteto de Dados

Arquitetura de dados, software entre outras frentes dessa função no mundo da tecnologia tem muitas características do “arquiteto tradicional” do ramo da construção civil. Fazendo um paralelo, quando você quer construir uma casa, certamente você tem em mente uma ideia que está associado a sua necessidade atual, como por exemplo, três quartos para os filhos, …

#03 – [Projeto Data Pipeline] – Azure SQL Database

Falla Tuurma, Estamos progredindo com o projeto de Data Pipeline, para quem não entendeu… da um bisu nesse link aqui. No post anterior, aprendemos como subir rapidamente uma Azure VM e configurar um SFTP que posteriormente será utilizado como interface de integração entre um sistema e o Data Lake. No post de hoje, vamos continuar …

#02 – [Projeto Data Pipeline] – Azure Server SFTP

Oláá Tuurma, Após um longo tempo (2 meses) vamos retomar com os posts do Projeto Data Pipeline (se você não sabe do que estou falando, da uma olhada neste link). Vamos começar do começo, o Projeto consiste em criar um cenário com vários tipos de origens de dados e realizar a ingestão disso tudo em …

#01 – [Projeto Data Pipeline] – Arquitetura

Faaaaalla Turma, Esse post é o primeiro de uma série que vamos aprender e construir juntos ao longo dos próximos meses. O Projeto A empresa fictícia GAR Motors precisa criar uma estrutura para analisar seus dados, proporcionando ao time de vendas alguns insights sobre os potenciais clientes. A ideia central é construir um pipeline de …

Pack de aprendizagem para Engenharia de Dados

Faaalla Turma, Nesse mini post vou compartilhar com vocês alguns cursos/podcasts sobre o ecossistema de Big Data / Engenharia de dados. Alguns cursos eu já fiz e indico, outros eu recebi indicações de grandes amigos que considero referência para mim em meus estudos. Vamos lá então, separei por categoria para facilitar a visualização de vocês: …

Tendências para Big Data em 2021

Faaaaala turma, tudo bem? Ontem (18/01/2021) publiquei um artigo no portal da Data Tuning e compartilho aqui com vocês também. Peguei alguns trechos do relatório anual da Gartner e somei com artigos nacionais e internacionais que venho lendo nos últimos dias, com o objetivo de entender o panorama do mercado de dados para 2021, diante …

Play no Youtube

Faaaaaala Turma, Queria compartilhar com vocês que agora também temos um canal no Youtube 🙂 um complemento aqui do blog, onde vou compartilhar vídeos conceituais e também bem técnicos, além disso, estou preparando uma série de entrevistas com algumas pessoas bem legais, especialistas em diversas áreas pra gente aprender de uma maneira diferente. Espero que …

now, Microsoft MVP

Oláaaaaaaaa Turma, Hoje o post não é técnico, nem sobre eventos… hoje será sobre a realização de um sonho. Domingo, 01 de novembro… estava almoçando quando recebi um alerta de e-mail no celular, fui olhar e sabe quando da aquela engasgada? os olhos ficaram embasados hahaha… Era um e-mail da Microsoft com o titulo “Congratulations …

[Papo de Sexta] Eventos Internacionais a um click

Falla Guys, Esse ano fomos expostos a novas variáveis que impactaram diretamente e indiretamente nossas vidas, tanto no âmbito pessoal quanto profissional. Recentemente li um artigo onde dizia que a existência de alguns eventos acelera a evolução do mundo. Olhando para a história, a cada pós-guerra, varias evoluções aconteceram, novos veículos foram inventados, novas formas …

Já ouviu sobre Data Gravity ?

Falla Turma, Um tempo atrás escrevi sobre Data Lake e Virtualização de Dados, que juntos se complementam em uma visão de arquitetura Data Lake MultiCloud. Buut, um outro aspecto bem interessante em arquiteturas dessa magnitude e que impacta não só como será o Lift and Shift mas também toda a estratégia da empresa perante a …

[News] Big Data Clusters no OpenShift

“Expanding SQL Server Big Data Clusters capabilities, now on Red Hat OpenShift”https://cloudblogs.microsoft.com/sqlserver/2020/06/23/expanding-sql-server-big-data-clusters-capabilities-now-on-red-hat-openshift/ Fala Turma, Foi com essa linda notícia que comecei o dia 🙂Para quem é Microsoft raiz trabalhando com SQL Server desde a versão 2000, pensar que um dia faríamos deploy do SQL Server em plataforma baseada em Linux era quase “impossível” 🙂 Ainda …

Data Virtualization: Uma das facetas do Big Data Clusters

Provavelmente você já ouviu falar o termo Virtualização de Dados por ai, em artigos ou conteúdo relacionado a Big Data ou Cloud. Virtualizar os dados não “tem muita” ligação com Maquina Virtual (VM) como já conhecemos e usamos a muitos anos em nossas arquiteturas. A Virtualização de Dados (VD) é uma abordagem de arquitetura para …

Workshop Hands-On: Big Data no Azure com Big Data Clusters

Falla Turma, Dia 15 de Agosto, vamos fazer um Workshop do Big Data Clusters. O evento será online e gratuito. O escopo do Workshop terá tópicos do Kafka, Spark, HDFS, Python e claro o Big Data Clusters instanciado na Azure sob o AKS (Azure Kubernetes Services). O objetivo é promover um evento com muita prática. …

#06-[Série] SQL Server Big Data Clusters – Capturando tweets

Fala Turma, Já pensou em capturar dados do Twitter via programação? De uma hashtag específica que está no top trends? e se tudo isso for via Streaming? e se além da hashtag, Streaming, tivesse uma analise de sentimento nesses dados, e se tudo isso estivesse dentro de uma arquitetura com Big Data Clusters ? Neste …

#05-[Série] SQL Server Big Data Clusters – Principais Tools para trabalhar com BDC

Falla Turma, Antes de iniciar a configuração do seu Big Data Clusters é importante verificar a instalação e versão de algumas ferramentas que serão necessárias durante o gerenciamento e uso do BDC. Não sabe como instalar o BDC ainda? No problem… clique nesse link e siga o passo a passo 😉 Azure Data Studio (ADS) …