Github é vida

Fala Turma, Nós de “Dados” e aqui incluo DBA, Cara do BI, Engenheiro de Dados e relacionados (rsrs) não temos muito o costume de utilizar versionamento de código certo? Nesse (e somente neste) caso os Devs estão na nossa frente hahah. Alguns amigos me pediram códigos do Big Data Clusters e Python para automações no …

[Azure] Exceeding Approved cores Quota

Falla Turma, Recentemente estava criando um cluster AKS (Azure Kubernetes Services) para realizar o deploy do Big Data Clusters e tomei um erro estranho. Esse bichão ai: Lendo o erro, observei o seguinte: “Operation could not be completed as it results is in exceeding approved stantardESv3Family cores quota“Ou seja, na minha subscription não tinha a …

Sobre a Cloud Open Exam

Falla Turma, Vocês conhecem a certificação “Cloud Open Exam” ? É uma certificação sobre Cloud Computing que aborda muitos conceitos, implementações, cenários, porem, sem focar em um Cloud Provider (Azure, GCP, AWS) específico.Isso é muito bacana, pois valida conceito. Esse exame é organizado pelo Cloud-Institute onde tem outras certificações como a de Arquiteto Cloud que …

Data Lake

Falla Turma, Primeiro artigo de 2020 \o/ agora a porra ficou séria … ano começou definitivamente haha. Vamos quebrar a sequência dos posts sobre Big Data Clusters (semana que vem voltaremos com mais BDC) e conversar sobre um assunto que toda empresa em processo de transformação digital, ou que pensa em utilizar Big Data, ou …

O que é MPP (Massively Parallel Processing) ?

Falla Turma, Quando estamos estudando Big Data, Ciência e/ou Engenharia de Dados, provavelmente já nos deparamos com a sigla MPP. Nos primórdios, o termo Big Data foi originado fazendo referência a grandes volumes de dados, mas principalmente relacionado ao processamento dessa montanha de informação, com o objetivo de entender, analisar e fazer algo com o …

#04-[Série] SQL Server Big Data Clusters – Ingestão de Dados no Storage Pool (HDFS)

Falla Turma, Continuando a série de posts sobre SQL Server Big Data Cluster (BDC) agora vamos brincar um pouco com a Ingestão de dados no Storage Pool (HDFS). Para entender com mais detalhes a aquitetura de uma olhada neste artigo e se quiser instalar o BDC é só seguir esse guia. Storage Pool no BDC …

#03-[Série] SQL Server Big Data Clusters – Instalação

Falla Guys Continuando a série sobre SQL Server Big Data Clusters (BDC) agora vamos de fato colocar a mão na massa, já estava na hora né 🙂 No primeiro post, compreendemos os conceitos gerais do BDC apresentando as motivações e também quais são os problemas e casos de uso que o SQL Server 2019 com …

#02-[Série] SQL Server Big Data Clusters – Arquitetura

Falla Turma, Continuando a série dos artigos sobre o Big Data Clusters (BDC), nesse post vamos entender a arquitetura dessa nova engine, no post anterior falei sobre o que é o Big Data Clusters, caso tenha ficado alguma duvida, comente aqui ou me envie um e-mail, que vamos conversando 🙂 A arquitetura do BDC é …

#01-[Série] SQL Server Big Data Clusters – Start Here

Fallaa Turma, Nos últimos dias a Microsoft anunciou o preview do SQL Server 2019, com muitas atualizações na engine em performance, segurança, alta disponibilidade entre outros. Algumas novidades também foram apresentadas e pelo menos para mim, que já venho estudando desde março (via Early Adoption Program) o BIG DATA CLUSTERS está animal, na primeira versão …

#YouSabia? – Big Data está impactando esportes

Que Big Data é uma buzzword não é novidade, a utilização de análise de dados para tomada de decisão também não, correto? Já parou para pensar, quais são os mercados que big data está impactando? É comum pensarmos nos seguimentos Bancário, Seguros, Governo e até Militar… mas e no esporte? Sim, o esporte está se …

Entendendo Transaction Isolation Level no SQL Server

Titulo: Entendendo Transaction Isolation Level no SQL Server O nível de isolamento (ou Isolation Level em inglês) no SQL Server controla o comportamento dos bloqueios e controle de versão das linhas e instruções.  O SQL Server é um SGBD que implementa as propriedades ACID, afim de garantir Atomicidade, Consistência, Isolamento e Durabilidade de cada transação …

TED: Big Data is Better Data

Um excelente TED, tive que assistir duas vezes para realmente compreender todo o conteúdo deste vídeo. Big Data, Machine Learning, IA já estão mudando o mundo em que vivemos. O interessante é observar algumas coisas mencionadas como “impossível” no passado, como carros autônomos e que hoje é realidade, será que existe limite para evolução tecnologia?….. …

MBA em Big Data, vale a pena?

Conversando com um amigo da área, ele me questionou se vale realmente a pena investir no MBA, em especifico de Big Data. Afinal, a média de um MBA está entre 20k a 30k (variando de Instituição para Instituição). Ficamos algum tempo conversando sobre isso e chegamos em algumas conclusões: Depende do seu objetivo a curto e …

ODSC – San Francisco – Dia 01

Falla Turma, Como prometido no post ODSC – Open Data Science Conference, vou criar dois artigos sobre este evento, compartilhando os aprendizados que captei durante as palestras. Nesse ODSC – Day 01, vou contar sobre os aprendizados do primeiro dia do evento e também um pouquinho da trajetória até chegar em San Francisco :), afinal, …

ODSC – Open Data Science Conference

Falla Turma, Nos últimos dias tive o prazer de participar do ODSC (Open Data Science Conference) que aconteceu em San Francisco, Estados Unidos. O conteúdo do evento foi muito bom, diria que a palavra para resumir seria “Impactante”, palestrantes que dispensam apresentações, como engenheiros do Google, Dropbox, Apple, Microsoft, IBM e tantos outros feras. Dividi …

Bit a Bit com Shrink no SQL Server

Shrink ou como dizem “Shrinkar” um banco de dados para liberar espaços sempre foi um assunto na roda de bate papo entre DBAs e Desenvolvedores. Na visão DBA, Shrink deveria ser excluído do SQL Server, já na visão desenvolvedor ou até mesmo de analista de Infraestrutura esse comando é magico.  Shrink no bit Shrink é …