Yellow - Módulo

Receita Federal · Auditor Fiscal

Arquitetura de Big Data e soluções para Big Data conforme o edital. Cobre as tecnologias que sustentam o processamento distribuído, entre elas o Hadoop.

Fluência em dados

Arquitetura de Big Data e soluções para Big Data

Informática EmÁudio: Tecnologias - Parte 1Olá, jovem! Tudo bem? Nesse em áudio, vamos aprender um pouquinho sobre as tecnologias. Preparado? Aumenta esse som aí e vamos juntos.As tecnologias de Big Data já foram cobradas em provas de forma introdutória. A partir disso, há a possibilidade dos examinadores quererem se aprofundar um pouco mais. Então, meu amigo, preste bastante atenção a partir de agora, pois abordaremos o NoSQL e o Hadoop, duas das principais tecnologias de Big Data atualmente.Vamos começar no NoSQL, ou Not Only SQL. Em linhas gerais, SQL é uma linguagem na qual se dá comandos para criar, gerenciar ou manipular banco de dados relacionais. O NoSQL, por sua vez, também chamado de Not Only SQL, é um termo que designa tecnologias diferentes de natureza não-relacional, isto é, bancos de dados não-relacionais.Um banco de dados relacional contém um esquema de dados em que é possível estabelecer relações entre eles. Tabelas de uma empresa, por exemplo, nas quais é possível estabelecer relacionamentos, como, por exemplo, tabelas contendo informações sobre funcionários, departamentos, projetos, etc.Diferentemente deste modelo relacional, no NoSQL não há esquema definido. Tranquilo até aqui? Beleza!Jovem, o NoSQL viola as propriedades ACID. As chamadas propriedades ACID, Atomicidade, Consistência, Isolamento e Durabilidade, são pertinentes aos bancos de dados tradicionais, relacionais. Porém, no NoSQL, não há tanta preocupação com essas regras.Imagine a seguinte situação. Acaba de ser lançado o videogame PlayStation 5 e você pretende o adquirir. Ao acessar o site de um grande varejista, você se depara com um alerta. Última unidade disponível. Logo, rapidamente, você, que está situado em São Paulo, clica no botão para comprar e finaliza o seu pedido com sucesso. Porém, ao mesmo tempo, um outro consumidor, que está situado em Rio Branco, Acre, clica no botão para comprar exatamente no mesmo segundo que você e também realiza a compra com sucesso. Três dias depois, você recebe um e-mail informando que o produto que adquiriu está esgotado e que receberá um estorno do pagamento. O site da grande varejista possui servidores espalhados por todo o Brasil num banco de dados distribuído, visando oferecer uma melhor experiência ao usuário. Você, ao acessar o site, está conectado a um banco de dados de São Paulo e o outro consumidor está conectado a um banco de dados de Manaus.Porém, como os bancos de dados da varejista violam as propriedades ACID, as bases não se comunicaram, o que permitiu que duas pessoas realizassem a compra de um produto que só tinha uma unidade disponível. Em um sistema que respeita as propriedades ACID, os bancos de dados seriam capazes de se comunicarem e verificariam, no milésimo de segundo, quem comprou o primeiro e informaria ao outro consumidor, antes mesmo dele finalizar a compra, que o produto esgotou.Pronto para entender? Vamos seguir! No NoSQL segue o chamado teorema CAP, Consistency, Availability and Partition Tolerance. Consistency quer dizer consistência. A consistência determina que deve haver cópias de um mesmo dado em todos os nós do banco de dados. Availability é a disponibilidade. A disponibilidade diz respeito ao sistema estar sempre disponível para a realização de transações. Partition Tolerance quer dizer tolerância a partições. A tolerância a partições é a possibilidade de o sistema continuar operando mesmo em caso de falha. Para tanto, ele deve ser partido em subredes de modo que, se uma delas falhar, as outras continuem funcionando.Jovem, no teorema CAP, a regra é que duas dessas propriedades sempre devem estar funcionando, porém nunca as três ao mesmo tempo. Inclusive, se analisarmos, as três propriedades funcionando ao mesmo tempo conflitam entre si. Por exemplo, em um sistema em que as cópias estão em todos os lugares, Consistency, e ele está sempre disponível, Availability, não há como ser tolerante a partições, pois se uma das partições para de funcionar, automaticamente esta não está mais disponível e as cópias não estão mais em todos os nós.Imagine a situação. O Instagram é uma rede social que possui bancos de dados distribuídos por todo o mundo. O jogador Cristiano Ronaldo, com um dos perfis mais seguidos, quando está na Itália, resolve publicar uma foto. Se esta publicação ficasse somente na Itália para ser entregue para o mundo inteiro, isto poderia acarretar um sobrecarregamento e até mesmo queda do servidor. Haja vista centenas de milhões de pessoas a quem a foto deve ser entregue.Diante disso, quando Cristiano Ronaldo faz uma publicação, isto é replicado para vários servidores localizados em vários lugares diferentes do mundo. Portanto, a Consistency, propriedade que diz que as cópias devem estar em todos os nós, não acontece de imediato. Alguns recebem a foto primeiro do que outros.Portanto, resumindo, no NoSQL, conforme o teorema CAP, conclui-se que os bancos de dados devem ser flexíveis. Jovem, antes de finalizar esse em áudio, preciso falar ainda das propriedades Bayes. As propriedades Bayes, Basically Available, Soft State and Eventually Consistent, que norteiam o NoSQL, dizem que o sistema deve estar basicamente disponível, em um estado leve e com consistência eventual. Logo, a tolerância a falhas de consistência em um banco, que deve funcionar basicamente todo o tempo em um estado leve, estando consistente nos momentos devidos.Os sistemas NoSQL distribuídos pelo mundo inteiro devem ter escalabilidade, horizontal e vertical, disponibilidade, replicação e consistência eventual. A escalabilidade, em linhas gerais, é a capacidade de estar preparado para crescer e suportar uma demanda maior, isto é, quando necessário, melhorar o processamento e ou a quantidade de servidores. A escalabilidade horizontal é a capacidade de alocar mais máquinas. Para memorizar, pense em uma máquina uma do lado da outra, organizadas horizontalmente. A escalabilidade vertical, por sua vez, é a capacidade de transportar um sistema de uma máquina para outra máquina com melhor processamento. Para memorizar, pense em uma máquina acima da outra, em um nível verticalmente superior.Além disso, os sistemas precisam estar disponíveis. A replicação é a capacidade de replicar o que está numa máquina para as demais máquinas. E, por fim, a consistência eventual.Jovem, há flexibilidade quanto a consistência, com tolerância a falhas. Deu para entender? Que bom! Fico por aqui. Até mais!

01 - Tecnologias – Parte 1

Informática EmÁudio: Tecnologias - Parte 2E aí, meu povo, beleza? Vamos continuar nossos estudos sobre as tecnologias. Quero começar esse em áudio falando da implementação do NoSQL. Para implementar o NoSQL, existem algumas tecnologias, como chave-valor, documentos, família de colunas e grafos.Calma, não precisa se desesperar. Vou explicar um por um.Chave-valor. Em uma tabela relacional, tudo é bem separado e organizado, não havendo tolerância quanto às informações a serem preenchidas. Por exemplo, em uma tabela de projetos que contém as colunas Códigos, Setor e Responsável, na coluna Códigos só se aceitam os códigos. Na coluna Setor só se aceitam os nomes dos setores e, na coluna Responsável, só se aceita o nome do responsável. Já no NoSQL, em um modelo baseado na técnica chave-valor, há maior flexibilidade. Logo, as colunas Chave e Valor permitem várias entradas diferentes. Deu para entender até aqui? Vamos seguir. Mas, jovem, embora seja uma bagunça, esta flexibilidade é necessária para o pleno funcionamento do Big Data, pois você nunca sabe qual será a próxima ação de um usuário. Se for um sistema muito travadinho a coisa não anda.Já os documentos são uma forma de armazenamento no NoSQL. Aqui segue o mesmo espírito da técnica que nós acabamos de conversar, havendo flexibilidade para a entrada de dados. Cada novo registro aceita campos diferentes. Entendido documentos? Vamos em frente.Hora de falar da família de colunas. Família de quê, professor? Família de colunas, jovem! Em um banco de dados, há vários registros e dados atribuídos às colunas. Nas famílias de colunas, é permitido ter colunas principais e colunas adicionais, voltadas ao funcionamento do sistema. Por exemplo, uma tabela pode ser como colunas principais o produto e o tamanho e como colunas adicionais a tela e o tipo de produto. Deu para entender?Além disso, existem sistemas que permitem também puxar dados de várias colunas de uma vez.Já os grafos são uma estrutura de armazenagem de dados. O exemplo mais clássico das redes sociais são as relações feitas entre as pessoas. Fulano segue Veltrano, que segue Ciclano, etc. Para armazenamento, como os dois exemplos acima, geralmente utilizam-se os grafos.Tranquilo, né? Mas calma aí, ainda não acabei. Vá lá beber uma água, se alongar, que já já eu volto para continuar nossos estudos sobre as tecnologias. Abraços!

02 - Tecnologias – Parte 2

Tecnologia EmÁudio: HADOOPE aí, minha turma campeã. Tudo bem? Tudo certo, jovem? Beleza, né? Chegou a hora de falar do Hadoop. Já ouviu falar dele? Então aperta o play aí e se surpreenda. Você vai gostar. Gente, todo esse aparato de big data e NoSQL em sistemas distribuídos requer um esforço de coordenação e distribuição de tarefas muito complexo. Nesse sentido, algumas das tecnologias mencionadas se integram com o Apache Hadoop, que é um projeto de código aberto, ou seja, de livre utilização e modificação que possui alguns recursos bastante úteis para se trabalhar com Big Data.Muito bem. O hadoop, galera, é basicamente uma plataforma composta por diversos módulos que permitem realizar diversas tarefas associadas à Big data Analytics. Alguns deles merecem um certo destaque na nossa aula, pois já foram e podem ser novamente cobrados em prova. O Hdfs e o Map Reduz. Então, jovem, é isso aí. Há um sistema de armazenamento de arquivos chamado HDFS System, que permite o acesso aos dados armazenados em sistemas distribuídos de forma eficiente. Ele opera, segundo alguns princípios que já apareceram em prova. Ouvidos bem abertos.Falhas de hardware. Os sistemas HDs permitem se trabalhar com centenas de milhares de máquinas, cada uma contendo uma parte dos dados. Por esse motivo, falhas de hardware sempre ocorrerão. HDFS então busca prover mecanismos para uma rápida detecção e recuperação dessas falhas.Streaming de dados. Os sistemas que empregam o HDFs não costumam ser voltados para que o usuário navegue nos dados como se fosse um sistema de pastas de um computador pessoal. Eles estão voltados para o processamento em bloco de grandes volumes de dados. Assim, o foco é maior em um auto fa put do que em uma baixa latência. Isso quer dizer que a taxa contínua de dados processados por segundo é bastante elevada, mas que não necessariamente uma requisição específica será respondida de forma veloz.Grandes conjuntos de dados. Vamos lá. Essa característica você já conhece? O HDFS faz parte do Hadoop que é uma série de programas voltados para a Big Data. Assim, o HDFS tem suporte a arquivos bastante grandes e há um enorme volume de arquivos em cada instância. Está conseguindo me acompanhar aí, jovem? Então vamos em frente.O modelo simples de coerência HDFS segue o modelo de acesso Rylance Red Manning, ou seja, uma vez escrito, o dado não deve ser modificado, somente lido. Isso facilita a manutenção da consistência ou coerência de dados no sistema distribuído, que é a característica em que todas as cópias do mesmo dado possuem o mesmo valor.Computação próxima aos dados. Vamos lá. O HDFS trabalha com a premissa de que mover a computação é mais barato do que mover os dados, ou seja, turma, é mais fácil mover a estrutura de computação das aplicações para uma localização mais próxima dos dados do que transferir os dados para a máquina ou o local que a aplicação está rodando. O HDFS oferece interfaces para realizar essas atividades. Ok? Finalmente, a portabilidade de hardware e software heterogêneos. O HDFs foi feito para ser facilmente transferível de uma plataforma para outra, o que permite a sua utilização em vários ambientes com hardware e software distintos. Bom também podemos destacar o Hadoop Mapred, que é uma abordagem de programação utilizada para processar um grande volume de dados de forma distribuída.De modo geral, gente, o Mapred atua quebrando a tarefa em vários menores, atribuindo cada uma delas a um nó no sistema e depois resolvendo essas sub tarefas em paralelo.De forma simplificada, há duas funções no Mapred, map, mapear que consiste em receber as entradas e mapear em pares chave valor em intermediários e a redu reduzir que realiza algum tipo de agregação, como somar valores ou computar contagens nesses pares intermediários.Rap Maps reduz fornece ferramentas de programação para que os usuários resolvam seus próprios problemas, escrevendo o código das suas próprias funções map e funções Redus.E, por fim, jovem, o Apas Rap e ARN, que é um componente que se destina a gerenciar os vários nós nos clusters, os conjuntos de nós atuando de forma distribuída, permitindo o agendamento de tarefas em cada um e gerenciando de recursos computacionais entre eles.Assunto entendido, galera? Beleza. Gente, finalizamos o nosso conteúdo deste módulo. Que bom, hein? No próximo em áudio faremos o famoso resumão da aprovação. Ah! Se eu fosse você não perderia por nada nesse mundo. Tá bom? Até lá, até o próximo áudio. Até o nosso Super resumão. Tchau, tchau.

03 - HADOOP

Receita Federal · Auditor FiscalFluência em dadosArquitetura de Big Data e soluções para Big DataReceita Federal

Receita Federal

01 - Tecnologias – Parte 1

02 - Tecnologias – Parte 2

03 - HADOOP

Receita Federal · Auditor Fiscal

Fluência em dados
Arquitetura de Big Data e soluções para Big Data

Receita Federal