Yellow - Módulo

Receita Federal · Auditor Fiscal

Bancos de dados não relacionais conforme o edital. Cobre sistemas distribuídos, teorema CAP, características e tipos de sistemas NoSQL.

Fluência em dados

Bancos de dados não relacionais: NoSQL

Tecnologia EmÁudio NoSQL: Sistemas Distribuídos e Teorema CAPE aí, meus caros. Tudo certo? Tudo em cima? Como estão os estudos? Espero que bem, hein? Bora aprender mais um pouco? Aumenta esse som aí e vem comigo.Gente, os SGBDs que adotam o modelo de dado relacional não são tão adequados para se armazenar Big data. Eles são repositórios estruturados que só podem armazenar dados em tabelas. Então não são flexíveis o suficiente para receber toda essa variedade de dados. Além disso, turma, os SGBDs relacionais podem apresentar também limitações de performances diante do volume e da velocidade dos dados, já que eles têm um trabalho enorme trabalhando para garantir as propriedades sde das transações. Nesse sentido, têm sido desenvolvidas aplicações NoSQL ou não apenas SQL, que são sistemas de bancos de dados voltados para situações em que o modelo relacional não é apropriado. As principais características dessas tecnologias às vezes são cobradas como parte do assunto de big data, então tente pegar a ideia geral dos tópicos apresentados neste capítulo. Fechou? Pela necessidade de um grande poder de processamento, dentre outras características os sistemas No SQL costumam ser implementados de forma distribuída.Para que entendamos melhor alguns de seus princípios precisamos entender um pouco como funcionam os sistemas distribuídos. Vem comigo! Bora começando a falar dos sistemas distribuídos e Teorema CAP. A computação distribuída, pessoal, diz respeito à utilização de vários computadores interconectados para processar determinadas tarefas ou armazenar dados como se fossem um só. O poder de processamento dessas máquinas é combinado formando um conjunto poderoso capaz de resolver problemas complexos. Esses sistemas são organizados de uma forma que cada máquina individual é conhecida como um nó e está ligada a outras através de uma rede. A rede é uma estrutura de interconexão de computadores como a rede WiFi na sua casa ou a própria internet. Em um sistema de bancos de dados distribuído, se armazena dados e se processa transações em vários nós, vários computadores, ao mesmo tempo. Isso traz algumas vantagens. Por exemplo, se um nó falhar, determinado dado pode estar copiado em outros nós, o que evita a perda do dado e também alguns desafios. É necessário gerenciar as diferentes cópias do mesmo dado para que estejam sempre com o mesmo valor. Ok. Resumindo, turma. Temos três principais características desse tipo de sistema que são bastante relevantes: Consistência, disponibilidade e tolerância a particionamento.Vamos falar, claro, rapidinho sobre cada uma delas. A consistência, do inglês, determina que os nós replicados devem ter representações consistentes dos dados, ou seja, as cópias de um mesmo dado devem ser idênticas nos diferentes nós. Quanto à disponibilidade, que também é conhecida como a availability, o sistema deve estar disponível para processar transações de leitura ou escrita sobre os dados quando requisitado. Caso a operação não possa ser realizada com sucesso o sistema deve retornar uma mensagem indicando a falha. E a tolerância a particionamento diz respeito à capacidade do sistema continuar operando no caso de uma falha de rede que ocasione particionamento que é uma situação em que os nós são separados em sub-redes sem comunicação uma com a outra. Se você prestar bem atenção, vai ver que as iniciais dessas propriedades que falamos agora formam a sigla CAP: Consistency, Availability, Partition Tolerance. O teorema CAP é um princípio formulado por um pesquisador chamado Eric Brower, que determina que não é possível garantir todas essas três propriedades ao mesmo tempo. E aí, sistemas distribuídos e teorema CAP entendidos?Beleza, então vamos em frente. Tendo isso em mente note que os sistemas NoSQL não se baseiam nas propriedades como os sistemas relacionais, mas muitas vezes em um outro conjunto de propriedades chamado base, traduzindo do acrônimo em inglês esse novo conjunto de características significa basicamente disponibilidade, estado leve e consistência eventual. Essas novas propriedades são adotadas em NoSQL e big data, porque são mais flexíveis que o ased.Por exemplo, a consistência eventual determina que mais cedo ou mais tarde o banco de dados entrará em um estado consistente, mas não necessariamente estará sempre consistente. Ele vai continuar realizando as transações sem checar imediatamente a consistência de cada uma. As propriedades basicamente disponível e estado leve também seguem a mesma linha, tá, gente. Sempre o banco de dados estará disponível para responder a determinada consulta e o estado do sistema não é rígido. Em alguns casos, havendo dados que ficam armazenados, apenas temporariamente. Sabia na prática, pessoal? Essas propriedades base, base não são amplamente utilizadas nos bancos de dados. NoSQL. ElMasri e Navathe dizem que nos sistemas NoSQL é comum que se adote um nível de consistência mais flexível, consistência eventual, com o objetivo de se manter as outras duas propriedades CAP: Disponibilidade e Tolerância à Particionamento.Então as propriedades de estado leve e basicamente disponível não costumam ser tão aplicadas. E aí, deu para entender? Beleza. Bom, vou finalizando esse em áudio por aqui. Mas não acabou ainda, hein? Daqui a pouco tem mais. Até o próximo play. Abraço!

01 - NoSQL: Sistemas Distribuídos e Teorema CAP

Tecnologia EmÁudio: Características de Sistemas NoSQL - Parte UmBom dia! Boa tarde! Boa noite! Independente do horário é sempre um prazer ter você aqui comigo, guarde isso. Bora aprender sobre as características dos sistemas NoSQL? Vamos Juntos. ElMarsi e Navathe separam as características dos sistemas NoSQL em duas categorias distintas, turma.A primeira categoria diz respeito às características dos sistemas distribuídos em geral. Já a segunda categoria diz respeito aos modelos de dados e linguagens de consulta adotados nos bancos de dados NoSQL. Bora colocar a mão na massa e começar a falar das características relacionadas aos sistemas distribuídos? Vamos nessa! Vou começar falando da característica da escalabilidade.Pessoal, a escalabilidade se refere à possibilidade de se expandir a capacidade do sistema conforme a necessidade. Como já citamos em big data, pode haver uma necessidade de se expandir a capacidade do sistema de maneira muito rápida. Existem dois tipos de escalabilidade horizontal e vertical. Vamos conferir cada uma. Escalabilidade horizontal diz respeito a adicionar mais nós, outras máquinas ou outros componentes no sistema, ampliando sua capacidade global. Escalabilidade vertical diz respeito a aumentar a capacidade das máquinas existentes, por exemplo, adicionando um novo disco no computador que já existe até mesmo pelo alto grau de utilização de computação em nuvem em que é fácil adicionar e remover nós conforme a demanda nos sistemas NoSQL é muito frequente a utilização de escalabilidade horizontal.Deu para pegar? Próxima característica.Disponibilidade, replicação e consistência eventual. Muito bem o que que é isso aí? Essas três características, pessoal, estão fortemente relacionadas. Tá bom?Para que o sistema esteja disponível para responder adequadamente as requisições dos usuários, é importante que o mesmo dado esteja replicado, ou seja copiado em mais de um nó. Assim, caso um nó falhe, o usuário pode ter sua requisição atendida, pois ele estará disponível em outro local do sistema. Essa replicação deve ocorrer de forma transparente, ou seja, o usuário do sistema não tem que se preocupar com qual nó contém o seu dado. Esse gerenciamento deve ser feito pelo sistema sem que o usuário precise tomar conhecimento da localização dos dados. Os usuários devem enxergar o sistema distribuídos como se fosse um sistema único. Entendeu? Só que como os dados estão replicados em vários nós caso seja necessário atualizar ou remover um determinado dado, é preciso realizar essa operação em todos os nós que contém cópia do dado. Assim, a utilização de uma regra de consistência mais rigorosa pode acabar trazendo uma perda de performance. A consistência eventual dos sistemas NoSQL, por sua vez, permite que os dados fiquem desatualizados, inconsistentes por um tempo até que o sistema consiga arrumar um tempinho para corrigir essa situação. Isso termina agilizando bastante a execução das operações de escrita de dados nos sistemas distribuídos.Mais uma. Modelos de replicação. A Replicação de dados é aquela propriedade dos sistemas distribuídos em que o mesmo dado possui várias cópias no sistema, cada uma em um nó diferente. Essa replicação pessoal, no entanto, deve manter a consistência de alguma maneira, ou seja, as cópias do mesmo dado devem assumir o mesmo valor. Essa consistência pode ser mantida de diferentes maneiras em relação aos sistemas NoSQL existem dois principais modelos de replicação. Anota aí Master Slave e Master Master, Mestre Escravo e Mestre Mestre. Tranquilidade até aqui, né? Posso continuar? Estou indo então. Outra característica é a técnica Chardin como o NoSQL que costuma ser utilizado para armazenar big data, ou seja, conjuntos de dados bastante volumosos. Há alguns desafios adicionais no seu armazenamento. Esses conjuntos de dados serão frequentemente acessados por várias transações simultâneas, concorrentes, o que pode ocasionar uma sobrecarga muito grande se a coleção estiver armazenada em um só nó do sistema distribuído. Assim, pode ser adotada uma técnica chamada Chardin ou Paticionamento horizontal, que é um tipo de técnica que divide essas coleções de dados, turma, ao longo de vários nós. Dessa forma, um arquivo ou coleção de dados muito grande pode ser distribuído, tornando a carga de consultas e acessos mais bem distribuída entre os vários nós. Segundo Elmasri e Navathe, a combinação de técnicas de Chardin e de replicação ajuda a manter uma adequada distribuição de carga e melhorar a disponibilidade do sistema.E, por fim, o acesso a dados de alta performance. Gente, como nos sistemas NoSQL costumam ser armazenados grandes volumes de dados é importante que a extração desses dados possa ser feita de forma eficiente. Não é mesmo? Imagine a lentidão que seria para encontrar um determinado valor dentre milhões, caso fosse necessário conferir cada registro um por um. Então, nesse caso os sistemas NoSQL tem alguns mecanismos para acessar os dados mais diretamente sem muita pesquisa ou muita busca, como rach e Paticionameno por intervalo. Deu para pegar tudo, jovem? Que bom! Vou finalizar esse áudio por aqui para não ficar muito cansativo, mas já já eu estou de volta. Beleza? Até mais.

02 - Características de Sistemas NoSQL – Parte 1

Tecnologia EmÁudio: Características de Sistemas NoSQL - Parte DoisOlá! Voltei e sem enrolação. Bora falar das características relacionadas aos modelos de dados e linguagens de consulta.Gente, as características que nós conversamos no áudio passado são aplicáveis a basicamente qualquer sistema distribuído, tá legal. Já as próximas quatro são características mais específicas da natureza dos sistemas NoSQL, e, por consequência, mais prováveis de serem cobradas em prova.Presta atenção então.Os sistemas NoSQL muitas vezes armazenam dados semi estruturados, que são aqueles em que a estrutura vem junto com os próprios dados. A maioria desses sistemas então não precisa da definição de um esquema. Note que os sistemas NoSQL variam bastante um para o outro. Então alguns deles contêm sim mecanismos que permitem definir algum metadado ou restrição a respeito da estrutura dos dados como o tipo de dados. Grave isso. Não há necessidade de esquema.Além disso, turma, quando estamos tratando de NoSQL há menos varreduras e buscas em tabelas. A ideia é que o acesso aos dados funcione de maneira mais direta, sem muita procura devido à quantidade enorme de registros que geralmente é armazenada nessas bases. Então, assim, a complexidade dos de consulta da linguagem NoSQLé um pouco desnecessária, o que permite a utilização de uma linguagem de consulta mais simplificada.Muitos sistemas NoSQL como apontam Elmasri e Navathe nem sequer implementam as junções, operações muito comuns em bancos de dados relacionais. Gravou? Isso mesmo, linguagens de consulta menos poderosas. Próxima característica. Versionamento. Elmasri e Navathe observam que alguns sistemas NoSQL têm a funcionalidade de armazenar várias versões do mesmo dado com a indicação da época em que cada versão foi criada. Isso é interessante para aquelas aplicações que se preocupam em registrar como os dados evoluíram ao longo do tempo.Conseguiu entender? Maravilha! Fico por aqui, tá bom? Até daqui a pouco no próximo áudio. Te espero lá.

03 - Características de Sistemas NoSQL – Parte 2

Tecnologia EmÁudio: Tipos de sistemas NoSQLE aí, galera. Tudo bem? Tudo certinho?Bora bater um papo sobre os tipos de sistemas NoSQL. Cola em mim aqui.Pessoal, os sistemas NoSQL podem seguir vários modelos de dados diferentes. Tá bom? Enquanto os bancos de dados relacionais armazenam dados em tabelas, os NoSQL seguem várias maneiras de organização distintas.É isso aí. NoSQL na verdade é apenas uma categoria bem ampla de sistemas de bancos de dados. Essa categoria, turma, costuma se dividir em quatro tipos de sistemas principais. Vamos conferir cada um: chave-valor, orientado a documentos, baseado em grafos e orientado a colunas. Tá bom. Vamos por parte como a gente sempre faz, né? Vamos começar pela chave-valor então, que em inglês é que velho. Os modelos de dados do tipo chave-valor são bem simples de entender. Os valores são acessados primariamente através do valor de sua chave.Como já conversamos, os dados em bancos de dados NoSQL devem poder ser extraídos rapidamente. É isso que deve acontecer com os sistemas chave-valor. Através da chave, deve ser possível encontrar rapidamente o valor associado sem ficar procurando registro a registro na estrutura de armazenamento.Percebeu? Então a diferença principal entre esse modelo e o modelo relacional. É que aqui não há um esquema definido, ou seja, cada chave pode ter um valor registro de um tipo diferente. Esses valores podem conter dados que variam bastante de sistema para sistema. Alguns sistemas comportam dados semi-estruturados como objetos JSon ou XML, enquanto outros armazenam dados estruturados ou não estruturados. Isso vai depender de cada tecnologia. Valeu? São exemplos: WhareDIS. Deu para entender aí, jovem?Outro sistema que você precisa conhecer é o orientado a documentos. Vamos nessa! Os bancos de dados orientados a documentos turma geralmente armazenam dados auto-descritivos semi-estruturados como documentos XML ou JSON, XML ou JSON. Esses documentos estão organizados em coleções, pessoal, que são estruturas diferentes, mas de propósito similar às tabelas em um banco de dados relacional para agrupar documentos que tenham significado semelhante. Embora os documentos agrupados em coleções devam ter significados semelhantes, eles precisam ter a mesma estrutura. Tá bom? Por exemplo, pessoal, uma coleção que armazena dados a respeito de filmes pode ter alguns filmes que têm atributos que não estão presentes nos demais. E ao baseado em grafos. Você já ouviu falar nisso? Eu te explico agora. Jovem, grafos são estruturas que matematicamente representam objetos que estão relacionados uns aos outros. Esses objetos, turma, são representados por conjuntos de nós, mais conhecidos como vértices, enquanto as ligações entre eles são conhecidas como arestas. Os grafos podem ser direcionados, em que as ligações têm um sentido único, ou não direcionados, caso em que essas ligações são sempre bidirecionais. Os bancos de dados baseados em grafos utilizam essas estruturas compostas por vértices e arestas para armazenar dados. Tanto os vértices quanto as arestas podem estar nomeados através de etiquetas, indicando que tipo de entidade ou de relacionamento está sendo representado e é possível armazenar dados em ambas as estruturas. Beleza?Os vértices, pessoal, costumam ter suas características armazenadas através de propriedades que são atributos que guardam valores, como o nome do exemplo citado anteriormente. Bancos de dados de grafos são úteis quando os relacionamentos entre os dados são tão importantes quanto os próprios dados. Nesse tipo de modelo NoSQL, as consultas que envolvem vários vértices relacionados são executadas com mais agilidade do que em modelos relacionais tradicionais, que tipicamente requerem a execução de várias junções para executar o mesmo tipo de operação. Por fim, das quatro principais categorias de sistemas NoSQL, temos aqueles orientados ou baseados em colunas ou colunais.Gente, esses sistemas fazem sentido quando é comum acessar os valores de determinado atributo coluna de vários registros de uma só vez. Em um banco de dados relacional podemos enxergar a unidade básica de armazenamento como sendo o registro ou a dupla, pois cada uma dessas estruturas representa um conjunto de valores de atributos que caracteriza uma ocorrência de cada entidade. Aí, no caso de um banco de dados colunar, a unidade básica de armazenamento é a coluna. As colunas são agrupadas em famílias de colunas, que por sua vez costumam representar dados que são acessados de forma conjunta. Por exemplo, gente, pode se definir que um conjunto de colunas composto pelas colunas CPF, nome, data de nascimento e endereço é a família de colunas que representa os dados de pessoas.Nesses bancos de dados o acesso a todos os valores de uma ou mais colunas pode ser feito de forma mais direta e rápida que nos bancos de dados relacionais. Os registros de dados contêm as chaves que referenciam as colunas e podem estar armazenados em diferentes formatos, inclusive em tabelas parecidas com bancos de dados relacionais, como é o caso do sistema H Base.Jovem, os sistemas NoSQL podem sim usar estruturas de tabela também, não são só os sistemas relacionais. Tá bom? E aí conseguiu me acompanhar? Beleza. Fico por aqui. Tá bom. Áudio que vem tem muito mais. Te espero no próximo play. Valeu.

04 - Tipos de Sistemas NoSQL

Receita Federal · Auditor FiscalFluência em dadosBancos de dados não relacionais: NoSQLReceita Federal

Receita Federal

01 - NoSQL: Sistemas Distribuídos e Teorema CAP

02 - Características de Sistemas NoSQL – Parte 1

03 - Características de Sistemas NoSQL – Parte 2

04 - Tipos de Sistemas NoSQL

Receita Federal · Auditor Fiscal

Fluência em dados
Bancos de dados não relacionais: NoSQL

Receita Federal