Green - Módulo

Tecnologia da Informação

Olá, neste módulo vamos estudar sobre Big Data!

Vamos aprender sobre Motivação e os 5V´s; Big Data Analytics; Computação na Nuvem; Raspagem de Dados; Processamento; Visualização; NoSQL: Sistemas Distribuídos e Teorema CAP; Sistemas Distribuídos e Teorema CAP; Tipos de Sistemas NoSQL; HADOOP. 

Para finalizar temos o Resumão EmÁudio revisando todo o conteúdo deste módulo!

Vamos começar?

Professor: Arthur Mendonça 
Narrador: Audren Silva
Duração:1 hora 5 minutos 57 segundos

MÓDULO 06

Big Data

Tecnologia EmÁudio: Motivação e Os Cinco V'sOlá, jovem! Tudo bem? Bem vindo a mais um módulo do nosso curso de tecnologia da informação em áudio. Que alegria ter você por aqui! Bom gente! Neste módulo bateremos um papo sobre big data. Você já ouviu falar nesse termo? Aperta o play e vamos juntos conhecer isso.Bom gente! Ao contrário do que muitos pensam, apesar do termo big, esse conceito não está relacionado apenas ao tamanho dos conjuntos de dados, mas também há diversas outras características importantes com a transformação digital, a popularização dos smartphones e a ampliação do acesso à internet, a quantidade de usuários online é cada vez maior. Em dois mil e dezessete havia cerca de três vírgula oito bilhões de pessoas conectadas à internet, trezentos milhões a mais do que no ano anterior. Esse número, turma, já é certamente muito maior e só tende a aumentar. A medida em que o acesso à internet é ampliado mais e mais usuários a utilizam e produzem cada vez mais conteúdo em diversos locais e formatos. Novos conceitos como a internet das coisas e o cinco G, prometem ampliar de forma muito intensa a quantidade de pessoas e dispositivos conectados à internet. Para você ter uma ideia, em dois mil e dezessete, essas pessoas produziam cerca de quatrocentos e sessenta e três mil tweets. Quinze mil postagens no Instagram e usuários do YouTube assistiam a mais de quatro milhões de vídeos. Tudo isso a cada minuto é uma quantidade absurda de dados produzidos a todo instante. Essa quantidade toda de dados gerada de forma muito veloz e nos formatos mais variados traz uma série de oportunidades para se analisar os dados e extrair valiosas informações a partir deles. Mas essa quantidade toda também traz inúmeros desafios, sabia? Algumas estimativas indicam que mais de noventa e cinco por cento de todos os dados gerados são não estruturados. Outras são mais conservadoras e apontam que esse valor seria na ordem de oitenta por cento.De todo modo, temos que esse caráter não estruturado, sem nenhuma estrutura fixa, torna esses dados difíceis de se organizar e classificar. É nesse contexto, turma, que surge o conceito de big data que trata desses dados em grande volume que se apresentam em uma variedade de formatos e tem uma grande velocidade de produção.Big Data, portanto, anota aí é um termo utilizado para se referir a grandes conjuntos de dados que são de difícil processamento em bancos de dados e programas tradicionais. Assim, as ferramentas e sistemas associados à big data são mais voltados a trabalhar com esses grandes conjuntos de dados predominantemente não estruturados possibilitando a extração de algum tipo de utilidade disso tudo através de diversas técnicas.Jovem, um detalhe importante para sua prova é se lembrar que Big Data não trata de dados exclusivamente não estruturados. Também pode haver dados estruturados aí no meio só que os não estruturados que predominam. Fique ligado. Big Data é um termo que pode ser usado tanto para se referir aos próprios conjuntos de dados que nós acabamos de conversar quanto as ferramentas que servem para se trabalhar com eles. Tranquilidade até aqui, né? Vamos em frente. Bom, já nos definimos o que seria big data, mas a tarefa de se classificar um conjunto de dados como sendo ou não big data continua sendo bastante complicada, né, turma.Por exemplo, considere que a Receita Federal tem uma base de dados com dados de todos os contribuintes do país, vivos ou já falecidos. É um exemplo de um grande conjunto de dados, não é? Mas, meu jovem note que todos esses dados estão armazenados em um banco de dados relacional comum conjunto de dados estruturados, que é atualizado somente de forma anual quando as pessoas fazem a declaração do IRPF.Veremos que isso não é exatamente o que estávamos tentando definir com o Big data. De forma a deixar tudo isso mais claro as características associadas à big data foram consolidadas em um conceito chamado de três v's. Isso mesmo três v's esses três v's são a forma mais bem aceita de caracterizar big data, além de serem frequentemente cobrados em prova. Então, bastante atenção. Os três v's são volume, variedade e velocidade. Gravou?O volume se refere à quantidade de dados produzidos. O conceito de big data como o nome já diz está associado a enormes conjuntos de dados. A velocidade corresponde à rapidez com que esses dados são gerados. Redes sociais, por exemplo, podem receber milhões de postagens por minuto, não é mesmo? Já a variedade é um conceito associado aos diferentes formatos e graus de estrutura em que os dados se encontram hoje em dia.Big Data envolve dados estruturados, semi estruturados e não estruturados dos mais diversos tipos e formatos. Os dados não estruturados costumam ser maioria. Assim, os conjuntos de dados caracterizados como big data seriam aqueles que reunissem essas três características, tá legal?Mais recentemente tem sido bem aceitos e às vezes cobrados em prova. Mais dois conceitos. Anota aí.A veracidade e o valor. Muito bem. A veracidade mostra uma preocupação maior com a confiabilidade e com a organização dos dados. Todos nós temos aqueles parentes que gostam de compartilhar notícias sensacionalistas de fontes não muito confiáveis, não é verdade? Fala aí. Também é possível que você tenha visto aquelas pessoas nas redes sociais que só utilizam linguagem coloquial ou aquelas que cometem muitos erros de digitação e substituem palavras por emojis. Não é verdade? Os dados produzidos nesse contexto são desafiadores de se processar e analisar já que é necessário um certo nível de tratamento e julgamento a respeito do real significado e da validade desses dados. Daí as tecnologias de big data devem permitir trabalhar com esses conjuntos de dados irregulares e que nem sempre são confiáveis. Como os conjuntos de dados são muito grandes, se a maior parte deles apresentar boa confiabilidade e significado compreensível a falta de uma veracidade de um percentual deles acaba ficando em segundo plano. Percebe?Assim podemos afirmar que o grande volume muitas vezes compensa essa falta de veracidade nos registros. Muito bem. Falamos da veracidade, que é um conceito que pode ser cobrado em prova e que também tem sido bem aceitos. Vamos falar agora do valor. Pois bem, o valor é uma das características mais simples de se entender do Big data. Gente, podemos ter ferramentas que nos permitem coletar, processar e analisar dados que se a moldem aos outros quatro v's. Mas se não conseguirmos extrair algo de valor disso tudo, o Big data se torna somente mais uma armadilha para o desperdício de recursos das organizações. As organizações irão gastar muito dinheiro em soluções sofisticadas para analisar esses conjuntos de dados muito complexos, mas se isso não gera algum tipo de valor para a organização o Big data se torna somente mais uma tecnologia da moda que não traz um retorno desejado. Jovem, um detalhe. Há artigos por aí que chegam a citar mais de quarenta vezes para big data. Na minha opinião, devemos nos ater aos cinco v's que conversamos. Ok? Pois já são conceitos mais bem aceitos pela doutrina. Essas dezenas de v's muitas vezes representam uma certa forçação de barra, sabe? Uma vez que podem ser derivados dos três ou cinco v's originais. Beleza?Bom, fico por aqui. No próximo em áudio conversaremos sobre as aplicações e técnicas. Até lá. Abraço!

01 - Motivação e os 5 V´s

Tecnologia EmÁudio: Big Data AnalyticsE aí, Pessoal. Bem vindos de volta! Bora aprender um pouco mais sobre Big Data? Muito bem. Som na caixa. Turminha, começaremos a falar sobre as aplicações e técnicas de Big Data. Tá bom? Já vi que gostou, né? Big Data tem inúmeras aplicações nos mais diversos setores da sociedade, turma.Governos podem utilizar essas técnicas para aprimorar serviços públicos, né? Como na análise de movimentações em mercados financeiros, com a finalidade de regulação e fiscalização, detecção de fraudes, pesquisas no âmbito do sistema público de saúde, onde melhor alocar recursos para aprimorar o atendimento à população e assim sucessivamente. Também há diversas aplicações no setor privado, jovem. Big Data tem muitas aplicações em marketing, principalmente na coleta e processamento de dados de redes sociais, campo bastante fértil de dados não estruturados. Há aplicações na educação, pessoal, como sistemas que podem medir o desempenho dos estudantes de uma determinada região e cruzar com diversos outros fatores do ambiente escolar de modo a aprimorar a qualidade do ensino.Da mesma maneira, já há muitas aplicações em saúde. É verdade, como por exemplo as que coletam uma grande quantidade de dados a respeito da evolução do estado de pacientes portadores de doenças crônicas para melhor estudar e tratar essas enfermidades. Assim como acontece com outras técnicas analíticas como em mineração de dados. É muito difícil que o examinador cite um ramo em que Big Data não é aplicável. Tá legal? Se a questão fala que Big Data pode ser utilizado em aplicações da área X é muito provável que ela esteja correta ou que o erro, se presente, esteja em outro aspecto do item.Mais para frente estudaremos alguns outros conceitos de computação que costumam estar associados ao trabalho com Big Data como a computação em nuvem e os bancos de dados no SQL.Vamos começar falando do Big Data Analytics. O Big Data Analytics é um termo que se refere à análise desses conjuntos grandes e complexos de dados estruturados e não estruturados, turma.Para analisar a análise sobre Big Data são utilizadas ferramentas e equipamentos de alta performance muitas vezes com o auxílio de computação distribuída utilizando várias máquinas conectadas que trabalham de forma conjunta. As técnicas de análise em Big Data também geralmente envolvem a utilização de algoritmos estatísticos avançados, e um forte foco em análise preditiva. Aquela que busca apontar o que está por vir no futuro e indicar tendências.Quando se trata de Big Data, pessoal, costuma se citar quatro tipos de análises de dados diferentes, com base no objetivo de cada uma: preditiva, prescritiva, descritiva e diagnóstica. A Análise preditiva busca prever comportamentos futuros e tendências com base nos dados conhecidos. A análise prescritiva é parecida com a preditiva, mas a ideia é buscar os efeitos dos eventos futuros. Quer ouvir aí? É como se a preditiva fosse capaz de detectar um possível desaquecimento do mercado no futuro. Enquanto a prescritiva seria responsável por prever o impacto desse desaquecimento nas vendas da empresa.Percebeu? Já a análise descritiva foca no presente, visando descrever as características dos dados e eventos correntes para subsidiar decisões de efeitos imediatos. E, por fim, a análise diagnóstica, que, por sua vez visa entender as relações de causa e efeito entre eventos. Por exemplo, pode se cruzar fatores como dados de vacinação, saneamento básico e higiene para entender as causas da erradicação de determinada doença em parte da população.Deu para entender? Muito bem. Quando tratam de Big Data ElMasri e Navathe fazem referência ainda a algumas publicações da IBM, empresa que produz diversos tipos de sistemas de computador, incluindo soluções avançadas para Big Data. A IBM cita alguns outros tipos de Analytics, ou seja, áreas de análise de dados que podem ser focos das soluções de Big Data, Miriane, lex ou análises de redes sociais. Está associada a análise de sentimentos em postagens em redes sociais para verificar a opinião das pessoas a respeito de determinados assuntos ou eventos. Isso pode servir, por exemplo, turma, tanto para analisar opiniões a respeito de assuntos e tópicos polêmicos no campo da política quanto para direcionar ações de marketing de bens e serviços de maneira mais eficiente. Tá legal?Vamos falar agora de análise de entidades, ou em inglês, Analytics é uma área que tem como objetivo identificar e agrupar dados a respeito de determinada entidade de interesse e extrair conhecimento a partir disso. Computação cognitiva tem como objetivo desenvolver sistemas que interagem com pessoas para fornecer conselhos ou insights. Pense nos assistentes virtuais do seu celular inteligências artificiais, que têm como objetivo prover informações e ações por comando de voz turbinados com todo o conhecimento obtido através de Big Data.Fácil, né? Vamos resolver agora uma questão para você ter uma noção de como esse assunto é cobrado em provas. Tá legal? Vem comigo naquele esquema. Tá, eu leio o enunciado e você me diz daí se ele está certo ou errado. Combinado? Vamos lá: uma empresa, ao implementar técnicas e softwares de Big Data, deu enfoque diferenciado à análise que tem como objetivo mostrar as consequências de determinado evento. Essa análise é do tipo prescritivo. E aí turma. Agora eu quero saber certo ou errado? Certíssimo, jovem. A análise que visa a prever os efeitos futuros dos eventos é a prescritiva mesmo. Essa é um dos quatro tipos de análise costumeira mencionados quando se trata de Big Data, juntamente com a preditiva, previsão de comportamentos futuros e tendências, a descritiva, focada no presente, descrevendo os dados e eventos, e a diagnóstica, relações de causa e efeito entre eventos.Assunto entendido aí? Beleza. Fica comigo, tá? No próximo em áudio tem muito mais. Até lá. Até o próximo play.

02 - Big Data Analytics

Tecnologia EmÁudio: Computação na NuvemE aí, pessoal. Beleza? Hora de falarmos sobre a famosa computação na nuvem. Aperta o play e se surpreenda.Quando falamos de big data estamos tratando de conjuntos de dados de grande volume, muito variados, que são produzidos com enorme velocidade. Essas características tornam o trabalho de lidar com esses dados um tanto quanto complexo. A característica do volume é desafiadora porque requer um alto poder de processamento e uma grande capacidade de armazenamento já que todas as operações de escrita e leitura envolvem grandes volumes de dados. Máquinas com essas características dói bastante o bolso, custam bastante caro. A variedade também é bem problemática, pois muitas vezes é necessário utilizar ferramentas e plataformas de computação diferentes para armazenar e processar diferentes tipos de dados estruturados e não estruturados que se apresentam nos mais diversos formatos. Assim, uma organização que deseja processar esse tipo de dado precisaria adquirir ou desenvolver e configurar diversos sistemas e ambientes diferentes. Por fim, a velocidade traz a dificuldade de trazer consigo vários picos de demanda, alternando com momentos mais ociosos. Quer ouvir um exemplo? Imagine um gráfico que mostre a quantidade de postagem por segundo no Twitter, durante uma exibição de um determinado filme. Tá Bom. Nesse gráfico está representado o pico de uma quantidade de twitts por segundo vinte e cinco vezes maior do que o ritmo normal do site. Perceba o problema aí. Se o sistema do Twitter tivesse capacidade de lidar somente com o ritmo normal de postagens mesmo que ele tivesse uma margem de tolerância de uns cem, por exemplo, ele não chegaria nem perto de aguentar esse pico de vinte e cinco vezes o que poderia derrubar o sistema e deixar o serviço fora do ar, simplesmente assim. Por outro lado, turma, se o sistema tivesse sido construído com capacidade para lidar com esse ritmo anormal vinte e cinco vezes maior que o convencional. Na maior parte do tempo, ele iria ficar com toda essa capacidade ociosa sem uso nenhum. Isso iria representar um gasto enorme para montar uma infraestrutura e manter tudo isso rodando para ser usado em sua capacidade máxima somente durante um ou dois segundos. Deu para pegar aí? A solução para esses problemas é terceirizar a computação através da contratação de um serviço de computação na nuvem. A computação na nuvem permite se contratar serviços de computação como armazenamento ou processamento de forma completamente escalável e com grande elasticidade. Isso significa dizer que você pode contratar um serviço com capacidade virtualmente ilimitada, capaz de aumentar a capacidade de armazenamento ou processamento em uma fração de segundo, turma. Nos serviços de computação na nuvem, o usuário geralmente só paga por aqueles recursos computacionais que usa. Assim o Twitter consegue atender a seus picos de dados sem precisar manter uma capacidade ociosa em seus sistemas. Por exemplo, um usuário pode contratar um banco de dados através dos serviços Amazon, a WS ou Microsoft Azul, pagando um valor mensal por gigabyte utilizado. Dessa forma, pessoal, o usuário só paga pelo espaço que utilizar e não precisa se preocupar em ter que comprar novos discos quando precisar de mais espaço, ou então em comprar discos demais e ficar com um espaço ocioso a um alto custo. Gente, da mesma maneira, pode se alugar máquinas poderosas para processar e armazenar os dados de aplicações de big data ou até mesmo conjuntos completos, com hardware e software já embarcado e instalado pronto para se utilizar. As soluções de nuvem são especialmente apropriadas para big data. OK? Já que estes conjuntos de dados possuem as propriedades de volume e velocidade, ou seja, o volume cresce e diminui o tempo todo, sendo quase que imprevisível saber qual será a demanda por espaço para armazenamento ou poder de processamento. Como esses serviços de nuvem são contratados sob demanda, o custo acaba sendo menor para o usuário na maioria das vezes. Além disso, turma, também atende aos requisitos impostos pela variedade, já que é possível contratar as mais diversas ferramentas de bancos de dados e de processamento, já prontas para usar para se lidar com todo tipo de formato e grau de estruturação dos conjuntos de dados. E aí conseguiu me acompanhar? Que bom. Tranquilidade, né? Bom, já já falaremos da raspagem de dados, mas só no próximo áudio. Tá bom? Te espero lá. Abraço!

03 - Computação na Nuvem

Tecnologia EmÁudio: Raspagem De DadosMuito bem, muito bem, estamos de volta, então! E aí, Turma. Tudo ok? Neste em áudio falaremos da raspagem de dados também conhecida como Scraping. Som na caixa.Dentre as técnicas utilizadas para se trabalhar com Big Data, podemos destacar também a de web Skype ou de raspagem de dados na internet. Scrapings são softwares que têm como objetivo extrair grandes volumes de dados da internet, predominantemente não estruturados, como aqueles dados em formato textual, posts em redes sociais, blogs e por aí vai.Como na maioria dos processos que envolvem trabalhar com dados não estruturados, os scrapings têm como objetivo extrair os e dar a eles uma certa estrutura para que fiquem em um formato mais simples e maleável de se trabalhar.As ferramentas de scrapings em si não costumam ser tão complexas, mas pode ser bastante desafiador raspar dados na internet. Como estamos falando de Big data, turma, os dados não necessariamente seguem um padrão fixo. Essa natureza não estruturada e variada dos dados pode tornar a tarefa de raspagem bastante complicada.Beleza até aqui? Vamos lá. Uma dica para sua prova tá? Os assuntos de big data que estudamos até aqui vão representar a grande maioria das questões que podem vir na sua prova a respeito desse assunto. Assim, sugiro que priorize, compreender o que já vimos em relação ao restante do conteúdo. Tá legal? Bastante atenção. Bom, os próximos tópicos são mais avançados e menos frequentemente cobrados. Então, estou trazendo com o objetivo de cobrir aquelas questões mais complexas que, de vez em quando aparecem nas provas.Tá bom? Esse assunto é facinho, né? Mas não menos importante. Ok? Muito bem. Te espero no próximo em áudio para mais conhecimento. Tchau, tchau.

04 - Raspagem de Dados

Tecnologia EmÁudio: ProcessamentoE aí voltei e já quero começar nosso papo sabe sobre o que? Processamento. Cola em mim aqui. Gente, para se lidar com o grande volume e velocidade de dados de big data as tarefas de preparação e processamento dos dados ocorrem de maneiras diferentes. Vamos conferir.A depender do propósito da aplicação, podem ser adotadas duas principais estratégias para processar os dados de análise, tá legal? Batches e stream. Processamento em batches ou lotes é uma estratégia em que os dados são primeiro coletados e armazenados para serem posteriormente processados em lote para análise futura. Primeiro, deixamos acumular um certo volume de dados de acordo com algum critério de tempo, e só então fazemos o processamento desse conjunto. Por exemplo, vamos lá. Imagine que uma organização quer realizar uma análise das postagens em redes sociais a respeito de um novo produto que foi lançado, de modo a verificar a satisfação do público em relação a esse produto. No caso do processamento em lotes ou batches, a organização pode coletar todas as postagens que são realizadas em um dia a respeito do produto, armazená-las e somente ao final do dia, realizar o processamento necessário para que se possa realizar a análise desejada. Assim, os dados de um dia inteiro são processados ao final do dia e depois de toda a preparação e o processamento necessários, os resultados do processo de análise ficam disponíveis para os usuários. Há um intervalo de tempo maior entre a entrada dos dados e seu processamento.Já no streaming, não há esse armazenamento prévio em discos antes do processamento, pois os dados são processados à medida em que são coletados. Isso permite a realização de análise em tempo real dos dados, o que pode ser bastante útil para determinados ramos de aplicação, né, turma.Aqui não há um grande intervalo temporal entre a coleta dos dados e seu processamento, por exemplo, considere uma aplicação de detecção de fraudes em compras de cartão de crédito de um banco. Nesse caso, é importante que o sistema funcione em tempo real, analisando os padrões de compra dos clientes e confrontando os com cada nova transação realizada, para que o banco consiga rapidamente alertar o cliente no caso de fraude e bloquear o cartão antes que o malfeitor possa realizar novas compras. Nesse processo de streaming, podem ser utilizadas várias ferramentas, dentre as quais podemos destacar o Apache Spark e o Apaf.Deu pra pegar tudo? Ok. Vou dar um tempinho para você se alongar e beber uma água. Daqui a pouco eu volto. Até lá. Até o próximo áudio.

05 - Processamento

Tecnologia EmÁudio: VisualizaçãoE aí, turminha querida. Tudo certo? Bora ser aprovado? É o que todo mundo quer, não é mesmo? Então aperta o play aí. Bora falar sobre a visualização, turma.Como vimos, um dos cinco "Vs" de Big Data é o valor. Segundo essa propriedade, os dados e ferramentas de Big Data devem ser capazes de gerar algum tipo de valor para a organiação.Quando se utiliza Big Data a aplicação geralmente tem propósito analítico, ou seja, permitir a análise dos dados e a extração de informações úteis para as organizações. Nesse sentido, é necessário disponibilizar os dados em algum formato compreensível pelos usuários do negócio que irão realizar a análise. Aqui podemos empregar técnicas de visualização em gráficos e em dashboards da mesma maneira como fazemos nas aplicações de negócios em telas. Nada impede também que combinemos. A escolha do tipo de visualização vai sempre depender de vários fatores, como a natureza dos dados, o tipo de análise realizada (preditiva, prescritiva, descritiva), quais perguntas que se quer responder e o nível de conhecimento dos usuários que irão utilizar a ferramenta.Em relação ao cenário específico de Big Data, há algumas técnicas interessantes para se analisar os dados, como tag clouds, clusters, HS Flow e Special Information Flow. Calma, vamos falar sobre cada uma delas? Fique tranquilo.A técnica Tag Clouds, ou Word Clouds, cujo nome é geralmente traduzido como "Nuvem de palavras", é uma técnica de visualização que exibe as palavras que aparecem mais frequentemente em um conjunto de dados textuais. Palavras que aparecem com mais frequência no conjunto de dados são exibidas em um tamanho maior e com mais destaque.Por exemplo, uma nuvem de palavras que traz as palavras mais frequentes em um conjunto de textos que trata de Big Data, Storage, Theon Prot e por aí vai.O Cluster Gra é um diagrama que serve para exibir os clusters de uma análise de agrupamento, técnica de cluster da mineração de dados. A ideia aqui é mostrar como os membros dos agrupamentos são atribuídos a cada grupo a medida em que o número de clusters aumenta. No eixo Y fica a média do valor de cada grupo e no eixo X a quantidade de clusters.Já o HS Flow é uma ferramenta que se destina a apresentar o histórico de versões de um documento conforme ele é modificado pelos seus colaboradores. E por fim, a Information Flow. Essa é uma técnica que busca visualizar as informações no espaço. O Projeto Seba Cilia Lab do MIT tem alguns exemplos interessantes. Deu pra pegar tudo aí, jovem? Beleza. Essas novas formas de visualizar dados trazem possibilidades de análise interessantes para a Big Data, embora seja possível tratar os dados obtidos e representá-los em formas mais tradicionais, como colocá-los em gráficos de barras, colunas, pizza ou histogramas também é importante explorar novas formas de apresentar os dados, visto que Big Data tem como uma de suas principais características a variedade nas formas em que os dados se estruturam. Essa variedade muitas vezes requer que se utilize novas abordagens para apresentar os dados, que são muitas vezes não estruturados, o que pode torná-los incompatíveis com as formas de visualização tradicionais. Em Big Data, as perguntas que serão feitas no processo de análise muitas vezes também são não estruturadas, ou seja, não são pré-definidas. Então o usuário está somente explorando os dados à procura de alguma informação interessante, entendeu?Nesses casos, as ferramentas deverão ser interativas, de modo a permitir que o próprio usuário navegue nos dados e encontre informações relevantes. As ferramentas de visualização também devem levar em consideração o público-alvo do processo de análise, principalmente nos casos em que os dados se destinam a um público mais amplo, que não necessariamente tem um bom conhecimento em ferramentas de TI. É importante que as ferramentas sejam intuitivas e fáceis de usar. É isso, meu povo. Finalizo mais um em áudio por aqui, mas ainda não acabou. No próximo em áudio, falaremos da aplicação no NoSQL. Até daqui a pouquinho. Te espero lá.

06 - Visualização

Tecnologia EmÁudio NoSQL: Sistemas Distribuídos e Teorema CAPE aí, meus caros. Tudo certo? Tudo em cima? Como estão os estudos? Espero que bem, hein? Bora aprender mais um pouco? Aumenta esse som aí e vem comigo.Gente, os SGBDs que adotam o modelo de dado relacional não são tão adequados para se armazenar Big data. Eles são repositórios estruturados que só podem armazenar dados em tabelas. Então não são flexíveis o suficiente para receber toda essa variedade de dados. Além disso, turma, os SGBDs relacionais podem apresentar também limitações de performances diante do volume e da velocidade dos dados, já que eles têm um trabalho enorme trabalhando para garantir as propriedades sde das transações. Nesse sentido, têm sido desenvolvidas aplicações NoSQL ou não apenas SQL, que são sistemas de bancos de dados voltados para situações em que o modelo relacional não é apropriado. As principais características dessas tecnologias às vezes são cobradas como parte do assunto de big data, então tente pegar a ideia geral dos tópicos apresentados neste capítulo. Fechou? Pela necessidade de um grande poder de processamento, dentre outras características os sistemas No SQL costumam ser implementados de forma distribuída.Para que entendamos melhor alguns de seus princípios precisamos entender um pouco como funcionam os sistemas distribuídos. Vem comigo! Bora começando a falar dos sistemas distribuídos e Teorema CAP. A computação distribuída, pessoal, diz respeito à utilização de vários computadores interconectados para processar determinadas tarefas ou armazenar dados como se fossem um só. O poder de processamento dessas máquinas é combinado formando um conjunto poderoso capaz de resolver problemas complexos. Esses sistemas são organizados de uma forma que cada máquina individual é conhecida como um nó e está ligada a outras através de uma rede. A rede é uma estrutura de interconexão de computadores como a rede WiFi na sua casa ou a própria internet. Em um sistema de bancos de dados distribuído, se armazena dados e se processa transações em vários nós, vários computadores, ao mesmo tempo. Isso traz algumas vantagens. Por exemplo, se um nó falhar, determinado dado pode estar copiado em outros nós, o que evita a perda do dado e também alguns desafios. É necessário gerenciar as diferentes cópias do mesmo dado para que estejam sempre com o mesmo valor. Ok. Resumindo, turma. Temos três principais características desse tipo de sistema que são bastante relevantes: Consistência, disponibilidade e tolerância a particionamento.Vamos falar, claro, rapidinho sobre cada uma delas. A consistência, do inglês, determina que os nós replicados devem ter representações consistentes dos dados, ou seja, as cópias de um mesmo dado devem ser idênticas nos diferentes nós. Quanto à disponibilidade, que também é conhecida como a availability, o sistema deve estar disponível para processar transações de leitura ou escrita sobre os dados quando requisitado. Caso a operação não possa ser realizada com sucesso o sistema deve retornar uma mensagem indicando a falha. E a tolerância a particionamento diz respeito à capacidade do sistema continuar operando no caso de uma falha de rede que ocasione particionamento que é uma situação em que os nós são separados em sub-redes sem comunicação uma com a outra. Se você prestar bem atenção, vai ver que as iniciais dessas propriedades que falamos agora formam a sigla CAP: Consistency, Availability, Partition Tolerance. O teorema CAP é um princípio formulado por um pesquisador chamado Eric Brower, que determina que não é possível garantir todas essas três propriedades ao mesmo tempo. E aí, sistemas distribuídos e teorema CAP entendidos?Beleza, então vamos em frente. Tendo isso em mente note que os sistemas NoSQL não se baseiam nas propriedades como os sistemas relacionais, mas muitas vezes em um outro conjunto de propriedades chamado base, traduzindo do acrônimo em inglês esse novo conjunto de características significa basicamente disponibilidade, estado leve e consistência eventual. Essas novas propriedades são adotadas em NoSQL e big data, porque são mais flexíveis que o ased.Por exemplo, a consistência eventual determina que mais cedo ou mais tarde o banco de dados entrará em um estado consistente, mas não necessariamente estará sempre consistente. Ele vai continuar realizando as transações sem checar imediatamente a consistência de cada uma. As propriedades basicamente disponível e estado leve também seguem a mesma linha, tá, gente. Sempre o banco de dados estará disponível para responder a determinada consulta e o estado do sistema não é rígido. Em alguns casos, havendo dados que ficam armazenados, apenas temporariamente. Sabia na prática, pessoal? Essas propriedades base, base não são amplamente utilizadas nos bancos de dados. NoSQL. ElMasri e Navathe dizem que nos sistemas NoSQL é comum que se adote um nível de consistência mais flexível, consistência eventual, com o objetivo de se manter as outras duas propriedades CAP: Disponibilidade e Tolerância à Particionamento.Então as propriedades de estado leve e basicamente disponível não costumam ser tão aplicadas. E aí, deu para entender? Beleza. Bom, vou finalizando esse em áudio por aqui. Mas não acabou ainda, hein? Daqui a pouco tem mais. Até o próximo play. Abraço!

07 - NoSQL: Sistemas Distribuídos e Teorema CAP

Tecnologia EmÁudio: Características de Sistemas NoSQL - Parte UmBom dia! Boa tarde! Boa noite! Independente do horário é sempre um prazer ter você aqui comigo, guarde isso. Bora aprender sobre as características dos sistemas NoSQL? Vamos Juntos. ElMarsi e Navathe separam as características dos sistemas NoSQL em duas categorias distintas, turma.A primeira categoria diz respeito às características dos sistemas distribuídos em geral. Já a segunda categoria diz respeito aos modelos de dados e linguagens de consulta adotados nos bancos de dados NoSQL. Bora colocar a mão na massa e começar a falar das características relacionadas aos sistemas distribuídos? Vamos nessa! Vou começar falando da característica da escalabilidade.Pessoal, a escalabilidade se refere à possibilidade de se expandir a capacidade do sistema conforme a necessidade. Como já citamos em big data, pode haver uma necessidade de se expandir a capacidade do sistema de maneira muito rápida. Existem dois tipos de escalabilidade horizontal e vertical. Vamos conferir cada uma. Escalabilidade horizontal diz respeito a adicionar mais nós, outras máquinas ou outros componentes no sistema, ampliando sua capacidade global. Escalabilidade vertical diz respeito a aumentar a capacidade das máquinas existentes, por exemplo, adicionando um novo disco no computador que já existe até mesmo pelo alto grau de utilização de computação em nuvem em que é fácil adicionar e remover nós conforme a demanda nos sistemas NoSQL é muito frequente a utilização de escalabilidade horizontal.Deu para pegar? Próxima característica.Disponibilidade, replicação e consistência eventual. Muito bem o que que é isso aí? Essas três características, pessoal, estão fortemente relacionadas. Tá bom?Para que o sistema esteja disponível para responder adequadamente as requisições dos usuários, é importante que o mesmo dado esteja replicado, ou seja copiado em mais de um nó. Assim, caso um nó falhe, o usuário pode ter sua requisição atendida, pois ele estará disponível em outro local do sistema. Essa replicação deve ocorrer de forma transparente, ou seja, o usuário do sistema não tem que se preocupar com qual nó contém o seu dado. Esse gerenciamento deve ser feito pelo sistema sem que o usuário precise tomar conhecimento da localização dos dados. Os usuários devem enxergar o sistema distribuídos como se fosse um sistema único. Entendeu? Só que como os dados estão replicados em vários nós caso seja necessário atualizar ou remover um determinado dado, é preciso realizar essa operação em todos os nós que contém cópia do dado. Assim, a utilização de uma regra de consistência mais rigorosa pode acabar trazendo uma perda de performance. A consistência eventual dos sistemas NoSQL, por sua vez, permite que os dados fiquem desatualizados, inconsistentes por um tempo até que o sistema consiga arrumar um tempinho para corrigir essa situação. Isso termina agilizando bastante a execução das operações de escrita de dados nos sistemas distribuídos.Mais uma. Modelos de replicação. A Replicação de dados é aquela propriedade dos sistemas distribuídos em que o mesmo dado possui várias cópias no sistema, cada uma em um nó diferente. Essa replicação pessoal, no entanto, deve manter a consistência de alguma maneira, ou seja, as cópias do mesmo dado devem assumir o mesmo valor. Essa consistência pode ser mantida de diferentes maneiras em relação aos sistemas NoSQL existem dois principais modelos de replicação. Anota aí Master Slave e Master Master, Mestre Escravo e Mestre Mestre. Tranquilidade até aqui, né? Posso continuar? Estou indo então. Outra característica é a técnica Chardin como o NoSQL que costuma ser utilizado para armazenar big data, ou seja, conjuntos de dados bastante volumosos. Há alguns desafios adicionais no seu armazenamento. Esses conjuntos de dados serão frequentemente acessados por várias transações simultâneas, concorrentes, o que pode ocasionar uma sobrecarga muito grande se a coleção estiver armazenada em um só nó do sistema distribuído. Assim, pode ser adotada uma técnica chamada Chardin ou Paticionamento horizontal, que é um tipo de técnica que divide essas coleções de dados, turma, ao longo de vários nós. Dessa forma, um arquivo ou coleção de dados muito grande pode ser distribuído, tornando a carga de consultas e acessos mais bem distribuída entre os vários nós. Segundo Elmasri e Navathe, a combinação de técnicas de Chardin e de replicação ajuda a manter uma adequada distribuição de carga e melhorar a disponibilidade do sistema.E, por fim, o acesso a dados de alta performance. Gente, como nos sistemas NoSQL costumam ser armazenados grandes volumes de dados é importante que a extração desses dados possa ser feita de forma eficiente. Não é mesmo? Imagine a lentidão que seria para encontrar um determinado valor dentre milhões, caso fosse necessário conferir cada registro um por um. Então, nesse caso os sistemas NoSQL tem alguns mecanismos para acessar os dados mais diretamente sem muita pesquisa ou muita busca, como rach e Paticionameno por intervalo. Deu para pegar tudo, jovem? Que bom! Vou finalizar esse áudio por aqui para não ficar muito cansativo, mas já já eu estou de volta. Beleza? Até mais.

08 - Características de Sistemas NoSQL – Parte 1

Tecnologia EmÁudio: Características de Sistemas NoSQL - Parte DoisOlá! Voltei e sem enrolação. Bora falar das características relacionadas aos modelos de dados e linguagens de consulta.Gente, as características que nós conversamos no áudio passado são aplicáveis a basicamente qualquer sistema distribuído, tá legal. Já as próximas quatro são características mais específicas da natureza dos sistemas NoSQL, e, por consequência, mais prováveis de serem cobradas em prova.Presta atenção então.Os sistemas NoSQL muitas vezes armazenam dados semi estruturados, que são aqueles em que a estrutura vem junto com os próprios dados. A maioria desses sistemas então não precisa da definição de um esquema. Note que os sistemas NoSQL variam bastante um para o outro. Então alguns deles contêm sim mecanismos que permitem definir algum metadado ou restrição a respeito da estrutura dos dados como o tipo de dados. Grave isso. Não há necessidade de esquema.Além disso, turma, quando estamos tratando de NoSQL há menos varreduras e buscas em tabelas. A ideia é que o acesso aos dados funcione de maneira mais direta, sem muita procura devido à quantidade enorme de registros que geralmente é armazenada nessas bases. Então, assim, a complexidade dos de consulta da linguagem NoSQLé um pouco desnecessária, o que permite a utilização de uma linguagem de consulta mais simplificada.Muitos sistemas NoSQL como apontam Elmasri e Navathe nem sequer implementam as junções, operações muito comuns em bancos de dados relacionais. Gravou? Isso mesmo, linguagens de consulta menos poderosas. Próxima característica. Versionamento. Elmasri e Navathe observam que alguns sistemas NoSQL têm a funcionalidade de armazenar várias versões do mesmo dado com a indicação da época em que cada versão foi criada. Isso é interessante para aquelas aplicações que se preocupam em registrar como os dados evoluíram ao longo do tempo.Conseguiu entender? Maravilha! Fico por aqui, tá bom? Até daqui a pouco no próximo áudio. Te espero lá.

09 - Características de Sistemas NoSQL – Parte 2

Tecnologia EmÁudio: Tipos de sistemas NoSQLE aí, galera. Tudo bem? Tudo certinho?Bora bater um papo sobre os tipos de sistemas NoSQL. Cola em mim aqui.Pessoal, os sistemas NoSQL podem seguir vários modelos de dados diferentes. Tá bom? Enquanto os bancos de dados relacionais armazenam dados em tabelas, os NoSQL seguem várias maneiras de organização distintas.É isso aí. NoSQL na verdade é apenas uma categoria bem ampla de sistemas de bancos de dados. Essa categoria, turma, costuma se dividir em quatro tipos de sistemas principais. Vamos conferir cada um: chave-valor, orientado a documentos, baseado em grafos e orientado a colunas. Tá bom. Vamos por parte como a gente sempre faz, né? Vamos começar pela chave-valor então, que em inglês é que velho. Os modelos de dados do tipo chave-valor são bem simples de entender. Os valores são acessados primariamente através do valor de sua chave.Como já conversamos, os dados em bancos de dados NoSQL devem poder ser extraídos rapidamente. É isso que deve acontecer com os sistemas chave-valor. Através da chave, deve ser possível encontrar rapidamente o valor associado sem ficar procurando registro a registro na estrutura de armazenamento.Percebeu? Então a diferença principal entre esse modelo e o modelo relacional. É que aqui não há um esquema definido, ou seja, cada chave pode ter um valor registro de um tipo diferente. Esses valores podem conter dados que variam bastante de sistema para sistema. Alguns sistemas comportam dados semi-estruturados como objetos JSon ou XML, enquanto outros armazenam dados estruturados ou não estruturados. Isso vai depender de cada tecnologia. Valeu? São exemplos: WhareDIS. Deu para entender aí, jovem?Outro sistema que você precisa conhecer é o orientado a documentos. Vamos nessa! Os bancos de dados orientados a documentos turma geralmente armazenam dados auto-descritivos semi-estruturados como documentos XML ou JSON, XML ou JSON. Esses documentos estão organizados em coleções, pessoal, que são estruturas diferentes, mas de propósito similar às tabelas em um banco de dados relacional para agrupar documentos que tenham significado semelhante. Embora os documentos agrupados em coleções devam ter significados semelhantes, eles precisam ter a mesma estrutura. Tá bom? Por exemplo, pessoal, uma coleção que armazena dados a respeito de filmes pode ter alguns filmes que têm atributos que não estão presentes nos demais. E ao baseado em grafos. Você já ouviu falar nisso? Eu te explico agora. Jovem, grafos são estruturas que matematicamente representam objetos que estão relacionados uns aos outros. Esses objetos, turma, são representados por conjuntos de nós, mais conhecidos como vértices, enquanto as ligações entre eles são conhecidas como arestas. Os grafos podem ser direcionados, em que as ligações têm um sentido único, ou não direcionados, caso em que essas ligações são sempre bidirecionais. Os bancos de dados baseados em grafos utilizam essas estruturas compostas por vértices e arestas para armazenar dados. Tanto os vértices quanto as arestas podem estar nomeados através de etiquetas, indicando que tipo de entidade ou de relacionamento está sendo representado e é possível armazenar dados em ambas as estruturas. Beleza?Os vértices, pessoal, costumam ter suas características armazenadas através de propriedades que são atributos que guardam valores, como o nome do exemplo citado anteriormente. Bancos de dados de grafos são úteis quando os relacionamentos entre os dados são tão importantes quanto os próprios dados. Nesse tipo de modelo NoSQL, as consultas que envolvem vários vértices relacionados são executadas com mais agilidade do que em modelos relacionais tradicionais, que tipicamente requerem a execução de várias junções para executar o mesmo tipo de operação. Por fim, das quatro principais categorias de sistemas NoSQL, temos aqueles orientados ou baseados em colunas ou colunais.Gente, esses sistemas fazem sentido quando é comum acessar os valores de determinado atributo coluna de vários registros de uma só vez. Em um banco de dados relacional podemos enxergar a unidade básica de armazenamento como sendo o registro ou a dupla, pois cada uma dessas estruturas representa um conjunto de valores de atributos que caracteriza uma ocorrência de cada entidade. Aí, no caso de um banco de dados colunar, a unidade básica de armazenamento é a coluna. As colunas são agrupadas em famílias de colunas, que por sua vez costumam representar dados que são acessados de forma conjunta. Por exemplo, gente, pode se definir que um conjunto de colunas composto pelas colunas CPF, nome, data de nascimento e endereço é a família de colunas que representa os dados de pessoas.Nesses bancos de dados o acesso a todos os valores de uma ou mais colunas pode ser feito de forma mais direta e rápida que nos bancos de dados relacionais. Os registros de dados contêm as chaves que referenciam as colunas e podem estar armazenados em diferentes formatos, inclusive em tabelas parecidas com bancos de dados relacionais, como é o caso do sistema H Base.Jovem, os sistemas NoSQL podem sim usar estruturas de tabela também, não são só os sistemas relacionais. Tá bom? E aí conseguiu me acompanhar? Beleza. Fico por aqui. Tá bom. Áudio que vem tem muito mais. Te espero no próximo play. Valeu.

10 - Tipos de Sistemas NoSQL

Tecnologia EmÁudio: HADOOPE aí, minha turma campeã. Tudo bem? Tudo certo, jovem? Beleza, né? Chegou a hora de falar do Hadoop. Já ouviu falar dele? Então aperta o play aí e se surpreenda. Você vai gostar. Gente, todo esse aparato de big data e NoSQL em sistemas distribuídos requer um esforço de coordenação e distribuição de tarefas muito complexo. Nesse sentido, algumas das tecnologias mencionadas se integram com o Apache Hadoop, que é um projeto de código aberto, ou seja, de livre utilização e modificação que possui alguns recursos bastante úteis para se trabalhar com Big Data.Muito bem. O hadoop, galera, é basicamente uma plataforma composta por diversos módulos que permitem realizar diversas tarefas associadas à Big data Analytics. Alguns deles merecem um certo destaque na nossa aula, pois já foram e podem ser novamente cobrados em prova. O Hdfs e o Map Reduz. Então, jovem, é isso aí. Há um sistema de armazenamento de arquivos chamado HDFS System, que permite o acesso aos dados armazenados em sistemas distribuídos de forma eficiente. Ele opera, segundo alguns princípios que já apareceram em prova. Ouvidos bem abertos.Falhas de hardware. Os sistemas HDs permitem se trabalhar com centenas de milhares de máquinas, cada uma contendo uma parte dos dados. Por esse motivo, falhas de hardware sempre ocorrerão. HDFS então busca prover mecanismos para uma rápida detecção e recuperação dessas falhas.Streaming de dados. Os sistemas que empregam o HDFs não costumam ser voltados para que o usuário navegue nos dados como se fosse um sistema de pastas de um computador pessoal. Eles estão voltados para o processamento em bloco de grandes volumes de dados. Assim, o foco é maior em um auto fa put do que em uma baixa latência. Isso quer dizer que a taxa contínua de dados processados por segundo é bastante elevada, mas que não necessariamente uma requisição específica será respondida de forma veloz.Grandes conjuntos de dados. Vamos lá. Essa característica você já conhece? O HDFS faz parte do Hadoop que é uma série de programas voltados para a Big Data. Assim, o HDFS tem suporte a arquivos bastante grandes e há um enorme volume de arquivos em cada instância. Está conseguindo me acompanhar aí, jovem? Então vamos em frente.O modelo simples de coerência HDFS segue o modelo de acesso Rylance Red Manning, ou seja, uma vez escrito, o dado não deve ser modificado, somente lido. Isso facilita a manutenção da consistência ou coerência de dados no sistema distribuído, que é a característica em que todas as cópias do mesmo dado possuem o mesmo valor.Computação próxima aos dados. Vamos lá. O HDFS trabalha com a premissa de que mover a computação é mais barato do que mover os dados, ou seja, turma, é mais fácil mover a estrutura de computação das aplicações para uma localização mais próxima dos dados do que transferir os dados para a máquina ou o local que a aplicação está rodando. O HDFS oferece interfaces para realizar essas atividades. Ok? Finalmente, a portabilidade de hardware e software heterogêneos. O HDFs foi feito para ser facilmente transferível de uma plataforma para outra, o que permite a sua utilização em vários ambientes com hardware e software distintos. Bom também podemos destacar o Hadoop Mapred, que é uma abordagem de programação utilizada para processar um grande volume de dados de forma distribuída.De modo geral, gente, o Mapred atua quebrando a tarefa em vários menores, atribuindo cada uma delas a um nó no sistema e depois resolvendo essas sub tarefas em paralelo.De forma simplificada, há duas funções no Mapred, map, mapear que consiste em receber as entradas e mapear em pares chave valor em intermediários e a redu reduzir que realiza algum tipo de agregação, como somar valores ou computar contagens nesses pares intermediários.Rap Maps reduz fornece ferramentas de programação para que os usuários resolvam seus próprios problemas, escrevendo o código das suas próprias funções map e funções Redus.E, por fim, jovem, o Apas Rap e ARN, que é um componente que se destina a gerenciar os vários nós nos clusters, os conjuntos de nós atuando de forma distribuída, permitindo o agendamento de tarefas em cada um e gerenciando de recursos computacionais entre eles.Assunto entendido, galera? Beleza. Gente, finalizamos o nosso conteúdo deste módulo. Que bom, hein? No próximo em áudio faremos o famoso resumão da aprovação. Ah! Se eu fosse você não perderia por nada nesse mundo. Tá bom? Até lá, até o próximo áudio. Até o nosso Super resumão. Tchau, tchau.

11 - HADOOP

Tecnologia EmÁudio: Resumão EmÁudio sobre Big DataOlha nós aí. Cheguei chegando e cheguei com tudo. Bem vindo de volta, pessoal! Preparado para o nosso super resumão em áudio? O resumão da aprovação? Aperta o play e você vai se amarrar.Bom, vamos relembrar tudo então. Quero começar nosso resumão com o conceito de big data. Você lembra? Big data é um termo utilizado para se referir a grandes conjuntos de dados que são de difícil processamento em bancos de dados e programas tradicionais. Show!As características associadas à big data foram consolidadas em um conceito chamado de três V's. Esses três "V's" são a forma mais bem aceita de se entender e caracterizar big data, além de serem frequentemente cobrados em prova. Os três "Vs" são: volume, variedade e velocidade. O Volume, turma, se refere à quantidade de dados produzidos. Como o nome já diz, está associado a enormes conjuntos de dados, já a velocidade corresponde à rapidez com que esses dados são gerados. Redes sociais, por exemplo, podem receber milhões de postagens por minuto. Já a variedade é um conceito associado aos diferentes formatos e graus de estrutura em que os dados se encontram hoje em dia. Mas, mais recentemente, têm sido bem aceitos e às vezes cobrados em prova. Mais dois conceitos. Anota aí: veracidade e valor. A Veracidade mostra uma preocupação maior com a confiabilidade e com a organização dos dados. O valor é uma das características mais simples de se entender do big data. Tranquilidade total até aqui? Bora Relembrar do Big Data Analytics. Big Data Analytics é um termo que se refere à análise desses conjuntos grandes e complexos de dados estruturados e não estruturados. Para realizar a análise sobre big data, são utilizadas ferramentas e equipamentos de alta performance, muitas vezes com o auxílio de computação distribuída, utilizando várias máquinas conectadas que trabalham de forma conjunta. Éisso. Bom, as técnicas de análise em Big Data também geralmente envolvem a utilização de algoritmos estatísticos avançados e um forte foco em análise preditiva. Isso mesmo, aquela que busca apontar o que está por vir no futuro e indicar tendências.Quando se trata de big data, costuma se citar quatro tipos de análises de dados diferentes, com base claro nos objetivos de cada uma: preditiva, prescritivo, descritiva e diagnóstica. Fácil demais, não é não?E, por fim, mas não menos importante precisamos dar uma revisada nas técnicas associadas. Vamos lá! A Claude Cape oferece a elasticidade necessária para a velocidade e o volume do Big Data. A computação na nuvem permite se contratar serviços de computação como armazém ou processamento de dados de forma completamente escalável e com grande elasticidade, turma. Isso significa dizer que você pode contratar um serviço com capacidade virtualmente ilimitada, capaz de aumentar a capacidade de armazenamento ou processamento em uma fração de segundo.Além disso, pessoal, dentre as técnicas utilizadas para se trabalhar com Big Data, podemos destacar também a de web scraping ou de raspagem de dados na internet. Vou explicar. Os scrapings são softwares que têm como objetivo extrair grandes volumes de dados da internet, predominantemente não estruturados, como aqueles em formato textual, posts em redes sociais, blogs, etc. Como na maioria dos processos que envolvem trabalhar com dados não estruturados, os scrapings têm como objetivo extrair os dados e dar a eles uma certa estrutura para que fiquem em um formato mais simples e maleável de se trabalhar.Ainda precisamos falar rapidinho sobre o NoSQL. Pela necessidade de um grande poder de processamento, dentre outras características, os sistemas NoSQL costumam ser implementados de forma distribuída. Os bancos de dados que seguem o paradigma NoSQL (Not Only Sky Wel) são mais adequados para o armazenamento de Big Data do que a abordagem tradicional relacional. Lembre também que os sistemas NoSQL não se baseiam nas propriedades Asc, como os sistemas relacionais, mas muitas vezes em um outro conjunto de propriedades chamado Base Base. Além disso, você precisa levar para a sua prova que os sistemas NoSQL podem seguir vários modelos de dados diferentes. Enquanto os bancos de dados relacionais armazenam dados em tabelas, os NoSQL seguem várias maneiras de organização distintas.NoSQL, na verdade, é apenas uma categoria bem ampla de sistema de banco de dados. Essa categoria costuma se dividir em quatro tipos de sistemas principais, pessoal. Chave valor, orientar documentos baseado em grafos e orientado a colunas. Vamos por parte. Tá bom. Vamos começar pela chave Valor que em inglês é que os modelos de dados do tipo chave valor são bem simples de se entender. Eles consistem em conjuntos de valores. Cada conjunto é identificado por uma chave. Outro sistema que você precisa conhecer é o orientado a documentos. Os bancos de dados orientados a documentos geralmente armazenam dados auto-descritivos semi-estruturados como documentos XML ou JSON e o baseado em grafos lembra? Isso mesmo. Já vi que você está sabendo do assunto. Grafos são que matematicamente representam objetos que estão relacionados uns aos outros. Esses objetos são representados por conjuntos de nós. Não é mesmo? Mais conhecidos como vértices. Enquanto as ligações entre eles são conhecidas como arestas. Os grafos podem ser direcionados, em que as ligações têm um sentido único ou não, caso em que essas ligações são sempre bidirecionais. Os bancos de dados baseados em grafos utilizam essas estruturas compostas por vértices e arestas para armazenar dados.Por fim, das quatro principais categorias de sistemas NoSQL, temos aqueles orientados ou baseados em colunas ou colunais. Esses sistemas fazem sentido quando é comum acessar os valores de determinado atributo Coluna de vários registros de uma só vez. Conseguiu revisar e entender tudo direitinho? Espero que sim. Jovem, muito obrigado mais uma vez pela parceria e companhia ao longo desse módulo. Espero te encontrar mais vezes, claro. Até a próxima. Até o próximo módulo. Tchau, tchau.

12 - Resumão EmÁudio sobre BIG DATA

Tecnologia da InformaçãoMÓDULO 06Big DataArthur Mendonça

Arthur Mendonça