Yellow - Módulo

Receita Federal · Auditor Fiscal

Conceitos, atributos e métricas de dados e a transformação de dados, conforme o primeiro tópico do edital. Cobre os cinco V, a coleta e o processamento que preparam o dado para uso.

Fluência em dados

Conceitos, atributos, métricas e transformação de dados

Tecnologia EmÁudio: Motivação e Os Cinco V'sOlá, jovem! Tudo bem? Bem vindo a mais um módulo do nosso curso de tecnologia da informação em áudio. Que alegria ter você por aqui! Bom gente! Neste módulo bateremos um papo sobre big data. Você já ouviu falar nesse termo? Aperta o play e vamos juntos conhecer isso.Bom gente! Ao contrário do que muitos pensam, apesar do termo big, esse conceito não está relacionado apenas ao tamanho dos conjuntos de dados, mas também há diversas outras características importantes com a transformação digital, a popularização dos smartphones e a ampliação do acesso à internet, a quantidade de usuários online é cada vez maior. Em dois mil e dezessete havia cerca de três vírgula oito bilhões de pessoas conectadas à internet, trezentos milhões a mais do que no ano anterior. Esse número, turma, já é certamente muito maior e só tende a aumentar. A medida em que o acesso à internet é ampliado mais e mais usuários a utilizam e produzem cada vez mais conteúdo em diversos locais e formatos. Novos conceitos como a internet das coisas e o cinco G, prometem ampliar de forma muito intensa a quantidade de pessoas e dispositivos conectados à internet. Para você ter uma ideia, em dois mil e dezessete, essas pessoas produziam cerca de quatrocentos e sessenta e três mil tweets. Quinze mil postagens no Instagram e usuários do YouTube assistiam a mais de quatro milhões de vídeos. Tudo isso a cada minuto é uma quantidade absurda de dados produzidos a todo instante. Essa quantidade toda de dados gerada de forma muito veloz e nos formatos mais variados traz uma série de oportunidades para se analisar os dados e extrair valiosas informações a partir deles. Mas essa quantidade toda também traz inúmeros desafios, sabia? Algumas estimativas indicam que mais de noventa e cinco por cento de todos os dados gerados são não estruturados. Outras são mais conservadoras e apontam que esse valor seria na ordem de oitenta por cento.De todo modo, temos que esse caráter não estruturado, sem nenhuma estrutura fixa, torna esses dados difíceis de se organizar e classificar. É nesse contexto, turma, que surge o conceito de big data que trata desses dados em grande volume que se apresentam em uma variedade de formatos e tem uma grande velocidade de produção.Big Data, portanto, anota aí é um termo utilizado para se referir a grandes conjuntos de dados que são de difícil processamento em bancos de dados e programas tradicionais. Assim, as ferramentas e sistemas associados à big data são mais voltados a trabalhar com esses grandes conjuntos de dados predominantemente não estruturados possibilitando a extração de algum tipo de utilidade disso tudo através de diversas técnicas.Jovem, um detalhe importante para sua prova é se lembrar que Big Data não trata de dados exclusivamente não estruturados. Também pode haver dados estruturados aí no meio só que os não estruturados que predominam. Fique ligado. Big Data é um termo que pode ser usado tanto para se referir aos próprios conjuntos de dados que nós acabamos de conversar quanto as ferramentas que servem para se trabalhar com eles. Tranquilidade até aqui, né? Vamos em frente. Bom, já nos definimos o que seria big data, mas a tarefa de se classificar um conjunto de dados como sendo ou não big data continua sendo bastante complicada, né, turma.Por exemplo, considere que a Receita Federal tem uma base de dados com dados de todos os contribuintes do país, vivos ou já falecidos. É um exemplo de um grande conjunto de dados, não é? Mas, meu jovem note que todos esses dados estão armazenados em um banco de dados relacional comum conjunto de dados estruturados, que é atualizado somente de forma anual quando as pessoas fazem a declaração do IRPF.Veremos que isso não é exatamente o que estávamos tentando definir com o Big data. De forma a deixar tudo isso mais claro as características associadas à big data foram consolidadas em um conceito chamado de três v's. Isso mesmo três v's esses três v's são a forma mais bem aceita de caracterizar big data, além de serem frequentemente cobrados em prova. Então, bastante atenção. Os três v's são volume, variedade e velocidade. Gravou?O volume se refere à quantidade de dados produzidos. O conceito de big data como o nome já diz está associado a enormes conjuntos de dados. A velocidade corresponde à rapidez com que esses dados são gerados. Redes sociais, por exemplo, podem receber milhões de postagens por minuto, não é mesmo? Já a variedade é um conceito associado aos diferentes formatos e graus de estrutura em que os dados se encontram hoje em dia.Big Data envolve dados estruturados, semi estruturados e não estruturados dos mais diversos tipos e formatos. Os dados não estruturados costumam ser maioria. Assim, os conjuntos de dados caracterizados como big data seriam aqueles que reunissem essas três características, tá legal?Mais recentemente tem sido bem aceitos e às vezes cobrados em prova. Mais dois conceitos. Anota aí.A veracidade e o valor. Muito bem. A veracidade mostra uma preocupação maior com a confiabilidade e com a organização dos dados. Todos nós temos aqueles parentes que gostam de compartilhar notícias sensacionalistas de fontes não muito confiáveis, não é verdade? Fala aí. Também é possível que você tenha visto aquelas pessoas nas redes sociais que só utilizam linguagem coloquial ou aquelas que cometem muitos erros de digitação e substituem palavras por emojis. Não é verdade? Os dados produzidos nesse contexto são desafiadores de se processar e analisar já que é necessário um certo nível de tratamento e julgamento a respeito do real significado e da validade desses dados. Daí as tecnologias de big data devem permitir trabalhar com esses conjuntos de dados irregulares e que nem sempre são confiáveis. Como os conjuntos de dados são muito grandes, se a maior parte deles apresentar boa confiabilidade e significado compreensível a falta de uma veracidade de um percentual deles acaba ficando em segundo plano. Percebe?Assim podemos afirmar que o grande volume muitas vezes compensa essa falta de veracidade nos registros. Muito bem. Falamos da veracidade, que é um conceito que pode ser cobrado em prova e que também tem sido bem aceitos. Vamos falar agora do valor. Pois bem, o valor é uma das características mais simples de se entender do Big data. Gente, podemos ter ferramentas que nos permitem coletar, processar e analisar dados que se a moldem aos outros quatro v's. Mas se não conseguirmos extrair algo de valor disso tudo, o Big data se torna somente mais uma armadilha para o desperdício de recursos das organizações. As organizações irão gastar muito dinheiro em soluções sofisticadas para analisar esses conjuntos de dados muito complexos, mas se isso não gera algum tipo de valor para a organização o Big data se torna somente mais uma tecnologia da moda que não traz um retorno desejado. Jovem, um detalhe. Há artigos por aí que chegam a citar mais de quarenta vezes para big data. Na minha opinião, devemos nos ater aos cinco v's que conversamos. Ok? Pois já são conceitos mais bem aceitos pela doutrina. Essas dezenas de v's muitas vezes representam uma certa forçação de barra, sabe? Uma vez que podem ser derivados dos três ou cinco v's originais. Beleza?Bom, fico por aqui. No próximo em áudio conversaremos sobre as aplicações e técnicas. Até lá. Abraço!

01 - Motivação e os 5 V´s

Tecnologia EmÁudio: Raspagem De DadosMuito bem, muito bem, estamos de volta, então! E aí, Turma. Tudo ok? Neste em áudio falaremos da raspagem de dados também conhecida como Scraping. Som na caixa.Dentre as técnicas utilizadas para se trabalhar com Big Data, podemos destacar também a de web Skype ou de raspagem de dados na internet. Scrapings são softwares que têm como objetivo extrair grandes volumes de dados da internet, predominantemente não estruturados, como aqueles dados em formato textual, posts em redes sociais, blogs e por aí vai.Como na maioria dos processos que envolvem trabalhar com dados não estruturados, os scrapings têm como objetivo extrair os e dar a eles uma certa estrutura para que fiquem em um formato mais simples e maleável de se trabalhar.As ferramentas de scrapings em si não costumam ser tão complexas, mas pode ser bastante desafiador raspar dados na internet. Como estamos falando de Big data, turma, os dados não necessariamente seguem um padrão fixo. Essa natureza não estruturada e variada dos dados pode tornar a tarefa de raspagem bastante complicada.Beleza até aqui? Vamos lá. Uma dica para sua prova tá? Os assuntos de big data que estudamos até aqui vão representar a grande maioria das questões que podem vir na sua prova a respeito desse assunto. Assim, sugiro que priorize, compreender o que já vimos em relação ao restante do conteúdo. Tá legal? Bastante atenção. Bom, os próximos tópicos são mais avançados e menos frequentemente cobrados. Então, estou trazendo com o objetivo de cobrir aquelas questões mais complexas que, de vez em quando aparecem nas provas.Tá bom? Esse assunto é facinho, né? Mas não menos importante. Ok? Muito bem. Te espero no próximo em áudio para mais conhecimento. Tchau, tchau.

02 - Raspagem de Dados

Tecnologia EmÁudio: ProcessamentoE aí voltei e já quero começar nosso papo sabe sobre o que? Processamento. Cola em mim aqui. Gente, para se lidar com o grande volume e velocidade de dados de big data as tarefas de preparação e processamento dos dados ocorrem de maneiras diferentes. Vamos conferir.A depender do propósito da aplicação, podem ser adotadas duas principais estratégias para processar os dados de análise, tá legal? Batches e stream. Processamento em batches ou lotes é uma estratégia em que os dados são primeiro coletados e armazenados para serem posteriormente processados em lote para análise futura. Primeiro, deixamos acumular um certo volume de dados de acordo com algum critério de tempo, e só então fazemos o processamento desse conjunto. Por exemplo, vamos lá. Imagine que uma organização quer realizar uma análise das postagens em redes sociais a respeito de um novo produto que foi lançado, de modo a verificar a satisfação do público em relação a esse produto. No caso do processamento em lotes ou batches, a organização pode coletar todas as postagens que são realizadas em um dia a respeito do produto, armazená-las e somente ao final do dia, realizar o processamento necessário para que se possa realizar a análise desejada. Assim, os dados de um dia inteiro são processados ao final do dia e depois de toda a preparação e o processamento necessários, os resultados do processo de análise ficam disponíveis para os usuários. Há um intervalo de tempo maior entre a entrada dos dados e seu processamento.Já no streaming, não há esse armazenamento prévio em discos antes do processamento, pois os dados são processados à medida em que são coletados. Isso permite a realização de análise em tempo real dos dados, o que pode ser bastante útil para determinados ramos de aplicação, né, turma.Aqui não há um grande intervalo temporal entre a coleta dos dados e seu processamento, por exemplo, considere uma aplicação de detecção de fraudes em compras de cartão de crédito de um banco. Nesse caso, é importante que o sistema funcione em tempo real, analisando os padrões de compra dos clientes e confrontando os com cada nova transação realizada, para que o banco consiga rapidamente alertar o cliente no caso de fraude e bloquear o cartão antes que o malfeitor possa realizar novas compras. Nesse processo de streaming, podem ser utilizadas várias ferramentas, dentre as quais podemos destacar o Apache Spark e o Apaf.Deu pra pegar tudo? Ok. Vou dar um tempinho para você se alongar e beber uma água. Daqui a pouco eu volto. Até lá. Até o próximo áudio.

03 - Processamento

Informática EmÁudio: Tecnologias - Parte 3Bom dia! Boa tarde! Boa noite! Beleza, meu povo?Lembra que eu falei que existiam duas principais tecnologias de Big Data atualmente? Já aprendemos sobre a NoSQL. Hora de falar sobre o Hadoop.O Hadoop é uma plataforma para desenvolvimento de soluções voltadas para Big Data. Nesta plataforma, é possível criar uma estrutura para armazenamento e processamento de sistemas com Big Data. Para desenvolver essas soluções, é preciso ter escalabilidade, horizontal, processamento paralelo, possibilidade de espalhar o poder de processamento, confiabilidade, flexibilidade, um sistema flexível, e baixo custo. Se custar uma fortuna, pode ser inviável economicamente.No Hadoop, utilizam-se vários módulos, mas os principais são o HDFS, Hadoop File System, e o MapReduce. O HDFS é um sistema de armazenamento de arquivos voltado para os sistemas distribuídos por todo o mundo. Sim, é um sistema de armazenamento tipo NTFS e FAT32. Ele foi originado no Google File System e tem como principal premissa atender aos três Vs principais do Big Data, volume, velocidade e variedade.O principal foco do HDFS reside no armazenamento distribuído de arquivos muito grandes. Por exemplo, um vídeo de uma hora, filmado em resolução 4K, possui um tamanho gigantesco. Logo, é desejável que o armazenamento seja feito de forma distribuída, espalhando pedaços de arquivos para vários servidores, pois assim o processamento ocorre de forma mais celere. O HDFS possui escalabilidade e tolerância a falhas. Diante disso, é preciso ter redundância de arquivos para, caso um servidor venha a falhar, seja possível fazer a reconstituição. Ele tem como parâmetro a regra WORM, Write Once, Read Many, que dita que um dado deve ser escrito uma única vez, Write Once, sem poder ser modificado, e lido várias vezes, Read Many. Por exemplo, quando Cristiano Ronaldo posta uma foto, ele não consegue modificar ela, Write Once, porém ela é visualizada por milhões de pessoas, Read Many. Deu para entender?Já o MapReduce é uma aplicação que trabalha em cima do HDFS para conseguir oferecer um processamento paralelo em um ambiente distribuído. Parte da premissa é que, se os dados estão distribuídos em vários lugares pelo mundo, é preciso ter uma forma de organizá-los posteriormente. Portanto, é preciso um sistema lógico, organizado e estruturado para que a coisa funcione. Para tanto, o MapReduce trabalha com o agrupamento por chave valor e transformação de dados maiores em dados menores, fazendo um mapeamento das informações de forma descentralizada e espalhada.Imagine a seguinte situação. Em uma rede social, desejam descobrir a quantidade de vezes que as palavras dog, cat, mouse e duck foram mencionadas. Primeiramente, as palavras são separadas por região de onde vieram, como América, África e Ásia, e realiza-se uma contagem separadamente em cada região. Em seguida, após a contagem regionalizada, as palavras são ordenadas por grupo. Junta todas as palavras cat em um grupo, todas as palavras dog em um grupo, etc. E depois são reduzidas. Ao invés de dog, dog, dog, reduz-se para dog3. Assunto entendido?Maravilha! Encerramos o nosso sexto módulo de informática por aqui. Espero que você tenha gostado e aprendido!

04 - Tecnologias – Parte 3

Receita Federal · Auditor FiscalFluência em dadosConceitos, atributos, métricas e transformação de dadosReceita Federal

Receita Federal

01 - Motivação e os 5 V´s

02 - Raspagem de Dados

03 - Processamento

04 - Tecnologias – Parte 3

Receita Federal · Auditor Fiscal

Fluência em dados
Conceitos, atributos, métricas e transformação de dados

Receita Federal