Yellow - Módulo

Receita Federal · Auditor Fiscal

Ciência de dados, importância da informação, Big Data e a relação do Big Data com outras disciplinas, conforme o edital.

Fluência em dados

Ciência de dados e Big Data

Informática EmÁudio: Big Data - Parte 1Fala, meu jovem, beleza? Você já ouviu falar em Big Data? É sobre este assunto que nós vamos conversar nesse em ádio. Tá preparado? Posso começar? Vem comigo!Jovem, Big Data é um tema que, embora não seja tecnicamente trivial, creio ser bastante interessante. Mas, antes de mergulharmos neste tema, é necessário contextualizar para dar uma melhor compreensão. Vamos com calma.No mundo atual, tudo está gerando informação. Nós estamos a todo momento criando informações para as grandes empresas. Os GPS dos celulares informam nossa localização. Com isso, grandes empresas sabem por onde andamos, onde moramos, onde trabalhamos, aonde vamos em momentos de lazer, etc.As bandeiras dos cartões de crédito e também os bancos registram nossos hábitos de consumo, até mesmo classificando-os por categorias. Relacionando a entrada e saída de capital da sua conta corrente, conseguem saber também o quão propenso alguém é a se endividar e os tipos de dívidas que tal pessoa contrai.As redes sociais refletem diretamente o comportamento das pessoas, sem muito esforço, pois, hoje em dia, elas compartilham voluntariamente seus sentimentos, opiniões, vontades e muito mais. Para exemplificar isso, vou ler para você um trecho de um artigo. Ouvidos bem abertos!Em 2012, com base em uma média de 68 likes do Facebook por usuário, era possível prever sua cor da pele com 95% de precisão, sua orientação sexual com 88% de precisão e sua filiação aos partidos democrata ou republicano com 85% de precisão. Inteligência, filiação religiosa, bem como uso de álcool, cigarro e drogas, tudo poderia ser determinado. Com esses dados, era até possível deduzir se os pais de alguém eram divorciados. 70 curtidas eram suficientes para saber mais até do que os amigos de alguém, 150 curtidas mais do que os pais. Para conhecer uma pessoa mais do que o seu parceiro, bastavam 300 curtidas. Com mais likes do que isso, era possível conhecer mais até do que a própria pessoa sabia sobre si. Já em 2012, veja o quão forte era isso.Tamanha a exposição dos traços de personalidade por parte das pessoas que essas empresas sabem mais sobre você do que você mesmo, por mais engraçado que isso possa parecer. Com o crescimento exponencial de dados gerados, possivelmente nos dias de hoje, isso está tremendamente maior e mais acentuado.Em 2017, cerca de 3.8 bilhões de pessoas estavam conectadas à internet. Nessa época, você tinha algo em torno de 473 mil tweets, 50 mil postagens no Instagram e 4 milhões de vídeos visualizados por minuto. Portanto, é possível concluir sem muita dificuldade que as redes sociais detêm muita informação sobre bilhões de pessoas ao redor do mundo.Resumindo, jovem, o que eu quero dizer é que a sociedade atual produz uma quantidade absurda de informação, isto é, dados. Contudo, 80% a 95% são dados não estruturados. O que são dados não estruturados, professor? Eu explico!Em linhas gerais, um dado estruturado é aquele que está encaixado certinho em uma estrutura, recheado de metadados, que são as informações sobre estes dados. Em um sistema de banco de dados relacional tradicional, como um cadastro de funcionários de uma empresa, nós temos os códigos, nome, telefone, departamento dos funcionários, tudo bonitinho, muito bem estruturado, organizado e preenchido em uma planilha.Os dados não estruturados, por sua vez, são aqueles que precisam de informações para categorizá-los, classificá-los e organizá-los. Imagine a seguinte situação, jovem. No grupo de WhatsApp da família, seu tio envia o áudio de 7 minutos e uma mensagem dizendo "Escutem, é muito bom!" Apenas com isso, você não faz ideia de qual informação está sendo passada. Não há como saber o que aquele áudio solto aborda. Não existe um rótulo no áudio como piada para classificá-lo. Trata-se, portanto, de um dado não estruturado.Multimídia, como vídeos e áudios, são exemplos clássicos de dados não estruturados, porque muitas vezes carecem de informações para categorizá-los e classificá-los. As hashtags, por exemplo, como o hashtag Concurso PRF, são uma forma de tentar classificar e organizar dados não estruturados.Portanto, tendo em que temos uma quantidade absurda de informação sendo produzida e a maior parte são dados não estruturados, é preciso ter uma forma de cuidar disso. E tem o Big Data. Conseguiu entender até aqui? Beleza! Vou dar um tempo para você beber uma água e no em áudio que vem nós continuamos nosso papo sobre Big Data. Beleza? Abraço!

01 - Big Data – Parte 1

Informática EmÁudio: Big Data - Parte 3E aí, jovem! Bora continuar nosso papo sobre Big Data? Calma, tá acabando! Só mais algumas informações, som na caixa.O Big Data possui cinco características intrínsecas. Volume, velocidade, variedade, capacidade e valor, os chamados 5x do Big Data. Grave isso! Jovem, necessariamente, é preciso ter um grande volume de dados. Além disso, é fundamental que a geração, entrada e acumulação de dados aconteça de forma veloz, como nas redes sociais, em que os dados são gerados muito rapidamente. Os dados devem possuir a característica da veracidade, isto é, a capacidade de suportar e processar diversos formatos diferentes de dados, como vídeos, fotos, texto, stories, tweets, posts, publicações, etc. E, além dessas três características, volume, velocidade e variedade, que são consideradas as três principais e mais marcantes, temos também duas outras características, que surgiram anteriormente, relacionadas ao lado mais burocrático, veracidade e valor. A veracidade está ligada a ser verdadeira e íntegra. Além disso, as informações têm que ter valor de forma que agreguem ao sistema. Atenção em mim, jovem! Não é incomum que os examinadores tragam nas questões apenas as características mais marcantes. Isso, por si só, não torna a questão errada, exceto se for feita uma exclusão das demais características. Preste atenção nessa questão que eu vou ler agora. A mineração de dados se caracteriza especialmente pela busca de informações em grandes volumes de dados, tanto estruturados quanto não estruturados, alicerçados no conceito dos quatro Vs, volume de mineração, variedade de algoritmos, velocidade de aprendizado e veracidade dos padrões. E aí, certo ou errado? Já vou falando que está errado.Jovem, primeiramente, a questão já inicia falando em mineração de dados, quando, na verdade, o assunto abordado em seguida é o Big Data. Além disso, ela cita quatro Vs e os relaciona a complementos que não estão correlacionados. Essas quatro características são referentes aos dados e não a mineração, algoritmo, aprendizado e padrões. Os complementos são, então, incoerentes. Os cinco Vs do Big Data estão sempre ligados aos dados. Logo, quando na resolução de questões for abordado o significado e ou conceito destas características, basta que você pegue quaisquer das características e complemente-as com dois dados. Por exemplo, volume dos dados, velocidade dos dados, variedade dos dados, veracidade dos dados, valor dos dados. Deu para entender? Maravilha! Então eu já posso ir embora. Finalizamos o assunto Big Data, mas ainda temos outros assuntos para conversar. Bons estudos e até o próximo em áudio.

02 - Big Data – Parte 3

Informática EmÁudio: Resumão sobre Inteligência Artificial e Big Data - Parte 2E aí, jovem, beleza? Hora de revisar as técnicas de Big Data. Então, meu amigo, preste bastante atenção a partir de agora, pois revisaremos o NoSQL e o Hadoop, duas das principais tecnologias de Big Data atualmente.NoSQL é um termo que designa tecnologias de bancos de dados não relacionais, que não conseguem um esquema definido. Logo, não respeita as chamadas propriedades ACID, Atomicidade, Consistência, Isolamento e Durabilidade, ao passo que segue as propriedades BASE, que dizem que um sistema deve estar basicamente disponível, em um estado leve e com consistência eventual. Além disso, o NoSQL respeita também o teorema CAP, que traz as regras de consistência, disponibilidade e tolerância a partições.Contudo, a regra é que duas dessas propriedades devem estar funcionando, porém nunca as três ao mesmo tempo, pois conflitam entre si. Os sistemas de NoSQL distribuídos devem ter escalabilidade horizontal e vertical, possibilidade de crescimento quando necessário, seja em quantidade de máquinas, horizontal ou processamento vertical, disponibilidade, replicação, capacidade de replicar algo para outras máquinas, e consistência eventual, havendo tolerância a falhas.Para sua implementação, existem algumas tecnologias, como chave-valor, documentos, família de colunas e grafos.Calma, não precisa se desesperar, vou explicar um por um. Chave-valor. Em uma tabela relacional, tudo é bem separado e organizado, não havendo tolerância quanto às informações a serem preenchidas. Por exemplo, em uma tabela de projetos que contém as colunas Códigos, Setor e Responsável, na coluna Códigos só se aceitam os códigos, na coluna Setor só se aceitam os nomes dos setores, e na coluna Responsável só se aceita o nome do responsável. Já no NoSQL, em um modelo baseado na técnica chave-valor, há maior flexibilidade. Logo, as colunas Chave e Valor permitem várias entradas diferentes. Lembrou? Vamos seguir.Mas, jovem, embora seja uma bagunça, esta flexibilidade é necessária para o pleno funcionamento do Big Data, pois você nunca sabe qual será a próxima ação de um usuário. Se for um sistema muito travadinho, a coisa não anda.Já os documentos são uma forma de armazenamento no NoSQL. Aqui, segue o mesmo espírito da técnica que nós acabamos de conversar, havendo flexibilidade para a entrada de dados. Cada novo registro aceita campos diferentes.Revisado os documentos? Vamos em frente.Hora de falar da família de colunas. Família de que, professor? Família de coluna, jovem. Lembra dela? Em um banco de dados, há vários registros e dados atribuídos às colunas. Nas famílias de colunas, é permitido ter colunas principais e colunas adicionais, voltadas ao funcionamento do sistema. Por exemplo, uma tabela pode ser como colunas principais o produto e o tamanho, e como colunas adicionais, a tela e o tipo de produto.Deu para entender? Além disso, existem sistemas que permitem também puxar dados de várias colunas de uma vez.Já os grafos são uma estrutura de armazenagem de dados. O exemplo mais clássico das redes sociais são as relações feitas entre as pessoas. Fulano segue Beltrano, que segue Ciclano, etc. Para armazenamentos como os do exemplo acima, geralmente utilizam-se os grafos. Tranquilo, né?Por fim, vamos revisar o Hadoop. O Hadoop é uma plataforma para desenvolvimento de soluções voltadas para Big Data. Nesta plataforma, é possível criar uma estrutura para armazenamento e processamento de sistemas com Big Data. Para desenvolver essas soluções, é preciso ter escalabilidade, horizontal, processamento paralelo, possibilidade de espalhar o poder de processamento, confiabilidade, flexibilidade, um sistema flexível, e baixo custo. Se custar uma fortuna, pode ser inviável economicamente. Entre os módulos utilizados, destacam-se dois, HDFS, Hadoop File System e MapReduce.O HDFS é um sistema de armazenamento distribuído de arquivos muito grandes. Sua principal premissa é atender aos três Vs principais do Big Data. Nele, a escalabilidade e tolerância a falhas. Além disso, segue a regra WORM, Write Once, Read Many, que dita que um dado deve ser escrito uma única vez, Write Once, sem poder ser modificado, e lido várias vezes, Read Many.O MapReduce, por sua vez, é uma aplicação que trabalha em cima do HDFS para conseguir oferecer um processamento paralelo em um ambiente distribuído. Para tanto, trabalha com o agrupamento por chave-valor e transformação de dados maiores em dados menores, fazendo o mapeamento das informações de forma descentralizada e espalhada.Beleza, jovem? Assunto revisado, entendido e fixado? Maravilha! Finalizamos aqui mais um módulo do nosso curso de Informática em áudio. Obrigado pela companhia! Bons estudos! Abraços!

03 - Resumão sobre Inteligência Artificial e Big Data – Parte 2

Receita Federal · Auditor FiscalFluência em dadosCiência de dados e Big DataReceita Federal

Receita Federal

01 - Big Data – Parte 1

02 - Big Data – Parte 3

03 - Resumão sobre Inteligência Artificial e Big Data – Parte 2

Receita Federal · Auditor Fiscal

Fluência em dados
Ciência de dados e Big Data

Receita Federal