Tecnologia EmÁudio: HADOOP

E aí, minha turma campeã. Tudo bem? Tudo certo, jovem? Beleza, né? Chegou a hora de falar do Hadoop. Já ouviu falar dele? Então aperta o play aí e se surpreenda. Você vai gostar.

Gente, todo esse aparato de big data e NoSQL em sistemas distribuídos requer um esforço de coordenação e distribuição de tarefas muito complexo. Nesse sentido, algumas das tecnologias mencionadas se integram com o Apache Hadoop, que é um projeto de código aberto, ou seja, de livre utilização e modificação que possui alguns recursos bastante úteis para se trabalhar com Big Data.

Muito bem. O hadoop, galera, é basicamente uma plataforma composta por diversos módulos que permitem realizar diversas tarefas associadas à Big data Analytics.

Alguns deles merecem um certo destaque na nossa aula, pois já foram e podem ser novamente cobrados em prova. 

O Hdfs e o Map Reduz. Então, jovem, é isso aí. Há um sistema de armazenamento de arquivos chamado HDFS System, que permite o acesso aos dados armazenados em sistemas distribuídos de forma eficiente. Ele opera, segundo alguns princípios que já apareceram em prova. Ouvidos bem abertos.

Falhas de hardware. Os sistemas HDs permitem se trabalhar com centenas de milhares de máquinas, cada uma contendo uma parte dos dados. Por esse motivo, falhas de hardware sempre ocorrerão. HDFS então busca prover mecanismos para uma rápida detecção e recuperação dessas falhas.

Streaming de dados. Os sistemas que empregam o HDFs não costumam ser voltados para que o usuário navegue nos dados como se fosse um sistema de pastas de um computador pessoal. Eles estão voltados para o processamento em bloco de grandes volumes de dados.

Assim, o foco é maior em um auto fa put do que em uma baixa latência. Isso quer dizer que a taxa contínua de dados processa... Ler mais