Hadoop: Uma arquitetura para grandes conjuntos de dados

O aumento exponencial no volume de dados criados no século XXI desencadeou uma mudança radical na forma como armazenamos, processamos e aproveitamos a informação.

Os sistemas tradicionais de processamento de dados, muitas vezes construídos em arquiteturas monolíticas e centralizadas, enfrentam cada vez mais desafios para lidar com o volume, a velocidade e a variedade de dados nesta era de Big Data.

Segundo o relatório “Data Age 2025” da IDC, a previsão para 2025 é que cada indivíduo gere cerca de 5,3 GB por dia. Se pensarmos no contexto empresarial o volume de dados é ainda maior. Diariamente, o mundo gera cerca de 2,5 quintilhões de dados. O fato intrigante disso é que 90% dos dados disponíveis hoje foram gerados nos últimos 3 anos. 🤯

E o desafio de lidar grandes conjuntos de dados, de forma eficiente e escalável, é o que levou ao desenvolvimento de tecnologias como o Hadoop.

As origens do Hadoop remontam ao início dos anos 2000, quando Doug Cutting e Mike Cafarella estavam trabalhando no projeto de código aberto Nutch. Nutch era um mecanismo de busca na web projetado para rastrear e pesquisar bilhões de páginas na internet, o que trouxe novos desafios no tratamento de grandes volumes de dados que estavam além das capacidades das soluções existentes.

Ao mesmo tempo, o Google publicou dois artigos inovadores sobre suas tecnologias, Google File System (GFS) em 2003 e MapReduce em 2004. Essas tecnologias estavam resolvendo os próprios problemas enfrentados pela equipe Nutch. Inspirados por esses artigos, Cutting e Cafarella decidiram implementar soluções semelhantes no Nutch.

Em 2006, eles separaram essa parte do código e a batizaram de Hadoop, em homenagem ao elefante de brinquedo do filho de Cutting. A Apache Software Foundation adotou o Hadoop e, em 2008, ele se tornou um dos seus principais projetos.

O objetivo deste artigo é detalhar um pouco dessa arquitetura de software livre orientada a Big Data e utilizada por grandes empresas, como Facebook, Amazon, Netflix, Uber e pelo próprio Google.

O que é Hadoop?

Hadoop é uma estrutura de software de código aberto para armazenamento e processamento distribuído de grandes conjuntos de dados em clusters de hardware. Um cluster é um conjunto de servidores interconectados, que atuam como se fossem um único sistema e trabalham juntos para realizar tarefas de forma mais eficiente.

Como parte de uma stack de infraestrutura Big Data, o Hadoop funciona em conjunto com outros sistemas para ingestão, armazenamento, processamento, análise, orquestração, exploração, visualização de dados e machine learning.

Ele oferece uma maneira de armazenar, gerenciar e processar grandes conjuntos de dados em paralelo, de forma confiável e eficiente. Sua arquitetura distribuída e tolerante a falhas permite lidar com conjuntos de dados que excedem a capacidade de armazenamento e processamento de um único servidor.

Desenvolvido e mantido pela Apache Software Foundation, o Hadoop é composto por vários módulos principais, que trabalham juntos para oferecer uma plataforma robusta para processamento de Big Data:

Hadoop Distributed File System (HDFS)

É um sistema de arquivos distribuído que fornece armazenamento de dados com alta taxa de transferência em clusters de computadores. Ele divide os dados em blocos e os distribui pelos nós (nodos) do cluster, garantindo alta disponibilidade e redundância de dados.

MapReduce

O MapReduce é um paradigma de programação e um modelo de processamento de dados distribuído usado principalmente para processar e gerar grandes conjuntos de dados em clusters de computadores. Ele divide tarefas em duas etapas principais: mapeamento, onde os dados são filtrados e classificados, e redução, onde os resultados são combinados e agregados. Esse modelo permite paralelizar o processamento em vários nós do cluster.

YARN (Yet Another Resource Negotiator)

É um gerenciador de recursos e escalonador para distribuir e agendar tarefas em um cluster Hadoop. Além disso, permite que múltiplos aplicativos compartilhem recursos em um cluster Hadoop. Ele aloca recursos de computação conforme necessário e gerencia a execução de aplicativos de forma eficiente.

Hadoop Common

Um conjunto de utilitários e bibliotecas compartilhadas necessárias pelos outros módulos do Hadoop. Ele fornece funcionalidades básicas, como acesso a sistemas de arquivos e comunicação entre nós do cluster.

O Apache Hadoop também está disponível como um serviço totalmente gerenciado, oferecido por provedores de nuvem como AWS, Google Cloud e Microsoft Azure, simplificando o processo de configuração, gerenciamento e dimensionamento de um cluster Hadoop.

Ou seja, é uma boa opção tanto para uso On-premises, onde a empresa possui localmente os servidores, como para nuvem, onde a empresa aluga como serviço.

Diferenciais técnicos do Hadoop

Para entender como o Hadoop funciona, é importante compreender alguns dos seus conceitos-chave:

Escalabilidade Horizontal

Uma das maiores vantagens do Hadoop é sua capacidade de escalar horizontalmente. Isso significa que é possível adicionar novos nós ao cluster conforme a demanda de dados aumenta, permitindo lidar com conjuntos de dados de qualquer tamanho.

Tolerância a Falhas

O Hadoop foi projetado para ser altamente tolerante a falhas. Se um nó do cluster falhar durante o processamento, o Hadoop redistribui automaticamente as tarefas para outros nós disponíveis, garantindo que o processamento não seja interrompido.

Processamento Paralelo

O modelo de programação MapReduce permite que o Hadoop processe dados em paralelo em vários nós do cluster. Isso significa que tarefas podem ser executadas de forma eficiente e rápida, mesmo em grandes conjuntos de dados.

Economia de Custos

Ao usar hardware de baixo custo e escalabilidade horizontal, o Hadoop oferece uma solução econômica para o processamento de Big Data. Empresas podem construir clusters Hadoop usando hardware comum, reduzindo significativamente os custos em comparação com soluções de hardware especializado.

Exemplos práticos de uso do Hadoop

O Hadoop é amplamente utilizado em todos os setores devido à sua capacidade de armazenar, processar e analisar grandes quantidades de dados. Aqui estão alguns casos de uso que consegui acessar em minha pesquisa para este artigo:

Data Warehouse e Analytics

O Hadoop pode ser usado como um data warehouse econômico e escalonável para armazenamento de dados. Ele oferece suporte ao armazenamento de dados estruturados, bem como ao armazenamento de grandes quantidades de dados não estruturados. Ele permite que as empresas obtenham insights com o processamento de big data de fontes de dados como mídias sociais, arquivos de log, etc.

Arquivamento de dados

O Hadoop também é usado para arquivar dados antigos. Ele simplifica o gerenciamento de dados, pois os dados antigos podem ser movidos para o sistema de arquivos distribuídos do Hadoop (HDFS), onde podem ser armazenados de maneira econômica e eficiente e recuperados rapidamente, se necessário.

Análise de sentimento

As empresas usam o Hadoop para analisar o sentimento do cliente via mensagens de texto e o feedback de mídias sociais, avaliações, pesquisas e outras fontes para melhorar seus produtos e serviços e aumentar a satisfação do cliente.

Gestão de Risco

No setor financeiro, o Hadoop é usado para calcular modelos de risco e tomar decisões críticas de negócios. Ele pode processar rapidamente grandes quantidades de dados para identificar riscos e retornos potenciais.

Healthcare

Na saúde, o Hadoop é usado para prever surtos de doenças, melhorar tratamentos e reduzir custos de saúde, analisando dados de pacientes, padrões de doenças e dados de pesquisa. Cientistas de dados de diversas áreas científicas, como genômica, estudos climáticos e física, utilizam o Hadoop para processar e analisar grandes conjuntos de dados para pesquisa.

Análise de Dados de Redes Sociais

Considere uma empresa de mídia social que precisa analisar grandes volumes de dados gerados por seus usuários, como postagens, comentários e interações. Utilizando o Hadoop, eles podem armazenar esses dados no HDFS e executar algoritmos de análise em paralelo usando o MapReduce. Isso permite que eles identifiquem tendências, padrões de comportamento e insights valiosos sobre o engajamento do usuário.

Processamento de Dados de Sensores IoT

Empresas que lidam com dispositivos de Internet das Coisas (IoT) geram enormes quantidades de dados de sensores. Com o Hadoop, esses dados podem ser processados em tempo real ou em lote para extrair informações úteis. Por exemplo, uma empresa de energia pode usar o Hadoop para analisar dados de medidores inteligentes e otimizar a distribuição de energia, identificando padrões de consumo e detectando falhas em tempo hábil.

Indexação e Busca de Dados na Web

Os motores de busca da web lidam com enormes índices de páginas da web e precisam atualizar e pesquisar esses índices de forma eficiente. Utilizando o Hadoop, eles podem distribuir o processo de indexação e pesquisa em um cluster de computadores para lidar com a enorme escala de dados. Isso permite que os usuários obtenham resultados de pesquisa rápidos e relevantes, mesmo em um grande conjunto de dados. Esse, inclusive, foi o objetivo que motivou o desenvolvimento do Hadoop, lá em 2006.

Montando uma Stack Big Data

No contexto da infraestrutura de Big Data, o Apache Hadoop constitui uma parte central da Stack devido à sua capacidade de armazenar e processar grandes quantidades de dados de forma distribuída. O seu papel é ainda mais significativo quando é integrado com outras tecnologias para construir soluções de dados abrangentes.

O Hadoop frequentemente coexiste e interage com uma infinidade de outros sistemas no cenário de dados, cada um desempenhando um papel no esquema maior de ingestão, armazenamento, processamento e análise de dados:

Ingestão de dados

Ferramentas como Apache Kafka, Flume e Sqoop são usadas para ingerir dados no sistema Hadoop. Essas ferramentas podem lidar com dados de streaming e em lote, complementando a natureza de processamento em lote do Hadoop.

Armazenamento e processamento de dados

Embora o HDFS atue como o sistema primário de armazenamento de dados, o Hadoop se integra a bancos de dados NoSQL, como HBase e Cassandra, para acesso a dados em tempo real e necessidades de processamento.

Análise de dados

Para análise de dados, o Hadoop funciona em conjunto com ferramentas como Apache Hive e Pig, que oferecem interfaces semelhantes a SQL para consultar os dados armazenados no Hadoop. Além disso, a integração com Apache Spark, outra estrutura de computação de dados de código aberto, permite análises avançadas, aprendizado de máquina e recursos de processamento em tempo real.

Exploração e visualização de dados

Ferramentas como o Apache Drill permitem que os analistas explorem dados armazenados no Hadoop usando consultas semelhantes a SQL. Depois de preparados, os dados podem ser visualizados por meio de ferramentas de business intelligence como Tableau ou Power BI, que podem ser conectadas ao Hadoop.

Aprendizado de máquina

A capacidade do Hadoop de armazenar e processar grandes conjuntos de dados o torna uma excelente plataforma para análise de big data e aprendizado de máquina. Ferramentas como Apache Mahout e MLlib (parte do Spark) fornecem bibliotecas de aprendizado de máquina que se integram bem ao Hadoop.

Limitações do Hadoop

Lembre-se de que, embora o Hadoop tenha muitas vantagens, nem sempre é a melhor solução para todos os problemas de big data. Afinal, outros sistemas podem ser mais adequados dependendo dos requisitos ou das restrições de um projeto. Aqui estão algumas limitações importantes que você pode considerar:

Não é adequado para volumes pequenos de dados: o Hadoop foi projetado para processamento de dados em grande escala. Se o volume de dados for pequeno, as operações pesadas de I/O podem superar os benefícios do processamento paralelo, tornando os bancos de dados relacionais tradicionais, como SQL Server ou PostgreSQL, uma escolha mais adequada.

Suporte deficiente para arquivos pequenos: o Hadoop não é adequado para gerenciar muitos arquivos pequenos. Cada arquivo no HDFS é dividido em blocos e o tamanho do bloco padrão é 64 MB (no Hadoop 1) ou 128 MB (no Hadoop 2 e 3). O armazenamento será desperdiçado se o arquivo for significativamente menor que o tamanho do bloco. Além disso, cada arquivo, diretório e bloco no HDFS é representado como um objeto na memória do NameNode, cada um consumindo cerca de 150 bytes. Portanto, se houver muitos arquivos, isso poderá ocupar rapidamente uma quantidade significativa de memória.

Latência: o Hadoop não foi projetado para processamento em tempo real. Seu modelo de processamento em lote funciona melhor com uma grande quantidade de dados e não é adequado para tarefas que exigem análise em tempo real.

Complexidade: embora ferramentas como Hive e Pig ofereçam abstrações de nível superior para tornar o Hadoop mais acessível, ainda há uma curva de aprendizado acentuada associada ao Hadoop, especialmente quando se trata de instalação, configuração e manutenção.

Segurança de dados: Embora tenham sido feitas melhorias nos últimos anos, a segurança de dados no Hadoop pode ser um desafio. Recursos como criptografia e autenticação de usuário foram adicionados, mas não são tão robustos como em alguns outros sistemas de banco de dados.

Falta de controle de simultaneidade multiversão (MVCC): o Hadoop não oferece suporte a MVCC, que permite que vários usuários acessem dados simultaneamente. Isto pode ser uma limitação em cenários onde vários utilizadores precisam acessar e modificar os mesmos dados.

Sem suporte para consultas ad hoc: o Hadoop é um sistema de processamento em lote e não processa registros individualmente, portanto, não foi projetado para cargas de trabalho que precisam fazer consultas ad hoc em dados de baixa latência.

Sem atualizações em tempo real: o Hadoop não fornece atualização de dados em tempo real. Os dados podem ser anexados a arquivos existentes, mas não podem ser atualizados. Isso limita sua usabilidade em casos de uso que exigem processamento de dados em tempo real.

 
Lembre-se de que muitas dessas limitações são trade-offs das vantagens que o Hadoop oferece, como a capacidade de processar e armazenar grandes quantidades de dados em um sistema distribuído. Além disso, muitas tecnologias complementares no ecossistema Hadoop (como HBase, Storm, etc.) visam resolver alguns destes problemas.

Abaixo, elenquei alguns dos pontos fortes e pontos fracos do Hadoop, para que você entenda quais cenários são mais adequados para sua utilização:

Conclusão

O Hadoop revolucionou o mundo do Big Data, fornecendo uma plataforma robusta e escalável para armazenar, gerenciar e processar grandes volumes de dados de forma eficiente.

Sua capacidade de lidar com clusters de computadores distribuídos, processamento paralelo e tolerância a falhas o torna uma escolha muito popular para uma variedade de aplicativos, desde análise de dados até processamento de dados em tempo real.

Com o crescimento contínuo do volume de dados em todo o mundo e por se tratar de uma solução open-source, o Hadoop continuará desempenhando um papel fundamental no ecossistema de Big Data.