Você já parou para pensar na quantidade de dados que geramos diariamente? Então, vamos a alguns fatos: são quase 5 milhões de vídeos assistidos diariamente no YouTube, mais de 60 milhões de fotos postadas todos os dias no Instagram e 102 milhões de brasileiros compartilhando seus momentos no Facebook todos os meses. Isso só para falar das redes sociais.
Além delas, bilhões de pessoas estão acessando a internet diariamente e gerando dados em uma velocidade sem precedentes na história. Essa criação constante de dados usando mídias sociais, aplicativos de negócios, telecomunicações e vários outros domínios está levando à formação do que é chamado de Big Data. A seguir, entenda o que é o Big Data:
Big Data: a evolução do uso de dados pela história
Antes de explicar o que é Big Data, vamos começar detalhando o porquê essa tecnologia ganhou tanta relevância.
Quando foi a última vez que você se lembra de usar um disquete ou CD para armazenar seus dados? No início dos anos 2000, provavelmente, não é mesmo? Hoje, o uso de registros manuais em papel, arquivos, disquetes e discos se tornou quase que totalmente obsoleto.
A razão dessa mudança é o crescimento exponencial dos dados. Ou seja, as pessoas começaram a armazenar suas informações em sistemas de bancos de dados relacionais. Mas, com a fome por novas invenções, tecnologias, aplicativos com tempo de resposta rápido e com a introdução da internet, mesmo assim essa solução se tornou insuficiente.
Essa geração de dados contínuos e massivos pode ser chamada de Big Data. Além disso, existem alguns outros fatores que caracterizam o Big Data, que explicaremos mais tarde neste artigo.
A Statista, empresa alemã especializada em dados de mercado e consumidores, prevê que em 2020 teremos 59 zettabytes de dados criados a cada dia em nosso ritmo atual. E essa cadência está apenas acelerando. Prova disso é que, segundo a Statista, em 2024, esse número chegará 149 zettabytes.
O papel da IoT na aceleração da criação dados e coisas
A Internet das Coisas (IoT) é uma dessas tecnologias que desempenha um papel importante nessa aceleração. Com ela, não serão apenas as pessoas que gerarão dados, mas também coisas.
Mas, então, o que é Big Data?
Então, Big Data se refere somente à massiva quantidade de dados que é gerada diariamente? O mito mais comum associado a essa tecnologia é de que ela se trata apenas do tamanho ou do volume dos dados.
Mesmo anteriormente, havia dados enormes que estavam sendo armazenados em bancos de dados, mas devido à natureza variada desses elementos, os sistemas de banco de dados relacionais tradicionais eram incapazes de lidar com eles.
Portanto, não se trata apenas das “grandes” quantidades de informações coletadas. O Big Data é muito mais do que uma coleção de conjuntos de dados com diferentes formatos. Em outras palavras, ele é um ativo importante que pode ser usado para obter benefícios inumeráveis.
Resumidamente, a análise de Big Data permite examinar conjuntos de dados grandes e variados para descobrir padrões ocultos, correlações desconhecidas, tendências de mercado, preferências do cliente e outras informações úteis para o sucesso da organização.
Os 3V’s: o modelo do Gartner para definição do Big Data
Para definir onde o Big Data começa e a partir de que ponto o uso direcionado de dados se torna um projeto de Big Data, você precisa dar uma olhada nos detalhes e principais recursos do Big Data. Sua definição é mais comumente baseada no modelo 3-V dos analistas do Gartner: Volume, Variedade e Velocidade.
- Volume: define a enorme quantidade de dados que é produzida a cada dia pelas empresas e pessoas. A geração de dados é tão grande e complexa que não pode mais ser salva ou analisada usando métodos convencionais de processamento de dados;
- Variedade: se refere à diversidade de tipos e fontes de dados. Hoje, a maioria dos dados no mundo não são estruturados e, à primeira vista, não mostram qualquer indicação de link entre eles. Graças aos algoritmos de Big Data, os dados podem ser classificados de maneira estruturada e examinados. Devemos lembrar que os dados nem sempre incluem apenas conjuntos convencionais, mas também imagens, vídeos e áudios;
- Velocidade: se refere à velocidade com que os dados são gerados, analisados e reprocessados. Hoje, isso é possível de ser realizado em uma fração de segundo, praticamente em tempo real.
Além dos modelo 3V’s implementado originalmente pelo Gartner, hoje, é comumente aceita a adição de dois novos itens ao modelo, sendo eles “Validade” e “Valor”.
- Validade: é a garantia da qualidade dos dados ou, em alternativa, Veracidade é a autenticidade e credibilidade dos dados. O Big Data envolve trabalhar com todos os graus de qualidade, já que o fator Volume costuma resultar em falta de qualidade;
- Valor: denota o valor adicionado para as empresas. Muitas corporações já estabeleceram suas próprias plataformas de dados, preencheram seus pools de dados e investiram muito dinheiro em infraestrutura. Agora, é uma questão de gerar valor comercial a partir de seus investimentos.
Big Data: armazenamento e análise dos dados
Tipos de dados não estruturados e semiestruturados normalmente não se encaixam bem em data warehouses tradicionais, que são baseados em bancos de dados relacionais orientados a conjuntos de dados estruturados.
Além disso, os data warehouses também podem não ser capazes de lidar com as demandas de processamento impostas por conjuntos de Big Data que precisam ser atualizados com frequência.
Como resultado, muitas organizações que coletam, processam e analisam Big Data recorrem aos bancos de dados NoSQL, bem como ao Hadoop e suas ferramentas complementares. Essas ferramentas são usadas para tornar a análise de Big Data possível e extrair percepções significativas.
Por fim, podemos concluir que definir Big Data não é uma tarefa fácil, pois o termo se relaciona a muitos aspectos e disciplinas. Em suma, o Big Data busca garantir o sucesso da empresa (valor), obtendo grandes quantidades de informações (Volume) de fontes muito diversas (Variedade) e de qualidade (Validade) que devem estar disponíveis rapidamente (Velocidade).
E você, já utiliza o poder dos dados na sua empresa? Continue acompanhando nosso blog para mais dicas como estas!