Você reparou em como a lista de dispositivos conectados à internet tem crescido nos últimos anos? São Smart TV´s, relógios inteligentes, videogames e uma infinidade de aparelhos conectados à rede.
Além desse fenômeno — Internet das Coisas — temos as tecnologias mobile que expandem essa conectividade para todos os momentos da vida cotidiana das pessoas. Isso tudo contribui com o aumento do que entendemos por Big Data.
Neste artigo vamos descomplicar esse fenômeno tecnológico moderno, oferecendo ao leitor um miniguia com as principais informações sobre Big Data. Acompanhe!
O que é Big Data?
A União Internacional das Telecomunicações (que é uma entidade filiada à ONU) divulgou recentemente que já somos 3,2 bilhões de pessoas conectadas no mundo todo. Você já imaginou a quantidade de dados que é gerada a cada segundo? Então, a esse gigantesco volume de dados, estruturados e não estruturados, que são gerados a cada segundo dá-se o nome de Big Data.
Por que Big Data é importante?
A grande importância do Big Data consiste exatamente na possibilidade até então inédita de obter, processar e utilizar um enorme volume de informações sobre seu público, sabendo seus desejos, insatisfações, satisfações, anseios e opiniões sobre uma empresa e seus serviços.
A tecnologia Big Data possibilita extrair desses dados, vindos de inumeráveis fontes, convertendo-os em informações de mercado valiosas para tomada de decisão e elaboração de estratégias empresariais. Dessa forma, o Big Data revolucionou o mundo corporativo permitindo que empresas obtenham muito mais informações sobre o seu público.
Esse grande volume de dados extraídos de mídias sociais, sensores de dispositivos, transações comerciais, entre outras fontes, são usados pelas corporações em interface com seus dados internos com a finalidade de criar, reformular e inovar em suas abordagens em relação ao público.
Como é a aplicação em empresas?
Os 5 V´s do Big Data: volume, variedade, velocidade, veracidade e valor são os parâmetros que determinam o sucesso da utilização dessa tecnologia.
Volume
Diz respeito à quantidade de dados que é processada por segundo. Quanto maior essa quantidade, maior deverá ser a capacidade de processamento.
Variedade
Corresponde às diversas fontes em que esses dados são captados: redes sociais e aplicativos como WhatsApp, além do Google Analytics são outros exemplos de fontes de dados.
Velocidade
Determina o processamento ágil e dinâmico ao grande fluxo de informações.
Veracidade
Trata-se da confiabilidade das fontes pesquisadas.
Valor
Diz respeito à relevância e à utilidade desses dados à empresa em questão.
Como mencionamos, as empresas trabalham com Big Data por meio de dados estruturados: aqueles categorizados, inseridos em sistemas específicos como financeiros, RH, etc. — e não estruturados — soltos, encontrados em mídias sociais que podem, inclusive, ser em áudio e vídeo também (o que dificulta a criação de tags e o processamento).
O trabalho árduo com Big Data consiste, principalmente, na monitoração desses dados não estruturados nas mídias sociais. Ou seja: empresas monitoram o que as pessoas estão dizendo sobre elas na internet em larga escala, utilizando pesquisas por palavras-chave, para assim, processar esses dados e usá-los em estratégias para melhor satisfazer seus clientes.
Esse trabalho de processar essas informações não estruturadas é feito por humanos, pois os comentários captados podem conter ironias e se inserir em determinados contextos nos quais uma crítica poderia ser confundida com um elogio, se fosse processada por mecanismos automáticos de análise.
Se você gostou deste conteúdo exclusivo e descomplicado sobre Big Data, então confira também: Como o Big Data beneficia a segurança da informação!
Foi aluno de Ralph Kimball, maior referência mundial no assunto, no curso de Modelagem Dimensional realizado pela Kimball University, em Estocolmo – Suécia.
Já ministrou diversas palestras sobre o tema e atualmente mantêm o blog da Know Solutions, com referências sobre Business Intelligence.
Pós Graduado em Gestão de Projetos de Software pela PUC – Paraná. Trabalhou durante 7 anos na empresa Siemens onde participou de projetos em diferentes países.
Olá Leandro.
Acredito que o potencial da área de Business Intelligence dentro das empresas pode ser maior do que se imagina hoje.
Trabalho com consultoria de B.I. para agencias e empresas, e enfrentamos diariamente dois grandes problemas.
1- Padronização dos dados: Como utilizamos muitas fontes de dados, todo o processo, desde o que a implementação, até a parte operacional, precisa ser muito bem estruturada. Sem o padrão das informações perde-se muito tempo com “correção”, sendo que “tempo” não é o que temos para identificar um padrão, pois no dia seguinte ele pode mudar se não o tratarmos.
2- Pessoas que não sabem o que querem: Corporações não sabem o que querem, logo querem tudo. O problema é que sabemos que não tudo não é necessário, se consegue identificar padrões e otimizações com metade do volume. Sendo assim o processo de otimização passa a ser inteligente para ser operacional.
O futuro da área esta encaminhando para segmentações e clusterizações dinâmicas para analise de Big Data, mas se o processo de todos envolvidos precisa ser muito bem desenhado e a área de B.I. precisa ter este knowhow também.
Obrigado e muito bom seus artigos.
Oi João, obrigado pelo seu comentário! Concordo com você!
Realmente, a padronização dos dados é o ponto mais sensível mesmo. Aqui estimamos em torno de 60% a 70% do tempo em um projeto de BI apenas para esta parte.
Sobre as pessoas não saberem o que querem, aqui vemos como uma certa vantagem. Muitas vezes não é nem exatamente não saber o que querem, mas não saberem o que é possível fazer. Com isso, parte do nosso trabalho aqui é exatamente entender do que o cliente sofre aí então sugerir algumas coisas. Tentamos não ir para uma abordagem de “o que você quer” mas sim de “quais são seus problemas”.
Isso me deu até a ideia de criar um post focado nisso, vou deixar anotado para o futuro!
Existe uma técnica chamada Árvore de Realidade Presente, da Teoria das Restrições, que lida justamente com essa barafunda de problemas e entendimentos. Eu experimentei a mesma frustração que você, João, e decidi resolver esse problema. A imagem https://geekbi.files.wordpress.com/2020/10/bi_toc-crt-x.png é um resumo do que eu tenho até agora.
Adoraria uma contribuição. “O cliente não sabe o que quer” já está lá. “Dados são sujos” e “Dados são bagunçados” me parecem boas adições.
O que você acha? E você, Leandro?
[…] para aumentar seu lucro ou diminuir seus custos operacionais. Esse é o conceito básico de Business Intelligence utilizado como diferencial […]
[…] de BI — Business Intelligence ou, traduzindo, Inteligência Empresarial — é justamente o diferencial que uma empresa precisa para tratar dados gerados por vários meios. Veja alguns contextos que podem servir de […]
eu precisava para compor você uma pouco de note ajudar diga obrigado again com o extraordinário conselhos você compartilhado nesta página . Foi certamente maravilhosamente generoso com você dando abertamente tudo o que muitas pessoas {poderiam ter | poderiam possivelmente ter | poderiam ter | teriam | distribuído para um ebook para gerar alguma massa para eles mesmos , especialmente considerando que you poderia ter tried it se você nunca desejado . Those estratégias também agido como outras pessoas tenha semelhante desire como my own entender bom negócio mais relacionado este assunto . Eu tenho certeza há alguns mais agradáveis ocasiões ahead para pessoas que ver seu site
Bom dia,
Há muita diferença das versões do livro The Data Warehouse Toolkit?
Vejo que ele esta na 3 edição.
Posso comprar apenas a 3 ou devo comprar todas?
Oi Marcos!
Há algumas atualizações com conceitos mais atuais. Não precisa comprar todas as edições não, apenas a 3a já cobre tudo que precisa.
Sim e não. A maior diferença é entre a primeira edição e as restantes. Da segunda edição em diante, quando a Margy Ross assumiu o livro, é tudo mais ou menos o mesmo.
A primeira edição, que por acaso chegou a ser publicada em português, é a melhor, na minha opinião. Ela é mais concreta, menor e mais focada. Se conseguir achá-la, compre. Vale ouro.
Sobre o comentário do João Kechichian, concordo em relação às empresas não terem claro o que querem, e concordo com o Leandro sobre a abordagem de “Qual o seu problema” para dar as sugestões.
Mas vale ressaltar que as empresas não conseguem identificar o que querem por não terem claro um Planejamento Estratégico e objetivos bem descritos. Isso facilita muito perceber quais indicadores serão necessários acompanhar para atingir os resultados esperados.
Gostaria de entender se a utilização da Big data nas empresas gera algum tipo de desvantagem nas pessoas que lá trabalham ?
Parabéns por trazer a CRISP-DM de volta ao tablado. O “produtocentrismo” que assola o mercardo de BI pressiona os players a comprar o último brinquedo, a seguir a última moda, quando quase tudo que tem algum uso prático já existe há décadas – como o CRISP-DM
Seria legal um artigo um artigo comparando-o com SEMMA. Pode ser muito interessante para quem entrou na área há menos de 20 anos.