O Business Intelligence avançou de forma notável nos últimos anos, e muitas empresas estão tirando vantagem disso. Para ser o mais bem-sucedido e eficiente com esse novo poder da BI é essencial poder analisar e aproveitar todos os seus dados. A aplicação adequada da BI e a implementação de um data warehouse permitem que você faça uma pesquisa detalhada dos dados da organização para obter uma vantagem competitiva no mercado.
Para tanto, a empresa precisa primeiro de um data warehouse bem projetado. Neste artigo, damos passos básicos de como construir o data warehouse na sua empresa. Também ajudaremos você a não cometer erros importantes relacionados a esse processo. Confira!
O que é um data warehouse
Um data warehouse — ou armazém de dados — é um grande repositório de dados coletados de várias fontes diferentes dentro de uma empresa. Com uma quantidade significativa de dados mantidos em um só lugar, agora é mais fácil para as empresas analisarem e tomarem decisões mais bem informadas.
Como construir seu data warehouse
Primeiro, você precisa planejar seu sistema de armazém de dados. Você deve entender quais perguntas os usuários farão (por exemplo, quantos registros a empresa recebeu em cada trimestre ou quais setores estão comprando desenvolvimento de software personalizado), porque o objetivo de um sistema de data warehouse é fornecer aos tomadores de decisão as informações necessárias, precisas e oportunas de que precisam para fazer as escolhas certas. Mas, vamos a um passo a passo básico!
Identifique as fontes de dados
Um data warehouse normalmente extrai dados de várias fontes. Você deve identificar todas as fontes que contribuirão para fornecer os dados necessários para atingir seus objetivos e escolher os pontos/elementos fundamentais. As fontes de dados podem ser de qualquer tipo — outros bancos de dados, aplicativos, mídias sociais, pesquisas, sensores IoT, etc.
Crie o modelo de dados
Como agora todas as fontes de dados e elementos estão definidos, é hora de criar um banco de dados central para todos os elementos, para formar o armazém. Um modelo de banco de dados ilustra todas as entidades e/ou objetos que irão para o data warehouse e suas propriedades. Uma boa ferramenta de modelagem de dados também ajudará a projetar o modelo em um esquema de banco de dados no gerenciador de sua escolha.
Construa uma staging area
Depois que os dados são carregados, a staging area — ou área de armazenamento temporário — é usada para combinar dados de várias fontes, transformações, validações e limpeza. Os dados geralmente são transformados em um esquema em estrela antes do carregamento de um data warehouse.
Crie seus documentos de dados internos
Isso é importante, especialmente se você não deseja que seu armazém de dados seja uma caixa-preta, onde apenas alguns engenheiros sabem como usá-lo. Se seus usuários não entenderem, não terão certeza de consultá-lo. Sempre que um relatório for criado (ou atualizado), atualize este documento para refletir qualquer novo nível de entendimento comercial de seus dados.
Quais desafios você pode enfrentar
Embora o conceito de data warehouse seja simples, pode ser muito desafiador implementá-lo. Confira alguns desafios que você pode enfrentar.
Falta de integridade dos dados
Tendo várias fontes de dados mal integradas, as empresas podem ter problemas para definir dados confiáveis, rastrear dados incompatíveis e duplicados, registrar omissões e conflitos semânticos nas fontes de dados originais. O desafio pode ser superado definindo processos obrigatórios para diminuir os problemas de qualidade dos dados e configurando processos de teste de integridade de dados no estágio de design do data warehouse.
Complexidade tecnológica
Requisitos de negócios mal definidos ou em mudança complicam o processo de escolha de tecnologias para data warehouse apropriadas. Portanto, qualquer que seja o hardware e o software que você escolher, ele deve ser escalável e flexível.
Em resumo, construir o data warehouse é uma ótima solução para centralizar e analisar facilmente os dados da sua empresa. Aumenta a disponibilidade dos dados, a eficiência das atividades analíticas, melhora a qualidade das informações necessárias para os relatórios e torna o trabalho com dados seguro.
Achou o artigo estratégico? Assine nossa newsletter e receba diretamente no seu e-mail outros conteúdos como este, sobre gestão e tecnologia!
Foi aluno de Ralph Kimball, maior referência mundial no assunto, no curso de Modelagem Dimensional realizado pela Kimball University, em Estocolmo – Suécia.
Já ministrou diversas palestras sobre o tema e atualmente mantêm o blog da Know Solutions, com referências sobre Business Intelligence.
Pós Graduado em Gestão de Projetos de Software pela PUC – Paraná. Trabalhou durante 7 anos na empresa Siemens onde participou de projetos em diferentes países.
Olá Leandro.
Acredito que o potencial da área de Business Intelligence dentro das empresas pode ser maior do que se imagina hoje.
Trabalho com consultoria de B.I. para agencias e empresas, e enfrentamos diariamente dois grandes problemas.
1- Padronização dos dados: Como utilizamos muitas fontes de dados, todo o processo, desde o que a implementação, até a parte operacional, precisa ser muito bem estruturada. Sem o padrão das informações perde-se muito tempo com “correção”, sendo que “tempo” não é o que temos para identificar um padrão, pois no dia seguinte ele pode mudar se não o tratarmos.
2- Pessoas que não sabem o que querem: Corporações não sabem o que querem, logo querem tudo. O problema é que sabemos que não tudo não é necessário, se consegue identificar padrões e otimizações com metade do volume. Sendo assim o processo de otimização passa a ser inteligente para ser operacional.
O futuro da área esta encaminhando para segmentações e clusterizações dinâmicas para analise de Big Data, mas se o processo de todos envolvidos precisa ser muito bem desenhado e a área de B.I. precisa ter este knowhow também.
Obrigado e muito bom seus artigos.
Oi João, obrigado pelo seu comentário! Concordo com você!
Realmente, a padronização dos dados é o ponto mais sensível mesmo. Aqui estimamos em torno de 60% a 70% do tempo em um projeto de BI apenas para esta parte.
Sobre as pessoas não saberem o que querem, aqui vemos como uma certa vantagem. Muitas vezes não é nem exatamente não saber o que querem, mas não saberem o que é possível fazer. Com isso, parte do nosso trabalho aqui é exatamente entender do que o cliente sofre aí então sugerir algumas coisas. Tentamos não ir para uma abordagem de “o que você quer” mas sim de “quais são seus problemas”.
Isso me deu até a ideia de criar um post focado nisso, vou deixar anotado para o futuro!
Existe uma técnica chamada Árvore de Realidade Presente, da Teoria das Restrições, que lida justamente com essa barafunda de problemas e entendimentos. Eu experimentei a mesma frustração que você, João, e decidi resolver esse problema. A imagem https://geekbi.files.wordpress.com/2020/10/bi_toc-crt-x.png é um resumo do que eu tenho até agora.
Adoraria uma contribuição. “O cliente não sabe o que quer” já está lá. “Dados são sujos” e “Dados são bagunçados” me parecem boas adições.
O que você acha? E você, Leandro?
[…] para aumentar seu lucro ou diminuir seus custos operacionais. Esse é o conceito básico de Business Intelligence utilizado como diferencial […]
[…] de BI — Business Intelligence ou, traduzindo, Inteligência Empresarial — é justamente o diferencial que uma empresa precisa para tratar dados gerados por vários meios. Veja alguns contextos que podem servir de […]
eu precisava para compor você uma pouco de note ajudar diga obrigado again com o extraordinário conselhos você compartilhado nesta página . Foi certamente maravilhosamente generoso com você dando abertamente tudo o que muitas pessoas {poderiam ter | poderiam possivelmente ter | poderiam ter | teriam | distribuído para um ebook para gerar alguma massa para eles mesmos , especialmente considerando que you poderia ter tried it se você nunca desejado . Those estratégias também agido como outras pessoas tenha semelhante desire como my own entender bom negócio mais relacionado este assunto . Eu tenho certeza há alguns mais agradáveis ocasiões ahead para pessoas que ver seu site
Bom dia,
Há muita diferença das versões do livro The Data Warehouse Toolkit?
Vejo que ele esta na 3 edição.
Posso comprar apenas a 3 ou devo comprar todas?
Oi Marcos!
Há algumas atualizações com conceitos mais atuais. Não precisa comprar todas as edições não, apenas a 3a já cobre tudo que precisa.
Sim e não. A maior diferença é entre a primeira edição e as restantes. Da segunda edição em diante, quando a Margy Ross assumiu o livro, é tudo mais ou menos o mesmo.
A primeira edição, que por acaso chegou a ser publicada em português, é a melhor, na minha opinião. Ela é mais concreta, menor e mais focada. Se conseguir achá-la, compre. Vale ouro.
Sobre o comentário do João Kechichian, concordo em relação às empresas não terem claro o que querem, e concordo com o Leandro sobre a abordagem de “Qual o seu problema” para dar as sugestões.
Mas vale ressaltar que as empresas não conseguem identificar o que querem por não terem claro um Planejamento Estratégico e objetivos bem descritos. Isso facilita muito perceber quais indicadores serão necessários acompanhar para atingir os resultados esperados.
Gostaria de entender se a utilização da Big data nas empresas gera algum tipo de desvantagem nas pessoas que lá trabalham ?
Parabéns por trazer a CRISP-DM de volta ao tablado. O “produtocentrismo” que assola o mercardo de BI pressiona os players a comprar o último brinquedo, a seguir a última moda, quando quase tudo que tem algum uso prático já existe há décadas – como o CRISP-DM
Seria legal um artigo um artigo comparando-o com SEMMA. Pode ser muito interessante para quem entrou na área há menos de 20 anos.