A quantidade de dados coletados está aumentando cada dia mais, e nem sempre o processamento e a análise desses dados é feita de forma rápida o suficiente para que sejam utilizados de forma eficiente e inteligente.
Um dos maiores desafios dos gestores, atualmente, é conseguir relatórios e informações fidedignas rapidamente, para que as análises possam nortear as metas e os objetivos da empresa e entender são seus clientes e a suas reais necessidades, podendo, assim, tomar melhores decisões para seus negócios.
Se essa é a realidade da sua empresa, tenha calma! A solução para esse problema é investir em ferramentas de Bussines Inteligence e Big Data. Com isso, a mineração e análise dos dados tornam-se procedimentos automáticos e geram insights para cada problema da empresa. É aqui que se torna importante a metodologia CRISP DM! Vamos conhecê-la?
O que é a metodologia CRISP DM?
CRISP DM é a abreviação de Cross Industry Standard Process for Data Mining que, trazendo para o português, pode ser entendida como processo padrão da indústria cruzada para mineração de dados. Essa é uma metodologia capaz de transformar os dados da empresa em conhecimento e informações de gerenciamento.
Como essa metodologia surgiu?
A metodologia foi criada há pouco mais de 20 anos, pela necessidade dos profissionais de Data Mining. Apesar de existir uma série de ferramentas capazes de nortear esses profissionais, quando o assunto é Big Data e o seu grande volume de dados, elas deixam a desejar.
O CRISP DM surgiu justamente para atender aos projetos que estão diretamente envolvidos com o processamento e a análise de um grande volume de dados.
Pra que serve e como funciona?
Já entendemos o que é e como surgiu a CRISP DM, mas qual é de fato a aplicação desta metodologia? Para entender um pouco melhor, precisamos começar falando da Data Mining (DM) ou mineração de dados.
O DM faz parte de Data Science, que utiliza estatística e matemática como base para cruzamento de dados, por meio de técnicas de indução para propor hipóteses e solucionar questões empresariais. Simplificando, é a mineração de dados que vai conseguir transformar todo o volume de dados em informações úteis para o gerenciamento e a tomada de decisões.
A metodologia CRISP DM reúne as melhores práticas para que o DM seja o mais produtivo e eficiente possível, analisando dados financeiros, de recursos humanos, produção, hábitos dos clientes e outros, para propor modelos de melhoria ou solução de problemas.
Quais são as etapas do processo?
A metodologia CRISP DM define o ciclo de vida do projeto, dividindo-o em seis etapas, que vamos conhecer agora:
Entendimento do problema
A primeira coisa a ser feita é entender de fato qual o problema a ser resolvido, buscando todos os detalhes sobre o impacto dele na empresa e quais os objetivos em relação ao trabalho.
Compreensão dos dados
Essa etapa consiste em organizar e documentar todos os dados que se encontram disponíveis. É aqui que começa de fato o trabalho de mineração de dados, pois o profissional deve ser capaz de identificar quais são os dados importantes para a resolução do problema.
Nesse momento, o lado investigativo deve entrar em campo, para que os dados revelem problemas, soluções e tendências dos negócios.
Preparação dos dados
Agora que os dados já foram identificados, documentados e analisados, é hora de aplicar a parte técnica de análise deles. Agora, serão preparadas as databases e definidos os formatos e questões técnicas da análise.
Nessa etapa, é feita a escolha dos dados que serão trabalhados e de como eles serão cruzados para resolver o problema da empresa.
Modelagem
É nesta fase que são aplicadas de fato as técnicas de Data Mining, com base nos objetivos identificados no primeiro momento.
A partir de agora, a mineração de dados pode ser associada a análises preditivas, para que a empresa prepare-se para o futuro, resolvendo a questão principal.
Como? Os dados minerados podem ser usados para alimentar algoritmos que preveem as tendências dos negócios.
Avaliação
Agora, na verdade, entra o que é feito após o trabalho propriamente dito. Trata-se de um momento muito importante, pois é quando serão acompanhados os resultados em relação aos objetivos e também à aplicação dos conhecimentos obtidos com o Data Mining.
Isso pode ser feito por meio de reuniões, onde os dados e insights são apresentados para os envolvidos nas tomadas de decisão.
Implementação dos modelos na empresa
Aqui, é a hora da verdade, onde tudo que foi obtido de conhecimento dos dados são entregues de forma a ser aplicada. A partir disso, podem ser mudados os processos dentro da organização e criados novos produtos — tudo com base em dados, garantindo, assim, o sucesso dos negócios.
Quais as vantagens dessa metodologia?
Ao aplicar a metodologia de mineração de dados, se ganha em vários sentidos. Vamos conhecer algumas das vantagens?
Melhoria no relacionamento com o cliente
A DM tem um papel importante no relacionamento com o cliente, pois, entendendo suas necessidades e hábitos de consumo, fica muito mais fácil conseguir atrair e fidelizar clientes, além de desenvolver produtos e soluções sob medida para o público-alvo.
Orientação na tomada de decisões
Com a mineração de dados aliada a análise preditiva, as empresas ganham uma grande ajuda no gerenciamento e controle de riscos, seja ele interno ou externo. É preciso lembrar que todo planejamento e solução são baseados em informações e dados consistentes, e não apenas na intuição. Dessa forma, é possível tomar decisões mais inteligentes.
Implementação de novos modelos de resolução de problemas
A partir da leitura dos dados, o CRISP DM consegue fornecer a exata situação da empresa e as respostas para os problemas, proporcionando, assim, novos modelos de resolução de problemas aos gestores, a serem implantados.
Fornecimento de análises em tempo real
Após implantado o ciclo do CRISP DM, é possível ter análises em tempo real conforme a situação e o cenário vão mudando, possibilitando mudanças imediatas e personalizadas para cada momento. A agilidade na tomada de decisões e a resolução de problemas, com certeza, são vantagens competitivas importantes.
A metodologia CRISP DM certamente trará várias soluções e automatizará seus relatórios e informações, facilitando a tomada de decisões e trazendo uma enorme vantagem competitiva para sua empresa. Agora que você a conhece, que tal entrar em contato conosco para desenvolvermos uma solução sob medida para seus negócios?
Foi aluno de Ralph Kimball, maior referência mundial no assunto, no curso de Modelagem Dimensional realizado pela Kimball University, em Estocolmo – Suécia.
Já ministrou diversas palestras sobre o tema e atualmente mantêm o blog da Know Solutions, com referências sobre Business Intelligence.
Pós Graduado em Gestão de Projetos de Software pela PUC – Paraná. Trabalhou durante 7 anos na empresa Siemens onde participou de projetos em diferentes países.
Olá Leandro.
Acredito que o potencial da área de Business Intelligence dentro das empresas pode ser maior do que se imagina hoje.
Trabalho com consultoria de B.I. para agencias e empresas, e enfrentamos diariamente dois grandes problemas.
1- Padronização dos dados: Como utilizamos muitas fontes de dados, todo o processo, desde o que a implementação, até a parte operacional, precisa ser muito bem estruturada. Sem o padrão das informações perde-se muito tempo com “correção”, sendo que “tempo” não é o que temos para identificar um padrão, pois no dia seguinte ele pode mudar se não o tratarmos.
2- Pessoas que não sabem o que querem: Corporações não sabem o que querem, logo querem tudo. O problema é que sabemos que não tudo não é necessário, se consegue identificar padrões e otimizações com metade do volume. Sendo assim o processo de otimização passa a ser inteligente para ser operacional.
O futuro da área esta encaminhando para segmentações e clusterizações dinâmicas para analise de Big Data, mas se o processo de todos envolvidos precisa ser muito bem desenhado e a área de B.I. precisa ter este knowhow também.
Obrigado e muito bom seus artigos.
Oi João, obrigado pelo seu comentário! Concordo com você!
Realmente, a padronização dos dados é o ponto mais sensível mesmo. Aqui estimamos em torno de 60% a 70% do tempo em um projeto de BI apenas para esta parte.
Sobre as pessoas não saberem o que querem, aqui vemos como uma certa vantagem. Muitas vezes não é nem exatamente não saber o que querem, mas não saberem o que é possível fazer. Com isso, parte do nosso trabalho aqui é exatamente entender do que o cliente sofre aí então sugerir algumas coisas. Tentamos não ir para uma abordagem de “o que você quer” mas sim de “quais são seus problemas”.
Isso me deu até a ideia de criar um post focado nisso, vou deixar anotado para o futuro!
Existe uma técnica chamada Árvore de Realidade Presente, da Teoria das Restrições, que lida justamente com essa barafunda de problemas e entendimentos. Eu experimentei a mesma frustração que você, João, e decidi resolver esse problema. A imagem https://geekbi.files.wordpress.com/2020/10/bi_toc-crt-x.png é um resumo do que eu tenho até agora.
Adoraria uma contribuição. “O cliente não sabe o que quer” já está lá. “Dados são sujos” e “Dados são bagunçados” me parecem boas adições.
O que você acha? E você, Leandro?
[…] para aumentar seu lucro ou diminuir seus custos operacionais. Esse é o conceito básico de Business Intelligence utilizado como diferencial […]
[…] de BI — Business Intelligence ou, traduzindo, Inteligência Empresarial — é justamente o diferencial que uma empresa precisa para tratar dados gerados por vários meios. Veja alguns contextos que podem servir de […]
eu precisava para compor você uma pouco de note ajudar diga obrigado again com o extraordinário conselhos você compartilhado nesta página . Foi certamente maravilhosamente generoso com você dando abertamente tudo o que muitas pessoas {poderiam ter | poderiam possivelmente ter | poderiam ter | teriam | distribuído para um ebook para gerar alguma massa para eles mesmos , especialmente considerando que you poderia ter tried it se você nunca desejado . Those estratégias também agido como outras pessoas tenha semelhante desire como my own entender bom negócio mais relacionado este assunto . Eu tenho certeza há alguns mais agradáveis ocasiões ahead para pessoas que ver seu site
Bom dia,
Há muita diferença das versões do livro The Data Warehouse Toolkit?
Vejo que ele esta na 3 edição.
Posso comprar apenas a 3 ou devo comprar todas?
Oi Marcos!
Há algumas atualizações com conceitos mais atuais. Não precisa comprar todas as edições não, apenas a 3a já cobre tudo que precisa.
Sim e não. A maior diferença é entre a primeira edição e as restantes. Da segunda edição em diante, quando a Margy Ross assumiu o livro, é tudo mais ou menos o mesmo.
A primeira edição, que por acaso chegou a ser publicada em português, é a melhor, na minha opinião. Ela é mais concreta, menor e mais focada. Se conseguir achá-la, compre. Vale ouro.
Sobre o comentário do João Kechichian, concordo em relação às empresas não terem claro o que querem, e concordo com o Leandro sobre a abordagem de “Qual o seu problema” para dar as sugestões.
Mas vale ressaltar que as empresas não conseguem identificar o que querem por não terem claro um Planejamento Estratégico e objetivos bem descritos. Isso facilita muito perceber quais indicadores serão necessários acompanhar para atingir os resultados esperados.
Gostaria de entender se a utilização da Big data nas empresas gera algum tipo de desvantagem nas pessoas que lá trabalham ?
Parabéns por trazer a CRISP-DM de volta ao tablado. O “produtocentrismo” que assola o mercardo de BI pressiona os players a comprar o último brinquedo, a seguir a última moda, quando quase tudo que tem algum uso prático já existe há décadas – como o CRISP-DM
Seria legal um artigo um artigo comparando-o com SEMMA. Pode ser muito interessante para quem entrou na área há menos de 20 anos.