Imagem de: ngigpi.com

Data Mining é um assunto que me atrai bastante, já tendo trabalhado alguns anos desenvolvendo sistemas que utilizam esta técnica para apoiar tomada de decisão.

Para ser mais exato, quando falamos de Data Mining, na maioria das vezes estamos nos referindo a um processo maior cujo nome original, em inglês é Knowledge Discovery in Databases – ou simplesmente KDD. Apesar de ser uma etapa do KDD, Data Mining acabou se tornando o nome popular do processo.

Em resumo, KDD é um processo utilizado para explorar uma quantidade grande de dados em busca de conhecimento intrínseco ao negócio de uma organização, que ela mesmo desconhece e na maior parte das vezes permanecesse adormecido nas tabelas e relacionamentos de bancos corporativos.

O caso clássico de uso bem sucedido de Data Mining foi um projeto da rede americana Wal-Mart, que após aplicar a técnica em busca de relações entre vendas e dias da semana, identificou algumas regras curiosas. Por exemplo, na sexta-feira a venda de bebidas aumentava proporcionalmente a venda de fraldas. A explicação é que quando os pais iam comprar fraldas para os filhos, sempre levavam a cerveja do fim de semana. Isto permitiu o reposicionamento da disposição dos produtos para aumento da venda dos mesmos.

Data Mining tem um potencial incrível nos mais diversos setores seja no comércio, indústria, governo e os outros. Mas diferente de seu “primo” Data Warehouse, o Data Mining ainda não “pegou” comercialmente. É claro que temos um certo número de ferramentas e alguns casos de uso em grandes corporações – Microsoft e IBM estão entre as empresas que possuem ferramentas. Mas ainda falta um atrativo comercial mais forte.

Parte dessa diferença entre o sucesso comercial do Data Warehouse e do Data Mining se deve ao tempo em que projetos de Data Mining tendem a gastar. Não é muito trivial se calcular o tamanho de um projeto de Data Mining, porque não existe uma fórmula ou ferramenta que ao se aplicar em qualquer banco de dados, se extrai conhecimento relevante.

A aplicação de Data Mining depende muito do conhecimento tácito do consultor, pois este deve se atentar aos por menores dos processos de uma organização para modelar corretamente o universo de dados sob o qual que irá atuar. Uma modelagem errada pode levar o projeto a meses de tentativas que podem não levar a descoberta de todo conhecimento desejado.

O estado da arte em KDD é riquíssimo, com pesquisadores brilhantes, mas falta uma visão mais comercial que simplifique as coisas e faça com que quem está de fora também acredite na sua eficácia.