Dark data

O que é dark data e como ele pode transformar sua estratégia de IA

Você com certeza já ouviu dizer que vivemos na era do Big Data que as empresas acumulam volumes gigantescos de informações diariamente. Eu mesmo já escrevi sobre isso em diversos artigos, no entanto, a maioria desses dados permanece inexplorada e inativa. Esses são os chamados Dark Data — dados obscuros que, quando bem utilizados, podem ser uma mina de ouro para inteligência artificial e estratégias de negócios.

O que são dark data?

Dark Data refere-se a todos os dados coletados, gerados, processados e armazenados por uma organização, mas que não são usados ativamente para gerar valor ou insights. Esses dados podem incluir:

• Logs de servidores e redes.
• Registros de chamadas de suporte ao cliente.
• E-mails antigos e arquivos de texto.
• Imagens, vídeos e documentos arquivados.
• Dados de sensores e dispositivos IoT não analisados.

Esses dados permanecem frequentemente esquecidos porque não são estruturados, são difíceis de acessar ou organizados de forma inadequada, eles são geralmente mantidos por questões de conformidade legal ou simplesmente por ser mais barato mantê-los do que organizá-los e expurgá-los, isso acontece porque quando recebemos ou geramos uma informação, diversas outras são criadas simultaneamente, muitas vezes sem que percebamos. Vamos visualizar isso com um exemplo prático:

Imagine que você está acessou uma loja virtual pela primeira vez e resolveu fazer uma compra. Durante esse processo, além dos dados básicos que você fornece, como nome, email, endereço e dados de pagamento, uma série de outras informações são registradas. Essas incluem:

• Data e hora em que seu cadastro foi criado;
• Produtos que você pesquisou antes de fechar o seu carrinho de compras;
• Página de origem, se você chegou ao site por meio de uma recomendação ou link específico.
• Tempo gasto para completar o registro;
• Dados de desempenho, registrando quanto tempo cada componente do software levou para processar cada etapa do cadastro;

Cada uma dessas informações é registrada de forma diferente, dependendo da sua natureza e do sistema que a gerou:

• Dados principais, como seu cadastro, são armazenados em um banco de dados porque precisam ser acessados regularmente;
• Dados de pagamento são verificados com uma empresa de meios de pagamento e o resultado dessa verificação traz novas informações para serem armazenadas, geralmente em bancos de dados não estruturados;
• Logs de desempenho e tempo, por outro lado, são provavelmente armazenados em arquivos de log. Estes podem ser arquivados e só consultados futuramente se houver necessidade de investigar algum problema técnico;

Isso ilustra como, para cada dado que recebemos ou geramos, muitos outros são criados e armazenados em diferentes locais e formatos. Esse volume de dados adicionais, muitas vezes não utilizados, é o que chamamos de dark data. Essa situação pode se tornar um problema devido ao acúmulo e à complexidade de gerenciamento dessas informações, mas falaremos disso mais adiante.

O potencial oculto

Para a inteligência artificial, esses dados obscuros, representam uma oportunidade valiosa, os modelos de IA prosperam em grandes volumes de dados, pois precisam de diversidade e riqueza para melhorar suas previsões e decisões. Vejamos alguns exemplos:

• Setor financeiro: logs de transações enriquecem o conjunto de informações para uma análise de prevenção de fraudes, concessão de crédito ou ainda uma subscrição de uma apólice de seguro;
• Saúde: logs de equipamentos médicos ou de dispositivos de usuários podem colaborar com mais informações para identificar correlações entre sintomas e doenças. A análise do comportamento de instrumentos médicos e laboratoriais pode colaborar com a elaboração de novas drogas. O estoque de imagens de diagnósticos e exames laboratoriais podem enriquecer o arcabouço de informações disponíveis para análise por modelos de IA;
• E-commerce: registros de navegação e cliques esquecidos pode revelar preferências de clientes e melhorar recomendações de produtos.;
• Cibersegurança: logs de acesso e registros de atividades armazenados, mas não analisados, podem ajudar a identificar comportamentos maliciosos ou tentativas de ataque em fases iniciais, permitindo ações preventivas mais eficazes, ou ainda oportunidades de melhoria de infraestrutura de tecnologia;

A IA se beneficia de diversas formas dos dark data, uma vez que mais dados geram modelos mais robustos e capazes de lidar com cenários complexos, desta forma, muitas indústrias podem se beneficiar de seu uso, já que eles oferecem mais representatividade e diversidade ao conjunto de dados.

Desafios e riscos

Embora o potencial seja enorme, deixar esse tipo de informação sem gerenciamento adequado pode acarretar diversos riscos como:

• Custo de armazenamento: manter grandes volumes de dados sem uso gera despesas desnecessárias;
• Conformidade e segurança: dados sensíveis podem estar ocultos, representando riscos de violação de privacidade, além de violações a legislações como LGPD e GDPR;
• Oportunidades perdidas: insights valiosos permanecem inexplorados, limitando a inovação ou deixando passar perdas que poderiam ser identificadas;
• Maior exposição: quanto mais você guarda, mais você tem que proteger, portanto, quanto mais dados não gerenciados e sem uma governança ativa, mais exposta sua organização fica;
• Impacto ambiental: além do custo elevado para a manutenção dos dados, há o custo ambiental, afinal, a infraestrutura de tecnologia tem seu impacto no meio ambiente e o uso consciente dos recursos é sempre uma boa prática.

• Desmaterialização: há muita informação que ainda não está digitalizada, e, portanto, não conseguimos utilizar em nenhum modelo ou agregá-la a nenhuma base de dados. Documentos em papel, processos manuais e documentados apenas de maneira informal são exemplos de dados que estão "na mais profunda escuridão".

É importante entender, que boa parte dos dados possui um prazo de validade. Algumas informações têm data de expiração explícita, como o vencimento de um cartão de crédito ou a expiração de um contrato, que mesmo após vencidas ainda podem ter valor legal ou para análises históricas. Outras, como o número de telefone ou endereço de um cliente, não possuem uma data definida de expiração, e por isso muitas vezes os sistemas pedem uma atualização cadastral. Há ainda dados completamente efêmeros, como a localização de um cliente em tempo real ou a temperatura de uma sala, que perdem seu valor se não forem utilizados imediatamente.

Como transformar dark data em valor real?

Apesar do grande volume e dos diversos formatos, há alguns caminhos que podemos tomar para tirar valor desses dados.

1. Inventário e Classificação: para "iluminarmos" nossos dados, o primeiro passo é identificar onde estão armazenados seus dados e qual o tipo de informação está disponível;

2. Processamento e estruturação: o segundo passo é tirar nossos dados das "sombras", para isso, podemos utilizar ferramentas de ETL (Extract, Transform, Load) para preparar e movimentar os dados de forma organizada.

3. Aplicação de IA e Machine Learning: um próximo passo, seria implementar modelos de IA para analisar padrões e extrair insights dessa nova massa de dados que surgiu.

4. Governança e Segurança: paralelamente ao passo anterior, devemos estabelecer políticas claras para conformidade e proteção de dados sensíveis que por ventura surgirem das nossas descobertas.

Está na hora de iluminar seus dark data

Dark Data não são apenas informações esquecidas — eles representam um recurso subutilizado que pode redefinir como sua empresa utiliza a IA e a análise de dados. Ignorá-los é desperdiçar uma vantagem competitiva em potencial.

Pronto para transformar dados esquecidos em decisões mais inteligentes? Compartilhe nos comentários como sua empresa lida com Dark Data ou me chame para uma conversa sobre como podemos explorar juntos esse potencial oculto!