Dados de nicho: quando um conjunto pequeno vence um grande

Um conjunto de dados pequeno e mantido em dia pode vencer um enorme e genérico. Também pode custar-lhe muito mais do que alguma vez devolve. A diferença não está no número de linhas, mas na velocidade a que os seus dados deixam de estar certos e em saber se alguém age a partir deles.

É assim que se distinguem os dois casos antes de investir um trimestre no errado.

Em resumo

• Ter dados não é, por si só, uma vantagem defensável. Mantê-los atualizados, mais depressa do que os outros se dão ao trabalho, aproxima-se disso.
• O número que decide tudo é a fração dos seus dados que fica errada por ano. Meça-a antes de comprar seja o que for.
• Dados sobre os quais ninguém age são um custo, por melhores que sejam.
• O pequeno ganha quando o conjunto é delimitado, está atual e liga-se a uma decisão que alguém toma esta semana.
• Não fazer nada é uma opção real e, abaixo de certo volume, ganha tanto a construir como a comprar.

Comece pelos argumentos contrários

A história de "os nossos dados próprios são o nosso fosso" é mais frágil do que parece, e os céticos têm as melhores provas.

A Andreessen Horowitz analisou os efeitos de rede baseados em dados e concluiu que a maioria são, na verdade, efeitos de escala, que estabilizam. No seu exemplo de um chatbot de suporte, para além de cerca de 40 % das perguntas recolhidas, mais dados deixaram de trazer vantagem (The Empty Promise of Data Moats).

Maior e mais especializado também não ganha automaticamente. O BloombergGPT foi treinado com 363 mil milhões de palavras de texto financeiro proprietário, e um modelo geral bateu-o mesmo assim nos testes financeiros para que fora construído. A IBM passou anos e cerca de 4 mil milhões de dólares a juntar dados de saúde para o Watson Health, e depois vendeu os ativos. A Zillow fechou o seu braço de compra de casas após um prejuízo trimestral de 422 milhões de dólares nesse segmento.

Quase toda essa investigação é sobre treino de modelos grandes. Você provavelmente não treina nada: dá alguns milhares de linhas a um agente, uma situação diferente e mal medida. Isso corta nos dois sentidos: o caso contra si é mais fraco do que parece, e o caso a seu favor também.

O único número que decide tudo

Pergunte que fração dos seus dados fica errada num ano. Os preços mexem-se, as pessoas mudam de emprego, os anúncios desaparecem, as regras são alteradas.

Meça, não adivinhe. Pegue numa amostra de registos, volte a verificá-los umas semanas depois contra algo fiável e conte quantos mudaram. Esse único número diz-lhe três coisas ao mesmo tempo: com que frequência atualizar, quanto custa essa atualização, e durante quanto tempo uma cópia roubada do seu ficheiro continua útil.

Leia bem a última coluna, porque é a parte que toda a gente inverte. Dados lentos são baratos de manter e triviais de copiar. Dados rápidos são caros de manter e difíceis de copiar. "Procure dados baratos de manter" e "procure dados defensáveis" são instruções opostas, e a maioria das equipas recebe as duas.

Uma ressalva honesta sobre a tabela: a cadência assume um envelhecimento constante. As fontes web degradam-se sobretudo no primeiro ano, por isso atualize mais cedo do que a tabela indica em tudo o que não controla.

Um conjunto de dados de nicho válido é suficientemente pequeno para ser lido linha a linha. Seis produtos acompanhados, um preço cada, e uma data de última observação que permite medir a que ritmo caduca.

Cinco perguntas antes de investir

Resolvem-se numa semana. Se uma fonte falhar na pergunta 2 ou na 4, pare aí.

A pergunta 4 elimina a maioria dos candidatos, e é a que se salta. Um conjunto de dados que nunca muda a decisão de ninguém não é um ativo, é uma assinatura.

Construir, comprar ou não fazer nada

Quase todas as comparações opõem construir a comprar e esquecem a terceira opção. Não fazer nada tem valor real: continua a decidir como já decide, a custo zero.

Se construir compensa depende do volume. Um caso ilustrativo: 4.000 linhas, cerca de 30.000 dólares para construir, cerca de 11.000 dólares por ano de manutenção e 60 dólares de valor por decisão melhorada. São pressupostos de trabalho, não medições, mas o útil é a forma que produzem.

Mova qualquer entrada e o ponto de viragem move-se com ela. A lição não é o número exato: é que uma decisão pouco frequente quase nunca paga um conjunto de dados, por melhor que ele seja.

Comprar ganha num caso concreto: quando um fornecedor é quase tão exato como você seria no seu nicho. Teste isso antes de assinar. Pegue em 200 registos dele dentro do seu nicho e verifique-os você mesmo.

Onde os dados de nicho ganham mesmo

Quatro situações sobrevivem a todas as objeções acima.

• Regista uma decisão que só você toma. A coluna do resultado não se recolhe: ganha-se, uma decisão de cada vez.
• Observa acontecimentos que mais ninguém consegue cruzar. Outros podem ver o acontecimento. Só você o tem ligado ao seu contexto e ao seu resultado.
• Os dados mudam depressa e assume isso como custo corrente. Um alvo em movimento não se rouba de uma vez: é preciso financiar a mesma atualização, indefinidamente.
• O conjunto é pequeno o suficiente para ser verificado por inteiro. Com alguns milhares de linhas, verifica-se tudo. Com algumas centenas de milhares, ninguém paga essa conta.

E onde não: um fornecedor já o vende como produto, os dados quase não mudam e são públicos, o volume de decisões é demasiado baixo, ou a tarefa é raciocinar e não consultar.

Perguntas frequentes

De quantos dados preciso mesmo?

De menos linhas do que pensa e de mais frescura do que pensa. Cem linhas atuais e verificadas só batem um milhão desatualizadas se cobrirem exatamente a decisão em causa. A cobertura da decisão importa mais do que o número de linhas.

Comprar um conjunto de dados é alguma vez o certo?

Sim, quando o fornecedor se aproxima da sua exatidão no seu nicho e o seu volume de decisões está na faixa intermédia. Compre a massa que qualquer um copia e construa apenas a coluna que mais ninguém consegue produzir.

Como evito que um conjunto de dados caduque em silêncio?

Ponha uma data de última verificação em cada linha e atualize primeiro as mais antigas. Atualizar ao acaso deixa sempre uma cauda de linhas muito velhas, gaste o que gastar, e são justamente essas que o deixam mal.

Qual é o erro mais comum?

Recolher primeiro e procurar a decisão depois. Se não consegue nomear quem age com o dado e com que frequência, a resposta não é "mais dados".

O passo seguinte

Dê-lhe uma semana. Meça a velocidade a que os seus dados ficam errados, passe as cinco perguntas e confirme que alguém muda mesmo uma decisão por causa deles. Se a fonte passar, o passo seguinte é ligá-la a algo que funcione sozinho: do conjunto de dados ao workflow que corre sozinho.