Quase qualquer ferramenta de catalogação com IA parece boa numa demonstração. Ela pega um documento e em segundos devolve um registro completo, com os campos preenchidos e bem formados. Mas essa primeira impressão não responde à pergunta decisiva para uma instituição com acervo: esse registro é confiável dentro do seu catálogo, onde um dado equivocado fica invisível e permanente? As perguntas a seguir são as que o determinam, e servem para avaliar qualquer ferramenta, a nossa inclusive.
De onde vem cada dado? Um modelo de IA faz algo mais do que ler o documento: ele completa campos que o documento não trazia, a partir do que já sabe. Isso é útil e ao mesmo tempo arriscado, porque um dado que parece correto pode ser falso. Pergunte se a ferramenta distingue o que verificou do que deduziu, e se o deixa marcado. Numa boa resposta, os nomes e os assuntos que foram validados contra uma fonte saem com essa fonte anotada no registro, e o que vem apenas do modelo fica sem essa marca, para que você saiba o que convém revisar.
Contra quais autoridades verifica, e funcionam com seus sistemas? O controle de autoridades é o que evita que um mesmo autor entre no catálogo com três grafias distintas e acabe como três pessoas. Pergunte contra quais fontes ela confronta os nomes e os assuntos, desde vocabulários universais até o seu próprio catálogo de autoridade. E se o seu material não pode sair da instituição, pergunte se essa verificação também funciona sem conexão com o exterior, contra os seus sistemas.
Calcula o que tem regra, ou adivinha? Alguns campos têm uma resposta correta, não uma estimativa: o número de classificação, certos subcampos, o nível de descrição arquivística. Pergunte se a ferramenta os calcula seguindo a regra ou se os pede ao modelo. Quando existe uma regra pública, aproximar não basta.
O registro está correto na norma, não só na forma? Um padrão como MARC21, ISAD-G ou CDWA não é apenas uma estrutura de campos: traz regras sobre proveniência, hierarquia, repetição de campos e vocabulário. Peça um registro real na sua norma e revise-o contra a norma, não contra a sua aparência. Um registro pode ter a forma correta de MARC e ainda assim estar errado.
Avalia e marca cada registro? Em escala, ninguém revisa registro por registro. Pergunte se a ferramenta pontua cada um e marca os que não atingem um mínimo, para que a revisão se concentre no que foi assinalado. Sem isso, você recebe um lote inteiro sem saber quais olhar.
Ajusta-se ao seu acervo, ou é tamanho único? O mesmo documento, sob o mesmo padrão, é catalogado de forma diferente em cada instituição, conforme seu quadro de classificação, suas autoridades e o idioma em que descreve. Peça para vê-la configurada para o seu esquema, não uma demonstração genérica. Se não puder se ajustar ao seu acervo, dificilmente será correta para você.
Se o seu material não pode sair, processa na sua infraestrutura? Alguns acervos não podem sair da instituição: expedientes sensíveis ou regulados, e também, numa biblioteca, as teses com propriedade intelectual restrita. Para esses casos, pergunte se a ferramenta roda em seus próprios servidores, inclusive numa rede isolada da internet, e que informação sai em cada modo de operação: se tudo é processado localmente, ou se algo é enviado para fora já anonimizado.
Diz onde falha? Um fornecedor que promete nunca errar está escondendo o risco, não o eliminando. A resposta séria explica como detecta e marca seus erros: do que depende a qualidade do resultado, sobretudo da qualidade do material de partida, em que casos rende menos e como avisa você. Que uma ferramenta reconheça seus limites diz mais sobre sua confiabilidade do que qualquer número.
Se você está avaliando ferramentas de catalogação com IA e quer contrastar estas perguntas com o seu acervo e a sua norma, escreva para info@janium.com e dizemos onde o Collect se encaixa e onde não.