Quando uma instituição avalia usar um modelo de linguagem para descrever o seu acervo, a primeira pergunta não é o quão rápido ele vai, mas o quão confiável é o que produz. É a pergunta certa. Um modelo enriquece: identifica o material e completa o registro com dados que o documento não trazia, como uma data, alguns assuntos ou um ISBN, tirados do seu conhecimento. Esse enriquecimento é o valor e ao mesmo tempo o risco, porque um dado plausível pode ser falso. E um dado falso entra no catálogo, parece igual a qualquer outro e pode ficar ali por anos antes que alguém o questione.
A confiança não vem de o modelo não acrescentar nada, porque isso o tornaria inútil, nem de afirmar que tudo o que acrescenta está correto. Vem de o estado de cada dado ser explícito, distinguindo o que se pôde confirmar contra uma fonte do que é inferência do modelo, e de ter com que deter o erro antes que ele chegue ao catálogo. Nenhum sistema que use um modelo de linguagem pode prometer zero erros; o que se pode é reduzi-los com mecanismos concretos, deixar assinalado o que não se pôde confirmar e fazer com que cada dado possa ser rastreado até a sua origem.
Saber de onde vem cada dado
O que se pode verificar, verifica-se e atribui-se; o que não, fica marcado como o que é. Quando o Collect valida um assunto ou um nome contra uma fonte, deixa anotado no registro com qual fonte o validou; quando um dado vem apenas do conhecimento do modelo, sem uma fonte que o respalde, fica sem essa anotação. A presença ou a ausência da atribuição é, em si, um sinal de com quanta certeza contar: diz ao catalogador o que está confirmado e o que convém revisar.
O ISBN é o caso que melhor mostra o limite, com duas situações distintas. Se o ISBN está impresso no documento (no colofão ou na contracapa), o Collect o coteja contra o texto de origem e confirma que foi transcrito, não inventado; essa é uma verificação contra a própria fonte, insensível a como os hifens estejam colocados. Se o ISBN não aparece no documento e vem apenas do conhecimento do modelo, não há contra o que confirmá-lo a não ser um catálogo bibliográfico externo, quando a instituição o tem disponível. Sem essa fonte, esse ISBN inferido não pode ser confirmado, e o Collect não o apresenta como se estivesse: fica sem atribuição, conta como dado sem respaldo na pontuação do registro e entra em revisão. Apresentar um ISBN inferido como verificado seria justamente o tipo de afirmação plausível que esta abordagem busca evitar.
Verificar contra autoridades
Onde o dado pode ser confrontado contra uma fonte de autoridade, o Collect o confronta. Os nomes de pessoas e entidades são validados contra o catálogo de autoridade da própria instituição (ILS) quando existe, e contra referências externas como VIAF, ISNI, os vocabulários de id.loc.gov ou os do Getty, na nuvem ou locais. A cascata tem uma ordem: primeiro a autoridade local, depois as externas e, como último recurso, uma regra de formato.
Isso responde a um problema conhecido da catalogação: que o mesmo autor apareça escrito de três formas e acabe como três pessoas no índice. Quando há coincidência com um registro de autoridade, o sistema insere o identificador dessa fonte junto ao nome, de modo que se possa rastrear com qual autoridade se validou. A verificação tem um limiar de confiança configurável; abaixo dele, o sistema não força uma coincidência duvidosa.
Calcular, não adivinhar, os campos com regras fixas
Alguns campos do catálogo não são matéria de interpretação: derivam de uma regra. O número de classificação (o Cutter na classificação Dewey, o Cutter LC) e o nível de descrição arquivístico em ISAD-G são calculados de forma determinística, com a tabela ou o algoritmo correspondente, em vez de pedi-los ao modelo.
A razão é simples: onde existe uma regra pública e estável, aplicá-la dá a resposta correta sempre pela mesma via, e não faz sentido deixar um modelo resolver por aproximação algo que se resolve por cálculo. O modelo é reservado para o que de fato requer ler e compreender o documento; o mecânico é tratado como mecânico.
Avaliar e marcar cada registro
Cada registro passa por uma avaliação que o pontua segundo um perfil por formato e instituição, que define quais campos exige, com que peso e quanto se pôde respaldar. O resultado é uma pontuação, e quando fica abaixo do limiar, o sistema estampa no registro uma nota visível que o marca para revisão. Essa pontuação é o que permite a revisão por exceção: em escala, o catalogador atende ao que o sistema assinala em vez de olhar cada registro. A nota é estampada sempre, ainda que a escalada a um modelo maior esteja desligada.
Barrar o lote degradado antes de entregá-lo
Há um último controle quando o lote está pronto para ser entregue ao catálogo. Antes de dá-lo por bom, o sistema o compara contra o que entrou e o detém se detecta que algo se degradou no caminho, por exemplo registros que perderam o vínculo com o seu documento de origem ou que ficaram sem um campo obrigatório. Deter significa que o lote não é entregue e o processo termina com um erro explícito, não que ele é entregue com um aviso ao pé que ninguém lerá.
É o tipo de perda silenciosa que, sem este controle, aparece quando já está no catálogo. Exportar mesmo assim é possível, mas é uma decisão consciente do operador, não o que ocorre por padrão.
O que fica nas mãos das pessoas
Nenhum destes mecanismos elimina a revisão humana, e não pretendem fazê-lo; mudam em que ela é gasta. O material que chega ao catalogador já traz a sua proveniência marcada, os seus nomes validados, os seus campos com regra calculados, a sua pontuação e, se aplicável, a sua nota de revisão. A revisão deixa de ser uma recaptura do zero e concentra-se no juízo que requer uma pessoa que conhece o acervo: o ambíguo, o que o sistema marcou, o que nenhuma fonte pôde confirmar.
A verificação contra autoridades só cobre os nomes que essas autoridades conhecem; um autor local sem registro externo é normalizado por formato, não é confirmado. O enriquecimento a partir do conhecimento do modelo pode errar, e o que não se validou contra uma fonte, como um ISBN ou às vezes a data, apoia-se na identificação, na pontuação e na revisão, não numa comprovação contra um registro real. E o filtro de qualidade de saída comprova a integridade do lote, não a exatidão de cada campo de cada registro; isso segue sendo trabalho de revisão.
A confiança em um catálogo não vem de afirmar que o sistema não erra, mas de poder assinalar onde ele poderia errar e o que o contém. Se a sua instituição avalia introduzir IA na descrição do seu acervo e quer entender quais destes controles se aplicam à sua norma de catalogação e ao seu fluxo de revisão, escreva para info@janium.com.