← Blog

O mesmo documento duas vezes: duplicados por assinatura e por texto

O Janium Collect consegue reconhecer que um documento já está catalogado ainda que chegue com outro nome, a partir de outra pasta ou digitalizado outra vez, e fá-lo em duas verificações: a assinatura do ficheiro para a cópia exata e a semelhança do texto para a segunda digitalização. Ambas se ativam por instituição e, por predefinição, apenas avisam: a cópia é catalogada e o relatório de qualidade do lote indica de que registo é cópia.

A cópia exata, pela sua assinatura

Antes de enviar um ficheiro ao modelo, o Collect calcula a sua assinatura SHA-256 e procura-a entre os registos da mesma instituição. Um PDF idêntico tem a mesma assinatura ainda que se chame de outra forma ou esteja noutra pasta, pelo que a cópia se reconhece sem a ler. Num fundo documental, essa verificação encontrou 68 pares do mesmo PDF guardados em duas pastas diferentes, que até então se tinham catalogado duas vezes. É uma verificação distinta da que já fazem os canais que recebem PDF já montados, onde um PDF idêntico a outro já entregue é posto de parte numa pasta de duplicados e não entra no lote, como se conta em Por onde entra o material no Collect.

A segunda digitalização, pelo seu texto

Duas digitalizações do mesmo documento, ou o original assinado face à sua edição impressa, são ficheiros distintos com quase o mesmo texto. Para esses casos, o Collect calcula uma impressão digital do texto extraído a partir das suas frases de cinco palavras e compara-a com as dos restantes registos da instituição. Dois registos são assinalados quando as frases que partilham chegam a 85 % de todas as frases dos dois textos, um limiar que a instituição pode ajustar.

A medida compara os dois textos completos, em vez de verificar se um deles está contido no outro. Com esta última, um jornal oficial surgia como semelhante a cada uma das normas que publica, e numa única instituição dava 253 pares falsos. Medida em quatro instituições, a comparação completa encontrou 40 pares, todos do mesmo título.

O que a instituição recebe

A cópia é catalogada e sai no seu lote como qualquer outro registo. O lote leva uma lista de duplicados com o registo original, o motivo (assinatura ou texto) e, quando é por texto, o grau de semelhança, e o relatório de qualidade acrescenta à cópia o aviso de duplicado sem alterar a sua pontuação. O relatório semanal soma o número de cópias da semana.

Omitir a cópia, isto é, não a catalogar nem a entregar, é uma opção explícita que a instituição escolhe. Os registos catalogados antes de se ativar a verificação também se podem assinar e medir, pelo que a comparação abrange o que já estava no catálogo.

Limites da comparação

O texto curto. Numa biblioteca, o texto que se lê de um livro costuma ser a capa e a ficha técnica, e dois tomos da mesma coleção parecem-se tanto como dois exemplares do mesmo livro. Por isso a comparação por texto exige um mínimo de 300 frases em cada documento, e um livro com menos texto só se compara pela assinatura.

A assinatura exata. Basta que um PDF seja guardado de novo ou recortado para que a sua assinatura mude. Essa cópia deixa de se reconhecer pela assinatura, e só a comparação por texto a deteta, se tiver texto suficiente.

A decisão. A comparação assinala a cópia e o seu registo original, e quem conhece o fundo decide se são o mesmo documento, duas versões que convém conservar ou uma falsa semelhança.

Para continuar a conversa

Se suspeita que o seu fundo tem documentos repetidos entre pastas ou digitalizados mais de uma vez, escreva-nos para info@janium.com. Interessa-nos saber como estão organizadas as suas pastas e se prefere ver os duplicados no relatório ou deixá-los fora do lote.