Janium Collect puede reconocer que un documento ya está catalogado aunque llegue con otro nombre, desde otra carpeta o escaneado otra vez, y lo hace en dos comprobaciones: la firma del archivo para la copia exacta y el parecido del texto para el segundo escaneo. Las dos se activan por institución, y por omisión solo avisan: la copia se cataloga y el reporte del lote dice de qué registro es copia.
La copia exacta, por su firma
Antes de enviar un archivo al modelo, Collect calcula su firma SHA-256 y la busca entre los registros de la misma institución. Un PDF idéntico tiene la misma firma aunque se llame distinto o esté en otra carpeta, de modo que la copia se reconoce sin leerla. En un fondo documental, esa comprobación encontró 68 pares del mismo PDF guardados en dos carpetas distintas, que hasta entonces se habían catalogado dos veces. Es una comprobación distinta del apartado que ya hacen los canales que reciben PDF armados, donde un PDF idéntico a otro ya entregado se aparta en una carpeta de duplicados y no entra en el lote, como se cuenta en Por dónde entra el material a Collect.
El segundo escaneo, por su texto
Dos escaneos del mismo documento, o el original firmado frente a su edición impresa, son archivos distintos con casi el mismo texto. Para esos casos, Collect calcula una huella del texto extraído a partir de sus frases de cinco palabras y la compara con las de los demás registros de la institución. Dos registros se señalan cuando las frases que comparten llegan al 85 % de todas las frases de los dos textos, un umbral que la institución puede ajustar.
La medida compara los dos textos completos y no si uno está contenido en el otro. Con la segunda, una gaceta oficial salía parecida a cada una de las normas que publica, y en una sola institución daba 253 pares falsos. Medida sobre cuatro instituciones, la comparación completa encontró 40 pares, todos del mismo título.
Lo que recibe la institución
La copia se cataloga y sale en su lote como cualquier otro registro. El lote lleva una lista de duplicados con el registro original, el motivo (firma o texto) y, cuando es por texto, el grado de parecido, y el reporte de calidad añade a la copia el aviso de duplicado sin cambiar su puntuación. El reporte semanal suma el número de copias de la semana.
Omitir la copia, es decir, no catalogarla ni entregarla, es una opción explícita que la institución elige. Los registros catalogados antes de activar la comprobación también se pueden firmar y medir, de modo que la comparación cubre lo que ya estaba en el catálogo.
Límites de la comparación
El texto corto. En una biblioteca, el texto que se lee de un libro suele ser la portada y la página legal, y dos tomos de una misma serie se parecen tanto como dos ejemplares del mismo libro. Por eso la comparación por texto exige un mínimo de 300 frases en cada documento, y un libro con menos texto solo se compara por su firma.
La firma exacta. Basta con que un PDF se vuelva a guardar o se recorte para que su firma cambie. Esa copia ya no se reconoce por la firma, y solo la detecta la comparación por texto si tiene texto suficiente.
La decisión. La comparación señala la copia y su registro original, y quien conoce el fondo decide si son el mismo documento, dos versiones que conviene conservar o un falso parecido.
Para continuar la conversación
Si sospechas que tu fondo tiene documentos repetidos entre carpetas o escaneados más de una vez, escríbenos a info@janium.com. Nos interesa saber cómo están organizadas tus carpetas y si los duplicados te interesa verlos en el reporte o dejarlos fuera del lote.