A soberania dos dados é o princípio de que certa informação não pode sair da instituição que a custodia: nem para um servidor externo, nem para um serviço na nuvem. Não é um tecnicismo. Um arquivo com processos pessoais ou documentação de governo reservada, ou contratos com cláusulas de confidencialidade, são material que, por lei de residência de dados, por política interna ou pelo próprio conteúdo, tem de ficar dentro.
Catalogar com IA esbarra de frente nisso. A forma habitual de usar um modelo de linguagem —o tipo de inteligência artificial por trás de ferramentas como o ChatGPT— é enviar o documento a um serviço na nuvem, que o processa nos servidores de um terceiro. Para o material restrito, isso não é uma opção. A pergunta deixa de ser se a IA pode catalogar e passa a ser se pode fazê-lo sem que os documentos saiam da instituição.
Nem todo acervo tem essa restrição na mesma medida. O catálogo de uma biblioteca é, no fim, informação pública, então para a coleção geral a soberania raramente é o problema. Mas há uma exceção que a traz à biblioteca: as teses e trabalhos de conclusão sob embargo. Muitos, antes de serem publicados, contêm pesquisa inédita, segredos industriais ou propriedade intelectual ainda sem proteção, e por isso ficam restritos por um tempo. Catalogar uma tese com IA obriga o modelo a ler o documento inteiro, não só a capa, e esse documento não pode sair para um serviço de terceiros, ainda que o registro resultante venha a ser público. É o caso que justifica o processamento local mesmo onde o catálogo é aberto.
O Collect foi desenhado para esse caso. O processamento roda na infraestrutura da instituição, num servidor ou numa estação com GPU, com um modelo de linguagem que é executado localmente. Os documentos são lidos e convertidos em registros ali mesmo; não saem. Pode rodar sem conexão à internet, numa rede isolada (o que se chama air-gapped).
Quando uma instituição quer a qualidade de um modelo de fronteira —os modelos mais capazes e recentes, que rodam na nuvem— para os casos difíceis, há um modo híbrido. O modelo local faz a primeira passagem, e o que é escalado à nuvem passa antes por uma anonimização que substitui os dados pessoais que detecta por marcadores neutros (tokens); ao voltar, são re-identificados. A anonimização reduz a exposição de dados pessoais, mas não garante que não reste nenhum, e para esses casos o resto do conteúdo do documento sai da instituição. Por isso a escolha do modo é da instituição, conforme a sua política e o seu risco: tudo local, ou local com escalada anonimizada.
O controle de autoridade segue o mesmo princípio: pode ler fontes de autoridade e vocabulário controlado na nuvem, como id.loc.gov ou VIAF, ou nos próprios sistemas da instituição. Sem conexão externa, verifica os nomes e as matérias contra as autoridades e os vocabulários que a instituição tenha disponíveis.
O que raramente se encontra junto não é a IA soberana nem a catalogação isoladas, mas as duas ao mesmo tempo. Processar na sua infraestrutura é oferecido por vários fornecedores genéricos; produzir com isso um registro de catálogo é outra coisa: MARC21, ISAD-G ou CDWA, com controle de autoridade, corretores determinísticos e a avaliação de qualidade por registro. O Collect faz ambas: o material não sai, e o que produz é catalogável, não apenas texto extraído.
Dois fatores pesam na escolha do modo. Um modelo local rende abaixo de um de fronteira nos casos mais difíceis; o modo híbrido existe para isso, e o seu custo é que uma parte anonimizada do conteúdo sai da instituição. Além disso, a execução local pede uma máquina com GPU; não roda em qualquer equipamento. Com isso resolvido, o material permanece dentro e o registro sai catalogável.
Se a sua instituição tem material que não pode sair e precisa descrevê-lo, escreva para info@janium.com; interessa-nos entender a sua restrição, seja residência de dados, air-gap ou confidencialidade, e quanta margem ela deixa para a qualidade.