A governança da decisão automatizada

Os primeiros debates sobre inteligência artificial na saúde concentraram-se na capacidade técnica dos algoritmos. Em seguida, a atenção voltou-se para os ganhos operacionais decorrentes da automação de processos. Mais recentemente, consolidou-se a compreensão de que desempenho computacional e conformidade regulatória pertencem a planos distintos de análise. A evolução natural dessa discussão conduz agora a uma questão mais profunda: quem governa as decisões produzidas por sistemas automatizados?

Essa pergunta desloca o foco da tecnologia para a organização. O elemento decisivo deixa de ser o algoritmo isoladamente considerado e passa a ser a estrutura institucional capaz de definir como, quando, por quem e sob quais critérios uma decisão automatizada pode produzir efeitos em ambientes regulados.

É precisamente nesse ponto que se estabelece uma das principais diferenças entre organizações maduras e organizações regulatoriamente frágeis. A maturidade institucional não decorre da sofisticação tecnológica adotada, mas da capacidade de construir mecanismos permanentes de governança capazes de transformar automação em decisão legitimamente administrável.

Governar uma tecnologia não significa, necessariamente, governar as decisões que ela influencia.

Essa distinção altera profundamente a forma de compreender a governança da inteligência artificial.

A governança tecnológica concentra-se na infraestrutura que sustenta um determinado sistema. Abrange aspectos relacionados à arquitetura computacional, segurança da informação, desenvolvimento de software, disponibilidade operacional, proteção de dados, atualização de versões, controles de acesso e manutenção dos ambientes tecnológicos.

Todos esses elementos são indispensáveis. Nenhum deles responde sozinho pela legitimidade institucional das decisões produzidas com apoio da inteligência artificial.

A governança da decisão automatizada possui objeto diverso. Seu foco não é o funcionamento da tecnologia, mas o funcionamento da organização diante da tecnologia.

Enquanto a primeira pergunta se um sistema opera corretamente, a segunda pergunta se a instituição permanece capaz de compreender, controlar, justificar, revisar e assumir responsabilidade pelas decisões que esse sistema influencia.

Essa mudança de perspectiva altera profundamente a forma como organizações reguladas devem estruturar seus processos internos.

Em ambientes regulatórios complexos, nenhuma decisão relevante pode existir apenas porque um algoritmo a produziu. Toda decisão institucional precisa permanecer integrada ao sistema de governança da organização.

Isso significa que decisões automatizadas não eliminam responsabilidades. Ao contrário, ampliam a necessidade de definir responsabilidades formais.

Cada etapa do processo decisório exige definição clara de competências institucionais.

É necessário identificar quem autoriza determinado modelo para uso operacional, quem valida seus resultados antes da implementação, quem acompanha seu desempenho ao longo do tempo, quem possui autoridade para interromper sua utilização diante de comportamentos inesperados e quem responde institucionalmente pelos efeitos produzidos.

A ausência dessas definições cria um fenômeno recorrente nas organizações que adotam soluções de inteligência artificial de forma acelerada: sistemas capazes de produzir respostas, mas incapazes de indicar quem responde por elas.

Nesse cenário, a automação substitui o procedimento, mas não substitui a governança.

Governança pressupõe arquitetura institucional.

Essa arquitetura vai além da distribuição formal de cargos ou departamentos. Ela organiza fluxos decisórios, estabelece critérios objetivos de validação, determina mecanismos de aprovação, define pontos obrigatórios de intervenção humana, cria procedimentos de documentação e institui ciclos permanentes de revisão.

Não se trata de controlar a inteligência artificial como um equipamento tecnológico.

Trata-se de controlar institucionalmente o processo decisório do qual a inteligência artificial passa a participar.

Essa perspectiva aproxima a inteligência artificial dos próprios fundamentos clássicos da governança regulatória.

Em setores sujeitos à supervisão sanitária, auditorias e sistemas de gestão da qualidade, decisões nunca foram avaliadas apenas por seus resultados. Sempre foram avaliadas também pela capacidade de demonstrar como foram produzidas.

Esse princípio permanece inalterado diante da automação.

Uma decisão automatizada somente alcança maturidade institucional quando pode ser reconstruída integralmente.

Reconstruir significa permitir que terceiros compreendam, posteriormente, quais informações foram utilizadas, quais critérios foram aplicados, quais parâmetros estavam vigentes, quais validações foram realizadas, quais controles humanos permaneceram ativos e quais fundamentos sustentaram a decisão produzida.

Essa capacidade de reconstrução transforma-se em requisito essencial da governança.

Sem reconstruibilidade não existe rastreabilidade.

Sem rastreabilidade não existe auditabilidade.

Sem auditabilidade desaparece a possibilidade de responsabilização institucional.

Nesse contexto, a explicabilidade dos algoritmos, embora relevante, não resolve integralmente o problema regulatório.

Mesmo quando determinado modelo apresenta funcionamento suficientemente compreensível, permanece indispensável documentar o processo institucional que autorizou sua utilização.

Mais do que compreender o funcionamento do sistema, a instituição deve demonstrar por que aquele sistema foi considerado adequado para determinado contexto, quais critérios justificaram sua adoção, quais limitações foram previamente reconhecidas e quais mecanismos permanecem disponíveis para revisar suas conclusões.

A decisão institucional nunca se reduz ao resultado computacional.

Ela incorpora o conjunto de escolhas organizacionais que tornaram possível confiar naquele resultado.

Essa lógica aproxima a governança da decisão automatizada da própria cultura dos sistemas de gestão da qualidade.

Processos críticos não dependem exclusivamente de controles preventivos implementados no momento inicial. Dependem igualmente de mecanismos permanentes de monitoramento, avaliação e melhoria contínua. A documentação sistemática, a definição de responsabilidades, a manutenção de registros, a análise crítica pela direção e a revisão periódica dos processos demonstram que a governança não se encerra na implementação, mas permanece como atividade contínua da organização.

O mesmo raciocínio aplica-se às decisões automatizadas.

A validação de um modelo representa apenas o início de sua governança.

Após sua entrada em operação, torna-se necessário acompanhar indicadores de desempenho, identificar desvios, monitorar alterações do contexto clínico, revisar parâmetros, registrar incidentes, avaliar impactos regulatórios e verificar continuamente se as premissas que justificaram sua utilização permanecem válidas.

A governança não é um projeto.

É um processo permanente.

Essa característica assume relevância ainda maior nos diversos ambientes regulados da saúde.

Hospitais utilizam sistemas automatizados para apoiar priorizações assistenciais, organização de fluxos, classificação de informações e gerenciamento operacional.

Operadoras incorporam modelos preditivos para análise de utilização, identificação de padrões e apoio à gestão assistencial.

Clínicas ampliam progressivamente o uso de ferramentas inteligentes em atividades administrativas e clínicas.

Healthtechs desenvolvem soluções baseadas em algoritmos que passam a integrar processos decisórios de terceiros.

Fabricantes de dispositivos médicos incorporam funcionalidades inteligentes em produtos cujo ciclo regulatório exige demonstração contínua de segurança, desempenho e controle de qualidade.

Embora essas organizações apresentem estruturas distintas, compartilham um desafio comum.

Nenhuma delas transfere sua responsabilidade institucional ao algoritmo, independentemente do nível de autonomia tecnológica empregado.

A responsabilidade continua pertencendo à organização.

É precisamente por isso que supervisão humana ocupa posição central na governança da decisão automatizada.

Supervisionar não significa repetir integralmente o trabalho executado pelo sistema nem atuar apenas como instância formal de aprovação.

Supervisão efetiva pressupõe capacidade real de compreender quando intervir, identificar situações que escapam às premissas originalmente consideradas, revisar resultados inconsistentes, interromper processos automatizados quando necessário e preservar autonomia decisória diante das recomendações produzidas pela tecnologia.

A intervenção humana deixa de representar obstáculo à automação.

Passa a constituir elemento estrutural da própria legitimidade institucional da decisão.

Esse entendimento conduz inevitavelmente ao dever de prestação institucional de contas.

Frequentemente compreendido apenas como responsabilização posterior, esse dever revela dimensão muito mais ampla quando aplicado à inteligência artificial. Uma organização verdadeiramente responsável não apenas responde pelos resultados alcançados.

Ela demonstra previamente que construiu condições institucionais para produzir decisões confiáveis.

A capacidade de prestar contas é construída antes que qualquer problema aconteça.

Sob essa perspectiva, governança deixa de ser mera exigência regulatória e passa a representar capacidade institucional.

Organizações maduras não se distinguem porque automatizam mais, mas porque permanecem capazes de governar aquilo que automatizam.

A sofisticação tecnológica pode ser adquirida relativamente rápido.

A construção de uma arquitetura institucional capaz de sustentar decisões automatizadas exige tempo, disciplina organizacional, cultura de documentação, gestão estruturada de riscos e compromisso permanente com a verificabilidade das próprias decisões.

Talvez esse seja o verdadeiro marco de maturidade da inteligência artificial na saúde.

O futuro não pertencerá às instituições que simplesmente acumularem algoritmos cada vez mais sofisticados, mas àquelas que conseguirem demonstrar, de forma consistente, que nenhuma decisão automatizada está acima da governança que a sustenta.

Em ambientes regulados, confiança não decorre da capacidade de automatizar decisões.

Decorre da capacidade permanente de explicá-las, reconstruí-las, revisá-las e assumi-las institucionalmente.