Entre os profissionais dos serviços de TI, a perda de controlo é um dos receios mais frequentes associados à adoção da IA. Existe o receio de que um sistema automatizado tome decisões operacionais erradas sem que ninguém se aperceba a tempo. É uma preocupação legítima. A resposta, porém, não passa por abdicar da automatização, mas por introduzi-la de forma gradual e controlada.
O mecanismo que permite alcançar este equilíbrio é o ITSM confidence scoring: mede o grau de “certeza” da IA em relação àquilo que propõe e, com base nessa avaliação, determina se pode avançar de forma autónoma ou se deve pedir a confirmação de um operador humano.
O que é o confidence scoring?
Sempre que um modelo de IA produz um resultado — uma categoria atribuída a um ticket, o encaminhamento para uma equipa ou a sugestão de um artigo da base de conhecimento — esse resultado pode ser acompanhado por um valor numérico que representa o seu grau de fiabilidade estimado. Esse valor é o confidence score.
Uma pontuação elevada significa que o modelo considera a sua proposta fiável e muito provavelmente correta, enquanto uma pontuação baixa indica incerteza.
O ITSM confidence scoring permite definir limiares e associá-los a ações concretas: acima de um determinado valor, a IA pode agir de forma autónoma; abaixo desse valor, a decisão é encaminhada para revisão humana.
O encaminhamento com base em limiares é um dos modelos de governação da IA mais utilizados em ambientes empresariais: os resultados acima do limiar são executados automaticamente, enquanto os restantes são enviados para revisão humana. Este modelo é conhecido como human-in-the-loop, uma abordagem que mantém uma pessoa integrada no processo de decisão automatizado.
A supervisão humana é uma prioridade
Os dados recolhidos pela EasyVista junto do seu Customer Advisory Board confirmam que o modelo baseado em limiares de confiança responde a uma necessidade real.
Mais de 80% dos inquiridos afirmam preferir um nível moderado a elevado de supervisão humana sobre as decisões da IA — 80% na América do Norte e 87% na região EMEA. Apenas uma minoria está disposta a confiar decisões à IA com pouca ou nenhuma supervisão humana.
O mesmo estudo mostra que existe uma maior predisposição para adotar IA em funções de apoio aos operadores — como a síntese de tickets, a análise orientada de casos ou a geração de respostas — do que em casos de utilização mais autónomos. Aplicações como a classificação automática da qualidade da CMDB ou o escalamento inteligente registam níveis de aceitação consideravelmente inferiores.
Da prudência à obrigação: o que prevê o AI Act
Esta prudência está também a tornar-se uma exigência regulamentar. O artigo 14.º do AI Act europeu determina que os sistemas de IA de alto risco devem ser concebidos de forma a permitir uma supervisão humana eficaz.
O ITSM confidence scoring é precisamente o mecanismo técnico que transforma este princípio numa prática operacional. Em vez de obrigar um operador a verificar manualmente todas as decisões tomadas pela IA — uma opção impraticável quando estão em causa milhares de tickets por dia —, direciona a atenção humana apenas para os casos que realmente necessitam de revisão, ou seja, aqueles em que o modelo revela menor confiança.
Desta forma, a supervisão torna-se seletiva, direcionada e documentável.
ITSM confidence scoring na prática: dos limiares à revisão
O valor do ITSM confidence scoring reside na possibilidade de o configurar de acordo com o risco. Nem todas as decisões têm o mesmo impacto, pelo que o limiar deve ser definido com base no custo de um eventual erro, e não apenas na precisão média do modelo.
Atividades tradicionalmente manuais e dependentes do julgamento dos operadores, como a categorização e o encaminhamento de incidentes, estão entre as aplicações de IA mais maduras no ITSM. O modelo classifica o pedido, estima a sua urgência e encaminha-o para a equipa mais adequada.
É precisamente nestes casos que o limiar de confiança faz a diferença.
Na categorização automática de tickets — uma atividade repetitiva, de baixo impacto e facilmente reversível — uma organização pode definir um limiar relativamente baixo. Por exemplo, se a IA apresentar um nível de confiança de 90%, a categoria pode ser aplicada sem intervenção humana.
Numa ação mais sensível, como o início automático de um procedimento de change — uma alteração planeada a um sistema em produção —, o limiar deverá ser muito mais elevado. Em alguns casos, a revisão humana deverá continuar a ser obrigatória, independentemente da pontuação.
Limiares diferentes para riscos diferentes
O mesmo princípio aplica-se para além da categorização.
Imagine-se a sugestão automática de um artigo da base de conhecimento a um operador que está a tratar de um ticket. Se a IA apresentar a sugestão com um elevado grau de confiança, o artigo pode ser mostrado diretamente em destaque. Ainda assim, o operador mantém a decisão final, mesmo que o risco seja reduzido.
O caso de uma resposta gerada pela IA e enviada automaticamente ao utilizador final é diferente. Uma sugestão incorreta chegaria diretamente à pessoa que abriu o pedido, com um impacto imediato na sua experiência.
Por essa razão, o limiar necessário para enviar a resposta sem supervisão deverá ser muito mais elevado. Em muitos contextos, a validação por parte de um operador continuará a ser obrigatória antes do envio.
É o custo do erro, e não a complexidade técnica da atividade, que determina onde deve ser definido o limiar.
O documento estratégico publicado pelo Customer Advisory Board da EasyVista descreve este modelo como Human-Governed Automation. São definidos níveis explícitos de tolerância à autonomia da IA, e o confidence scoring permite criar fluxos de aprovação condicionais.
Neste modelo, a revisão humana não é considerada um obstáculo, mas sim um mecanismo de aprendizagem. Cada correção feita por um operador gera um sinal que pode contribuir para melhorar o modelo ao longo do tempo.
Cria-se, assim, um ciclo contínuo: a IA propõe, o operador corrige e o modelo aprende.
Uma bússola para decidir o que automatizar no futuro
O ITSM confidence scoring oferece um segundo benefício que é frequentemente subestimado: quando analisadas ao longo do tempo, as pontuações de confiança ajudam a identificar os processos em que a automatização pode evoluir em segurança.
Se, num determinado workflow, a IA apresentar consistentemente pontuações elevadas e as revisões humanas confirmarem de forma sistemática as suas propostas, esse workflow torna-se um candidato natural a um maior grau de autonomia.
Por outro lado, se as pontuações permanecerem baixas ou as correções humanas forem frequentes, isso indica que o processo ainda não está preparado para funcionar com maior autonomia.
Este princípio de expansão gradual está no centro da abordagem da EasyVista. A adoção começa com níveis elevados de controlo, através de funções de apoio e automatização aplicadas ao trabalho diário das equipas de TI, e a autonomia aumenta à medida que os resultados demonstram ser consistentes.
É esta a lógica da chamada adaptive autonomy: os agentes que mantêm um elevado nível de precisão ao longo do tempo ganham progressivamente maior autonomia, enquanto aqueles cujo desempenho diminui voltam a ficar sujeitos a um maior controlo humano.
O confidence scoring fornece os dados objetivos necessários para tomar estas decisões, substituindo a intuição por evidências concretas.
Um alerta necessário: a pontuação não é infalível
Seria um erro considerar o confidence score uma verdade absoluta. Um modelo pode atribuir uma pontuação elevada a uma previsão incorreta: um elevado grau de confiança não garante que a resposta esteja certa.
Por isso, as arquiteturas mais robustas não dependem de uma única pontuação. Em vez disso, combinam vários sinais — como indicadores gerais de fiabilidade e alertas de risco específicos — para detetar também os casos em que o modelo atribui uma confiança elevada a uma resposta errada.
No ITSM, isto traduz-se numa regra prática: o limiar de confiança deve ser complementado por verificações contextuais.
Uma ação com elevado impacto financeiro ou regulamentar deve exigir sempre revisão humana, independentemente da pontuação atribuída pela IA.
O confidence scoring não substitui o julgamento humano. Ajuda a direcioná-lo para os casos em que é realmente necessário.
Controlo e confiança crescem juntos
O ITSM confidence scoring é, simultaneamente, um princípio e um mecanismo organizacional que permite adotar a IA de forma sustentável.
Permite começar com um elevado nível de controlo, alargar a autonomia apenas nos processos em que os resultados o justificam e garantir a intervenção humana nas decisões mais importantes.
É desta forma que a IA pode evoluir de projetos-piloto que exigem monitorização constante para modelos de automatização em que as equipas podem realmente confiar.
As organizações que adotarem esta abordagem não terão de escolher entre a velocidade da IA e o controlo. Poderão beneficiar de ambos, construindo confiança de forma gradual, um workflow de cada vez.
FAQs
1. O que é o ITSM confidence scoring?
É um mecanismo que atribui uma pontuação de fiabilidade a cada proposta da IA e a associa a limiares predefinidos. Acima do limiar, a IA pode agir de forma autónoma; abaixo desse valor, a decisão é enviada para revisão por um operador humano.
Permite adotar a IA de forma gradual sem perder o controlo sobre as operações.
2. Por que é importante manter a intervenção humana no processo de decisão?
A IA pode cometer erros e, no contexto das TI, algumas decisões podem ter um impacto significativo. Mais de 80% das organizações consultadas pela EasyVista preferem um nível moderado a elevado de supervisão humana.
Além disso, o AI Act europeu exige uma supervisão humana eficaz nos sistemas de alto risco.
3. Como se estabelece o limiar de confiança adequado?
O limiar deve ser definido com base no custo de um eventual erro, e não apenas na precisão média do modelo.
Atividades repetitivas e reversíveis, como a categorização de tickets, podem aceitar limiares mais baixos. Ações com um impacto elevado exigem limiares mais rigorosos ou uma revisão humana obrigatória, independentemente da pontuação.
4. O confidence scoring serve apenas para controlar a IA?
Não. Quando analisadas ao longo do tempo, as pontuações também permitem perceber onde a automatização pode evoluir em segurança.
Os workflows que apresentam consistentemente pontuações elevadas e poucas correções humanas são candidatos naturais a um maior grau de autonomia no futuro.