Ensaio clínico randomizado analisou se o uso do LLM pode auxiliar o raciocínio diagnóstico
Large Language Model (LLM), que em português foi denominado como Modelo de Linguagem de Grande Escala, é um tipo de inteligência artificial capaz de processar e gerar linguagem natural. Isso significa que são modelos fundamentados em redes neurais profundas que conseguem compreender, interpretar e produzir textos de forma contextualizada e coerente, assemelhando-se ainda mais ao retorno dado por seres humanos.
Na medicina, a inteligência artificial vem ganhando cada vez mais espaço, principalmente na área diagnóstica. Recentemente, um ensaio clínico randomizado (1) envolvendo 50 médicos de diferentes áreas da saúde, buscou compreender se a aplicação do LLM pode contribuir com o raciocínio diagnóstico dos profissionais quando comparamos com o padrão atualmente utilizado.
Divididos em dois grupos, onde um utilizaria todos os recursos convencionais e o outro teria acesso à inteligência artificial, os profissionais teriam uma hora para analisar seis casos. Para tornar o estudo mais realista, aqueles casos muito simplistas ou extremamente raros foram excluídos das simulações. Apenas para comparativo, três casos foram direcionados para a ferramenta de inteligência artificial diagnosticar sozinha, ou seja, sem interferência humana. Para a avaliação, os diagnósticos receberam pontuações conforme a precisão (incorreto, parcialmente correto e mais correto). No comparativo final, no entanto, os pesquisadores optaram por uma pontuação binária entre incorreto ou mais próximo do correto. Além disso, como desfecho secundário, também foi analisado o tempo para a conclusão de cada caso.
Com ou sem LLM, diferenças não são significativas
No total, foram analisados 244 casos (125 pelo grupo utilizando LLM e 119 pelo grupo de controle). Todos os médicos que tinham acesso à inteligência artificial conseguiram fechar o diagnóstico de pelo menos cinco casos apresentados e levaram, em média, para cada caso, 8 minutos e 39 segundos. Os médicos do grupo de controle demoraram um pouco mais em cada análise: 9 minutos e 25 segundos.
Quanto à precisão do diagnóstico, a média de pontuação do grupo LLM foi de 76%. No grupo sem a IA, a média de pontuação foi de 74%.
Por fim, o estudo sugere que, por enquanto, a utilização de LLM não melhora o raciocínio diagnóstico de forma substancial. Até mesmo a economia de tempo (de menos de um minuto por caso) não foi tão significativa.
Ponto interessante – LLM sozinho tem ótimo desempenho
Conforme comentado, além dos diagnósticos feitos pelos médicos com e sem o LLM, três casos foram destinados ao diagnóstico apenas da inteligência artificial, sem interferência humana. Nesses três casos, a pontuação média foi bem superior, chegando a 92%.
Esse fato pode ser explicado, de acordo com os pesquisadores, pela sensibilidade com que as perguntas foram feitas à inteligência artificial. Com isso, o estudo sugere que se os profissionais de saúde forem treinados a realizar bons comandos, ou seja, se a interação entre homem e máquina evoluir, aí, sim, pode haver uma melhoria interessante no uso do LLM no diagnóstico médico.
Referências:
(1) Large Language Model Influence on Diagnostic Reasoning
