Há erros comuns na gestão de indicadores

O cenário gerencial que envolve a saúde também está permeado por erros na análise de indicadores

Por Renato Vieira*

O uso de indicadores é uma necessidade de qualquer empresa que vise o sucesso, e sua importância foi bem definida na celebradíssima frase de William Edwards Deming: “Não se gerencia o que não se mede, não se mede o que não se define, não se define o que não se entende, e não há sucesso no que não se gerencia”.

Infelizmente, observamos frequentemente fragilidades na análise de indicadores, com um domínio pobre das ferramentas estatísticas adequadas para a maioria das análises. Na maior parte das vezes, o contato que os profissionais tiveram com a estatística deu-se longe das aplicações práticas do cenário empresarial, muitas sem a relevância e importância que esta área mereceria.

Focado muito mais em atrair o leitor para o deslumbrante mundo da estatística, compilei abaixo alguns dos erros mais frequentes no cenário gerencial. Peço desculpas se os itens abaixo já forem de conhecimento do leitor. Entre a profundidade e a amplitude, preferi esta última.

Não ter clareza da “ficha técnica dos indicadores analisados”
É absolutamente inacreditável quão pouco conhecidas são as fontes de dados pelos tomadores de decisão. Atrás de nomes simples, como “volume cirúrgico” por exemplo, oculta-se um mar de dúvidas e questionamentos. O que foi incluído como “cirurgias”? Todos os procedimentos de um mesmo doente? Apenas o número de pacientes operados? Quais procedimentos não foram incluídos? Exames realizados no Centro Cirúrgico foram incluídos? Procedimentos realizados fora do Centro Cirúrgico (p.e., procedimentos endovascusculares na hemodinâmica) foram contabilizados? Qual foi a fonte de dados? Sistema? SAME? Contagem manual? Etc…

Conhecer bem seus indicadores, suas fontes e definições, seu numerador e seu denominador, são os primeiros passos para poder analisá-los. Todo um castelo de conceitos pode ser derrubado se baseado em premissas falsas.

Erros amostrais: vieses, amostra insuficiente ou excessiva
Muitos dados em empresas provêm de estudos amostrais. Os problemas de amostragem podem ser divididos sinteticamente em problemas qualitativos (método de coleta de dados e vieses na amostra) e quantitativos (amostras demasiadamente pequenas ou demasiadamente grandes). Evidentemente uma mesma amostra pode apresentar ambos os tipos de problemas.

O instrumento de coleta deve ser cuidadosamente revisado. Deve-se garantir a clareza do mesmo, e o treinamento adequado de quem irá aplicá-los. Dependendo da importância de um estudo, recomenda-se inclusive que haja testes estatísticos que garantam a homogeneidade de critérios entre diferentes avaliadores, ou entre o mesmo avaliador quando os casos são semelhantes.
Além do instrumento de coleta, a própria forma de seleção deve ser cuidadosamente estudada. Sempre que possível, deve-se trabalhar com amostras aleatoriamente escolhidas da população, evitando vieses conhecidos e desconhecidos de seleção de casos.

Do ponto de vista quantitativo, deve-se ter em mente que um cálculo amostral para estimativa irá variar de acordo com três fatores principais: características da população estudada, erro amostral máximo que toleraremos e nível de confiança de uma amostra. Em resumo, quanto maior a variação presente em uma população, quanto menor o erro máximo que desejamos e quanto mais confiança exigimos de uma mostra, maior será o número de casos necessários. O inverso também é verdadeiro, evidentemente.

Devemos buscar evitar tanto a amostragem insuficiente, como a hiperamostragem. Esta última, embora possa levar a dados mais precisos, via de regra implica no deslocamento de recursos para responder dúvidas que poderiam, tranquilamente, ser resolvidas dentro de uma tolerância ao erro mais frouxa. Nem sempre a alta precisão é necessária para se tomar uma decisão, e – neste caso – a hiperamostragem apenas desperdiça esforço e lentifica o processo de decisão.

Amostras demasiadamente pequenas irão fornecer dados com grande risco de terem se desviado dos valores populacionais por mero acaso, podendo gerar graves conclusões baseadas em números imprecisos. A precisão da informação deve ser cuidadosamente levada em conta pelo gestor, tanto na tomada de decisão como no desenho da amostragem. Estimulo o aprendizado de técnicas de amostragem e cálculo amostral, como ferramenta essencial de conhecimento do gestor.

Tentar gerenciar um número muito grande de indicadores, sem hierarquizar sua importância.
Embora seja tentadora a ideia da onisciência, na gestão este conceito é nocivo e errado. Além de impraticável quotidianamente, este esforço leva à alocação de recurso intelectual e humano em análises secundárias, desviando a atenção dos pontos mais importantes.

A gestão de indicadores de uma empresa deve ser simples, com seleção criteriosa daqueles pertencentes a cada nível da organização, preferencialmente validada com as pessoas envolvidas em sua operação. Modelos hierarquizados que unifiquem a visão de estratégia de uma empresa, como o Balanced Scorecard, podem ser bem vindos.

Medir o desempenho de um processo pela média da amostra
É extremamente comum observarmos a média ser apresentada como um indicador de performance. Extremo cuidado deve ser tomado nestas situações. Definida como “centro de massa”, a média é calculada através da soma de todos os valores de uma amostra, sendo então dividida pelo número de casos amostrados. É frequente que ocorra, especialmente em dados que apresentem grandes variações, que uma parte substancial dos dados esteja fora de parâmetros razoáveis (SLAs, valores acordados, conformidade, etc). E, mesmo nestes casos, os dados em seu extremo oposto podem compensar a média, que não refletirá este mau desempenho.

O melhor, nestes casos, é valer-se de indicadores de conformidade (p.e., percentual de casos dentro de um determinado nível acordado de serviço) ou, de modo alternativo, utilizar percentis específicos como indicadores e metas (p.e., “percentil 90 menor que 15 minutos para primeiro atendimento”). Neste caso o interessante é que além de incluir um determinado nível de serviço e meta (no exemplo, “15 minutos para 90% dos pacientes”), podemos acompanhar como o dado tem se afastado ou aproximado da meta acordada.

Enxergar tendências e efeitos aonde apenas existe apenas acaso
A experiência humana busca a interpretação que dê sentido à realidade, por mais caos que nela exista. Enxergamos padrões nas nuvens (quem nunca brincou de ver formas diversas nelas?), na borra do café, nas manchas aleatórias de tinta… E, como não poderia ser diferente, também tendemos a enxergar padrões em sequencias temporais puramente aleatórias. Isso pode ser gravemente reforçado quando o gestor é alimentado pelo desejo, ou pelo temor, de enxergar um determinado resultado nos números de sua empresa.

Estimulo fortemente o leitor a buscar conhecer as técnicas de “controle estatístico de processos”, que possuem exatamente a finalidade de auxiliar na decisão sobre a aleatoriedade, ou não, de uma sequência de dados. Em resumo timidamente simples, o gestor deve atentar-se especialmente a pontos muito discrepantes da série histórica (via de regra, considera-se 3 desvios padrões de desvio como um parâmetro bastante seguro); com sequência sustentada (6 ou mais pontos consecutivos) de queda ou elevação dos dados monitorados; com grupos desviantes ou com uma série consecutiva de dados (via de regra 6 ou mais) acima ou abaixo da média. A maioria dos softwares disponíveis do mercado (alguns deles, com licença aberta) monitora estas situações de maneira automatizada.

Analisar de maneira isolada indicadores relacionados numericamente entre si
Alguns indicadores são algebricamente relacionados entre si. Neste caso, é um erro enxergá-los e analisá-los de maneira isolada. O exemplo clássico aqui é dado pelos indicadores de produção hospitalar. Baseados nas definições da ANS, podemos facilmente demostrar que a Ocupação Hospitalar (OH) é uma função linear do Giro de Leitos (GL) e da Permanência Média (PM), conforme demonstrado abaixo.

Por exemplo, para um hospital que tenha atingido um giro de 5 pacientes/ leito em um mês de 30 dias, com média de permanência de 4,5 dias, a ocupação será necessariamente 75%. Ou seja, para cada relação entre giro de leitos e permanência média há apenas uma ocupação hospitalar possível.
Paradoxalmente, não é raro vermos indicadores desta natureza serem tratados de maneira isolada, muitas vezes com metas de produção mostrando objetivos impossíveis de serem alcançados em sua totalidade pois geram valores incompatíveis com a relação algébrica de tais indicadores.
Mesmo graficamente, a meu ver, indicadores desta natureza mereceriam ser apresentados de modo bidimensional, por exemplo, em um gráfico de dispersão. No exemplo hipotético abaixo, apresentamos a performance de 6 meses de um hospital hipotético, colocando o giro de leitos no eixo x, a permanência média no eixo y e as áreas refletem as permanências calculadas para períodos de 30,5 dias, dado a variação de dias entre os meses. Esta forma de apresentação pode permitir a presença de metas partilhadas, como a área-alvo do gráfico abaixo.

Confundir uma boa análise com capacidade de execução
Infelizmente, não raro brilhantes análises ocultam, intencionalmente ou não, a incapacidade de executar as medidas necessárias para a correção da operação. A doença mais generalizada nas empresas é a dificuldade de execução, e boas estratégias falham simplesmente por não conseguirem “sair do papel”. Empresas existem para gerar resultados, e não gráficos. A análise deve ser o ponto de partida, e nunca o ponto final do gestor.

Nenhum indicador deve substituir o bom senso do gestor, nem é esta sua função
Por vezes, algumas decisões devem ser tomadas contra o senso comum ou contra a impressão subjetiva que um determinado fenômeno nos causou. Algumas vezes, felizmente raras, as decisões devem ser tomadas inclusive apesar do que nos mostra um indicador. Gerir exige coragem, mas a ideia é que na maior parte das vezes esta coragem possa ser recheada pelas evidências de indicadores bem escolhidos, bem coletados e bem analisados. Caso contrário, se o gestor não pudesse pisar na solidez dos números, estaria agindo como o Barão de Munchausen, puxando os próprios cabelos para com sua própria força desatolar-se do pântano.

* Renato Vieira é Gerente Médico Corporativo no Hospital Beneficência Portuguesa de São Paulo e consultor do IBSP.

Veja mais