Efectividade e volume: uma aplicação a hospitais portugueses

75 VOLUME TEMÁTICO: 5, 2005 Avaliação do desempenho Sílvia Lopes é assistente da Escola Nacional de Saúde Pública — UNL. Entregue em Março de 2006. Efectividade e volume: uma aplicação a hospitais portugueses SÍLVIA LOPES Contexto: a avaliação da qualidade como tema potencialmente importante para utentes e prestadores de cuidados de saúde. A taxa de mortalidade como medida de resultados com um adequado ajustamento do risco. A existência de determinadas características estruturais do hospital às quais está associada uma menor mortalidade. Objectivos: identificar diferenças no desempenho e na taxa de mortalidade dos hospitais e investigar que características estruturais justificam essas diferenças. Metodologia: foram seleccionados os episódios de internamento das doenças de maior mortalidade hospitalar. A medida de desempenho considerada foi a comparação entre a mortalidade observada e a mortalidade esperada, calculada a partir da escala preditiva da mortalidade do Disease Staging, recalibrada para Portugal. A medida de desempenho foi analisada por hospital, doença e grupo de doenças. A ordenação dos hospitais pelo desempenho foi comparada com a ordenação dos hospitais pela taxa de mortalidade observada. O desempenho dentro de cada hospital foi analisado para um grupo de doenças seleccionadas. A relação entre o valor da medida de desempenho e as variáveis «número de episódios», «índice tecnológico» e «gravidade dos doentes tratados» foi analisada através da regressão linear para o conjunto dos episódios e para cada doença e grupo de doenças. Resultados: foram incluídos 379 074 episódios, agrupados em 21 doenças e 8 grupos de doenças e tratados em 81 hospitais. A taxa de mortalidade observada foi de 12%. Existiam diferenças no desempenho por hospital, alguns dos quais se destacam pelo seu melhor/pior nível de desempenho. Foram observadas as limitações da taxa de mortalidade bruta como instrumento de análise do desempenho, no contexto de hospitais com diferentes níveis de risco dos doentes tratados. Para além disso, evidenciou-se que a análise do hospital como um todo ou em cada uma das partes tem resultados distintos, dada a existência de diferentes níveis de desempenho dentro do hospital. Finalmente, verificou-se que a relação entre volume e desempenho, quando existe, é, na quase totalidade dos casos, não linear e inversa à referida na literatura. Palavras-chave: resultados; avaliação da qualidade; mortalidade; Disease Staging; ajustamento pelo risco. 1. Introdução A qualidade da prestação de cuidados de saúde é um objectivo reconhecido quer por parte dos profissionais, directa ou indirectamente ligados à prestação, quer por parte dos doentes (Flood et al., 1984). No entender de Donabedian (1988b), não existe apenas um, mas vários conceitos de qualidade, pois este varia consoante a posição em relação ao sistema de saúde e consoante aquilo que se entenda por «saúde». Assim, o conceito de qualidade pode ser entendido apenas no âmbito do desempenho dos pro- 76 REVISTA PORTUGUESA DE SAÚDE PÚBLICA Avaliação do desempenho fissionais ou ser progressivamente alargado ao contexto onde decorre a prestação, ao impacto da prestação na vida dos doentes e das suas famílias ou à distribuição social dos níveis de qualidade na comunidade. O conceito de qualidade pode ser definido como a capacidade de atingir objectivos pretendidos, usando meios legítimos. Na maioria dos casos, os objectivos consistem num determinado estado de saúde atingível, com o conceito de saúde a ser usado de forma mais lata ou mais restrita (Donabedian, 1988b). Assim se compreende que se apontem três razões para a avaliação da qualidade, nenhuma delas mutuamente exclusiva, mas antes em diferentes perspectivas. A «garantia de qualidade», uma abordagem na perspectiva da regulação, visa o cumprimento dos requisitos mínimos estabelecidos pelo regulador. A «competição pela qualidade», também numa abordagem de regulação, visa a recolha e divulgação de informações com vista a informar o mercado acerca da qualidade dos diferentes prestadores. A «melhoria da qualidade» visa recolher a evidência necessária à implementação das mudanças que permitirão melhorar a qualidade (Scanlon et al., 2001). Donabedian (1988b) definiu três dimensões de avaliação da qualidade: estrutura, processo e resultados. A estrutura de um hospital pode definir-se como as características do contexto em que decorre a prestação. Assim, a dimensão «estrutura» define as ferramentas e o ambiente disponíveis para os prestadores de cuidados (O’Muircheartaigh et al., 2004). A estrutura inclui, pois, os recursos materiais, tais como instalações e equipamentos, os recursos financeiros, os recursos humanos, o número de profissionais e as suas qualificações, e a estrutura organizacional, tais como o modo de financiamento, organização do pessoal médico ou os protocolos de revisão (Donabedian, 1988b). Quanto ao conceito de resultados, trata- -se de mudanças no estado de saúde que podem, com garantias, ser atribuídas à prestação que a antecedeu (Donabedian, 1988a). O processo consiste no que é efectivamente feito e inclui a procura de cuidados por parte do doente, o diagnóstico e a implementação do tratamento por parte do médico (Donabedian, 1988b). Estas três dimensões pressupõem que uma boa estrutura aumenta a probabilidade de um bom processo e um bom processo aumenta a probabilidade de bons resultados (Donabedian, 1988b). A hipótese sobre esta relação tem de ser comprovada e, se não for válida, a avaliação da qualidade também não o será (Donabedian, 1988a). Sendo fundamental nas diversas actividades que compõem a prestação de cuidados (prestação de cuidados urgentes, em ambulatório ou de reabilitação), a qualidade adquire no internamento uma destacada importância. Isto porque a prestação de cuidados em internamento é, sem prejuízo das restantes, uma função essencial para o hospital. Neste trabalho procura-se identificar que prestadores apresentam melhor desempenho, no domínio da efectividade, através da taxa de mortalidade no internamento. Cumprido este primeiro objectivo, o segundo é a investigação de que razões, a nível das características estruturais, justificarão esse melhor desempenho, com especial destaque para o volume. 2. A relação entre volume e resultados 2.1. Evidências A dimensão «estrutura» motiva e encoraja a escolha de acções eficazes, adequadas e custo-efectivas (Flood et al., 2000). Assim, pela natureza da associação entre estrutura e resultados, a avaliação da estrutura dá informação sobre se as condições existentes potenciam ou não uma boa prestação (Donabedian, 1988b). Entre as componentes da estrutura cuja associação com os resultados tem sido mais estudada contam-se as características dos recursos humanos, a existência de fim lucrativo, a existência da função ensino, a disponibilidade de tecnologia, a localização geográfica, o número de camas, o volume produtivo e outras características estruturais (nomeadamente a comunicação, coordenação, continuidade, accountability, autoridade, visibilidade da prática para outros, ambiente) (Donabedian, 1988a). A relação entre o volume e os resultados tem sido alvo de inúmeras análises. Em 1996 tinham sido publicados 220 estudos nos quinze anos anteriores (excluindo aqueles que se debruçaram sobre bases de dados sensivelmente iguais) (Sowden e Sheldon, 1998). A maioria dos estudos indica a existência de uma associação, pelo menos, para alguns diagnósticos (Mitchell e Shortell, 1997). Burns e Wholey (1991) acrescentam que, enquanto para alguns diagnósticos a relação é positiva, para outros é negativa ou inexistente. Estes resultados são geralmente interpretados à luz da trilogia proposta por Donabedian: estrutura, processo e resultados. Assume-se que hospitais de elevado volume têm características associadas a maior qualidade e julga-se que os prestadores nestes hospitais melhoram os seus processos através da experiência (Urbach e Baxter, 2004). Importa, no entanto, ter em conta que a probabilidade de fazer «a coisa certa» aumenta com o número de procedimentos realizados, mas este não é um requisito obrigatório (Ko et al., 2002). 77 VOLUME TEMÁTICO: 5, 2005 Avaliação do desempenho Luft, Hunt e Maerki (1987) propõem duas hipóteses para a explicação da relação entre volume e resultados. Uma delas foi já apontada: os resultados melhoram devido à acumulação de experiência (practice makes perfect). A outra explicação é que os hospitais com melhores resultados atraem um maior número de doentes (selective referral). Recentemente, Urbach e Baxter sustentaram ter, pela primeira vez, investigado a relação entre a mortalidade a trinta dias após um dado procedimento e o volume de outros procedimentos do hospital. Os resultados encontrados sugerem a existência de melhores resultados em hospitais de elevado volume, independentemente do procedimento no qual esse hospital é considerado de elevado volume (Urbach e Baxter, 2004). Consoante a medida de resultados utilizada, a associação entre volume e resultados parece variar. Para as cirurgias por neoplasia do pulmão, a mortalidade no internamento mostrou-se negativamente associada ao volume, enquanto para a mortalidade a trinta dias não se encontrou associação (Bach et al., 2001). Num outro estudo, os autores sugerem que, com o alargamento do período de análise, as variáveis de volume ganham importância (Ko et al., 2002). A existência de menores taxas de mortalidade ajustadas em hospitais de maior volume não significa que num hospital em que o volume aumenta ao longo do tempo a taxa de mortalidade ajustada diminua (Farley e Ozminkowski, 1992). Boles, cit. por Sowden e Sheldon (1998), defende também que, ainda que a mortalidade seja maior em hospitais de menor volume, o aumento do volume ao longo do tempo não diminui a mortalidade. Num outro estudo, os resultados indicam que a variação do volume ao longo do tempo não influencia os resultados, existindo indícios de que a relação entre volume e resultados reflecte diferenças fixas na qualidade entre hospitais de baixo e elevado volume (Hamilton e Ho, 1997). 2.2. Avaliação pelos resultados — o ajustamento do risco Contudo, importa salientar que, ao analisar a relação entre a estrutura e os resultados, existem diversas questões a ter em conta, em especial no que concerne à forma de considerar os resultados. Antes de mais, existe a imperiosa necessidade de, antes de avaliar os resultados de uma instituição, ajustar as características dos doentes tratados e que influenciam o risco desse resultado. Assim, é necessário proceder ao ajustamento do risco, cujo objectivo é levar em conta as características pertinentes dos doentes, antes de inferir acerca da efectividade dos cuidados prestados (Iezzoni, 1997a). As características dos doentes que influenciam a probabilidade de ocorrência de um determinado resultado variam entre os possíveis resultados e consoante o horizonte temporal considerado. No entanto, podem apresentar-se as seguintes dimensões gerais do risco: idade, sexo, raça/etnia, estado fisiológico do doente, diagnóstico principal, extensão e gravidade das comorbilidades, limitações funcionais, estado psicológico, cognitivo e psicossocial, características e comportamentos culturais e sócio-económicos, estado de saúde e qualidade de vida, atitudes e comportamentos face aos resultados (Iezzoni, 1997a). Para além das características dos doentes apontadas, as variáveis de utilização dos serviços podem também ser usadas como indicadores de severidade (tipo de admissão, procedimentos realizados, internamentos prévios). No entanto, a introdução de variáveis controláveis pelo hospital não é desejável (Thomas e Longo, 1990; Wray et al., 1997). O uso de procedimentos como medida de ajustamento pode induzir a sua utilização e, para além disso, se os procedimentos forem efectuados como resposta a uma complicação, a possibilidade de uma menor qualidade é interiorizada pela medida (Wray et al., 1997). Da literatura analisada verifica-se a existência de uma certa tendência no que toca às características relevantes dos dados administrativos e dos dados clínicos para o ajustamento do risco. No entanto, as opiniões sobre as potencialidades de cada um são bastante mais diversas. Quanto às desvantagens dos dados administrativos, pode ser apontado o facto de estarem sujeitos a todas as potencialidades e limitações da ICD-9-CM (Wray et al., 1997; Iezzoni, 1997a). Para além disso, a exaustividade da codificação das comorbilidades varia entre hospitais (Wray et al., 1997), ao que acresce o facto de a codificação dos diagnósticos levantar mais questões do que a interpretação dos resultados das análises clínicas e dos sinais vitais (Costa e Nogueira, 1994). No entanto, ainda que não haja problemas na codificação, o resumo de alta não possui informação numa série de domínios, nomeadamente os resultados de análises laboratoriais e radiológicas (regularmente incluídas no processo clínico), ou as limitações funcionais (que também não são regularmente registadas no processo clínico), tendo estas demonstrado ser determinantes dos resultados (Wray et al., 1997). Apesar da importância das desvantagens apresentadas, a natureza retrospectiva da codificação constitui, provavelmente, uma das principais desvantagens do uso de dados administrativos, pois não permite distinguir quais os diagnósticos adicionais presentes no momento da admissão 78 REVISTA PORTUGUESA DE SAÚDE PÚBLICA Avaliação do desempenho (Jencks et al., 1988). Assim, a capacidade de previsão de resultados de sistemas baseados em informação administrativa deriva, em parte, da codificação de acontecimentos «próximos da morte», avaliações post hoc que melhoram a capacidade de previsão, mas comprometem a validade para o uso em estudos de qualidade (Iezzoni, 1997b). Por último, a possibilidade de manipulação da codificação dos dados, quer a nível da sobrecodificação em caso de óbito (death-code creep), quer a nível da codificação não sustentada pelo processo clínico (para efeitos de financiamento — DRG creep), constitui uma desvantagem no uso deste tipo de dados (Iezzoni, 1997b). As vantagens do uso de dados administrativos no ajustamento do risco podem ser sintetizadas nas que a seguir se enumeram (Iezzoni et al., 1996a; Pine et al., 1995; Thomas e Longo, 1990). São dados regularmente recolhidos pelos hospitais, pelo que estão mais facilmente disponíveis e a menor custo. Também a sua facilidade de tratamento é maior do que a dos dados clínicos, pelo facto de os dados administrativos estarem, desde logo, disponíveis informaticamente. Ainda que com todas estas limitações, os dados administrativos são atractivos para alguns para o ajustamento do risco (Iezzoni, 1996a). Apesar da progressiva informatização do processo clínico e da crescente facilidade de tratamento de dados clínicos, a recolha e o tratamento de dados administrativos tendem a ser menos dispendiosos. No que respeita a este tema em particular, verificou- -se que a tendência da influência das características estruturais dos hospitais sobre a mortalidade era consistente, se comparados os resultados do modelo administrativo com o clínico (Krakauer et al., 1992). O tipo de dados utilizado no ajustamento do risco é determinante, mas não pode ser dissociado do sistema de classificação de doentes/medida de gravidade utilizada. Neste trabalho foram usados dois sistemas de classificação de doentes: os Grupos de Diagnósticos Homogéneos (GDHs) e o Disease Staging. Citando Fetter et al., Hornbrook (1985) aponta como objectivo dos GDHs: relacionar as características demográficas, do diagnóstico e da terapêutica dos doentes com os cuidados que lhes são prestados, de forma a permitir que os doentes sejam diferentes apenas nas variáveis relacionadas com a sua condição (idade, diagnóstico principal, por exemplo) e processo de tratamento (procedimento, por exemplo) que afectam a sua utilização dos serviços do hospital. Na construção dos GDHs, a ênfase foi posta nos padrões de tratamento (Hornbrook, 1985). O outro sistema utilizado foi o Disease Staging. Foi construído com base no princípio da não consideração dos padrões de utilização dos recursos nem da resposta esperada à terapia; por base tem apenas o próprio modelo do processo da doença. O conceito de gravidade usado no Disease Staging é a probabilidade de morte como resultado da doença, sem consideração do tratamento. Foi desenvolvido para aplicação manual ao processo clínico, bem como para aplicação informática a um resumo de alta, sendo os resultados obtidos da primeira forma mais válidos, pela abundância relativa de informação. As doenças são divididas em categorias de gravidade crescente (Gonella et al., 1984): Estadio 1: doença sem complicações; Estadio 2: doença com complicações locais; Estadio 3: doença que compreende diferentes localizações ou complicações sistémicas. Os estadios e subestadios são atribuídos ao diagnóstico principal e às comorbilidades de cada episódio, tendo em conta os restantes diagnósticos presentes (Gonella et al., 1984). Os estadios são ordinais dentro de cada doença principal: o estadio 1 numa dada doença principal pode ter implicações no risco de morte diferentes do mesmo estadio noutra doença principal; o estadio 2 não representa o dobro da gravidade do estadio 1 (Louis, 2004). O sistema inclui também escalas preditivas (demora média, consumo de recursos, mortalidade, complicações, readmissões) que permitem comparar as doenças principais e em que se consideram a doença principal e o estadio, o número e a gravidade das comorbilidades, a idade, o sexo, o procedimento e o tipo de admissão (Louis, 2004). A existência de diversos sistemas de classificação de doentes levanta a questão de saber até que ponto os seus resultados são distintos. Num estudo de 14 métodos distintos de ajustamento pelo risco em episódios de pneumonia, os resultados encontrados por Iezzoni et al. indicam que, a nível do episódio, as diferentes medidas (MedisGroups, Disease Staging, APACHE III, Patient Management Categories Severity Scale, All-Patient Refined Diagnosis Related Groups) discordavam com frequência em relação à probabilidade de morte. Por outro lado, a variação dos valores da comparação entre o observado e o esperado, a nível dos prestadores, mostra alguma concordância entre as diferentes medidas. Os resultados são semelhantes num estudo com episódios de enfarte agudo do miocárdio (Iezzoni, 1996b e 1996c). Apesar de permanecer a dúvida sobre qual dos métodos será melhor para isolar as diferenças de qualidade, o ajustamento justifica-se como forma de promover o diálogo e melhorias na qualidade, bem 79 VOLUME TEMÁTICO: 5, 2005 Avaliação do desempenho como de evitar a penalização dos hospitais em que são tratados doentes com maior risco e a hipótese de que, na sequência da divulgação de resultados, esses doentes sejam rejeitados pelos prestadores (Iezzoni, 1996c). 2.3. Validade da taxa de mortalidade como medida de resultados Para saber se a mortalidade é apropriada como medida de qualidade deve procurar-se a existência de uma relação estreita entre esta e um critério cuja relação com a qualidade seja conhecida ou presumida (Park et al., 1990; Thomas et al., 1993). A existência de associação entre duas supostas medidas de qualidade, uma de processo e uma de resultados, a que se reconhecem imperfeições, confirma a validade de ambas. Quando as análises não mostram associação, fica por saber qual delas não é uma medida válida de qualidade (Thomas et al., 1993). Outra proposta sugere que se recorra a modelos de simulação para conhecer o peso das variações aleatórias nas taxas de mortalidade (Park et al., 1990) As tentativas de validação da taxa de mortalidade como medida de resultados têm dado indicações distintas. Em alguns casos, a mortalidade mostrou ser válida como medida de resultados para toda a população considerada. Este foi o caso para a associação encontrada entre a taxa de mortalidade a trinta dias e a qualidade medida por revisão implícita (Rubenstein et al., 1990); entre a mortalidade e a revisão implícita e explícita (Keeler et al., 1992) e entre a taxa de mortalidade e a taxa de episódios com problemas de qualidade medida por revisão (Manheim et al., 1992). No entanto, por vezes, a validade da taxa de mortalidade mostrou variar consoante a doença. Enquanto existe uma associação significativa entre a qualidade avaliada por revisão explícita e a taxa de mortalidade ajustada a trinta dias para os episódios de insuficiência cardíaca congestiva, enfarte agudo do miocárdio, pneumonia e acidente cerebrovascular, esta não existe para os casos de fractura da anca (Kahn et al., 1990). Num outro estudo, os resultados encontrados por Park et al. (1990) indicam que existe associação entre a taxa de mortalidade ajustada e a qualidade medida por revisão para episódios de insuficiência cardíaca congestiva, mas não para episódios de enfarte agudo do miocárdio. Noutro estudo, os resultados para o enfarte agudo do miocárdio, pneumonia, arritmia e alterações da condução os resultados são inconclusivos. Apesar disso, a taxa de mortalidade ajustada variava entre hospitais com diferentes níveis de qualidade medida por revisão para os episódios de angina e cirurgia cardíaca e fracturas do fémur/pélvicas. Para episódios de sepse, doença cerebrovascular, insuficiência cardíaca e choque e procedimentos no intestino, a taxa de mortalidade ajustada não diferia (Thomas et al., 1993). Outros autores estabelecem uma separação distinta: a taxa de mortalidade ajustada não é uma boa medida da qualidade para episódios médicos, podendo sê-lo em alguns tipos de episódios cirúrgicos (Hofer e Hayward, 1996). Assim, e apesar de não existir consenso a nível dos resultados encontrados, pode dizer-se que existe uma tendência para a validade da taxa de mortalidade ajustada como medida de resultados. No entanto, a própria definição da medida levanta questões, nomeadamente no que diz respeito ao período de análise. Este período, no caso da taxa de mortalidade, pode estar limitado ao período do internamento ou pode incluir os trinta, sessenta ou noventa dias após a admissão ou, em certos casos, após a realização de determinado procedimento. O uso das taxas de mortalidade no internamento deriva de diversos factores, um deles sendo a maior disponibilidade dos dados, face aos outros indicadores (Kahn et al., 1988). Verifica-se também que a maioria dos hospitais não possui informação sobre os óbitos após a alta (Jencks et al., 1988) e que se trata de um indicador de fácil interpretação e com relevo para o público (Kahn et al., 1988). Apesar disso, a consideração da taxa de mortalidade no internamento implica que se tenha em mente que, no contexto de uma pressão crescente para a redução da demora média, diversos autores apontem como inconveniente a sua sensibilidade à política de altas do hospital (Jarman et al., 1999; Sowden e Sheldon, 1998). Assim, a consideração de um limite preciso e igual para todos os hospitais, por exemplo trinta dias após a admissão, eliminaria esse efeito (Kahn et al., 1988). Também outros autores defendem esta posição, argumentando que, do ponto de vista da epidemiologia, é mais informativa a observação da mortalidade ao longo de um período uniforme do que ao longo de um período determinado pelas práticas médica e administrativa (Jencks et al., 1988). 3. Objectivos Neste estudo procurou-se dar resposta aos seguintes objectivos: • Identificar diferenças no desempenho ao nível da efectividade; • Investigar que características estruturais justificam essas diferenças. 80 REVISTA PORTUGUESA DE SAÚDE PÚBLICA Avaliação do desempenho 4. Metodologia Recorreu-se a diversas fontes de dados, nomeadamente a base de dados dos resumos de alta, cedida pela Direcção-Geral da Saúde (DGS). Os dados para a construção do índice tecnológico foram obtidos tanto junto da DGS como através de dados divulgados pela Sociedade Portuguesa de Cuidados Intensivos. Da base de dados dos anos de 2000 e 2001 foram excluídos os episódios cujo destino após a alta é diferente de «Para o domicílio» ou «Falecido» e os episódios de neonatologia. Seguidamente, seleccionaram-se os grupos de doenças do Disease Staging, responsáveis por 80% dos óbitos, e, dentro destes, as doenças principais, que representavam 80% dos óbitos. Os grupos de doenças foram a primeira unidade de análise, e só depois as doenças principais, para que estas fossem mais homogéneas entre si. Foram depois acrescentadas a doença da artéria coronária com cirurgia de revascularização coronária (CV15) e todas as doenças principais «pneumonia» não incluídas na selecção inicial. Deste valor foram excluídos: episódios admitidos em hospitais com menos de 200 episódios, admitidos em hospitais outliers1 ao nível da taxa de mortalidade com idade registada superior a 100 anos e sem informação completa. A população em estudo ficou assim definida, com um total de 379 074 observações. Esta população, com alta em 81 hospitais, representa 20% dos internamentos e 62% dos óbitos nos hospitais presentes na base de dados dos resumos de alta nos anos de 2000 e 2001. Para este trabalho estavam disponíveis dois sistemas de classificação de doentes: os GDHs e o Disease Staging. A opção pelo Disease Staging foi motivada pelo facto de o critério de distinção entre as categorias ser a diferente probabilidade de morte, pelo que pareceu mais adequado que, numa análise da mortalidade, os episódios fossem divididos em grupos relativamente homogéneos em relação à mortalidade e não à demora média. Foram analisadas as seguintes variáveis dependentes: taxa de mortalidade observada, taxa de mortalidade esperada e desempenho. A taxa de mortalidade esperada deriva da escala de mortalidade do Disease Staging, que utiliza os resumos de alta dos hospitais (a mesma base que serve para a classificação dos GDHs), embora com outputs diferentes: doença principal, comorbilidades, estadio e subestadio da doença principal (para estes são igualmente consideradas as complicações), estadio e subestadio das comorbilidades, mortalidade prevista e duração de internamento prevista. Como tanto a mortalidade como a duração de internamento previstas estão calibradas para os dados de origem (EUA), as mesmas foram recalibradas para os dados portugueses (Costa et al., 2003). A medida de efectividade do hospital deriva da comparação entre valores esperados e observados do número de óbitos. Para obter o número de óbitos esperados de um hospital foi calculada a média da probabilidade de morte dos episódios do hospital. O valor obtido foi depois multiplicado pelo número de episódios desse hospital. A comparação foi feita através de um z-score, calculado da seguinte forma (Iezzoni, 1997b): desempenho = (número de óbitos observado – número de óbitos esperado)/desvio- -padrão dos óbitos observados. Deste modo, um hospital com um valor do z-score negativo tem um número de óbitos observados inferior ao número de óbitos esperados. Na opção pela subtracção procurou-se evitar que os resultados fossem sensíveis a pequenas variações de pequenos valores (Shwartz et al., 1997). Por outro lado, distinguiram-se hospitais que, com zero óbitos observados, mostravam distintos óbitos esperados (Luft et al., 1987). As variáveis independentes aqui consideradas são as seguintes: gravidade, índice tecnológico e volume. Para medir a gravidade dos doentes tratados (GRAV) utilizou-se a percentagem de doentes saídos no estadio 3 do Disease Staging no total de doentes saídos em cada hospital. Este estadio foi seleccionado por ser aquele que, dos três possíveis, melhor distinguia os hospitais. O índice tecnológico (IT) de cada hospital foi avaliado pela metodologia usada no relatório «The 2003 index of hospital quality» (O’Muircheartaigh et al., 2004). O volume é dado pelo número de episódios de internamento. De forma a considerar eventuais efeitos não lineares, este foi considerado de duas formas, termo simples (DS) e ao quadrado (DS2) (Hamilton e Ho, 1998)2. Os modelos foram considerados não significativos nos casos em que a significância do teste F indicava a não validade do modelo a nível global (< 0,05), ou em que todos os coeficientes não são significativamente diferentes de zero, ou em que existe multicolinearidade3, ou em que os resíduos são não normais. 1Os outliers foram identificados pelo método [Q3 + 1,5*(Q3–Q1) < X < Q1 – 1,5*(Q3–Q1)] (Hoaglin, 1993). 2 Inicialmente, foram incluídas variáveis relativas à lotação, pessoal médico e pessoal de enfermagem, mas foram excluídas por se encontrarem correlacionadas entre si, sendo o volume usado como a única variável de dimensão. A partir do código de residência registado na base de dados dos resumos de alta procurou-se distinguir os hospitais quanto ao nível sócio-económico dos doentes, mas esta variável não é incluída no modelo, por introduzir multicolinearidade. 3 Os modelos em que o condition index se situa entre 15 e 30 estão assinalados. 81 VOLUME TEMÁTICO: 5, 2005 Avaliação do desempenho Os grupos de doenças/doenças principais com menos de 30 episódios não foram analisados individualmente. 5. Resultados 5.1. Caracterização da população Depois de seleccionados os episódios a analisar, o número total de observações cifrou-se nas 379 074 e a taxa de mortalidade nos 12,01%. A idade dos doentes é, em média, de 64,51 (DP: 21,86) anos. Ao nível dos grupos de doenças, são as doenças respiratórias (28%) e as doenças cardiovasculares e do coração (23%) as mais frequentes. A base de dados por hospital contém um total de 81 observações, o valor da taxa de mortalidade observada é de 12% (intervalo de confiança: 11,91%; 12,12%) e coincide com a taxa de mortalidade esperada (12%; intervalo de confiança: 11,91; 12,00%). Por hospital, a taxa de mortalidade observada varia entre 3,79% (3,30; 4,29) e 21,64% (20,56; 22,71) e a taxa de mortalidade esperada varia entre 3,72% (3,48%; 3,96%) e 19,28% (18,47%; 20,09%). O hospital com a menor taxa de mortalidade observada (5) é também o hospital com a menor taxa de mortalidade esperada. O hospital com a maior taxa da mortalidade observada (12) não coincide com o hospital com a maior taxa de mortalidade esperada (87). Em algumas das variáveis independentes existem diferenças consideráveis entre hospitais: a média de doentes saídos no grupo de hospitais com menor número de episódios (isto é, até ao primeiro quartil) é de 1139, sendo de 10 187 no grupo de hospitais com maior número de episódios. O mesmo acontece no caso do índice tecnológico: os hospitais com menor nível tecnológico apresentam um índice de 2, tendo os hospitais com maior nível tecnológico um índice de 19. 5.2. Análise do desempenho por hospital O indicador de desempenho, construído a partir da comparação entre os valores observados e esperados do número de óbitos por hospital, está representado Quadro I Características dos hospitais Média Média até Q1depois Q3 TM (%) 12,01 – 8,95 17,36 3,79 21,64 TM esperada (%) 11,96 – 9,71 15,51 3,72 19,28 Volume 4 680 3962 1 139 10 187 362 20 017 Gravidade 32,40 – 24,78 39,75 8,32 52,09 Tecnologia 9,40 6,76 2 19 0 29 TM = taxa de mortalidade. (n= 81) Média DP Mínimo Máximo 82 REVISTA PORTUGUESA DE SAÚDE PÚBLICA Avaliação do desempenho na Figura 1. Apenas num hospital (47) os valores esperados e observados coincidem. O hospital 12 mostra o maior valor do z-score do conjunto dos hospitais: 0,80. Neste hospital, o número de óbitos esperado é de 867 e o observado é de 1220 (mais 353 óbitos). O hospital 61 mostra o menor valor do z-score: – 0,62. Neste hospital, o número de óbitos esperado é de 1384 e o observado é de 1111 (menos 273 óbitos). Existem 38 hospitais com valores negativos do zscore, e o número de episódios com alta nestes hospitais representa 56% do total. Os hospitais com um número de óbitos superior ao esperado são 43 e representam 44% do total de episódios. Assim, verifica-se que um pouco mais de metade dos episódios em análise foi tratado nos hospitais com bom desempenho (número de óbitos inferior ao esperado). O facto de estes hospitais representarem cerca de metade das observações verifica-se por construção, dadas as características do z-score. Por forma a distinguir entre os hospitais com bom desempenho, aqueles que se destacam pelo seu elevado desempenho, foram calculados os outliers da medida de desempenho. Identificaram-se, deste modo, dois tipos de hospitais: hospitais com elevado desempenho (hospitais 9, 10, 13 e 61) e hospitais com fraco desempenho (hospitais 12 e 59). Ao analisar os 81 hospitais, nas diferentes perspectivas4, 46 não se destacam em nenhuma delas pelo seu elevado/fraco desempenho. Dos 35 que se destacam pelo menos numa perspectiva, 14 destacam-se pelo seu elevado desempenho numas perspectivas e fraco desempenho noutras, 8 apenas pelo seu elevado desempenho e 13 apenas pelo seu fraco desempenho. Analisando por hospital, destacam-se os hospitais 13 e 61 pela frequência com que surgem entre os hospitais com elevado desempenho (12). Contudo, o hospital 13 figura entre os hospitais de fraco desempenho quando as perspectivas de análise são o traumatismo craniano (CN08), a doença coronária (CORO) e a fractura do colo ou cabeça do fémur (MS09). Os hospitais que surgem com mais frequência no grupo de fraco desempenho são os hospitais 12 e 59. No entanto, nos episódios de bronquite e bronquiolite 4 A designação «perspectiva» é usada ao longo do texto para fazer referência aos grupos de episódios analisados separadamente: episódios médicos, episódios cirúrgicos, grupos de doenças e doenças principais. Figura 1 Medida de desempenho por hospital 0,8 0,6 0,4 0,2 0 – 0,2 – 0,4 – 0,6 – 0,8 12 59 61 13 10 9 47 83 VOLUME TEMÁTICO: 5, 2005 Avaliação do desempenho aguda (RS73), o hospital 12 está entre os melhores hospitais. Em suma, verifica-se que o desempenho varia entre hospitais, existindo hospitais que se destacam pelo seu pior/melhor desempenho. 5.3. Análise comparada do desempenho e da taxa de mortalidade observada Até aqui pode verificar-se que existem diferenças no desempenho entre hospitais, surgindo a questão sobre a coincidência entre estas diferenças e as diferenças da taxa de mortalidade observada. Assim, os hospitais foram ordenados pelo desempenho e pela taxa de mortalidade observada e as ordenações foram comparadas através do valor Kappa. Quando este é inferior a 0,40, a concordância entre a ordenação pela taxa de mortalidade observada e a ordenação pelo desempenho é fraca (Pestana e Gageiro, 2003). Na Figura 2, os hospitais estão ordenados por ordem crescente de desempenho: os hospitais mais à esquerda têm bom desempenho (observado inferior ao esperado); os hospitais mais à direita têm mau desempenho. Da análise da figura verifica-se que a posição relativa de cada hospital varia consoante se analise a taxa de mortalidade observada ou o desempenho, não se vislumbrando um padrão. O valor de Kappa observado (0,01) indica uma fraca concordância entre os critérios de ordenação. Apesar disso, as ordens estão positiva e moderadamente correlacionadas (0,62). Se analisarmos a taxa de mortalidade observada em cada quartil da medida de desempenho, verifica-se que no quartil onde se situam os 20 melhores hospitais a taxa de mortalidade observada varia entre 5,2% e 12,7%. Verifica-se ainda que o valor mínimo da taxa de mortalidade observada (3,79%) se encontra no grupo de hospitais entre as posições 20.a e 40.a na ordenação por desempenho. O valor máximo da taxa de mortalidade observada (21,64%) encontra-se depois do terceiro quartil. Tal como foi observado na Figura 1, o hospital com o valor máximo da taxa de mortalidade encontra-se na 81.a posição do desempenho. Figura 2 Ordem relativa dos hospitais por taxa de mortalidade (TM) observada e por desempenho 90 80 70 60 50 40 30 20 10 0 Ordem de desempenho Ordem TM observada 90 REVISTA PORTUGUESA DE SAÚDE PÚBLICA Avaliação do desempenho é a insuficiência renal, em que, quanto menor a gravidade, melhor o desempenho. Neste caso, a taxa de mortalidade esperada por subestadio varia entre 4% e 51%. Assim, é de esperar que dentro desta doença estejam incluídos episódios de características muito distintas, pelo que as variáveis que influenciam o desempenho serão distintas. Também para a doença pulmonar obstrutiva crónica, o desempenho varia com a gravidade, mas os hospitais com maior percentagem de episódios graves têm melhor desempenho. No entanto, os níveis de risco dos episódios são relativamente semelhantes entre si, pelo que só uma análise mais aprofundada permitiria explicar estas diferenças. 7. Síntese final O objectivo da medição da qualidade é, evidentemente, estabelecer o ponto de partida para a sua melhoria (Blumenthal, 1996, 891). Nesta linha, este trabalho tinha dois objectivos centrais. Primeiro, a identificação da existência de diferenças de desempenho. Segundo, a investigação das características estruturais que podem justificar estas diferenças. Abordaram-se na primeira parte as questões relativas às potencialidades da análise da mortalidade no internamento como medida de qualidade e preocupações que devem estar presentes na análise. As dimensões da estrutura do hospital, que são frequentemente apontadas como influenciando os resultados, em particular o volume, foram abordadas pela perspectiva de diferentes autores. Depois de apresentadas as hipóteses que orientariam a análise e qual a metodologia a adoptar, apresentaram-se os resultados obtidos, entre os quais se destacaram os que se seguem. O desempenho varia entre hospitais, existindo hospitais que se destacam pelo seu pior/melhor desempenho. A análise da taxa de mortalidade, a nível global, não mostra qualquer concordância com a análise do desempenho, embora estejam correlacionadas. No entanto, para algumas doenças, esta correlação não existe. Pode observar-se ainda que existem diferenças a nível do desempenho dentro de cada hospital, tendendo os hospitais com melhor desempenho a mostrar as maiores diferenças internas. No que se refere aos resultados da análise da regressão, verifica-se que, na maioria das perspectivas (17 em 30), o modelo de desempenho não é significativo. Nos que são significativos, a variável que, com maior frequência, explica as diferenças de desempenho é o volume. A relação entre volume e desempenho não é linear. Para além disso, em algumas perspectivas, o desempenho varia com a gravidade. Apenas numa das perspectivas varia com o índice tecnológico. Estes resultados foram influenciados pela metodologia adoptada, destacando-se o uso de dados administrativos para o ajustamento do risco. Também neste domínio, mas no que toca às variáveis incluídas, se considera a possibilidade de que a inclusão de outras variáveis de recursos humanos, que não o número, bem como de variáveis de estrutura no domínio da coordenação e comunicação, aumentaria o poder explicativo do modelo do desempenho. Os resultados aqui encontrados a nível das variáveis explicativas do desempenho diferem dos mais frequentes na literatura, pelo que se sugere uma análise mais aprofundada destas matérias que complemente e melhore a já efectuada. De todas as linhas de investigação futura que foram sendo apontadas ao longo do trabalho, esta é certamente a mais relevante. Bibliografia AVERILL, R. F., et al. — The evolution of case–mix measurement using Diagnosis Related Groups (DRGs). 3M HIS Research Report. 5 : 98 (1998) 1-40. BACH, P. B., et al. — The influence of hospital volume on survival after resection for lung cancer. New England Journal of Medicine. 345 : 3 (2001) 181-188. BIRKMEYER, J. D., et al. — Hospital volume and surgical mortality in the United States. New England Journal of Medicine. 346 : 15 (2002) 1128-1137. BLUMENTHAL, D. — Quality of health care : what is it? New England Journal of Medicine. 335 : 12 (1996) 891-894. BURNS, L. R.; WHOLEY, D. R. — The effects of patient, hospital and physician characteristics on length of stay and mortality. Medical Care. 29 : 3 (1991) 251-271. COSTA, C.; LOUIS, D.; GONELLA, J. — An assessment of Portuguese hospital performance. 19th PCSE Conference, Washington, 2003. COSTA, C.; NOGUEIRA, P. — A medição da produção do hospital : a importância da fiabilidade. Revista Portuguesa de Saúde Pública. 12 : 2 (1994) 31-40. DONABEDIAN, A. — Quality assessment and assurance : unity of purpose, diversity of means. Inquiry. 25 : 1 (1988) 173-192. DONABEDIAN, A. — The quality of care : how can it be assessed? Journal of American Medical Association. 260 : 12 (1988) 1743-1748. FARLEY, D. E.; OZMINKOWSKI, R. J. — Volume-outcome relationships and in hospital mortality : the effect of changes in volume over time. Medical Care. 30 : 1 (1992) 77-94. 91 VOLUME TEMÁTICO: 5, 2005 Avaliação do desempenho FLOOD, A. B., et al. — Organizational performance : managing for efficiency and effectiveness. In SHORTELL, S. M.; KALUZNY, A. D., ed. lit. — Managing health care organizations : organization theory and behaviour. 3rd ed. New York : Delmar, 1994. FLOOD, A. B.; SCOTT, W. R.; EWY, W. — Does practice make perfect? Part I : The relation between volume and outcomes for selected diagnosis categories. Medical Care. 22 : 2 (1984) 98-114. FLOOD, A. B.; SCOTT, W. R.; EWY, W. — Does practice make perfect? Part II : The relation between volume and outcomes and other hospital characteristics. Medical Care. 22 : 2 (1984) 115- 125. GONNELLA, J. S.; HORNBROOK, M. C.; LOUIS, D. Z. — Staging of disease : a case-mix measurement. Journal of American Medical Association. 251 : 5 (1984) 637-644. HAMILTON, B. H.; HO, V. — Does practice make perfect? Examining the relationship between hospital volume and outcomes for hip fracture patients in Quebec. Medical Care. 36 : 6 (1998) 892-903. HOFER, T. P.; HAYWARD, R. A. — Identify poor-quality hospitals : can hospital mortality rates detect quality problems for medical diagnoses? Medical Care. 34 : 8 (1996) 737-753. HORNBROOK, M. C. — Techniques for assessing hospital case mix. Annual Review of Public Health. 6 (1985) 295-324. IEZZONI, L. I. — Data sources and implications : administrative databases. In IEZZONI, L. I., ed. lit. — Risk adjustment for measuring health outcomes. 2nd ed. Chicago : Health Administration Press, 1997a. IEZZONI, L. I. — Dimensions of risk. In IEZZONI, L. I., ed. lit. — Risk adjustment for measuring health outcomes. 2nd ed. Chicago : Health Administration Press, 1997a. IEZZONI, L. I. — Risk and outcomes. In IEZZONI, L. I., ed. lit. — Risk adjustment for measuring health outcomes. 2nd ed. Chicago : Health Administration Press, 1997a. IEZZONI, L. I. — The risks of risk adjustment. Journal of American Medical Association. 278 : 19 (1997b) 1600-1607. IEZZONI, L. I., et al. — Judging hospitals by severity-adjus- ted mortality rates : the influence of the severity-adjustment method. American Journal of Public Health. 86 : 10 (1996a) 1379-1387. IEZZONI, L. I., et al. — Predicting in-hospital mortality for stroke patients : results differ across severity-measurement methods. Medical Decision Making. 16 : 4 (1996b) 346-356. IEZZONI, L. I., et al. — Severity measurement methods and judging hospital death rates for pneumonia. Medical Care. 34 : 11 (1996c) 11-28. JARMAN, B., et al. — Explaining differences in English hospital death rates using routinely collected data. British Medical Journal. 318 : 7197 (1999) 1515-1520. JENCKS, S. F.; WILLIAMS, D. K.; KAY, T. L. — Assessing hospital-associated deaths from discharge data : the role of length of stay and co-morbidities. Journal of American Medical Association. 260 : 15 (1988) 2240-2246. KAHN, K. L., et al. — Interpreting hospital mortality data. Journal of American Medical Association. 260 : 24 (1988) 3625-3628. KAHN, K. L., et al. — Measuring quality of care with explicit process criteria before and after implementation of the DRG-based prospective payment system. Journal of American Medical Association. 264 : 15 (1990) 1969-1973. KAHN, K.L., et al. — The effects of the DRG-based prospective payment system on quality of care for hospitalized Medicare patients. Journal of American Medical Association. 264 : 15 (1990) 1953-1955. KEELER, E. B., et al. — Hospital characteristics and quality of care. Journal of American Medical Association. 268 : 13 (1992) 1709-1714. KO, C. Y., et al. — Are high-volume surgeons and hospitals the most important predictors of inhospital outcome for colon cancer resection? Surgery. 312 : 2 (2002) 268-273. KRAKAUER, H., et al. — Evaluation of the HCFA model for the analysis of mortality following hospitalization. Health Services Research. 27 : 3 (1992) 317-335. KUHN, E. M., et al. — The relationship of hospital characteristics and the results of peer review in six large states. Medical Care. 29 : 10 (1991) 1028-1037. LOPES, S. — Mortalidade hospitalar e estrutura dos hospitais. Dissertação do XXXII Curso de Especialização em Administração Hospitalar (2002-2004). LOUIS, D. Z. — Severity of illness and the evaluation of health care. In Workshop, 1, Lisboa, 21-22 de Janeiro de 2004 — Gestão em Saúde. Lisboa: [s. n.], 2004. LUFT, H. S.; HUNT, S. S.; MAERKI, S. C. — The volumeoutcome relationship : practice makes perfect or selective referral patterns? Health Services Research. 22 : 2 (1987) 157-182. MANHEIM, L. M., et al. — Regional variations in Medicare hospital mortality. Inquiry. 29 : 1 (1992) 55-66. MITCHELL, P. H.; SHORTELL, S. M. — Adverse outcomes and variations in organization of care delivery. Medical Care. 35 : 11 (1997) 19-32. O’MUIRCHEARTAIGH, C.; BURKE, A.; MURPHY, W. — The 2003 index of hospital quality. Washington, DC: NORC, [2004] (U.S. News & World Report’s «America’s Best Hospitals») http://www.norc.uchicago.edu/new/2003_Index_of_Hospital_ Quality.pdf (2004-04-29). PARK, R. E., et al. — Explaining variations in hospital death rates : randomness, severity of illness, quality of care. Journal of American Medical Association. 264 : 4 (1990) 484-490. PESTANA, M.; GAGEIRO, J. — Análise de dados para ciências sociais : a complementaridade do SPSS. 3.a ed. rev. e aumentada. Lisboa : Edições Sílabo, 2003. PINE, M., et al. — Predictions of hospital mortality rates: a comparison of data sources. Annals of Internal Medicine. 126 : 5 (1997) 347-354. RUBENSTEIN, L. V., et al. — Changes in quality of care for five diseases measured by implicit review. Journal of American Medical Association. 264 : 15 (1990) 1974-1979. SCANLON, D. P., et al. — Options for assessing PPO quality : accreditation and profiling as accountability strategies. Medical Care Research and Review. 58 : Suppl. 1 (2001) 70-100. SHWARTZ, M.; ASH, A. S.; IEZZONI, L. I. — Comparing outcomes across providers. In IEZZONI, L. I., ed. lit. — Risk adjustment for measuring health outcomes. 2nd ed. Chicago : Health Administration Press, 1997b. SOWDEN, A. J.; SHELDON, T. A. — Does volume really affect outcome? Lessons from the evidence. Journal of Health Services Research and Policy. 3 : 3 (1998) 187-190. THOMAS, J. W.; HOLLOWAY, J. J.; GUIRE, K. E. — Validating risk-adjusted mortality as an indicator of quality of care. Inquiry. 30 : 1 (1993) 6-22. THOMAS, J. W.; LONGO, D. R. — Application of severity measurement systems for hospital quality management. Hospital and Health Services Administration. 35 : 2 (1990) 221-243. 92 REVISTA PORTUGUESA DE SAÚDE PÚBLICA Avaliação do desempenho URBACH, D. R.; BAXTER, N. — Does it matter what a hospital is «high volume» for? Specificity of hospital volume-outcome associations for surgical procedures : analysis of administrative data. British Medical Journal. 328 : 7442 (2004) 737-740. WRAY, N. P., et al. — Case-mix adjustment using administrative databases : a paradigm to guide future research. Medical Care Research and Review. 54 : 3 (1997) 326-356. Abstract EFFECTIVENESS AND VOLUME : A STUDY ON PORTUGUESE HOSPITALS Context: quality is an important matter, both for patients and caregivers, being the mortality rate one of the possible indicators of results to be monitored. However, it is fundamental to adjust for the differences in the patients’ risk. There is an extensive body of literature concerning the impact of the hospital structure in its results. Objectives: to identify differences in hospitals’ performance, in terms of their effectiveness and to investigate which structural characteristics might be related to those results. Methods: the study includes diseases with high impact in-hos- pital mortality. The performance is evaluated through the comparison between observed mortality and predicted mortality (from Disease Staging predictive scales). Analyses of the indicator of performance for each hospital, disease and group of diseases were made. The ranking of mortality was compared with the ranking of performance for each hospital. The differences in performance per disease within the hospital were investigated. Performance was regressed against a group of variables (volume, technology and severity), for all admissions, for each group of diseases and for each disease. Results: a database with 379 074 admissions (21 diseases, 8 groups) was considered, with a mortality rate of 12%. There were differences in performance among the group of hospitals, and some outliers were found. The limitations of not adjusting mortality rate for the patients’ risk when evaluating performance were shown. Hospitals have a different performance, depending on the disease. Performance was found to be nonlinearly related with volume, but this relation is opposite to that described in the literature. Keywords: outcomes; quality assessment; mortality; Disease Staging; risk adjustment.