Revista de Administração em Saúde

Rev. Adm. Saúde (On-line), São Paulo, v. 20, n. 80: e243, jul. – set. 2020, Epub 30 set. 2020

http://dx.doi.org/10.23973/ras.80.243

 

 

ARTIGO ORIGINAL

 

Construção e validação de indicadores interdisciplinares em um centro de reabilitação

Construction and validation of interdisciplinary indicators in a rehabilitation center

 

Darlene Vieira Candido Zarbinati¹; Camila Reis Paris Servoni²; Alessandro José Pereira³; Eduardo Federighi Baisi Chagas⁴; Pedro Marco Karan Barbosa⁵

 

1. Enfermeira. Mestranda do Programa de Mestrado Acadêmico “Saúde e Envelhecimento” da Faculdade de Medicina de Marília, Marília SP.

2. Mestre. Diretora técnica do Hospital das Clínicas da Faculdade de Medicina de Marília, Marília SP.

3. Mestre. Coordenador no Centro de Reabilitação Lucy Montoro, Marília SP.

4. Professor do Programa de Pós-Graduação da Faculdade de Medicina de Marília, Marília SP.

5. Professor da Faculdade de Medicina de Marília, Marília SP.

 

RESUMO

O uso de indicadores caracteriza-se como uma estratégia que possibilita a busca da eficácia e eficiência das estruturas organizacionais, dos processos de trabalho e dos resultados da assistência, permitindo que os profissionais monitorem e avaliem todo o processo. Portanto, para estruturar um indicador é necessário que haja participação de vários profissionais, tendo em vista a interdisciplinaridade. Desse modo, este trabalho tem por objetivo propor uma matriz de indicadores de processo e resultado na assistência em saúde com enfoque interdisciplinar no âmbito do atendimento ambulatorial em reabilitação. Estudo quanti-qualitativo realizado no Centro de Reabilitação Lucy Montoro da Unidade de Marília - SP, com amostra intencional, dividida em 2 grupos: construção dos indicadores e validação dos indicadores. Para a construção dos indicadores, participaram 33 profissionais de saúde, entre eles enfermeiros, nutricionistas, psicólogos, terapeutas ocupacionais, fonoaudiólogos, assistentes sociais, educadores físicos e fisioterapeutas. Foram constituídas 3 etapas, sendo a primeira uma oficina de planejamento, na qual foi apresentado o conceito de indicador e os critérios para a construção. A segunda etapa foram as oficinas de trabalho com os terapeutas de cada setor utilizando a técnica de brainstorm, definindo as principais práticas assistenciais empregadas no centro de reabilitação que se correlacionassem entre os setores para a elaboração dos indicadores, segundo o modelo proposto por Donabedian. Na terceira etapa os indicadores foram submetidos à juízes especialistas para validação de conteúdo através da técnica de conferência de consenso. A validação foi realizada por 5 juízes, e todos os 10 indicadores elaborados foram validados. Acredita-se que o emprego desse instrumento colabore com a avaliação e gestão da qualidade nos serviços de reabilitação.

Palavras-chave: Avaliação da qualidade dos cuidados de saúde. Assistência à saúde. Centros de reabilitação. Equipe de assistência ao paciente.

 

ABSTRACT

The use of indicators is characterized as a strategy that enables the search for the effectiveness and efficiency of organizational structures, work processes and care results, allowing professionals to monitor and evaluate the entire process. Therefore, to structure an indicator it is necessary to participate several professionals, in view of interdisciplinarity. Thus, this work aims to propose a matrix of process and result indicators in health care with an interdisciplinary focus in the scope of outpatient care in rehabilitation. Quantitative-qualitative study conducted at the Lucy Montoro Rehabilitation Center of the Marília Unit - SP, with an intentional sample, divided into 2 groups: construction of indicators and validation of indicators. To construct the indicators, 33 health professionals participated, including nurses, nutritionists, psychologists, occupational therapists, speech therapists, social workers, physical educators and physiotherapists. Three stages were constituted, the first being a planning workshop, in which the concept of indicator and the criteria for construction were presented. The second stage were the workshops with the therapists of each sector using the brainstorm technique, defining the main care practices employed in the rehabilitation center that correlated between the sectors for the elaboration of indicators, according to the model proposed by Donabedian. In the third stage, the indicators were submitted to expert judges for content validation through the Consensus Conference technique. The validation was performed by 5 jurors, and all 10 indicators elaborated were validated. It is believed that the use of this instrument collaborates with the evaluation and quality management of rehabilitation services.

Keywords: Evaluation of the quality of health care. Health care. Rehabilitation centers. Patient care team

 

INTRODUÇÃO

A segurança nos serviços oferecidos à sociedade apresenta uma relação intrínseca com a qualidade de atendimento. Na área da saúde, a qualidade do atendimento é definida como um conjunto de atributos que abrange a excelência profissional, o uso eficiente de recursos, o mínimo de risco aos usuários e um elevado grau de satisfação por parte dos clientes¹. Portanto, para avaliar a qualidade da assistência é necessário traduzir esses conceitos em indicadores que exprimam os diferentes elementos constitutivos das estruturas organizacionais, dos processos de trabalho e dos resultados da assistência prestada².

A literatura apresenta diversas classificações para os indicadores, mas basicamente o modelo mais popular e utilizado para a avaliação da qualidade dos serviços de saúde continua a ser o apresentado por Avedis Donabedian, o qual categoriza os serviços de saúde baseado em três elementos essenciais: estrutura, processo e resultado, que são indissociáveis entre si³.

A dimensão estrutura representa as características dos recursos empregados na atenção em saúde: recursos humanos, físicos, materiais, equipamentos, financeiros e qualificação profissional. Já a dimensão processo corresponde as atividades que são desenvolvidas entre profissionais de saúde e usuários, e sua análise confronta os procedimentos utilizados com os estabelecidos como normas pelos próprios profissionais da saúde. Por último, o resultado refere-se ao desfecho da assistência prestada, considerando a saúde, a satisfação de padrões e as expectativas dos usuários⁴.

Para a construção de indicadores é primordial a divisão desta em 4 fases. A primeira é determinar os objetivos, quais informações precisam ser monitoradas e qual sua utilidade dentro do planejamento estratégico. Na segunda fase os especialistas devem ser envolvidos para determinar as métricas a ser empregadas na construção dos indicadores que serão utilizados para mensurar o que se quer acompanhar. A terceira etapa é a coleta das informações, na qual são determinados os responsáveis pela investigação, a frequência e a maneira que os elementos serão armazenados após a coleta³. A quarta fase é a análise dos indicadores. A equipe responsável pela avaliação desses indicadores deverá estudar os resultados e interpretá-los, e, fundamentados nessa análise crítica, os gestores serão capazes de corrigir possíveis falhas no processo ou poderão manter a trajetória já estabelecida, sendo o resultado satisfatório³. Uma vez estabelecidos os indicadores, é indispensável a concretização do processo de validação antes de implantá-los⁵.

Na construção de um indicador é necessária a participação de todos os profissionais envolvidos, tendo em vista não só a interdisciplinaridade, mas também os diferentes olhares clínicos e de gestão. O processo deve ocorrer de maneira democrática, por meio de grupos de trabalho, sendo necessário constituir indicadores que envolvam toda a equipe de saúde, já que não há na literatura o emprego de indicadores interdisciplinares^6,7.

Na reabilitação os tratamentos são realizados por equipe interdisciplinar, composta por profissionais especializados em reabilitação: médicos fisiatras, enfermeiros, fisioterapeutas, nutricionistas, psicólogos, terapeutas ocupacionais, assistentes sociais, educadores físicos e fonoaudiólogos, os quais têm por objetivo possibilitar que o paciente atinja o maior grau de independência física, funcional e autonomia pessoal permitida pelo grau de incapacidade, promovendo assim a inclusão social da pessoa com deficiência. Além disso, tais profissionais desempenham suas competências baseadas em protocolos de atendimento já padronizados, respeitando o limite de atuação de cada área8.

Ao evidenciarmos a reabilitação como um dos componentes importantes na qualidade dos cuidados, é imprescindível definir como ela é compreendida. Atualmente, tem crescido o foco de atenção dos órgãos reguladores para que os programas de reabilitação demonstrem efetivamente e eficientemente suas metas e resultados⁹.

Diante deste cenário, o interesse deste trabalho é abordar a avaliação dos resultados da assistência prestada, de acordo com o referencial de Donabedian, e portanto sente-se a necessidade de investigar: “Quais os indicadores da assistência em saúde que poderiam ser construídos pela equipe de trabalho interdisciplinar do Lucy Montoro para possibilitar a avaliação de seus processos de trabalho referentes aos resultados alcançados?”

Tendo em vista a relevância da qualidade assistencial dos serviços de saúde, o presente trabalho trará contribuições para a implementação eficaz e eficiente de indicadores construídos pela equipe interdisciplinar, sendo este o desafio da pesquisa, tendo como finalidade propor a melhoria do atendimento, a segurança dos pacientes e a gestão integrada, podendo abranger qualquer centro de reabilitação.

O objetivo deste trabalho é construir uma matriz de indicadores de assistência em saúde com enfoque interdisciplinar no âmbito do atendimento ambulatorial do Centro de Reabilitação Lucy Montoro da cidade de Marília e proceder a validação de conteúdo.

 

MÉTODOS

Estudo de desenvolvimento metodológico de abordagem quanti-qualitativa, que utiliza a técnica de conferência de consenso, a qual concilia uma discussão ampla e aberta entre especialistas no sentido de obter um consenso, utilizada especialmente no campo da saúde para a definição de critérios, padrões e indicadores que avaliem a qualidade do cuidado^10,11.

O projeto do estudo foi submetido ao Comitê de Ética em Pesquisa da Faculdade de Medicina de Marília para análise e aprovado, com o CAAE: 91617018.8.0000.5413 e sob o parecer de número 2.790.628.

A investigação foi realizada em um centro de reabilitação da cidade de Marília - SP, cuja amostra foi intencional e dividida em dois eixos: os participantes envolvidos na construção dos indicadores, contendo 33 profissionais da equipe interdisciplinar da Rede de Reabilitação do Centro Lucy Montoro - Unidade Marília, incluindo 4 enfermeiros, 4 assistentes sociais, 2 nutricionistas, 7 fisioterapeutas, 3 psicólogos, 5 terapeutas ocupacionais, 3 fonoaudiólogos e 4 educadores físicos; e na validação nos indicadores participaram 5 indivíduos especialistas e gestores que trabalham com elaboração e validação de indicadores. O trabalho foi desenvolvido em seis fases, descritas a seguir.

Na primeira fase foi realizada uma oficina de planejamento, denominada “oficina-mãe” com todos os profissionais participantes, cujo objetivo foi apresentar o conceito de indicador e os critérios estabelecidos para a construção de um indicador visando as práticas assistenciais de cada setor.

Na segunda fase foram realizadas oficinas de trabalho com cada setor separadamente, divididas em 15 encontros para a coleta dos dados, que embasaram a construção dos indicadores através da técnica de brainstorm. Cada setor definiu as principais práticas assistenciais empregadas no centro de reabilitação que estão correlacionadas com outros setores e identificou os problemas de sua área, sugerindo soluções que fossem aplicadas em conjunto com outro setor.

Já na terceira fase, os indicadores foram construídos e organizados segundo o modelo avaliativo proposto por Donabedian, sendo submetidos à equipe multidisciplinar para adequações. Foi utilizado um instrumento de avaliação já validado para cada indicador, contudo são aplicados de modo a não contemplar a interdisciplinaridade. Sendo assim, enfatizamos as intervenções elaboradas pela equipe, as quais subsidiam os resultados dos indicadores, reforçando o trabalho multiprofissional e interdisciplinar.

A matriz inicial foi enviada na quarta fase, via on-line juntamente com o Termo de Consentimento Livre Esclarecido, para cinco especialistas convidados, com o prazo de vinte dias para retorno. A técnica de trabalho consistiu no preenchimento individual do manual operacional contendo os itens de julgamento de cada indicador. Para cada um dos indicadores, os especialistas atribuíram pontuação de 0 a 10, segundo o grau de importância de cada indicador, podendo ainda sugerir a inclusão de novos indicadores ou alteração deles. A nota 10 significa a de maior importância ao indicador, sendo que a nota 0 denota que o indicador deverá ser excluído. Posteriormente, o pesquisador consolidou os indicadores por meio de média aritmética e do desvio padrão, significando o grau de importância e o grau de consenso de cada um, respectivamente, após retorno das matrizes preenchidas. Desta forma, quanto maior a média, maior a importância do indicador e quanto menor o desvio padrão, maior o grau de consenso, independentemente da importância atribuída ao indicador. Nessa ocasião, não foi excluído nenhum indicador na intenção de trazer todas as informações para debate na conferência de consenso.

Na quinta fase foi utilizada a conferência de consenso online com a presença de três especialistas em um grupo de discussão coordenado pelo pesquisador. Cada integrante pôde expressar seu entendimento sobre os indicadores, seus argumentos e dar sugestões. Tal debate favoreceu o entendimento da matriz, bem como dos sentidos implícitos a ela, com a finalidade de definir ou não um consenso para a construção dos indicadores. Após a análise da conferência, a matriz foi reestruturada conforme as adequações propostas e conduzida novamente aos participantes para nova rodada de avaliação individual e atribuição de pontos.

Na sexta e última fase, foi enviada uma nova matriz ao grupo de especialistas, com todos os reajustes necessários, tendo um prazo de 20 dias para a sua devolução. Após o retorno desta matriz foi realizado um novo tratamento estatístico, com média e desvio padrão de cada indicador. Neste estudo foram estabelecidos os seguintes pontos de corte de avaliação de critérios:

1) Quanto à relevância do critério: a) média de pontos menor 7: critério de pouca relevância; b) média de pontos maior ou igual a 7 e menor que 9: critério de média relevância; c) média maior ou igual a 9: critério de muita relevância. Todo o indicador com média maior ou igual a sete será considerado importante. Inferior a esse valor, será considerado pouco importante, não devendo fazer parte da matriz de indicadores12,13.

2) Quanto ao desvio padrão (DP): a) DP menor ou igual a 1: critério com grande consenso; b) DP maior 1 e menor ou igual a 3: critério com pouco consenso; c) DP maior que 3 e menor ou igual a 4: critério com grande dissenso. Todo indicador com desvio padrão inferior a três será considerado consensual12,13.

As variáveis quantitativas foram descritas pela média, desvio-padrão (DP) e valor mínimo e máximo. A comparação entre os momentos pré e pós foi realizada pelo teste não paramétrico de Wilcoxom. O nível de significância adotado foi de 5% (p<=0,05) e os dados foram analisados no software SPSS (versão 24.0).

 

RESULTADOS E DISCUSSÃO

Foram elaborados 10 indicadores interdisciplinares divididos em grandes áreas, sendo 4 indicadores de processo (3 relacionados ao autocuidado e papel do cuidador e 1 relacionado à atividade física) e 6 indicadores de resultado [2 relacionados à promoção da saúde, 2 relacionados à nutrição (ingestão), 1 relacionado à eliminação e 1 relacionado à lesão física] (APÊNDICE A). Apesar de todos os setores participarem das Oficinas de Trabalho, não foi possível construir indicadores envolvendo o Serviço Social, pois o setor não realiza o acompanhamento sistemático do paciente até a alta que garanta resultados que possam ser mensurados, já que suas ações são pautadas em orientações e dependem do comprometimento do paciente fora do ambiente ambulatorial, impossibilitando o assistente social de constatar os resultados. Portanto, foram considerados 7 setores para a construção dos indicadores interdisciplinares.

Do total de juízes, três eram enfermeiros (60%) e dois médicos (40%). A média de idade foi de 50,2 (DP±13,98) anos, o tempo médio de formado de 26 (DP±13,19) anos, todos são de instituições públicas, sendo um diretor (20%), dois coordenadores (40%) e dois docentes (40%). Destes, três são doutores (60%), um mestre (20%) e um especialista (20%).

Nenhum indicador foi descartado pelos juízes e todos foram considerados com algum grau de importância (média > 7 e ≤ 10). Embora todos os indicadores tenham sido validados, os juízes expuseram observações que foram ponderadas para aperfeiçoamento dos mesmos.

O primeiro julgamento procedido pelos especialistas estava relacionado à ficha técnica dos indicadores, que se pauta em descrever os quesitos necessários que compõem cada indicador. Para tanto, há a necessidade de uma ampla revisão bibliográfica buscando-se as melhores evidências científicas capazes de sustentá-lo.

 

Tabela 1. Consenso de julgamento da ficha técnica de cada indicador.

		1º julgamento		2º julgamento
Indicador	Características	Média	DP	Média	DP	Valor de p*
Adesão do paciente às orientações para cicatrização de lesão de pele	Definição	9	1	9,7	0,577	0,317
	Nível	9	0,577	9,7	0,577	1
	Tipo	9	0,577	9,7	0,577	1
	Cálculo	8	2,887	10	0	0,317
	Fonte de coleta de informações	9	1	9,7	0,577	0,317
	Representação	8,7	1,155	10	0	0,157
	Amostra	7,3	1,155	9,7	0,577	0,109
	Responsáveis pela coleta e análise	9,7	0,577	9,3	0,577	0,317
	Periodicidade de coleta e análise	10	0	10	0	1
	Objetivo	10	0	10	0	1
	Intervenções	8,7	1,528	9,7	0,577	0,317
	Metas	10	0	10	0	1
Taxa de adesão à comunicação alternativa de pacientes afásicos com lesão encefálica	Definição	9,7	0,577	9,7	0,577	1
	Nível	9,7	0,577	9,7	0,577	1
	Tipo	10	0	10	0	1
	Cálculo	9,7	0,577	9,3	0,577	0,317
	Fonte de coleta de informações	8,7	2,309	9,7	0,577	0,317
	Representação	10	0	10	0	1
	Amostra	10	0	8,3	2,887	0,317
	Responsáveis pela coleta e análise	9,7	0,577	9,3	0,577	0,317
	Periodicidade de coleta e análise	9,7	0,577	9,7	0,577	1
	Objetivo	9,7	0,577	9,7	0,577	1
	Intervenções	9,7	0,577	9,3	0,577	0,317
	Metas	10	0	10	0	1
Taxa de adesão dos pacientes às medidas preventivas e terapêuticas para protetização	Definição	7,3	3,786	9,7	0,577	0,317
	Nível	9,7	0,577	9,7	0,577	1
	Tipo	9,7	0,577	9,7	0,577	1
	Cálculo	7,7	3,215	9,7	0,577	0,317
	Fonte de coleta de informações	9	1,732	9,7	0,577	0,317
	Representação	9,7	0,577	9,7	0,577	1
	Amostra	6,0	3,464	10	0	0,157
	Responsáveis pela coleta e análise	6,3	2,517	8,3	2,082	0,317
	Periodicidade de coleta e análise	9,3	1,155	9,7	0,577	0,317
	Objetivo	9,7	0,577	9,7	0,577	1
	Intervenções	7,3	2,082	7,7	3,215	0,655
	Metas	9,7	0,577	9,7	0,577	1
Ganho de independência funcional com uso de tecnologia assistiva	Definição	7,7	3,215	9,7	0,577	0,317
	Nível	9,7	0,577	9,7	0,577	1
	Tipo	9,7	0,577	9	1	0,317
	Cálculo	7,3	3,786	9,3	0,577	0,317
	Fonte de coleta de informações	9,7	0,577	9,7	0,577	1
	Representação	9,7	0,577	9,7	0,577	1
	Amostra	8,3	2,082	7,7	3,215	0,317
	Responsáveis pela coleta e análise	7,7	3,215	8,7	1,528	0,317
	Periodicidade de coleta e análise	8,7	1,528	9,7	0,577	0,317
	Objetivo	9,3	0,577	9,7	0,577	0,317
	Intervenções	8,0	2,646	8,7	1,528	0,317
	Metas	9,7	0,577	9,7	0,577	1
Percentual de controle da espasticidade	Definição	7,7	3,215	9,7	0,577	0,317
	Nível	7	4,359	9,7	0,577	0,317
	Tipo	9,7	0,577	9,7	0,577	1
	Cálculo	7	4,359	9,7	0,577	0,317
	Fonte de coleta de informações	9,3	1,155	9,7	0,577	0,317
	Representação	9,3	0,577	9,7	0,577	0,317
	Amostra	9,7	0,577	9,0	1	0,317
	Responsáveis pela coleta e análise	8,3	2,082	9,3	0,577	0,317
	Periodicidade de coleta e análise	9,7	0,577	9,3	1,155	0,317
	Objetivo	10	0	10	0	1
	Intervenções	8,7	2,309	9,3	1,155	0,317
	Metas	9	1,732	10	0	0,317
Taxa de melhora da mastigação comprometida	Definição	9,7	0,577	9,7	0,577	1
	Nível	7,7	3,215	9,7	0,577	0,317
	Tipo	10	0	10	0	1
	Cálculo	8,7	1,528	9,7	0,577	0,655
	Fonte de coleta de informações	9,3	1,155	9,3	1,155	1
	Representação	9,3	0,577	9,7	0,577	0,317
	Amostra	9,7	0,577	9	1	0,317
	Responsáveis pela coleta e análise	9,7	0,577	9,7	0,577	1
	Periodicidade de coleta e análise	9	1	9,7	0,577	0,317
	Objetivo	10	0	10	0	1
	Intervenções	10	0	10	0	1
	Metas	10	0	10	0	1
Taxa de melhora da deglutição comprometida	Definição	9,3	0,577	9,7	0,577	0,317
	Nível	7,7	3,215	9,7	0,577	0,317
	Tipo	9,7	0,577	9,7	0,577	1
	Cálculo	9	1,732	10	0	0,317
	Fonte de coleta de informações	9,3	1,155	9,3	1,155	1
	Representação	9,7	0,577	9,7	0,577	1
	Amostra	9,7	0,577	9,7	0,577	1
	Responsáveis pela coleta e análise	9,7	0,577	9,7	0,577	1
	Periodicidade de coleta e análise	9,3	1,155	10	0	0,317
	Objetivo	10	0	9,7	0,577	0,317
	Intervenções	9,7	0,577	9,7	0,577	1
	Metas	9,7	0,577	9,7	0,577	1
Taxa de melhora do controle esfincteriano com Biofeedback	Definição	7,7	3,215	9,7	0,577	0,317
	Nível	7,7	4,041	10	0	0,317
	Tipo	9,7	0,577	10	0	0,317
	Cálculo	9,3	1,155	10	0	0,317
	Fonte de coleta de informações	9,3	1,155	9,3	1,155	1
	Representação	10	0	10	0	1
	Amostra	8,7	1,528	9,7	0,577	0,317
	Responsáveis pela coleta e análise	9,7	0,577	9	1	0,317
	Periodicidade de coleta e análise	10	0	9,7	0,577	0,317
	Objetivo	9,7	0,577	9,7	0,577	1
	Intervenções	9	1	9	1	1
	Metas	10	0	10	0	1
Taxa de sucesso na cicatrização das lesões de pele	Definição	9	1	9	1	1
	Nível	7,7	3,215	9,7	0,577	0,317
	Tipo	9,3	1,155	9,3	1,155	1
	Cálculo	9	1	9,3	1,155	0,317
	Fonte de coleta de informações	9,3	1,155	9,3	1,155	1
	Representação	9,7	0,577	9,7	0,577	1
	Amostra	9,7	0,577	9,7	0,577	1
	Responsáveis pela coleta e análise	9,7	0,577	9,7	0,577	1
	Periodicidade de coleta e análise	9,7	0,577	9,7	0,577	1
	Objetivo	9,3	1,155	10	0	0,317
	Intervenções	9,7	0,577	9,7	0,577	1
	Metas	10	0	10	0	1
Ganhos em capacidade para marcha com prótese	Definição	9,7	0,577	9,7	0,577	1
	Nível	9,3	0,577	9,7	0,577	0,317
	Tipo	7,7	4,041	8	3,464	0,317
	Cálculo	10	0	10	0	1
	Fonte de coleta de informações	9,3	1,155	9,3	1,155	1
	Representação	9,7	0,577	9,7	0,577	1
	Amostra	6,7	4,933	9,7	0,577	0,317
	Responsáveis pela coleta e análise	9,7	0,577	9,7	0,577	1
	Periodicidade de coleta e análise	9,7	0,577	9,7	0,577	1
	Objetivo	10	0	10	0	1
	Intervenções	9,7	0,577	9,7	0,577	1
	Metas	10	0	10	0	1

 

*0 p-valor foi calculado pelo teste não paramétrico de Wilcoxon para analisar se há diferenças entre os momentos pré e pós.

Nota: média < 7 = critério pouco importante; média ≥ 7 e < 9 = critério importante; média ≥ 9 = critério muito importante; DP ≤ 1 = critério em consenso; DP > 1 e < 3 = dissenso; DP ≥ 3 = grande dissenso.

 

Sobre as características dos indicadores, dos 12 itens analisados na primeira fase da avaliação, 75% dos indicadores foram considerados muito importantes, 22,5% importantes e 2,5% pouco importantes, sendo que 63,3% apresentaram consenso, 23,3% dissenso e 13,3% grande dissenso. Após conferência de consenso, na terceira etapa 94,16% dos itens foram considerados muito importantes e 5,83% importantes, com 86,6% de consenso, 10,83% de dissenso e 2,5% de grande dissenso entre os especialistas (Tabela 1). Assim, a validação obtida pelo manual operacional dos indicadores construídos indica a suficiência de seu teor e sua aplicabilidade prática, colaborando para a gestão da qualidade em reabilitação, posto que viabiliza instrumentos que acompanham as práticas relativas à especialidade. Contudo, no quesito “fonte de coleta de informações” sugeriu-se a busca da informação através da via eletrônica, mais especificamente o prontuário eletrônico do paciente, como forma de padronizar o método.

Ainda nesta primeira análise, o indicador adesão do paciente às orientações para cicatrização de lesão de pele apresentou 100% de consenso entre os especialistas, além de ser considerado “muito importante”; e mais cinco indicadores foram julgados também como “muito importantes”, entre eles percentual de controle da espasticidade, taxa de melhora da mastigação comprometida, taxa de melhora da deglutição comprometida, taxa de melhora do controle esfincteriano com biofeedback e taxa de sucesso na cicatrização das lesões de pele (Tabela 1).

O segundo julgamento efetuado pelos juízes descreveu os atributos dos indicadores, os quais denotam suas propriedades qualitativas. Assim sendo, foram analisados os itens: validade, grau no qual o indicador alcança a sua finalidade e identifica circunstâncias nas quais a qualidade da assistência ou do gerenciamento deve ser aprimorada; atribuível, reflete a qualidade da prática à qual está relacionado; credibilidade, revela o quanto o indicador é de fácil compreensão; sensibilidade, condição na qual o indicador está apto a detectar todas as situações que demonstram problemas legítimos de qualidade; especificidade, identifica apenas os casos em que há reais problemas de qualidade; acessível, as informações necessárias para elaborar o cálculo do indicador são obtidas prontamente e com baixo custo; comunicável, importância em que a medida é explicada e compreendida com facilidade; efetivo, mensura o que se propõe a medir; exequível, a medida é aplicável e concreta¹⁴.

 

Tabela 2. Consenso de julgamento pelos juízes dos itens de avaliação dos atributos de cada indicador.

		1º julgamento		2º julgamento
Indicador	Atributos	Média	DP	Média	DP	Valor de p*
Adesão do paciente às orientações para cicatrização de lesão de pele	Validade	9	1	9	1	1
	Atribuível	9,7	0,577	9,3	0,577	0,317
	Credibilidade	10	0	10	0	1
	Sensibilidade	9	1	9,3	0,577	0,317
	Especificidade	9,3	1,155	7,3	3,055	0,317
	Acessível	8,7	1,155	9	1	0,655
	Comunicável	9,7	0,577	9,3	0,577	0,317
	Efetivo	9,7	0,577	9	1,732	0,317
	Exequível	9	1	9,7	0,577	0,157
Taxa de adesão à comunicação alternativa de pacientes afásicos com lesão encefálica	Validade	9,7	0,577	8	2,646	0,317
	Atribuível	9,7	0,577	8	2,646	0,317
	Credibilidade	8,3	1,528	8	2,646	0,655
	Sensibilidade	8,7	1,528	9,3	0,577	0,317
	Especificidade	9,7	0,577	7,7	3,215	0,317
	Acessível	9	1	9	1	1
	Comunicável	7	3,606	8,3	2,082	0,180
	Efetivo	8	2,646	8,3	2,082	0,317
	Exequível	7,3	2,082	8,3	1,528	0,180
Taxa de adesão dos pacientes às medidas preventivas e terapêuticas para protetização	Validade	8	2,646	7,7	3,215	0,655
	Atribuível	7,7	1,528	7,3	3,786	0,655
	Credibilidade	8,3	2,082	7,3	3,786	0,317
	Sensibilidade	8	2,646	7,3	3,786	0,317
	Especificidade	9,7	0,577	9,3	0,577	0,317
	Acessível	9,3	1,155	7,3	3,786	0,655
	Comunicável	8,7	1,528	7,7	3,215	1
	Efetivo	9	1	7,7	3,215	0,317
	Exequível	9	1	8,7	1,528	1
Ganho de independência funcional com uso de tecnologia assistiva	Validade	7,7	3,215	9,3	0,577	0,317
	Atribuível	7,7	3,215	9	1	0,317
	Credibilidade	7	3,606	8,7	1,528	0,180
	Sensibilidade	6,3	4,726	7,3	3,786	0,180
	Especificidade	7,3	3,786	9,3	0,577	0,317
	Acessível	6,7	3,215	9	1	0,180
	Comunicável	6,7	4,163	8,3	1,528	0,317
	Efetivo	7	4,359	9	1	0,317
	Exequível	6,7	4,933	9,7	0,577	0,180
Percentual de controle da espasticidade	Validade	9,3	0,577	9	1	0,317
	Atribuível	8,7	1,528	9,3	0,577	0,317
	Credibilidade	8,3	2,082	9,3	0,577	0,317
	Sensibilidade	9,3	0,577	9	1	0,317
	Especificidade	9,3	0,577	7,7	3,215	0,317
	Acessível	8,3	1,528	9	1	0,317
	Comunicável	9	1	9	1	1
	Efetivo	8,7	1,528	9	1	0,317
	Exequível	10	0	10	0	1
Taxa de melhora da mastigação comprometida	Validade	9,7	0,577	9,3	0,577	0,317
	Atribuível	9,3	0,577	9	1	0,317
	Credibilidade	9,3	0,577	9	1	0,317
	Sensibilidade	9,3	0,577	9,3	0,577	1
	Especificidade	7,7	3,215	7,7	3,215	1
	Acessível	8,7	1,528	9,3	0,577	0,317
	Comunicável	9,3	0,577	9	1	0,317
	Efetivo	9,7	0,577	9,7	0,577	1
	Exequível	9,3	0,577	9,3	0,577	1
Taxa de melhora da deglutição comprometida	Validade	9,7	0,577	9,3	0,577	0,317
	Atribuível	9,7	0,577	9,3	0,577	0,317
	Credibilidade	9,3	0,577	9,3	0,577	1
	Sensibilidade	9,3	0,577	9,3	0,577	1
	Especificidade	7,3	3,786	7,7	3,215	0,317
	Acessível	8	2	9	1	0,317
	Comunicável	9,3	0,577	9,3	0,577	1
	Efetivo	9,3	0,577	9,7	0,577	1
	Exequível	9,0	1	10	0	0,317
Taxa de melhora do controle esfincteriano com Biofeedback	Validade	9,3	0,577	9,3	0,577	1
	Atribuível	9	1,732	9,7	0,577	0,317
	Credibilidade	8,7	2,309	10	0	0,317
	Sensibilidade	7,3	3,786	9	1	0,317
	Especificidade	9,3	0,577	7,3	3,786	0,317
	Acessível	8,3	1,528	9,3	1,155	0,317
	Comunicável	9,3	0,577	9,7	0,577	0,317
	Efetivo	7,3	2,887	9,7	0,577	0,180
	Exequível	9	0	9,7	0,577	0,157
Taxa de sucesso na cicatrização das lesões de pele	Validade	9,7	0,577	9,3	0,577	0,317
	Atribuível	9,7	0,577	9,3	0,577	0,317
	Credibilidade	9,7	0,577	9,3	0,577	0,317
	Sensibilidade	9	1	9	1	1
	Especificidade	7	3,606	7,3	3,055	0,317
	Acessível	9,7	0,577	9,3	0,577	0,317
	Comunicável	10	0	9,7	0,577	0,317
	Efetivo	9,3	1,155	9	1	0,317
	Exequível	9,3	0,577	9,3	0,577	1
Ganhos em capacidade para marcha com prótese	Validade	10	0	9,7	0,577	0,317
	Atribuível	9,7	0,577	9,3	0,577	0,317
	Credibilidade	10	0	9,7	0,577	0,317
	Sensibilidade	9,3	0,577	9,3	0,577	1
	Especificidade	7,7	4,041	8	3,464	0,317
	Acessível	8,7	1,528	9,7	0,577	0,317
	Comunicável	10	0	9,3	1,155	0,317
	Efetivo	9,7	0,577	9,3	1,155	0,317
	Exequível	9,7	0,577	9,7	0,577	1

*0 p-valor foi calculado pelo teste não paramétrico de Wilcoxon para analisar se há diferenças entre os momentos pré e pós.

Nota: média < 7 = critério pouco importante; média ≥ 7 e < 9 = critério importante; média ≥ 9 = critério muito importante; DP ≤ 1 = critério em consenso; DP > 1 e < 3 = dissenso; DP ≥ 3 = grande dissenso.

 

Os pareceres desta etapa demonstraram que 61,11% dos atributos foram considerados muito importante, 34,4% importantes e 4,44% pouco importantes, além de 56,66% com consenso entre os juízes, 26,66% com dissenso e 16,66% com grande dissenso. Na terceira fase, 72,22% foram classificados como muito importante e 27,77% importantes, 67,77% com consenso, 15,55% com dissenso e 16,66% com grande dissenso (Tabela 2). O critério mantido com grande dissenso, entre as etapas, refere-se ao critério especificidade, sendo apontado em 8 dos 10 elaborados, o qual demonstra o quanto o indicador é capaz de identificar corretamente os indivíduos que não apresentam a condição de interesse. Apesar da readequação do conteúdo de alguns indicadores após a primeira fase, manteve-se a porcentagem de grande dissenso, contudo houve aumento no consenso grupal.

O indicador Taxa de adesão dos pacientes às medidas preventivas e terapêuticas para protetização foi o menos consensual entre os juízes, sendo apontado como um indicador complexo, exigindo cuidado na sua interpretação. Além disso, nos atributos sensibilidade, efetivo, clareza, credibilidade, atribuível e validade foi apontada a possibilidade de falhas no preenchimento das informações no prontuário podendo gerar dados não fidedignos. Portanto, foi proposto pelos especialistas a criação de um sistema eletrônico para indicadores de reabilitação, que interaja com outros sistemas nacionais e possam ser acessados em qualquer local.

No quesito sensibilidade, foi comentado sobre o prognóstico de protetização nem sempre ser definido no início do programa ao qual o paciente será submetido, contudo a indicação já é um critério estabelecido na amostra do indicador, sendo definida ao inserir o paciente em Programa.

No atributo validade deste indicador foi apontado considerar os mecanismos utilizados para mensurar a adesão do paciente e/ou cuidador, uma vez que há muitas orientações qualitativas e comportamentais que possam interferir no resultado. Ainda assim, essas observações deverão ser realizadas conforme análise do indicador, por se tratar de julgamento subjetivo.

E, finalmente, o terceiro julgamento trata a avaliação de cada componente dos atributos: simplicidade, permite uma única interpretação; objetividade, permite resposta pontual; clareza, utiliza frases curtas e expressões claras e objetivas; precisão, cada componente é diferente dos demais que cobrem o indicador; pertinência, o componente não sugere atributo diferente do definido; credibilidade, está descrito de maneira que não pareça descaracterizado em relação ao contínuo do indicador sob avaliação; e variedade, os termos utilizados especificam cada componente, não permitindo ideias de repetição¹⁴.

 

Tabela 3. Consenso de julgamento entre os juízes dos itens da avaliação dos atributos de cada componente dos indicadores.

		1º julgamento		2º julgamento
Indicador	Atributos dos componentes	Média	DP	Média	DP	Valor de p*
Adesão do paciente às orientações para cicatrização de lesão de pele	Simplicidade	8	2,646	9,3	0,577	0,317
	Objetividade	9,7	0,577	9,7	0,577	1
	Clareza	8,3	2,887	10	0	0,317
	Precisão	9,7	0,577	9,7	0,577	1
	Pertinência	10	0	9,7	0,577	0,317
	Credibilidade	9,7	0,577	9,7	0,577	1
	Variedade	9,7	0,577	9,7	0,577	0,317
Taxa de adesão à comunicação alternativa de pacientes afásicos com lesão encefálica	Simplicidade	9	1	8,3	2,082	0,655
	Objetividade	9	1	8	2	0,317
	Clareza	9,3	1,155	8	2	0,317
	Precisão	9,7	0,577	8,7	1,528	0,317
	Pertinência	9,3	1,155	8,3	1,528	0,317
	Credibilidade	9,7	0,577	7,7	3,215	0,317
	Variedade	9,3	1,155	8	2	0,317
Taxa de adesão dos pacientes às medidas preventivas e terapêuticas para protetização	Simplicidade	9,3	1,155	8,3	2,082	0,655
	Objetividade	9,3	1,155	8,7	1,155	0,317
	Clareza	8	2	9	1	0,317
	Precisão	8,3	1,528	8,3	1,528	1
	Pertinência	9,3	1,155	8,7	1,155	0,317
	Credibilidade	9,7	0,577	9	1	0,317
	Variedade	8	2	8,3	1,528	0,317
Ganho de independência funcional com uso de tecnologia assistiva	Simplicidade	8,7	1,155	9	1	0,317
	Objetividade	9	1	9	1	1
	Clareza	7,7	3,215	9,3	0,577	0,317
	Precisão	9	1	9,3	0,577	0,317
	Pertinência	8	3,464	9,7	0,577	0,317
	Credibilidade	9,7	0,577	9,7	0,577	1
	Variedade	9	1	9,3	0,577	0,317
Percentual de controle da espasticidade	Simplicidade	9	1	9,3	1,155	0,317
	Objetividade	9,3	0,577	9,7	0,577	0,317
	Clareza	9,3	0,577	9,7	0,577	0,317
	Precisão	8,7	1,528	9,3	0,577	0,317
	Pertinência	9	1,732	9,7	0,577	0,317
	Credibilidade	8,7	1,528	9,3	0,577	0,317
	Variedade	8,7	1,528	9	1	0,317
Taxa de melhora da mastigação comprometida	Simplicidade	9	1	9	1	1
	Objetividade	9,3	0,577	9,3	0,577	1
	Clareza	8,3	2,082	9,3	0,577	0,317
	Precisão	9,3	0,577	9,3	0,577	1
	Pertinência	9,3	0,577	9,3	0,577	1
	Credibilidade	9,3	0,577	9,3	0,577	1
	Variedade	9,3	0,577	9,3	0,577	1
Taxa de melhora da deglutição comprometida	Simplicidade	9	1	9,3	1,155	0,317
	Objetividade	9,3	0,577	9,7	0,577	0,317
	Clareza	8,3	2,082	9,3	0,577	0,317
	Precisão	9,3	0,577	9,3	0,577	1
	Pertinência	9	1	9,3	0,577	0,317
	Credibilidade	9,7	0,577	9,7	0,577	1
	Variedade	9,3	0,577	9,3	0,577	1
Taxa de melhora do controle esfincteriano com Biofeedback	Simplicidade	9,7	0,577	9	1	0,317
	Objetividade	8	3,464	10	0	0,317
	Clareza	9,3	0,577	9,3	0,577	1
	Precisão	9,3	0,577	9,7	0,577	0,317
	Pertinência	9,7	0,577	9,3	1,155	0,317
	Credibilidade	8,7	2,309	10	0	0,317
	Variedade	9,3	0,577	9,7	0,577	0,317
Taxa de sucesso na cicatrização das lesões de pele	Simplicidade	9,3	1,155	8,7	1,155	0,317
	Objetividade	9,3	1,155	8,7	1,155	0,317
	Clareza	9,3	1,155	9,3	1,155	1
	Precisão	9,3	1,155	9	1	0,317
	Pertinência	10	0	9,7	0,577	0,317
	Credibilidade	9,7	0,577	9,3	0,577	0,317
	Variedade	9,3	1,155	9	1	0,317
Ganhos em capacidade para marcha com prótese	Simplicidade	9,7	0,577	9,3	1,155	0,317
	Objetividade	9,3	0,577	9,3	0,577	1
	Clareza	9,7	0,577	9,7	0,577	1
	Precisão	8,3	2,082	9,3	0,577	0,317
	Pertinência	10	0	9,7	0,577	0,317
	Credibilidade	9,3	0,577	9	1	0,317
	Variedade	8,7	1,528	9	1	0,317

 

*0 p-valor foi calculado pelo teste não paramétrico de Wilcoxon para analisar se há diferenças entre os momentos pré e pós.

Nota: média < 7 = critério pouco importante; média ≥ 7 e < 9 = critério importante; média ≥ 9 = critério muito importante; DP ≤ 1 = critério em consenso; DP > 1 e < 3 = dissenso; DP ≥ 3 = grande dissenso.

 

Na primeira fase, 75,71% dos indicadores foram apontados como muito importantes e 24,28% importantes, sendo 55,71% com consenso, 40% com dissenso e 4,28% com grande dissenso. Na última etapa, os indicadores foram reclassificados em 80% muito importantes e 20% importantes, 72,85% com consenso, 25,71% com dissenso e 1,42 com grande dissenso. Os indicadores Adesão do paciente às orientações para cicatrização de lesão de pele, Ganho de independência funcional com uso de tecnologia assistiva, foram considerados “muito importantes” e consensuais em 100% dos casos (Tabela 3).

Os indicadores que apresentaram maior divergência de opiniões, quanto à avaliação dos atributos e seus componentes foram Taxa de adesão à comunicação alternativa de pacientes afásicos com lesão encefálica e Taxa de adesão dos pacientes às medidas preventivas e terapêuticas para protetização, obtendo respectivamente 14 e 13 critérios com algum grau de dissenso. Para estes dois indicadores, o atributo simplicidade não foi consensual, por se tratar de indicadores complexos, exigindo a capacitação dos profissionais e cuidado na interpretação. No entanto, julgou-se necessário reestruturar itens como o título, a amostragem e a fonte de coleta de informações, já que dificultavam o entendimento do componente, podendo comprometer a avaliação.

No geral, a realização da consulta aos juízes em 3 rodadas propiciou uma redução de critérios com algum dissenso (DP > 3), de um total de 114 para 64 em todos os conjuntos avaliados. Essa modificação relaciona-se com uma melhor explicitação do significado de cada critério durante a Conferência de Consenso, sendo que as divergências estavam relacionadas à maneira pelo qual os critérios foram formulados ou à problemas na sua mensuração.

A maioria das sugestões feitas pelo painel de especialistas na primeira rodada se referiu à estrutura e a adequação das palavras do instrumento. A utilização da técnica de consenso permitiu aos especialistas modificarem suas opiniões iniciais mediante a reflexão sobre a argumentação dos outros participantes.

O cumprimento da validação de conteúdo dos indicadores interdisciplinares em reabilitação, ainda que reestruturados após a avaliação dos juízes, não encerra a possibilidade de novos reajustes, visto que além da magnitude do debate do assunto, os indicadores devem ser testados acerca de sua confiabilidade interna e externa através de sua aplicabilidade. É sabido que um instrumento fidedigno nem sempre é válido, mas um instrumento válido apresenta maiores chances de ser confiável¹⁰.

Independentemente da validação, os indicadores ao serem aplicados requerem adequações sobre a forma de coleta de dados e a definição da amostra para atender à individualidade de cada serviço, assegurando a credibilidade da avaliação em saúde¹¹.

 

CONSIDERAÇÕES FINAIS

Através deste estudo, 10 indicadores interdisciplinares foram construídos e validados por um grupo de especialistas em gestão, para avaliar a qualidade do atendimento em reabilitação a nível ambulatorial. Apesar de manter algum grau de dissenso entre alguns indicadores, no geral, todos foram considerados com algum grau de importância. Os especialistas ainda sugeriram a inserção destes indicadores em um sistema eletrônico unificado de reabilitação que possibilite o acesso a estes dados em qualquer local do país, com o objetivo de melhorar o cuidado no trabalho de avaliação, e consequentemente a qualidade da assistência.

Considerou-se a restrição em contar apenas com especialistas do Estado de São Paulo, como limitação da pesquisa, apesar da participação de profissionais do interior e da capital.

A aplicação desses indicadores e construção de novos são desafios que vem ao encontro das necessidades apresentadas pela comunidade da reabilitação, no que tange à avaliação da qualidade das práticas assistenciais realizadas nestes serviços. Já no que se refere ao ensino e pesquisa, este trabalho permitiu a disponibilização de uma ferramenta válida para a sociedade científica, ainda que sua aplicação empírica deva ser realizada para testar sua confiabilidade.

Espera-se que os resultados deste trabalho colaborem com os programas de gestão da qualidade em serviços de reabilitação, como um mecanismo eficaz no acompanhamento de processos instituídos e resultados alcançados.

 

O presente trabalho foi realizado com o apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Brasil (CAPES), sob o processo nº 88882.457572/2019-01.

 

 

REFERÊNCIAS

1.            Amaral JAB, Spiri WC, Bocchi SCM. Indicadores de qualidade em enfermagem com ênfase no centro cirúrgico. Rev SOBECC. 2017 jan-mar; 22(1):42-51.

2.            Kurcgant P, Tronchin DMR, Melleiro MM. A construção de indicadores de qualidade para a avaliação de recursos humanos nos serviços de enfermagem: pressupostos teóricos. Acta Paul Enferm. 2006; 19(1):88-91.

3.            Ramos AW, Miyake DI. Desenvolvendo indicadores de produtividade e qualidade em hospitais: uma proposta de método. Rev Produto & Prod. 2010 jun; 11(2):67-84.

4.            Zancheta NB, Fogliano RRF, Bohomol E, Neves VR, Silva LMG. A utilização do sistema de indicadores assistenciais por gestores de enfermagem de um hospital universitário. Cogitare Enferm. 2016 jul-set; 21(3):1-5.

5.            Moura GMSS, Juchem BC, Falk MLR, Magalhães AMM, Suzuki LM. Construção e implantação de dois indicadores de qualidade assistencial de enfermagem. Rev Gaúcha Enferm. 2009 mar; 30(1):136-40.

6.            Costa RP. Interdisciplinaridade e equipes de saúde: concepções. Mental. 2007 jun; 5(8):107-24.

7.            Tironi LF, Silva LCE, Vianna SM, Médici AC. Critérios para geração de indicadores de qualidade e produtividade no serviço público. Brasília: IPEA/MEFP; 1991. 17 p.

8.            São Paulo (Estado). Decreto nº 61.003, de 19 de dezembro de 2014. Dispõe sobre a Rede de Reabilitação Lucy Montoro e dá providências correlatas [Internet]. Diário Oficial do Estado, São Paulo (SP); 19 dez 2014 [citado 20 ago 2017]. Disponível em: http://www.al.sp.gov.br/repositorio/legislacao/decreto/2014/decreto-61003-19.12.2014.html

9.            Gomes JAP, Martins MMFPS, Gonçalves MNC, Fernandes CSNN. Enfermagem de Reabilitação: percurso para a avaliação da qualidade em unidades de internamento. Referência. 2012 dez; 3(8):29-38.

10.         Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para as práticas da enfermagem. 7a ed. Porto Alegre (RS): Artmed; 2011. 669 p.

11.         Fernandes MVL, Lacerda RA, Hallage NM. Construção e validação de indicadores de avaliação de práticas de controle de infecção do trato urinário associado a cateter. Acta Paul Enferm. 2006; 19(2):174-89.

12.         Silva CPR. Indicadores para avaliação de programas de controle de infecção hospitalar: construção e validação [dissertação]. São Paulo (SP): Universidade de São Paulo; 2005. 165 p.

13.         Fernandes LEP, Vieira-da-Silva LM, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Vieira-da-Silva LM, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador (BA): EDUFBA; 2005. p. 65-102.

14.         Nicole AG. Construção e validação de indicadores de avaliação do acesso vascular de usuários em hemodiálise [dissertação]. São Paulo (SP): Universidade de São Paulo; 2009. 114 p.

 

 

Recebido: 22 de agosto de 2019. Aceito: 30 de setembro de 2020

Correspondência: Darlene Vieira Candido Zarbinati.  E-mail: darlene.zarbinati@gmail.com

Conflito de Interesses: os autores declararam não haver conflito de interesses.

 

 

© This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited