Revista de Administração em Saúde

Rev. Adm. Saúde (On-line), São Paulo, v. 20, n. 78: e204, jan. – mar. 2020, Epub 16 jan. 2020

http://dx.doi.org/10.23973/ras.78.204

 

ARTIGO ORIGINAL

 

Desenvolvimento de um protocolo de indicadores para avaliação nacional da capacidade de gestão da Assistência Farmacêutica na Atenção Primária à Saúde

Development of a protocol of indicators for national evaluation of the management capacity of Pharmaceutical Services in Primary Health Care

 

Emilia Baierle Faraco¹, Marina Matozo Rover², Mareni Rocha Farias³, Silvana Nair Leite³

 

1. Graduada em farmácia. Doutoranda em farmácia do Centro de Ciências da Saúde da Universidade Federal de Santa Catarina (UFSC). Florianópolis SC

2. Doutora em farmácia. Farmacêutica da Farmácia Escola do Centro de Ciências da Saúde da UFSC. Florianópolis SC

3. Doutora em farmácia. Docente do Centro de Ciências da Saúde da UFSC. Florianópolis SC

 

 

RESUMO

Objetivo: Descrever as etapas da adaptação de um protocolo de indicadores para a avaliação da capacidade de gestão da Assistência Farmacêutica a partir das variáveis constantes em um banco de dados nacional. Métodos: Estudo sistemático por meio da convergência de um protocolo de indicadores de avaliação da capacidade de gestão da assistência farmacêutica a nível municipal com dados oriundos da Pesquisa Nacional de Acesso, Uso e Promoção do Uso Racional de Medicamentos, para elaboração de um protocolo de indicadores de abrangência nacional. Após a adaptação e análise preliminar do protocolo, um estudo de consenso foi realizado em duas etapas: consulta com especialistas e oficina de consenso. Na sequência foi realizado um teste de aplicabilidade do protocolo de indicadores com os dados disponíveis pela pesquisa nacional. Resultados: Entre os indicadores, 17 sofreram alterações e em seis foram alteradas as fontes de coleta de dados. Devido à ausência de informações necessárias para aplicar as medidas preconizadas, 16 indicadores foram excluídos do protocolo original. Ao final, o protocolo proposto foi composto por 30 indicadores organizados em três dimensões: Organizacional, Operacional e Sustentabilidade. Conclusão: Os resultados da validação da aplicabilidade dos indicadores, com base nos dados nacionais, asseguram a sensibilidade do novo protocolo de avaliação no contexto dos serviços farmacêuticos na atenção primária. O novo protocolo permite, assim, avaliar a capacidade de gestão da Assistência Farmacêutica em municípios brasileiros sem prejuízo das premissas que sustentaram o modelo original. O protocolo viabilizará avaliações futuras, sugerindo-se a possível institucionalização destes indicadores para monitoramento contínuo da Assistência Farmacêutica no Brasil. Os resultados deste processo podem ser adotados como ponto de partida para o desenvolvimento de indicadores de capacidade de gestão dos serviços farmacêuticos também em outros países.

Palavras-Chave: Avaliação em Saúde, Gestão em Saúde, Assistência Farmacêutica, PNAUM

 

ABSTRACT

Objective: To describe the stages of adaptation of an indicator protocol for the evaluation of Pharmaceutical Services management capacity from the variables in a national database. Methods: Systematic study through the convergence of a protocol of indicators of evaluation of the management capacity of pharmaceutical services at municipal level with data from the National Survey of Access, Use and Promotion of the Rational Use of Medicines, to elaborate a protocol of indicators. nationwide. After adaptation and preliminary analysis of the protocol, a consensus study was carried out in two steps: consultation with experts and consensus workshop. Subsequently, an applicability test of the indicator protocol was performed with data available from the national survey. Results: Among the indicators, 17 suffered alterations and in six the sources of data collection were altered. Due to the lack of information necessary to implement the recommended measures, 16 indicators were excluded from the original protocol. In the end, the proposed protocol was composed of 30 indicators organized in three dimensions: Organizational, Operational and Sustainability. Conclusions: The results of validating the applicability of the indicators, based on national data, ensure the sensitivity of the new assessment protocol in the context of pharmaceutical services in primary care. Thus, the new protocol allows us to evaluate the Pharmaceutical Services management capacity in Brazilian municipalities, without prejudice to the assumptions that supported the original model. The protocol will enable future evaluations, suggesting the possible institutionalization of these indicators for continuous monitoring of Pharmaceutical Services in Brazil. The results of this process can be taken as a starting point for the development of pharmaceutical services management capacity indicators also in other countries.

KEYWORDS: Health Evaluation, Health Management, Pharmaceutical Services, PNAUM

 

 

INTRODUÇÃO

A expansão maciça dos investimentos em saúde, em nível mundial, não tem acompanhado de forma sistemática a avaliação das políticas e programas de saúde, nos últimos anos. Tal fato dificulta a identificação da efetividade dos investimentos, enfraquecendo a confiança das iniciativas globais e ameaça os progressos no desenvolvimento de programas de saúde.¹

A avaliação deve ser uma prioridade na saúde e iniciativas como a criação de uma rede global para apoiar a pesquisa avaliativa auxiliará para que os investimentos correspondam às realidades programáticas dos países. Esta possibilita a melhoria da qualidade das tomadas de decisão² e  a compreensão das razões pelas quais alguns programas funcionam, enquanto outros não.^1,3 Ainda, possibilita o compartilhamento de boas práticas  e a maior disseminação de novas informações.³ Assim, cada vez mais, líderes de países em desenvolvimento buscam entender como melhorar o estado de saúde da população por meio da avaliação dos programas de saúde.^4,5

A avaliação em instituições públicas demonstra a responsabilidade com os gastos públicos, nas quais os recursos são, de maneira geral, escassos. Tal fato tem estimulado um movimento crescente da avaliação como prática também neste âmbito.⁶

No Brasil, a consolidação da avaliação começa a ter contornos mais nítidos e se tornar prática institucional, o que é refletido na produção científico literária. ⁶ A demanda por evidências capazes de avaliar o desempenho de programas de saúde tem fortalecido o uso de indicadores e a pactuação de metas para o aperfeiçoamento do Sistema Único de Saúde (SUS).⁷

No entanto, avaliar programas é uma tarefa complexa, inserida em um contexto igualmente complexo, considerando a realidade epidemiológica e a organização dos serviços de saúde atuais.⁷ Além disso, a ausência de monitoramento e avaliação rigorosos é explicada, em parte, pelo fato de que dados confiáveis, válidos e completos não estão disponíveis regularmente ⁸.

Nessa linha, autores destacam, que entre as dificuldades para a avaliação no SUS estão aspectos relacionados à cultura de gestão que não estimula o uso do planejamento e do monitoramento, a ausência de sistemas de informação integrados e as dificuldades metodológicas das avaliações qualitativas.⁹ Ademais, o processo de avaliação requer um amplo conjunto de dados e diferentes pontos de vista, no entanto, os custos e dificuldades para realizar avaliações no mundo real levam à utilização dos dados já disponíveis.¹⁰

Essas dificuldades impactam diretamente na avaliação de programas e políticas de saúde, dentre eles da Assistência Farmacêutica (AF),¹¹ eixo estratégico da Política Nacional de Saúde e responsável por cerca de 16% do orçamento do Ministério da Saúde (MS).^12,14

No Brasil, a maioria dos estudos de avaliação da gestão da AF estão restritos a descrições de aspectos estruturais e logísticos, com base em parâmetros regulatórios,¹⁴ e predominam enfoques normativos.¹⁵ Assim, denota-se uma lacuna de estudos de avaliação orientados para a gestão e governança em saúde pautadas nos princípios do SUS.^{16, 17}

Nesse contexto, o estudo descreve o processo de adaptação e validação de um protocolo de indicadores para avaliação da gestão da AF na Atenção Básica.^18,19,20 O protocolo²¹ foi adequado para a utilização de dados provenientes de um inquérito nacional dos Serviços Farmacêuticos (SF) na Atenção Primária à Saúde (APS).^22,23

Estima-se que na APS do SUS há mais de 44.000 centros de saúde, os quais, em sua maioria, dispensam medicamentos. Destes, 33% contam com, pelo menos, um farmacêutico em sua equipe de trabalho. Em 90% dos municípios o gestor da AF municipal é um profissional farmacêutico.²⁴ Há alta prevalência do acesso total aos medicamentos no país: mais de 90% (incluindo setor público e privado);^{25, 26} e cerca de metade de todos os medicamentos prescritos para doenças crônicas, em 2014, foram acessados ​​em unidades de APS.²⁶

O modelo de avaliação utilizado como referência, adotou o referencial teórico de capacidade de governo de Matus²⁷ adaptando-o ao contexto político e às particularidades do sistema de saúde brasileiro.¹⁸ Contempla indicadores organizados em três dimensões (operacional, organizacional e sustentabilidade), os quais são classificados segundo sua natureza, em: (i) indicador de existência, (ii) de conhecimento, (iii) de participação, (iv) de autonomia e (v) de satisfação.^18,19,21,20

No sentido de expandir a utilização dos indicadores para uma amostra nacional, já aplicado em amostras regionais,^19,21 propôs-se a adaptação dos indicadores para avaliação utilizando os dados provenientes da Pesquisa Nacional de Acesso, Uso e Promoção do Uso Racional de Medicamentos (PNAUM).^{22, 23} Desta forma, os indicadores foram adaptados e adequados conforme a disponibilidade das informações na pesquisa.

 

MÉTODOS

Desenvolvimento de um protocolo de indicadores, a partir de estudo sistemático de convergência entre um protocolo de avaliação da capacidade de gestão da AF^19,21 e dados da PNAUM. ^{22, 23}

 

Modelo de avaliação

Barreto e Guimarães¹⁹ construíram um modelo de avaliação com base na discussão, sobre Governo, levantada por Carlos Matus,²⁷ o qual assume que a avaliação da capacidade de gestão envolve três dimensões interdependentes: organizacional – revela aspectos relacionados à capacidade de planejar e decidir de forma participativa, autônoma e transparente; operacional – revela a capacidade de manter e ampliar os recursos logísticos e gerenciais; e de sustentabilidade – revela a capacidade de sustentar os resultados de gestão, contemplando aspectos relacionados à institucionalização de mecanismos e estratégias que ampliem e/ou consolidem apoios e alianças capazes de favorecer a sustentabilidade das decisões e dos resultados pretendidos pela gestão. O modelo de avaliação é composto pelo referencial teórico e protocolo de indicadores.

Para a avaliação da capacidade de gestão da AF em municípios catarinenses, Leite e colaboradores²⁰ atualizaram e adaptaram o protocolo de indicadores¹⁹ considerando o contexto regional, o qual foi utilizado como base para este estudo. O protocolo é composto pelos indicadores e seus elementos (fonte, medidas e parâmetros).

 

PNAUM

Instituída pela Portaria do Ministério da Saúde nº 2.077, de 2012,²⁸ a PNAUM trata-se de um estudo transversal, exploratório, de natureza avaliativa e abordagem quantitativa, composta por uma amostra de 600 municípios brasileiros, representativos das regiões do Brasil, selecionados por conveniência. Visou caracterizar a organização da AF  no SUS, com foco no acesso e promoção do URM, bem como identificar e discutir os fatores que interferem na consolidação da AF na APS municipal.^{22, 23}

A coleta de dados envolveu entrevistas com os farmacêuticos e responsáveis pela entrega de medicamentos, usuários, responsáveis /coordenadores da AF (CAF), com Secretários Municipais de Saúde (SMS) e médicos; e observação direta de 1.175 serviços farmacêuticos.²² Os dados coletados na PNAUM estão disponíveis em bancos estruturados no software SPSS Statistics Versão 22. A descrição completa da metodologia de pesquisa está disponível em Álvares et al.²² e na publicação do MS referente ao componente de avaliação dos Serviços da PNAUM.²³

 

Design do Estudo

Iniciou-se com a análise preliminar dos indicadores, a partir da convergência do protocolo ^{19 21} com os dados da PNAUM. Na sequência foi realizada a validação em duas etapas: consulta com especialistas e oficina de consenso. Por fim, foi realizado um teste de aplicabilidade do protocolo com os dados disponíveis na pesquisa nacional.

 

Análise Preliminar

A análise inicial do protocolo se deu a partir do estudo das variáveis da PNAUM²³ comparando com os indicadores do protocolo de Leite e colaboradores,²⁰ conforme apresentado no Quadro 1. Identificou-se os indicadores^{21, 20} com equivalência temática às questões da PNAUM,^{22, 23} e as necessidades ou não de reformulação/adequação de quaisquer elementos de cada um dos indicadores.

 

Quadro 1. Análise preliminar (= convergência dos dados).

Protocolo de indicadores21, 20	Dados PNAUM23
3 Dimensões:   Organizacional - 13 indicadores Operacional - 17 Sustentabilidade - 14	6 Instrumentos de pesquisa*:   SMS CAF Dispensador Médico Usuário Roteiro OBS
44 Indicadores	831 Questões 1500 Variáveis

* Questionários semiestruturados e roteiros de observação direta

Legenda: CAF: Coordenador da Assistência Farmacêutica; OBS: Observação; SMS: Secretário Municipal de Saúde.

 

Validação

Primeira Etapa – Consulta com especialistas do Grupo de Pesquisa

Especialistas em estudos avaliativos (n=10) foram convidados para analisar cada um dos indicadores selecionados para compor o novo protocolo de avaliação. A proposta foi enviada por e-mail aos especialistas (farmacêuticos atuantes em APS, no Componente Especializado da AF, na Vigilância Sanitária, pesquisadores da área e docentes de cursos de Farmácia). As sugestões emitidas foram analisadas e quando pertinente foram incorporadas.

Segunda Etapa – Oficina de Consenso

Para esta etapa, os participantes foram selecionados pelo envolvimento e experiência com a temática da Gestão da AF. Os convites foram enviados por e-mail ou entregue pessoalmente. Junto ao convite, cada participante recebeu a proposta dos indicadores acordados na primeira etapa.

Utilizou-se a técnica do Comitê Tradicional.²⁹  Vinte e cinco especialistas, dentre eles, pesquisadores, farmacêuticos que atuam na AF municipal e uma pesquisadora internacional, foram convidados. Validou-se os indicadores, os parâmetros e as fontes de coleta de dados, bem como as inserções e exclusões de indicadores. Objetivou-se assegurar que a adaptação do protocolo não comprometesse a validade do modelo¹⁹ utilizado como referência.

A oficina teve duração de cinco horas. Todos os apontamentos e propostas de adequação dos indicadores foram registrados para posterior ajuste. Por meio da relatoria das discussões gravadas e transcritas, realizou-se as modificações no protocolo, consultando-se sempre que necessário à literatura para fundamentação das mudanças.

 

Teste de Aplicabilidade

Os indicadores validados para o novo protocolo foram organizados em um novo banco de dados constituído por 80 variáveis, as quais foram ponderadas de acordo com os pesos e medidas de referência.^18,19,20 Em seguida, o cálculo de cada indicador foi processado conforme os parâmetros adotados^18,19, conforme descrito no Quadro 2.

 

Quadro 2. Faixas de pontuação e seu significado

Faixa de pontuação	Situação	O que indica
Acima de 76% da pontuação máxima do indicador	Situação positiva, que dever ser mantida ou ultrapassada	Evidencia que a capacidade de gestão da AF pode ser considerada adequada naquele município.
Entre 50 a 75% da pontuação máxima do indicador	Situação de cuidado	Aponta que há avanços na situação encontrada, mas é preciso o aprimoramento da capacidade de gestão da AF.
De 25 a 49% da pontuação máxima do indicador	Situação de alerta	Sinaliza que há problemas importantes na gestão e é preciso melhorar a capacidade de gestão da AF.
Abaixo de 24% da pontuação máxima do Indicador	Situação de perigo	Sugere que a situação encontrada é crítica e compromete a capacidade de gestão da AF, sinalizando as prioridades para a gestão.

Fonte: Adaptado de Manzini e Mendes (2016).²¹

 

Posteriormente, para o cálculo dos resultados alcançados pelos municípios da amostra, obteve-se a pontuação de cada dimensão e subdimensão. A pontuação máxima a ser alcançada por município na Dimensão Organizacional é de 74 pontos; na Dimensão Operacional, 63 pontos; e, na Dimensão de Sustentabilidade, 54 pontos – totalizando 191 pontos.

A partir dos resultados obtidos, as análises estatísticas foram realizadas, empregando-se os testes de correlação de Pearson com nível de significância p<0,05 e análise de associação, expressos por meio de frequências para variáveis categóricas. Para as variáveis numéricas foram aplicados testes de medida de tendência central por regiões geográficas do Brasil. As análises foram realizadas pelo módulo Complex Sample do programa estatístico SPSS versão 22.

 

RESULTADOS

O novo protocolo de dados é composto por 30 indicadores. Um resumo das ações promovidas são apresentadas na Quadro 3.

 

Quadro 3. Ações promovidas durante o processo de adaptação e desenvolvimento do Novo Protocolo de Indicadores.

Protocolo de referência21, 20	Percurso metodológico		Ações promovidas	Novo protocolo
44 Indicadores	Análise Preliminar		16 excluídos	28 indicadores
	Validação	1ª Etapa – Consulta com Especialistas	6 alterações referentes a coleta de dados; 2 substituições de indicadores; 2 incluídos;	30 indicadores
		2ª Etapa – Oficina de Consenso	11 modificações em, pelo menos, um dos seus componentes (medida, parâmetros ou fonte); 2 transferências de indicadores entre as dimensões;
	Teste de Aplicabilidade		Sem alterações.

 

Dos 44 indicadores do protocolo de referência²⁰, foram mantidos 28 indicadores e 16 foram excluídos devido à ausência de informações necessárias para aplicar as medidas preconizadas, sendo eles:

Dimensão Organizacional:

·         Indicador 04 – Conhecimento da existência da Coordenação da AF segundo farmacêuticos e coordenadores de Unidades de Saúde (US) (entrevista com farmacêuticos e coordenador da US);

·         Indicador 07 – Participação dos farmacêuticos na elaboração do Plano Municipal de Saúde (PMS) (entrevista com CAF e análise do PMS);

·         Indicador 08 – Conhecimento do PMS segundo farmacêuticos (entrevista com farmacêuticos).

 

Dimensão Operacional:

         ·            Indicador 16 – Medicamentos que constam na Relação Municipal de Medicamentos (Remume) e que não constam na Relação Nacional de Medicamentos Essenciais (Rename) 2010 e/ou em elencos pactuados na Comissão Intergestora Bipartite (CIB) (análise Remume e Rename e pactuações da CIB);

         ·            Indicador 22 – Existência de mecanismo para registrar a produtividade do farmacêutico (entrevista com o CAF);

         ·            Indicador 24 – Valor empregado em aquisição judicial em relação ao orçamento destinado a aquisição de medicamentos no último ano (entrevista com o CAF);

         ·            Indicador 25 – Existência de cronograma estabelecido de abastecimento de medicamentos da Central de Abastecimento Farmacêutico para as US conforme a regularidade recomendada: mensal, quinzenal ou semanal (CAF e análise do cronograma);

         ·            Indicador 30 – Existência de monitoramento da AF e utilização dos dados no planejamento das ações (entrevista com o CAF);

         ·            Indicador 29 – Percepção sobre a adequabilidade da diversidade de tipos de medicamentos disponíveis nas US para atendimento da demanda, segundo secretário de saúde, CAF, farmacêuticos e prescritores (entrevista com o CAF).

 

Dimensão de Sustentabilidade:

         ·            Indicador 31 – Estratégias de comunicação entre as US e a coordenação de AF para resolução de questões sobre medicamentos, segundo coordenadores de US e farmacêuticos (entrevista com farmacêuticos e coordenador da US);

         ·            Indicador 32 – Existência de Estratégias de articulação entre a Coordenação da AF e as coordenações da Estratégia de Saúde da Família e da Estratégia de Agentes Comunitários da Saúde (entrevista com o CAF);

         ·            Indicador 33 – Existência de parceria entre a CAF do município e a coordenação estadual (entrevista com o CAF);

         ·            Indicador 34 – Tipo (diversidade) de recursos incorporados a AF municipal por meio de parceria com a coordenação estadual (entrevista com o CAF e SMS);

         ·            Indicador 39 – Existência do cargo de farmacêutico entre os cargos municipais estabelecidos (entrevista com o CAF);

         ·            Indicador 41 – Existência de mecanismos para críticas, sugestões sobre os serviços de AF, segundo usuários (entrevista com usuários);

         ·            Indicador 43 – Grau de satisfação do usuário em relação ao atendimento e informações recebidas pelo profissional na dispensação de medicamentos (entrevista com usuários).

 

Na primeira etapa da validação (consulta com especialistas), dos 10 especialistas convidados seis responderam e sugeriram alterações referentes a fonte de coleta de dados em seis indicadores; duas substituições por indicadores semelhantes, ou seja, com o mesmo caráter avaliativo original. As alterações promovidas estão apresentadas conforme dimensão respectiva nos Quadros 4, 5 e 6.

 

Quadro 4. Alterações promovidas na Dimensão Organizacional.

Alteração	Indicador protocolo de referência	Na [Nb] Pergunta PNAUM	Fonte PNAUM
Premissa e fonte	1. Condição de existência da CAF na Secretaria Municipal de Saúde.	1 [11]. A CAF faz parte do organograma da Secretaria Municipal de Saúde?	CAF
Medida e parâmetro	2. Grau de autonomia decisória CAF.	11 [13]. A CAF do município/DF tem autonomia de gestão dos recursos financeiros definidos para a AF?	CAF
Medida, parâmetro e premissa	13. Responsável (is) pela definição dos parâmetros de programação para distribuição de medicamentos às US.	6 [39]. Quem faz a especificação técnica de medicamentos a serem comprados? a) Farmacêutico b) Outro profissional c)CFT	CAF
Fonte	11. Realização de programação para aquisição de medicamentos do Componente Básico da AF.	7 [40]. Esta Farmácia/ Unidade de dispensação realiza programação de medicamentos?	DISP
Fonte	12. Utilização de critérios técnicos na elaboração da programação de medicamentos.	8 [41]. Quais informações são utilizadas para realizar a programação de medicamentos desta US? a) Perfil de saúde da população cadastrada na Unidade de Saúde; b) Serviços oferecidos pela Unidade de Saúde; c) Controle de estoque da Unidade de Saúde; d) Consumo histórico da Unidade de Saúde	DISP
Substituição do indicador e alteração da classificação	7. Participação de farmacêuticos na elaboração do PMS.	5 [12]. A AF consta no PMS?	CAF

^a Número do Indicador no Novo Protocolo

^b Número da Variável na PNAUM

Legenda: AF: Assistência Farmacêutica; CAF: Coordenação da AF; CFT: Comissão de Farmácia e Terapêutica; DISP: Dispensador; PMS: Plano Municipal de Saúde; US: Unidade (s) de Saúde.

 

 

Quadro 5. Alterações promovidas na Dimensão Operacional.

Alteração	Indicador protocolo de referência*	Na [Nb] Pergunta PNAUM	Fonte PNAUM
Medida, parâmetro e fonte	1. Existência da Remume.	1 [27]. Existe no município/DF uma lista padronizada de medicamentos?	CAF
Medida e parâmetro	4. Existência de medicamentos, destinados a dispensação, fora do prazo de validade no estoque da US.	3 [48-101C]. Há medicamentos vencidos?	OBS
Redação do indicador, medida e parâmetro	7. Existência de investimentos em infraestrutura nos últimos 4 (quatro) anos em serviços de AF.	9 [19]. O município/DF realizou gasto com a estruturação da AF no último ano?	CAF
Parâmetro e fonte	13. Percepção sobre a adequabilidade da quantidade de medicamentos disponíveis nas US para o atendimento da demanda segundo referido por secretário de saúde, CAF, farmacêuticos e prescritores.	11 [35]. Como o (a) Sr (a) considera a disponibilidade de medicamentos, nos últimos 3 meses, nesta unidade de saúde, ou na farmácia pública de referência?	Médico
Fonte	6. Existência PGRSS de serviços de saúde.	8 [60]. Existe PGRSS?	CAF
Fonte	8. US que contam com a presença de farmacêutico.	10 [15]. Farmacêutico presente?	OBS
Fonte	10. Existência de instrumentos de padronização (POP, manual) para dispensação de medicamentos.	5 [17i]. Existe POP para dispensação?	CAF
Substituição do indicador	2. Prescrição de medicamentos com base nas listas de medicamentos (componentes básico, especializado e estratégico) adotadas/padronizadas pelo município.	2 [34]. Lista de medicamentos padronizados atende as necessidades dos usuários, segundo os prescritores.	Médico

^a Número do Indicador no Novo Protocolo

^b Número da Variável na PNAUM

Legenda: AF: Assistência Farmacêutica; CAF: Coordenação da AF; OBS: Roteiro de Observação; PGRSS: Plano de Gerenciamento de Resíduos; PMS: Plano Municipal de Saúde; POP: Procedimento Operacional Padrão; Remume: Relação Municipal de Medicamentos; US: Unidade (s) de Saúde.

 

 

Quadro 6. Alterações promovidas na Dimensão de Sustentabilidade

Alteração	Indicador protocolo de referência	Na [Nb] Pergunta PNAUM	Fonte PNAUM
Fonte	3. Conhecimento de mecanismos de divulgação da Remume pelos prescritores.	7 [23]. O (A) Sr (a) tem acesso à lista padronizada de medicamentos em quais destes lugares? 23a) No consultório 23b) Na Internet 23c) Na Farmácia 23d) Na Secretaria Municipal de Saúde	Médico
Medida e parâmetro	7. Discussões das questões da área de AF junto ao CMS nos últimos 4 anos.	8 [98]. O CMS discute e delibera sobre questões concernentes à AF no Município\DF?	CAF
Fonte e adaptação na redação da medida e indicador	8. Farmacêuticos que participaram de capacitação em AF, gestão, saúde coletiva/ saúde pública ou áreas afins nos últimos 2 (dois) anos.	2 [90]. Existe no Município/DF algum tipo de qualificação e/ou capacitação de profissionais da AF?	CAF
Fonte	11. Existência de mecanismos oficiais para recebimento de críticas e sugestões dos usuários sobre medicamentos, segundo coordenador da US.	4 [96]. Existem mecanismos no Município\DF para receber críticas e sugestões dos usuários sobre a AF?	CAF

^a Número do indicador no novo protocolo

^b Número da variável na PNAUM

Legenda: AF: Assistência Farmacêutica / CAF: Coordenação da AF; CMS: Conselho Municipal de Saúde/ Remume: Relação Municipal de Medicamentos/ US: Unidade de Saúde.

 

Considerando a gama de informações obtidas pela PNAUM foram incluídos dois novos indicadores na Dimensão Operacional (Quadro 7).

 

Quadro 7. Inclusão de novos indicadores na Dimensão Operacional

Novo indicador	Nº Variável PNAUM	Fonte PNAUM
6. Dispensação de medicamentos realizada por meio de sistema informatizado.	15	CAF
7. Disponibilidade de medicamentos.	48a, b-101a, b	OBS

Legenda: CAF: Coordenação da AF; OBS: Roteiro de Observação.

 

Com a adição destes dois novos indicadores o novo protocolo ficou com 30 indicadores. Na segunda etapa de validação (oficina de consenso), dos 25 especialistas convidados, 21 estiveram presentes na oficina, concordando com a reformulação e adaptação de 11 indicadores, os quais sofreram modificações em, pelo menos, um dos seus componentes (medida, parâmetros ou fonte), e duas transferências de indicadores da Dimensão Operacional para a Dimensão de Sustentabilidade, sendo eles:

         ·            Indicador 26 – Recebimento de informações sobre a disponibilidade de medicamentos nas farmácias das US, segundo prescritores;

         ·            Indicador 27 – Conhecimento de mecanismos de divulgação da Remume pelos prescritores.

A transferência dos indicadores deu-se pelo entendimento de que os mesmos estão relacionados à sustentabilidade dos serviços prestados, uma vez que o prescritor deve estar sempre atualizado quanto aos mecanismos de divulgação dos medicamentos padronizados do município, assim como se estão disponíveis ou não. Dessa forma, a prescrição poderá ser atendida e as necessidades satisfeitas.

Destaca-se, ainda, que nove indicadores permaneceram de forma idêntica ao modelo original. Todas as alterações propostas foram ponderadas com o intuito de identificar seu impacto sobre a validade do protocolo de indicadores final e se as alterações sugeridas permitiriam avaliar a capacidade de gestão da AF sob a premissa da governança pública em saúde. Além do aprimoramento dos indicadores, a oficina foi um importante momento para discussão da capacidade de gestão da AF no âmbito municipal da realidade brasileira.

O teste de aplicabilidade demostrou que o novo protocolo permite a avaliação utilizando os dados da PNAUM, o qual foi denominado “Protocolo de Avaliação da Capacidade de Gestão da AF na APS” (PAGAF) (Quadros 8, 9 e 10).

 

Quadro 8. Dimensão Organizacional do PAGAF.

Indicador	Fonte	Medida/ parâmetro	Pontos
1. Existência da CAF na SMS	CAF	Sim	5,00
		Não	0,00
2. Existência formal da CFT na SMS	CAF	Oficial	5,00
		Não oficial	3,75
		Não existe	0,00
3. Regularidade de funcionamento da CFT no último ano	CAF	Regular	5,00
		Irregular/não existe	0,00
4. Profissão do CAF	CAF	Farmacêutico	7,00
		Outra profissão da área da saúde	3,50
		Outra situação	0,00
5. Existência da AF no PMS	CAF	Sim	7,00
		Não	0,00
6. Definição dos parâmetros de programação de medicamentos	CAF	Farmacêutico e CFT	7,00
		Somente US ou farmacêutico	3,50
		Outros profissionais	0,00
7. Realização de programação para aquisição de medicamentos do Componente Básico da AF	DISP	Sim	6,00
		Não	0,00
8. Utilização de critérios técnicos na elaboração da programação de medicamentos	DISP	Sim	6,00
		Não	0,00
9. Existência de sistema informatizado na rede de AF integrado ao sistema da rede de atenção à saúde	CAF	Sistema integrado	6,00
		Não integrado	3,00
		Sem sistema	0,00
10. Participação da CAF nas discussões/ decisões sobre programas e/ou atividades de saúde no município (em outros setores da SMS)	CAF	Sim	10,0
		Não	0,00
11. Autonomia decisiva da CAF sobre recursos financeiros	CAF	Sim	10,0
		Não	0,00

Pontos: Pontuação atribuída de acordo com os critérios do Protocolo de Referência.^{21, 20}

Legenda: AF: Assistência Farmacêutica; CAF: Coordenação da AF; CFT: Comissão de Farmácia e Terapêutica; DISP: Dispensador; PMS: Plano Municipal de Saúde; SMS: Secretaria Municipal de Saúde.

 

 

Quadro 9. Dimensão Operacional do PAGAF.

Indicador	Fonte	Medida/parâmetro	Pontos
1. Existência da Remume.	CAF	Sim	6,00
		Não	0,00
2. Lista de medicamentos padronizados atende as necessidades dos usuários, segundo os prescritores.	MED	Acima 75% respostas	6,00
		Entre 50 a 74%	4,50
		Entre 25 a 49%	3,00
		Abaixo 25%	0,00
3. Existência de medicamentos vencidos  destinados a dispensação, no estoque da US.	OBS	Nenhum medicamento	6,00
		Pelo menos 1	0,00
4. Existência de condições físicas e ambientais (externas, internas, iluminação, refrigeração, segurança) para armazenamento de medicamentos.	OBS	Acima 75% respostas	6,00
		Entre 50 a 74%	4,50
		Entre 25 a 49%	3,00
		Abaixo de 25%	0,00
5. Existência de instrumentos de padronização (POP, manual) para dispensação de medicamentos.	CAF	Sim	6,00
		Não	0,00
6. Dispensação de medicamentos realizada por meio de sistema informatizado.	CAF	Sim	6,00
		Não	0,00
7. Disponibilidade dos medicamentos padronizados.	OBS	Todos disponíveis	6,00
		Ausência de pelo menos 1	0,00
8. Existência de plano de gerenciamento de resíduos de serviços de saúde.	CAF	Sim	5,00
		Não	0,00
9. Existência de investimentos em infraestrutura para AF, no último ano.	CAF	Sim	7,00
		Não	0,00
10. US que contam com a presença de farmacêutico.	CAF	100% US com farmacêutico	7,00
		Entre 51 a 99%	5,25
		Entre 1 a 50%	3,50
		Nenhum farmacêutico	0,00
11. Percepção sobre a adequabilidade da quantidade de medicamentos disponíveis nas US para o atendimento da demanda segundo referido pelo coordenador da AF e prescritores.	MED CAF	Acima 75% respostas	4,00
		Entre 50 a 74%	2,00
		Abaixo 50%	0,00

Pontos: Pontuação atribuída de acordo com os critérios do Protocolo de Referência.^{21, 20}

Legenda: AF: Assistência Farmacêutica; CAF: Coordenação da AF; MED: Médicos; POP: Procedimento Operacional Padrão; Remume: Relação Municipal de Medicamentos; US: Unidade de Saúde.

 

 

Quadro 10. Dimensão de Sustentabilidade do PAGAF.

Indicador	Fonte	Medida/ parâmetro	Pontos
1. Recebimento de informações sobre a disponibilidade de medicamentos nas farmácias das US, segundo prescritores.	MED	Acima 75% respostas	7,00
		Entre 50 a 74%	3,50
		Abaixo 50%	0,00
2. Farmacêuticos que participaram de capacitação em AF, gestão, saúde coletiva/ saúde pública ou áreas afins.	CAF	Acima 75% respostas	7,00
		Entre 50 a 74%	5,25
		Entre 25 a 49%	1,75
		Abaixo de 25%	0,00
3. Vínculo trabalhista do coordenador da AF.	CAF	Estatutário	7,00
		Outras formas	0,00
4. Existência de mecanismos oficiais para recebimento de críticas e sugestões dos usuários sobre medicamentos, segundo coordenador da US.	CAF	Sim	7,00
		Não	0,00
5. Grau de satisfação do usuário em relação ao recebimento dos medicamentos prescritos.	USU	Acima 75% respostas	4,00
		Entre 50 a 74%	3,00
		Entre 25 a 49%	1,00
		Abaixo de 25%	0,00
6. Grau de satisfação do usuário em relação às condições físicas da farmácia.	USU	Acima 75% respostas	4,00
		Entre 50 a 74%	3,00
		Entre 25 a 49%	1,00
		Abaixo de 25%	0,00
7. Conhecimento de mecanismos de divulgação da Remume pelos prescritores.	MED	Acima 75% respostas	8,00
		Entre 50 a 74%	4,00
		Abaixo 50%	0,00
8. Discussões das questões da área de AF junto ao Conselho Municipal de Saúde.	CAF	Sim	10,00
		Não	0,00

Pontos: Pontuação atribuída de acordo com os critérios do Protocolo de Referência.^{21, 20}

Legenda: AF: Assistência Farmacêutica; CAF: Coordenação da AF; MED: Médicos; US: Unidade de Saúde.

 

Os resultados da aplicação do PGAF serão apresentados em estudo posterior, uma vez que esse estudo trata especificamente do processo de adaptação de um protocolo de avaliação regional para uso de dados de uma amostra nacional.

 

DISCUSSÃO

Guimarães et al.¹⁸ chamam atenção para os limites e alcances dos indicadores e defendem que a construção de indicadores deve ser vista como um exercício permanente e contínuo, e que os mesmos devem ser contextualizados à realidade para a qual serão aplicados.²⁰ Assim, um número significativo de mudanças foram realizadas no protocolo de avaliação. Porém, cabe destacar que as mudanças realizadas não alteram o caráter avaliativo do modelo original e se justificam pela necessidade de adaptação do modelo para uso em uma amostra de representatividade nacional.

O desenvolvimento e aplicação de estudos como este são de grande relevância, principalmente considerando as características específicas do Brasil, com sua organização política-administrativa, grande extensão territorial,  diferenças de desenvolvimento socioeconômico entre as regiões e de infraestrutura³⁰, as quais dificultam o acesso a dados nacionais. Assim, esforços devem ser empreendidos para aperfeiçoar o uso de dados disponíveis (como no caso da PNAUM) para produzir evidências e auxiliar a gestão pública na tomada de decisões. Em alguns países, por exemplo na Inglaterra, muitos bancos de dados clínicos e gerenciais são disponibilizados para subsidiar pesquisas científicas que apoiem as decisões em saúde.³¹

Comparando o protocolo adaptado a outros publicados internacionalmente para avaliar a gestão e governança dos sistemas de saúde, percebe-se similaridades de princípios como os de visão estratégica, participação na tomada de decisões e transparência.^{32, 33}, ³⁴ Já quanto a aspectos “éticos”, não foi possível incluir no PAGAF, pois as informações disponíveis no banco de dados da PNAUM não permitiam tal avaliação. Dimensões como responsividade e equidade são parcialmente comparáveis ​​ao modelo de Siddiqi et al.,³³ mas para completar a avaliação de tais aspectos será necessário analisar os resultados da PNAUM com dados sócio demográficos.

Outra avaliação baseada no modelo de Guimarães et al.¹⁸ desenvolvido no Estado de Santa Catarina, aponta que o domínio “equidade” é melhor avaliado por métodos qualitativos, como os grupos focais com paciente, recomendando os autores que estes métodos devam ser incorporados ao processo de avaliação da AF utilizando-se a triangulação de métodos.³⁵

O processo participativo de construção e adaptação do protocolo e o uso de dados provenientes de todos os atores envolvidos na AF no nível municipal (gestores, farmacêuticos, médicos, outros membros da equipe de saúde e pacientes) são pontos fortes importantes do PAGAF. Outros pontos fortes podem ser mencionados, como o uso de indicadores específicos sobre serviços farmacêuticos e o uso de medicamentos, além de domínios amplos sobre governança e participação em políticas de saúde, e o uso de princípios da política nacional de saúde, e que permite a comparações entre as diferentes regiões.

As fragilidades do protocolo identificadas foram a não incorporação de indicadores de governança clínica e a ausência de dados qualitativos. Também deve-se considerar que apesar do amplo uso do arcabouço de Carlos Matus²⁷ na América Latina, o modelo de avaliação proposto por Barreto e Guimarães¹⁹ foi utilizado apenas no cenário brasileiro, o que limita algumas comparações.

Os resultados preliminares obtidos do teste de aplicabilidade do PAGAF na base de dados nacional asseguraram a sensibilidade do novo protocolo ao contexto dos SF na APS permitindo avaliar a capacidade de gestão da AF em municípios brasileiros sem prejuízo das premissas do modelo original.

Por fim, destaca-se que o PAGAF será utilizado para a avaliação nacional e poderá ser incorporado para monitoramento contínuo da AF no Brasil. O uso de metodologias para coleta dos dados baseadas em amostra por representatividade e dados secundários tornam as avaliações menos onerosa.

A instrumentalização desses indicadores a partir de plataforma online, também é vista como uma possibilidade, considerando as dimensões geográficas do Brasil. Além disso, pode servir de referência para futuras avaliações da gestão dos SF em outros países, permitindo inclusive comparações. Embora o conjunto de indicadores apresentado possa ser um bom ponto de partida no desenvolvimento de avaliações a partir de bancos de dados disponíveis, mais consenso no assunto é necessário.

 

CONCLUSÃO

Segundo os especialistas o protocolo é sensível ao contexto e permitirá avaliar a capacidade de gestão da AF na APS dos municípios brasileiros. Iniciativas como esta visam impactar positivamente na investigação e avaliação dos SF contribuindo para o alcance dos objetivos pautados na PNAF.

Espera-se que a metodologia aqui descrita possa contribuir para o desenvolvimento de novos estudos avaliativos utilizando bancos de dados já existentes, tornando o processo menos oneroso e, permitindo sua aplicação também em outros países de baixa e média renda.

 

REFERÊNCIAS

1.    Lancet T. Evaluation: the top priority for global health. The Lancet [Internet]. 2010 Feb 13 [cited 2019 May 7];375(9714):526. Available from: https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(10)60056-6/abstract

2.    Ruger JP, Reiff M. A Checklist for the Conduct, Reporting, and Appraisal of Microcosting Studies in Health Care: Protocol Development. JMIR Res Protoc [Internet]. 2016 Oct 5 [cited 2019 May 3];5(4). Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5071616/

3.    Perry HB, Rassekh BM, Gupta S, Wilhelm J, Freeman PA. Comprehensive review of the evidence regarding the effectiveness of community–based primary health care in improving maternal, neonatal and child health: 1. rationale, methods and database description. J Glob Health [Internet]. [cited 2019 May 7];7(1). Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5491943/

4.    Hage J, Valadez JJ. Institutionalizing and sustaining social change in health systems: the case of Uganda. Health Policy Plan [Internet]. 2017 Nov [cited 2019 May 7];32(9):1248–55. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5886222/

5.    Goeree R, He J, O’Reilly D, Tarride J-E, Xie F, Lim M, et al. Transferability of health technology assessments and economic evaluations: a systematic review of approaches for assessment and application. Clinicoecon Outcomes Res [Internet]. 2011 Jun 2 [cited 2019 May 3];3:89–104. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3169976/

6.    Fernandes FMB, Ribeiro JM, Moreira MR. Reflexões sobre avaliação de políticas de saúde no Brasil. Cadernos de Saúde Pública [Internet]. 2011 Sep [cited 2019 May 7];27(9):1667–77. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0102-311X2011000900002&lng=pt&nrm=iso&tlng=pt

7.    Arakawa T, Magnabosco GT, Andrade RL de P, Brunello MEF, Monroe AA, Ruffino-Netto A, et al. Programa de controle da tuberculose no contexto municipal: avaliação de desempenho. Rev Saúde Pública [Internet]. 2017 Mar 30 [cited 2019 May 7];51. Available from: http://www.rsp.fsp.usp.br/artigo/programa-de-controle-da-tuberculose-no-contexto-municipal-avaliacao-de-desempenho-3/

8.    Valle AM. The Mexican experience in monitoring and evaluation of public policies addressing social determinants of health. Glob Health Action [Internet]. 2016 Feb 23 [cited 2019 May 7];9. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4770859/

9.    Carvalho ALB de, Shimizu HE, Carvalho ALB de, Shimizu HE. The institutionalization of monitoring and evaluation practices: challenges and prospects in the view of the Brazilian National Health System managers. Interface - Comunicação, Saúde, Educação [Internet]. 2017 Mar [cited 2019 May 7];21(60):23–33. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S1414-32832017000100023&lng=en&nrm=iso&tlng=en

10. Bamberger M. Bamberger JM, Rugh J, Mabry LS. RealWorld Evaluation: Working Under Budget, Time, Data, and Political Constraints. Second edition. Thousand Oaks, Calif: SAGE Publications, Inc; 2011. 712 p.:21.

11. Ministério da Saúde [Internet]. [cited 2019 May 7]. Available from: http://bvsms.saude.gov.br/bvs/saudelegis/cns/2004/res0338_06_05_2004.html

12. Vieira FS. EVOLUÇÃO DO GASTO COM MEDICAMENTOS DO SISTEMA ÚNICO DE SAÚDE NO PERÍODO DE 2010 A 2016. Available from: http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=32195. : 46

13. Economic Evaluations of Clinical Pharmacy Services: 2006–2010 - Touchette - 2014 - Pharmacotherapy: The Journal of Human Pharmacology and Drug Therapy - Wiley Online Library [Internet]. [cited 2019 May 3]. Available from: https://accpjournals.onlinelibrary.wiley.com/doi/full/10.1002/phar.1414

14. Santos RI. Concepções de assistência farmacêutica no contexto histórico brasileiro [tese]. Florianópolis: Universidade Federal de Santa Catarina, 2011. Available in: https://repositorio.ufsc.br/bitstream/handle/123456789/95635/308894.pdf?sequence=1. Accessed: 14 Oct 2016. :173.

15. Donabedian A. The seven pillars of quality. Arch Pathol Lab Med. 1990 Nov;114(11):1115–8.

16. Miranda AS de, Carvalho ALB de, Cavalcante CGCS. Subsídios sobre práticas de monitoramento e avaliação sobre gestão governamental em Secretarias Municipais de Saúde. Ciência & Saúde Coletiva [Internet]. 2012 Apr [cited 2019 May 7];17(4):913–20. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232012000400013&lng=pt&tlng=pt

17. Motta PR. Gestão contemporânea: a ciência e a arte de ser dirigente. 3.ed. Rio de Janeiro: Record, 1993 [Internet]. Estante Virtual. [cited 2019 May 9]. Available from: https://www.estantevirtual.com.br/armazemdolivrousado/paulo-roberto-motta-gestao-contemporanea-a-ciencia-e-a-arte-de-ser-dirigente-1690367854

18. Guimarães M do CL, Santos SMC dos, Melo C, Sanches Filho A. Avaliação da capacidade de gestão de organizações sociais: uma proposta metodológica em desenvolvimento. Cadernos de Saúde Pública [Internet]. 2004 Dec [cited 2019 May 8];20(6):1642–50. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0102-311X2004000600023&lng=pt&nrm=iso&tlng=pt

19. Barreto JL, Guimarães M do CL. Evaluation of decentralized management of basic pharmaceutical care in Bahia State, Brazil. Cadernos de Saúde Pública [Internet]. 2010 Jun [cited 2019 May 8];26(6):1207–20. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0102-311X2010000600014&lng=en&nrm=iso&tlng=pt

20. Leite SN, et al. Gestão da Assistência Farmacêutica: proposta para avaliação no contexto municipal| A experiência em Santa Catarina 2015. Florianópolis: Editora da UFSC, 2015. Florianópolis, SC: Editora UFSC; 2015. 167 p.

21. Manzini F, Mendes SJ. Matriz de indicadores do modelo de avaliação e as premissas da capacidade de gestão da assistência farmacêutica em âmbito municipal. In: LEITE, Silvana N. et al. Gestão da Assistência Farmacêutica: proposta para avaliação no contexto municipal | A experiência em Santa Catarina 2015. Florianópolis: Editora da UFSC; 2015. Florianópolis, SC: Editora UFSC; 2015. 167 p.

22. Álvares J, Alves MCGP, Escuder MML, Almeida AM, Izidoro JB, Junior AAG, et al. National Survey on Access, Use and Promotion of Rational Use of Medicines: 1 [Internet]. 2017 Sep 22 [cited 2018 Oct 24];51:4s–4s. Available from: https://www.revistas.usp.br/rsp/article/view/139733

23. Brasil. Ministério da Saúde. Secretaria de Ciência, Tecnologia e Insumos Estratégicos. Componente Avaliação dos Serviços de Assistência Farmacêutica Básica: introdução, método e instrumentos / Ministério da Saúde, Secretaria de Ciência, Tecnologia e Insumos Estratégicos. – Brasília: Ministério da Saúde, 2016. 140 p.: il. – (Série Pnaum – Pesquisa Nacional sobre Acesso, Utilização e Promoção do Uso Racional de Medicamentos no Brasil; Caderno 2). :142.

24. Carvalho MN, Álvares J, Costa KS, Guerra Junior AA, Acurcio F de A, Costa EA, et al. Força de trabalho na assistência farmacêutica da atenção básica do SUS, Brasil. Revista de Saúde Pública [Internet]. 2017 [cited 2019 Mar 21];51. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0034-89102017000300310&lng=pt&nrm=iso&tlng=pt

25. Barros RD de, Costa EA, Santos DB dos, Souza GS, Álvares J, Guerra AA, et al. Acesso a medicamentos: relações com a institucionalização da assistência farmacêutica. Rev Saúde Pública [Internet]. 2017 Aug 22 [cited 2019 May 8];51(suppl 2). Available from: http://www.rsp.fsp.usp.br/wp-content/plugins/xml-to-html/include/lens/index.php/?xml=0034-8910-rsp-S1518-51-s2-87872017051007138.xml

26. Oliveira MA, Luiza VL, Tavares NUL, Mengue SS, Arrais PSD, Farias MR, et al. Access to medicines for chronic diseases in Brazil: a multidimensional approach. Rev Saude Publica. 2016 Dec;50(suppl 2):6s.

27. MATUS, C. Política, planejamento e governo. Brasília, DF: IPEA, 1993. [Internet]. [cited 2019 May 9]. Available from: https://www.nescon.medicina.ufmg.br/biblioteca/pesquisa/simples/Pol%C3%ADtica,%20planejamento%20e%20governo/1030

28. Brasil. Portaria N^o 2.077, de 17 de Setembro de 2012. Institui a pesquisa nacional sobre acesso, utilização e promoção do uso racional de medicamentos no Brasil (PNAUM). Diário Oficial da União, Poder Executivo, Brasília, DF, 18 de Setembro de 2012. [Internet]. [cited 2018 Oct 24]. Available from: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2012/prt2077_17_09_2012.html

29. Hartz ZM de A, Silva LMV da. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde [Internet]. Editora FIOCRUZ; 2005 [cited 2019 May 27]. Available from: http://books.scielo.org/id/xzdnf

30. Barbosa MM, Garcia MM, Nascimento RCRM do, Reis EA, Guerra Junior AA, Acurcio FDA, et al. Avaliação da infraestrutura da Assistência Farmacêutica no Sistema Único de Saúde em Minas Gerais. Ciência &amp; Saúde Coletiva [Internet]. 2017 Aug [cited 2019 May 21];22(8):2475–86. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S1413-81232017002802475&lng=pt&nrm=iso&tlng=pt

31. Black N, Tan S. Use of national clinical databases for informing and for evaluating health care policies. Health Policy [Internet]. 2013 Feb 1 [cited 2019 May 21];109(2):131–6. Available from: http://www.sciencedirect.com/science/article/pii/S0168851012002886

32. Kirigia JM, Kirigia DG. The essence of governance in health development. Int Arch Med. 2011 Mar 28;4:11.

33. Siddiqi S, Masud TI, Nishtar S, Peters DH, Sabri B, Bile KM, et al. Framework for assessing governance of the health system in developing countries: gateway to good governance. Health Policy. 2009 Apr;90(1):13–25.

34. World Health Organization. World health statistics 2014. 2014.

35. Rover MRM, Vargas-Pelaez CM, Rocha Farias M, Nair Leite S. Acceso a medicamentos de alto precio en Brasil: la perspectiva de médicos, farmacéuticos y usuarios. Gaceta Sanitaria [Internet]. 2016 Mar 1 [cited 2019 May 21];30(2):110–6. Available from: http://www.sciencedirect.com/science/article/pii/S0213911115002514

 

 

 

 

Recebido: 12 de dezembro de 2019. Aceito: 18 de janeiro de 2020

Correspondência: Emilia Baierle Faraco  E-mail: emiliabaierle@gmail.com

Conflito de Interesses: os autores declararam não haver conflito de interesses.

 

 

 

© This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited