La evaluación de las políticas públicas es indispensable para garantizar su eficacia, pero ello no basta. Es vital que los resultados de las múltiples evaluaciones conduzcan a una mejora de los programas que emplea el Estado para propiciar el desarrollo. La esfera de la salud no es excepción.
Introducción
A nivel internacional, hay un acuerdo en torno a la importancia de la evaluación como parte integral del proceso de las políticas públicas, que se ha traducido en la tendencia creciente a evaluar a los gobiernos por sus resultados y monitorear su desempeño.1 México no ha quedado fuera de esta dinámica y paulatinamente se ha construido un sistema en el que es posible evaluar una multiplicidad de programas, entre los cuales se incluyen los de salud.
En este texto mostraremos el estado de las evaluaciones a los programas del sector salud y explicaremos cómo la evaluación es una vía efectiva, necesaria y cada vez más recurrida en México. Pero si evaluar es necesario, es aun más importante utilizar los resultados de las evaluaciones: es ahí donde está su verdadero valor público. Si bien a nivel federal se hacen muchas evaluaciones al sector salud, éstas no necesariamente se utilizan.
El estado de las evaluaciones a los programas de salud
En México, la obligatoriedad y sistematización de la evaluación, al menos de la evaluación de los programas sociales federales, derivó de la aprobación en 2003 de la Ley General de Desarrollo Social (LGDS).2 Esta ley obliga a evaluar los programas que reciben recursos fiscales y que están sujetos a reglas de operación de manera externa y sistemática. Adicionalmente, la creación del Consejo Nacional para la Evaluación de la Política de Desarrollo Social (CONEVAL) y del Sistema de Evaluación del Desempeño (SED) ha traído consigo la estandarización y difusión de las evaluaciones. Se ha logrado la transición de un esquema disperso hacia un esquema en el que se evalúa la totalidad de los programas de la Administración Pública Federal.3 Con la aprobación de la Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH) se ha buscado la inclusión de los ejercicios de evaluación en un sistema que intenta impactar en las decisiones presupuestarias.
En este marco institucional ha aumentado el número de evaluaciones. De 2006 a 2011 se han realizado poco más de 600 evaluaciones a cerca de 200 programas sociales federales;4 desde 2007, alrededor de 112 evaluaciones (promedio anual) pertenecen al sector salud y a la formación de capital humano (ver la Gráfica). Destacan el Programa de Desarrollo Humano Oportunidades (PDHO), el Programa de Ahorro y Subsidio para la Vivienda Tu Casa, el Seguro Popular y el Programa de Abasto Social de Leche Liconsa. El PDHO concentra 3.9% de las evaluaciones con más de 30 evaluaciones de diferentes tipos.5
De este conjunto, la mayor parte (cerca de 50%) se refiere a ejercicios de revisión de indicadores (Evaluaciones Específicas de Desempeño) y una quinta parte son de consistencia y resultados (ECR).6 Las evaluaciones de impacto representan 9.1%, en tanto que las de diseño representan 6.8% del total.7 En términos presupuestarios, el costo de las evaluaciones realizadas en el marco del CONEVAL a los programas de salud entre 2008 y 2011 es de 14 millones 550 mil pesos (de desempeño, impacto, diseño y estrategia). Según los datos del propio CONEVAL, cerca de 60% de las evaluaciones ha sido responsabilidad de instituciones académicas y de investigación nacionales.8
Como vemos, el universo de evaluaciones en salud es amplio, pero éste no es suficiente per se. Tener una multiplicidad de evaluaciones es un indicador del esfuerzo por conocer qué aspectos de los programas públicos funcionan; permite contar con “un acervo sobre los alcances, las limitaciones y las ventanas de mejora de las distintas intervenciones”.9 Sin embargo, la verdadera meta de la evaluación se alcanzaría si sus resultados se utilizaran, más que como logros en sí mismos, como insumos para mejorar la operación de los programas.
El uso de la evaluación como instrumento de cambio
Los expertos destacan que el valor de la evaluación depende de si sus resultados se utilizan realmente como herramienta para reformular proyectos, programas y políticas.10 Y es que del uso de las evaluaciones se desprenden los cambios en planeación estratégica de los programas, la verificación del ejercicio de los recursos y su vinculación con otras fases de la política pública, como los procesos de presupuesto y planeación.
A partir de 2008 todos los programas federales evaluados en el contexto del coneval se tienen que sujetar año con año al Mecanismo de Seguimiento a los Aspectos Susceptibles de Mejora. Las entidades y dependencias tienen que manifestar su posición respecto de las recomendaciones de la evaluación, clasificando los aspectos que pueden mejorarse.11 Si bien la mayor parte de las agencias ha cumplido con los requerimientos del CONEVAL, este proceso parece más bien un círculo burocrático en el que se hacen esfuerzos para verificar que las entidades y dependencias redacten sus planes y posiciones institucionales y las difundan, mas no para que se utilice la evaluación para la mejora de los programas.
Claramente, es difícil saber adónde van las evaluaciones de los programas de salud si sólo nos quedamos con la lectura de los aspectos susceptibles de mejora. Así, en el ánimo por develar la caja negra de la postevaluación, en meses recientes se entregó el “Premio a los Programas Federales Comprometidos con el Proceso de Evaluación”12 a los funcionarios que demostraron utilizar las evaluaciones dentro de la operación de los programas federales que encabezan.
Un programa del sector salud precisamente, “Sistema Integral de Calidad en Salud” (sicalidad), fue la iniciativa ganadora. El programa llevó a cabo 10 acciones de mejora para atender las recomendaciones de las evaluaciones, entre las que destacan: (1) involucrar a los pacientes en la supervisión de la calidad de los servicios médicos; (2) medir la cultura de la calidad en las unidades médicas participantes, así como el impacto del programa; (3) acreditar a las unidades médicas en temas de calidad de los servicios médicos, y (4) ordenar los procesos de gestión del programa.13 El programa cumplió plenamente con las metas planteadas.
En resumen, la práctica de la evaluación en México ha demostrado ser sistemática, obligatoria y estandarizada. No obstante, aún está lejos de ser una herramienta de cambio, en parte por la falta de integralidad del sistema y porque, si bien hay seguimiento de las recomendaciones, éstas no necesariamente se utilizan para la toma de decisiones. La experiencia de sicalidad es un buen ejemplo de cómo usar la evaluación de modo creativo, y puede ayudar a mejorar sustancialmente el desempeño de los programas.
__________________________________________
1 Sonia Ospina, Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano, V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, República Dominicana, del 24 al 27 de octubre de 2000, p. 13.
2 Las primeras evaluaciones a los programas federales en México se remontan a finales de la década de los setenta y estuvieron a cargo de la Subsecretaría de Evaluación. Posteriormente, en la década de los noventa se realizaron algunas evaluaciones a los proyectos del Programa Nacional de Solidaridad (PRONASOL) así como las evaluaciones ex-ante y de impacto del Programa de Educación, Salud y Alimentación (PROGRESA), hoy Oportunidades. Véase M. Cardozo Brum, La evaluación de políticas y programas públicos: El caso de los programas de desarrollo social en México, Cámara de Diputados (ed.), Miguel Ángel Porrúa, México, 2006.
3 Manuel Fernando Castro, Gladys López-Acevedo, Gita Beker Busjeet y Ximena Fernández, El Sistema de M&E de México: Un salto del nivel sectorial al nacional, IEG Independent Evaluation Group, Serie de documentos de trabajo DCE No. 20, World Bank, Washington, D.C., 2009.
4 Estimación propia con base en los informes publicados por el CONEVAL.
5 J.P. Gutiérrez, M. Cortés et ál., Situación actual de la evaluación de programas en México (Documento de trabajo), Centro de Investigación en Evaluación y Encuestas, Instituto Nacional de Salud Pública, 2011.
6 Para conocer los tipos de evaluación, remitirse al sitio institucional del CONEVAL: www.coneval.gob.mx.
7 Otro de los temas pendientes en la evaluación de los programas sociales es la calidad de las metodologías. Es imprescindible contar con evidencia sobre la causalidad de la intervención, sobre todo cuando el presupuesto de los programas sociales federales representa 15% del gasto programable en el país. Como contribuyentes, necesitamos evaluaciones que sustenten que el gasto social está siendo efectivo.
8 Destacan el Instituto Nacional de Salud Pública, que evaluó 53% del total de presupuesto destinado al sector; el Centro de Estudios Económicos y Sociales en Salud, Hospital Infantil de México Federico Gómez; Investigación en Salud y Demografía, S.C.; El Colegio de la Frontera Norte, y la UAM Xochimilco, entre otros. J.P. Gutiérrez, M. Cortés et ál. (2011), óp. cit.
9 CIEE-INSP, La evaluación de los programas sociales. Documento de posicionamiento, 2011.
10 Carol Weiss, “Have We Learned Anything New About the Use of Evaluation?” en American Journal of Evaluation, vol. 19, No. 1, pp. 24, Carol, 1998.
11 CONEVAL, Informe de Seguimiento a los Aspectos Susceptibles de Mejora de Programas Federales 2008, proceso de evaluación externa 2008 del Gobierno Federal. Disponible en http://www.coneval.gob.mx/contenido/eval_mon/2733.pdf, consultado el 2 de marzo de 2011.
12 Este evento fue coordinado por el CIDE-México Evalúa, A.C. y la Secretaría de la Función Pública.
13 Para conocer más sobre ésta y las demás iniciativas ganadoras remítase al siguiente link: http://www.funcionpublica.gob.mx/index.php/uegdg/pae.html.
_______________________
MARÍA JOSÉ MONTIEL es colaboradora externa del Instituto Mexicano para la Competitividad, A.C. (IMCO).
Excelente artículo, especialmente por el énfasis que hace en la necesidad de cambios en el sector a partir de las recomendaciones sugeridas por las evaluaciones.