La investigación y el análisis generan una gran cantidad de datos sobre el funcionamiento, operación y resultados de los programas sociales. Uno de los desafíos para lograr que los resultados de una evaluación sean considerados información de calidad, consiste en sincronizarlos con los tiempos de planeación y ejecución de dichos programas.
La Gestión para Resultados (GPR) en la Administración Pública Federal busca conocer qué beneficios otorgan las políticas públicas a la población. Con el objeto de identificarlos, se ha establecido el Sistema de Evaluación del Desempeño (SED), el cual es “un conjunto de elementos que permite monitorear, evaluar y dar seguimiento a las políticas públicas y programas presupuestarios para mejorar su resultado” (SHCP, 2010). En este contexto se desarrolla el Presupuesto basado en Resultados (PBR) que toma en cuenta los resultados obtenidos en las evaluaciones realizadas a los programas presupuestarios y permite determinar si están cumpliendo su cometido. A través de este se pretende mejorar la eficacia del gasto público, la asignación responsable de los recursos y facilitar los mecanismos de transparencia y rendición de cuentas (SHCP, 2010).
Dentro de este marco normativo, la Secretaría de Salud (SS), a través de la Dirección General de Evaluación del Desempeño (DGED), realiza actividades para evaluar el funcionamiento del Sistema Nacional de Salud. Se han hecho grandes esfuerzos para conocer su desempeño a través de las acciones emprendidas mediante los sistemas estatales de salud, los programas establecidos para incidir en las condiciones de salud de la población y los servicios que se otorgan a las personas o comunidades que requieren atención.
De manera específica, se ha conducido la evaluación de los programas de salud del ámbito federal por medio de la Dirección de Evaluación de Programas Prioritarios y Especiales de Salud. Una de las funciones de esa área es coordinar las evaluaciones complementarias, en la mayoría de las ocasiones de programas sujetos a reglas de operación que responden a necesidades e intereses de la dependencia y que tienen como finalidad proporcionar elementos útiles para la toma de decisiones a los responsables y operadores de los programas que resultan difíciles de obtener en otro tipo de ejercicios. Estas evaluaciones suelen ser investigaciones que recaban información directa de los beneficiarios. Debido a que en muchas de ellas se hace trabajo de campo, son realizadas por personas externas a la Secretaría y, por lo tanto, generan resultados y recomendaciones objetivas e imparciales.
Las evaluaciones complementarias representan una de las opciones de valoración de los alcances de un programa; otra son los estudios contratados por los mismos programas, y una más es la que se lleva a cabo de manera coordinada con el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), la SHCP y la Secretaría de la Función Pública (SFP), la cual consiste en supervisar y procurar el cumplimiento del Programa Anual de Evaluación (PAE) —que es establecido por estas tres instituciones— en el que se señalan qué programas presupuestarios deben evaluarse en el ejercicio fiscal vigente y qué tipo de evaluación deben realizar.
De este modo, en los últimos seis años, los programas presupuestarios de la SS han tenido una serie de evaluaciones (complementarias, específicas del desempeño, de consistencia y resultados, etcétera) cuyos resultados han generado información que ha apoyado su operación, han propuesto aspectos para solucionar la problemática detectada, han procurado un uso más eficiente de los recursos, y han favorecido la toma de decisiones así como la rendición de cuentas.
Lo enunciado tiene gran relevancia para conseguir que las acciones emprendidas en materia de salud cumplan con los objetivos propuestos a través de un eficiente ejercicio del gasto asignado para ese fin; sin embargo, desde nuestra óptica, para obtener un mayor beneficio de la información generada en una evaluación, deben superarse algunas dificultades que obstaculizan su aprovechamiento como instrumento que otorga evidencias y señala oportunidades de mejora de los programas. Algunos de los retos identificados en esa tarea son: (a) generar una cultura de la evaluación; (b) favorecer la calidad de las evaluaciones; (c) mejorar la oportunidad de los resultados; (d) fortalecer el seguimiento a los aspectos susceptibles de mejora, y (e) fomentar la rendición de cuentas.
Para propiciar una cultura de la evaluación, es importante crear conciencia tanto en los tomadores de decisiones como en los responsables y operadores de los programas, de los beneficios de este tipo de trabajos cuyo objetivo es proporcionar herramientas que sustenten la ejecución, y en su caso, el rediseño de la política pública en salud. Para los primeros son evidencias que les permiten conocer el desarrollo y grado de éxito de las acciones que contemplaron para el cumplimiento de una política de salud; para los segundos son evidencias de los aspectos en los cuales el programa ha alcanzado sus objetivos, es decir, si el modo de hacerlo ha sido el correcto (utilización de recursos, focalización del programa, servicios otorgados, etcétera) y si el beneficio para la salud de la población es visible. Lo expresado no significa que los principales usuarios no conozcan los beneficios de una evaluación; más bien se considera que ha faltado difusión del valor agregado que tienen estos estudios como instrumentos de mejora y no de fiscalización de un programa.
Para favorecer la calidad de las evaluaciones es importante considerar que algunos programas de la SS tienen dos o más evaluaciones en un año: una complementaria, otra puede ser la señalada en el PAE —que por lo regular coordina el Coneval por ser el responsable de la evaluación de los programas relacionados con la política social—, y en algunos casos, una tercera puede ser contratada por el mismo programa para indagar sobre aspectos muy precisos y de su interés. De ahí que exista una cantidad importante de información relacionada con el funcionamiento, operación y resultados de un programa; sin embargo, esta es difícil de procesar y orientar a la obtención de resultados dado los periodos de planeación, ejecución y difusión de una evaluación.
Una propuesta para solventar esta dificultad —en el caso preciso de la unidad de evaluación de la SS—, es reducir el número de evaluaciones por año y alternar los programas a evaluar; es decir, podría evitarse estudiar año con año los mismos tres o cuatro programas y solo enfocarse en la evaluación de uno o dos programas cada año; seleccionar aquellos que sean relevantes para la consecución de los objetivos señalados en el Plan Nacional de Desarrollo y en el Programa Sectorial de Salud, y hacer un ejercicio de evaluación que abarque más aspectos, se apoye en marcos conceptuales que den sustento al procedimiento utilizado, incluya trabajo de campo, privilegie el uso de metodologías rigurosas que permitan identificar de manera más certera los resultados que ha tenido un programa en las condiciones de salud de la población así como la situación real del funcionamiento del programa.
Un punto importante de mejora es la falta de oportunidad de los resultados de las evaluaciones. Los procesos administrativos que se requieren para poder iniciar un ejercicio de evaluación —autorización del presupuesto, aprobación y firmas del acuerdo secretarial, licitación, invitación restringida a tres o adjudicación directa (según sea el caso), elaboración y firma de contratos— no dependen únicamente del área de evaluación, están involucradas distintas áreas de la SS, lo cual hace que el procedimiento presente retrasos y, por lo tanto, la realización de los estudios se inicie la mayoría de las veces en el segundo semestre del año. Esto ocasiona que los resultados finales se conozcan hasta el mes de diciembre y se realice la difusión y presentación de resultados hasta el año siguiente, lo que provoca que muchas de las observaciones detectadas no se puedan incorporar en las nuevas reglas de operación de los programas, y por ello, algunas de las sugerencias o mejoras no puedan ponerse en marcha.
Lo anterior no ocurre con las evaluaciones que coordina y contrata el Coneval. Cabe decir que estas suelen ser evaluaciones de gabinete que no incorporan trabajo de campo y hacen una revisión muy general del desempeño de los programas. Por lo regular inician en abril y los responsables de los programas conocen los resultados entre julio y agosto, lo cual les permite incorporar a las reglas de operación del programa algunas de las mejoras sugeridas y esbozar la planeación para la consecución de algunos de los aspectos que fueron señalados como susceptibles de mejora.
Relacionado con el punto anterior, un reto más consiste en fortalecer el seguimiento de los aspectos susceptibles de mejora (ASM). Los resultados de una evaluación deben incluir recomendaciones del equipo evaluador para mejorar la operación del mismo; los responsables y operadores del programa deben avalar y manifestar su opinión respecto a la posibilidad de su logro a través de un documento conocido como Posición institucional ante un ejercicio de evaluación. Los ASM son seleccionados por los responsables y operadores del programa en consenso con la unidad de evaluación, con una temporalidad definida por estos mismos actores. Hasta el momento, existe un sistema en línea que da seguimiento a las acciones comprometidas para mejorar un programa; estas deben cumplirse en el tiempo determinado y deben mostrarse los documentos que comprueben que se está trabajando en las responsabilidades adquiridas. Sin embargo, si un programa no cumple con lo establecido, por lo regular, no experimenta ninguna repercusión. Por ello, se considera relevante comprobar las actividades realizadas para el cumplimiento de las metas planteadas de una manera más eficiente. Del mismo modo, deberán documentarse la demora o incumplimiento de los objetivos establecidos, y a partir de esto, hacer observaciones a los responsables y operadores de los programas que les convoquen a conseguir las metas propuestas.
Finalmente, está el desafío de la difusión de la evaluación como herramienta para la rendición de cuentas, en el sentido de dar a conocer a la sociedad de qué forma los programas que sustentan la política pública en salud están haciendo uso de los recursos públicos y si están obteniendo logros en las condiciones de salud de la población. A pesar de que los informes de resultados de las evaluaciones se publican en la página electrónica de la SS y en la del Coneval, existe un trecho importante por recorrer en cuanto a la mejor forma de difundir los resultados de las mismas, tanto al interior de las dependencias —con los principales usuarios para la toma de decisiones— como al exterior —con la población—, para el conocimiento y transparencia en el uso de los recursos públicos en acciones realizadas a través de los programas de salud.
De resolverse algunos de los retos que se han identificado, se podrían lograr evaluaciones en mejores condiciones en el corto plazo, lo cual permitiría que en la administración pública se contara con suficientes elementos para la toma decisiones adecuadas referentes al presupuesto asignado a un programa (PBR-SED), con base en el conocimiento de informes oportunos, con mayor calidad y profundidad, y que consideren a todos los actores involucrados en el funcionamiento de un programa. Dadas estas condiciones, se tendría un mejor y más eficiente ejercicio de los recursos que resultaría en beneficios para las condiciones de salud de la población.
Garrido, Francisco y López Sergio, “Evaluación de los programas y servicios de salud en México”, en Salud Pública de México, vol. 53, suplemento 4, 2011.
Secretaría de Hacienda y Crédito Público, “Manual de Programación y Presupuesto 2013”, disponible en: <http://www.hacienda.gob.mx/EGRESOS/PEF/programacion/programacion2013/manual_pyp_2013_Oct%2030_1.pdf>.
Cédula: Conceptos básicos del presupuesto basado en resultados-Sistema de Evaluación del Desempeño, 2010, disponible en: <http://www.shcp.gob.mx/EGRESOS/sitio_pbr/Documents/090811CeduladelPbR-SED.pdf>.
Manual de Organización de la Dirección General de Evaluación del Desempeño, Secretaría de Salud, 2012, disponible en: <http://www.dged.salud.gob.mx/contenidos/dged/descargas/MOE_2012.pdf>.
__________
MARICRUZ MURADÁS TROITIÑO es maestra en Demografía por El Colegio de México y doctora en Estudios de Población por esa misma institución. Actualmente labora en la Dirección de Evaluación de Programas Prioritarios y Especiales de Salud de la Secretaría de Salud.
