Una vez que académicos, analistas y organizaciones sociales han demostrado los beneficios de la evaluación como un instrumento insustituible en la mejora del desempeño gubernamental, el siguiente paso es lograr que los resultados de las mediciones dejen los archiveros y formen parte central de la información que se emplea en el diseño y la implementación de políticas públicas.
Durante la última década, México ha avanzado considerablemente en la construcción y consolidación de un sistema de monitoreo y evaluación de políticas publicas. Entre los logros más destacados se encuentran el desarrollo de instrumentos de evaluación, la creación de capacidades institucionales, la realización de ejercicios rigurosos para medir distintas dimensiones de programas públicos tan complejos como Oportunidades e, inclusive, la promoción de un mercado de evaluadores para atender la creciente necesidad de medir los efectos de la acción pública. Es incuestionable que la evaluación se ha convertido en un instrumento para conocer el desempeño de los programas y dependencias públicas, a la vez que brinda información acerca de por qué algo no está funcionando.
Sin embargo, todavía persiste el debate, teórico y empírico, relacionado con la utilidad de las evaluaciones. Aun cuando el sistema de monitoreo y evaluación en México es perfectible en muchos aspectos, el uso de las evaluaciones es un tema al que se ha puesto poca atención. Es indispensable entender el rol de la evaluación en el proceso de políticas públicas. Una parte importante de la literatura en materia de evaluación ha estado dedicada a entender los factores que promueven la utilización de las evaluaciones. Esto con el propósito de potenciar el efecto que puede tener la información derivada de un ejercicio de evaluación en los distintos actores con poder de decisión (incluso existe una corriente teórica acerca de la evaluación centrada en el uso).
Existen múltiples elementos que pueden influir para que se haga uso de una evaluación, desde aquellos relacionados directamente con la calidad de esta (por ejemplo, el rigor metodológico) hasta factores políticos que promuevan u obstaculicen su uso y divulgación. Dentro de este espectro, la literatura especializada en el tema ha señalado recurrentemente la importancia de (1) vincular la evaluación con la audiencia objetivo, (2) proveer información oportuna, (3) generar credibilidad en las evaluaciones, (4) favorecer el surgimiento de agentes que promuevan su uso y (5) fortalecer el marco institucional. Estos factores pueden parecer obvios pero en realidad no lo son y podrían evitar que las evaluaciones terminen arrumbadas en el cajón de algún funcionario.
El primer elemento a considerar en el diseño de las evaluaciones, para evitar que queden atrapadas en el olvido, es la audiencia a la que están dirigidas. Deben reconocerse las necesidades de cada actor interesado y la información que le resultará útil. Por ejemplo, funcionarios, legisladores, sociedad civil, académicos y medios de comunicación tienen todos necesidades y expectativas distintas. Como muchos autores han señalado —incluido Michael Quinn Patton, creador y principal promotor de la evaluación centrada en el uso—, la evaluación de políticas puede tener usos distintos dependiendo de la audiencia a la que esté dirigida. Existe la concepción dominante de que la evaluación tiene un uso instrumental, es decir, los hallazgos derivados de una evaluación finalmente se convertirán en recomendaciones que los involucrados puedan implementar. Por ejemplo, si un experto en salud evalúa el Seguro Popular, se esperaría que los operadores tomen en cuenta sus observaciones y las incorporen a sus agendas de trabajo. Hasta aquí suena muy prometedor el enfoque pero ¿qué pasa si las recomendaciones están desconectadas de la realidad organizacional del programa?, ¿se esperaría que las recomendaciones de un evaluador se adopten sin mayor análisis? Esta visión instrumental de la evaluación teóricamente asume no solo la pertinencia de las recomendaciones, sino también su viabilidad, algo que no siempre ocurre en la realidad.
Una de las razones por las que es difícil valorar la utilidad de las evaluaciones es que ello implica asociar este proceso con cambios tangibles dentro de la administración pública. Sin embargo, su utilidad va mucho más allá. Además de sus posibles efectos en la mejora de la gestión pública, la evaluación también es un instrumento útil para la toma de decisiones de largo plazo, dado que provee información no solo acerca del desempeño de los programas, sino también acerca de cuáles son las áreas de política que requieren atención. Más aún, la evaluación también puede constituir un aliado político para la legitimación de decisiones en la esfera pública.
Esta identificación de los posibles “consumidores de evaluaciones” permite procesar la información de tal manera que resulte atractiva y relevante. Por ejemplo, es poco probable que un ciudadano, un legislador o un comunicador encuentren atractivo leer un informe de evaluación de 100 páginas; más bien, buscarían los puntos específicos que directamente les interesan. Un académico, por su parte, evaluaría el reporte no solo con base en la extensión, sino también en la solidez metodológica de la evidencia generada, en la robustez del análisis, en las inferencias causales de sus conclusiones y en la viabilidad técnica y política de sus recomendaciones. La audiencia determina también el tipo de lenguaje que se usa en las evaluaciones. Por lo general, los reportes de evaluación están plagados de tecnicismos que pueden resultar incomprensibles para una audiencia no especializada en el tema.
Un segundo elemento es la generación oportuna de información (o timing). Una evaluación es útil en la medida en que un determinado actor puede hacer uso de ella en el momento preciso. Un caso concreto es la conformación del Presupuesto de Egresos de la Federación; en este proceso, los legisladores deben, en un periodo de tiempo establecido por la ley, aprobar los montos que se destinarán a distintos rubros durante el siguiente año fiscal. En este contexto, la evaluación representa una herramienta sumamente útil para conocer el comportamiento que han tenido los programas federales en distintas variables. Sin embargo, si la información llega a los diputados en un momento en el cual el presupuesto ya ha sido negociado, entonces la evaluación pierde completamente su utilidad, independientemente de si la información tiene gran rigor metodológico o si está presentada de forma sucinta. Si la información llega a destiempo, cuando ya no es ni útil ni relevante, entonces simplemente la evaluación se confinará a los cajones del olvido.
Un tercer punto que afecta la utilidad de la evaluación es la credibilidad. El uso de una evaluación en particular depende en gran medida de cuánto confía el usuario en la información que se le presenta. Construir credibilidad no es un proceso fácil, va mucho más allá del rigor metodológico con el que se realizan las evaluaciones. Tiene que ver con el prestigio de los evaluadores, así como con la transparencia de los procesos. Es aquí donde vale la pena hacer un paréntesis. La credibilidad de las evaluaciones implica hacer explícitos muchos de los supuestos que se utilizan durante su realización. Los instrumentos que se usan para evaluar implican dar prioridad a ciertos valores respecto de otros (de eficiencia sobre equidad, por ejemplo) y estas son decisiones que no son explícitas pero que van a tener un efecto en los resultados. La credibilidad, por lo tanto, implica “abrir” el proceso de evaluación para que los interesados puedan ver no solo qué procedimiento se llevó a cabo para la obtención de los resultados, sino también los criterios que se utilizaron para elegir un instrumento determinado o para contratar a cierto evaluador.
El cuarto elemento tiene que ver con que la evaluación, como muchas otras actividades que se desarrollan en el ámbito público, requiere “promotores” que abracen la causa de este instrumento como uno de múltiples aplicaciones para distintas audiencias. Lo anterior significa que, tanto dentro como fuera de la esfera gubernamental, pueden identificarse personajes clave que lleven la evaluación a un lugar importante en la agenda pública, no solo para informar sobre el desempeño de políticas y programas sino también para —como una forma mucho más amplia de fortalecer la democracia— promover el debate acerca de la efectividad del Estado para atender problemas públicos.
El último elemento es el marco institucional en el que se desarrolla la evaluación. Hablando específicamente de la experiencia del Gobierno Federal, el uso de las evaluaciones se promueve a partir del “Mecanismo de seguimiento a aspectos susceptibles de mejora”, un instrumento dirigido a las dependencias y entidades de la Administración Pública Federal para que analicen y tomen en cuenta las recomendaciones hechas a sus programas. Si dejamos de lado la efectividad de este mecanismo, el marco institucional va más allá de las obligaciones impuestas por un instrumento normativo. Tiene que ver con la creación de un sistema de incentivos en el cual los usuarios de las evaluaciones no solo consideren pertinentes y relevantes las recomendaciones hechas por un evaluador externo, sino también interioricen la evaluación como un proceso continuo de aprendizaje organizacional. Este es quizás el reto más difícil cuando se habla de utilidad: no es una cuestión de confianza en las evaluaciones solamente, sino también de trascender la lógica burocrática de seguir un proceso impuesto por actores ajenos a la operación. Es por eso que un sistema de incentivos debe ir más allá de imponer sanciones y otorgar premios; tiene que generar capacidades institucionales mediante las cuales los usuarios de las evaluaciones puedan discernir entre una buena evaluación (pensando en un ejercicio riguroso metodológicamente) y una evaluación útil (aquella que satisfaga, en tiempo y forma, sus necesidades de información particulares).
Por todo esto, para que una evaluación funcione hay que pensar, desde su planeación, en el uso que hará de ella una audiencia en particular. En cualquier caso, existen numerosos factores que pueden obstaculizar el uso de una evaluación, factores que están fuera del control tanto de evaluadores como de promotores, por ejemplo, la voluntad política de quienes toman decisiones. Sin embargo, ignorar aspectos como los que se han discutido en este artículo puede llevar una evaluación, sin importar su calidad, al olvido, y a formar parte del archivo muerto de una dependencia.
Adicionalmente al hecho de que una evaluación debe servirle a alguien para algo, hay un punto que me gustaría mencionar. Evaluar es una actividad que conlleva la erogación de millones de pesos en cada ejercicio fiscal. Solo por dar un ejemplo, en 2012 la Secretaría de Desarrollo Social (Sedesol) llevó a cabo una metaevaluación “con el objeto de analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas”. El ejercicio implicó el análisis de 20 programas (centralizados y sectorizados), para lo cual se destinaron poco más de seis millones de pesos.1 Esto únicamente representa el gasto de un solo ejercicio de evaluación2 en una sola dependencia. En el agregado, esta actividad significa un monto importante, lo cual implica otro problema: no conocemos a ciencia cierta cuánto destina el Gobierno Federal a la evaluación. Muchas de las dependencias y entidades han hecho pública la información de las evaluaciones contratadas, pero no siempre es así y no existe una integración de dicha información que pudiera aclarar qué proporción del gasto federal representa la evaluación. Este ejemplo es útil para transmitir que, independientemente del uso que se hace de las evaluaciones, no debe perderse de vista que es una actividad que implica el uso de recursos públicos sobre los que deben rendirse cuentas, es decir, ¿qué tipo de evaluaciones se están contratando?, ¿con qué criterio fueron elegidos los instrumentos de evaluación y los evaluadores? y, especialmente, ¿qué uso se está dando a esa información? Todas estas preguntas están dirigidas a robustecer el proceso de planeación de las evaluaciones.
Si cuando se toman decisiones en materia de evaluación no se consideran los elementos aquí señalados, es poco probable que las evaluaciones sean aprovechadas en todo su potencial y, más aún, que trasciendan la visión instrumental de la valoración de las políticas y logren permear el debate público, saliendo de la esfera gubernamental y llegando a otros sectores de la población. Algunos avances se pueden observar ya, especialmente desde el ámbito de la sociedad civil, en donde organizaciones no gubernamentales como México Evalúa y Gestión Social y Cooperación (Gesoc) se han involucrado de manera activa en la evaluación de políticas, cuestionando y destacando la labor del Gobierno Federal en esta materia. Sin embargo, son la excepción a la regla. La evaluación sigue siendo subutilizada y esta situación se mantendrá mientras los actores involucrados no pongan más atención en la multiplicidad de áreas en las que puede contribuir.
1 La cifra exacta es 6 millones 67 mil 400 pesos M.N., resultado de la suma de los costos reportados por la Sedesol a través de su página de internet, consultada el 8 de julio de 2013: <http://200.77.228.179/es/SEDESOL/Meta_Evaluacion_2007-201>.
2 Solo para ejemplificar, en el Programa Anual de Evaluación para el Ejercicio Fiscal 2012 de los Programas Federales de la Administración Pública Federal, se prevé la evaluación de 22 programas de la Sedesol (coordinada por el Consejo Nacional de Evaluación de la Política de Desarrollo Social).
____________
PERLA CAROLINA GRIS LEGORRETA cursa el doctorado en Política en la Universidad de Sheffield en el Reino Unido. Maestra en Administración y Políticas Públicas por el CIDE, sus principales líneas de investigación son la evaluación de políticas públicas, la rendición de cuentas y la modernización de la administración pública.
