Si la valoración y el examen de procesos y resultados, en general, contribuye al buen funcionamiento de una organización, en un sistema como el Nacional de Investigadores, formado por individuos y organizaciones que trabajan de forma independiente y en áreas muy diversas, los mecanismos de evaluación son vitales. ¿Cuentan el Sistema Científico Tecnológico de México y el SNI con métodos e instrumentos de evaluación útiles, confiables y modernos?
La ciencia de la ciencia
Las tareas de investigación, en todas las áreas del conocimiento y en todas sus formas, representan ya una parte significativa de las actividades de la sociedad mexicana. Junto con el desarrollo tecnológico y la innovación, están llamadas a crecer a fin de impulsar el progreso social y la competitividad del país. Las comparaciones internacionales apuntan a ello y todas las plataformas electorales de 2012 lo prometen.
Tomando en cuenta lo limitado de los recursos y la fuerte demanda que de ellos hacen múltiples sectores, ese anticipado incremento en investigación requiere de orientación y apoyos diferenciados. Así podrán aprovecharse cabalmente los individuos y las capacidades institucionales de investigación para los objetivos y las necesidades de México.
En algunos países, la evaluación de la investigación —o, más precisamente, los procesos seguidos para la evaluación de las actividades, proyectos y resultados de investigación– tiene una utilidad que va más allá del aseguramiento de la calidad de la investigación. Se usa para orientar la dirección y el sentido de las investigaciones mismas.
No es extraño por ello que los estudios de la evaluación de la investigación –la evaluación de la evaluación de la investigación– se hayan convertido en sí mismos en un campo muy amplio de estudio e investigación, con propósitos, herramientas y visiones diversos y, en consecuencia, con múltiples ramas y gran variedad de conceptos.
Desde sus inicios, al principio de los años sesenta, fue evidente la conexión entre la ciencia de la ciencia1 –como se llamó en su momento al estudio de la dinámica individual y colectiva de las publicaciones científicas– y la planeación estratégica y el desarrollo tecnológico de las naciones. El crecimiento de las actividades de investigación y los avances en el procesamiento y transmisión de datos han multiplicado los trabajos, estudios y experimentos en este campo.
Hoy en día, la evaluación de la evaluación de la investigación científica constituye un esfuerzo internacional de gran magnitud, que busca medir el retorno de la inversión en investigación a través de la relación que se da entre su calidad y sus insumos, resultados e impacto. Esto demanda el uso de métodos tanto cuantitativos como cualitativos, incluyendo entre ellos la aplicación de indicadores bibliométricos y la evaluación por pares, es decir por investigadores expertos. Un ejemplo de lo anterior es la matriz multidimensional para evaluar la investigación de universidades desarrollada, en 2010, por un grupo de expertos establecido por la Comisión Europea (Tabla 1).2
Conviene hacer notar que la matriz multidimensional distingue cuatro métodos de evaluación: (1) evaluación por pares; (2) comentarios de usuarios; (3) indicadores cuantitativos, incluyendo los bibliométricos, y (4) autoevaluación. Estos métodos pueden ser usados conjuntamente. En particular, el uso de los indicadores bibliométricos ha crecido de manera significativa. Hoy se dice que existen tres “generaciones” de estos indicadores (Tabla 2).
El caso de México
La historia de la investigación científica en México, entendida esta como una actividad practicada de manera sistemática y profesional por grupos de individuos en instituciones establecidas, es relativamente corta. Se remonta a la segunda mitad del siglo XX.
Antes, es cierto, hubo individuos que se dedicaron al avance y la generación del conocimiento, y se fundaron instituciones para el estudio de la ciencia. Sin embargo, fueron acciones aisladas, discontinuas e inconexas. Respondían más a la inquietud y el entusiasmo por el conocimiento de algunas personas que a alguna política pública.
Al ser México una nación joven con un largo pasado colonial, el interés central de las políticas gubernamentales en relación al conocimiento fue, por mucho tiempo, educar a la población en los saberes del mundo occidental. No se pretendía impulsar estos en alguna dirección específica. Incluso las escuelas de altos estudios anteriores a la Revolución mexicana tenían por objeto conocer, adentrarse en, dominar los conocimientos avanzados del mundo contemporáneo, mas no en generar nuevos conocimientos.
Los primeros esfuerzos de alcance nacional para estimular la investigación en México se dieron con la creación, en 1942, de la Comisión Impulsora y Coordinadora de la Investigación Científica. Esta, transformada más tarde en el Instituto Nacional de Investigación Científica, y la entonces recién creada Academia de la Investigación Científica (hoy Academia Mexicana de Ciencias) dieron lugar, en 1970, al actual Consejo Nacional de Ciencia y Tecnología (Conacyt).
Teniendo como objetivo impulsar el incipiente desarrollo de la investigación, las acciones de esas instituciones se orientaron a otorgar becas para formar más investigadores y apoyos financieros a los ya formados, tanto para cubrir los gastos asociados a sus proyectos de investigación como para asegurarles ingresos suficientes para permanecer dedicados a esa actividad. La evaluación en ambos casos se llevaba a cabo por comités convocados con ese propósito.
La fuerte expansión de la educación superior a partir de los años sesenta del siglo pasado, y la creación de nuevas instituciones de investigación en las décadas siguientes, condujeron a la formalización del profesorado de carrera. Ello implicó la existencia de escalafones diversos, la apertura de programas de maestría y doctorado, la aparición de revistas especializadas, la multiplicación de las solicitudes de apoyo para la realización de proyectos. Implicó, en suma, visiones y orientaciones diversas y a veces encontradas acerca de la investigación más adecuada para el desarrollo nacional.
Esa fuerte expansión multiplicó los procesos de decisión mediante comités de evaluación a gran número de actividades, propósitos e intereses de los nacientes grupos de investigación, educación superior y posgrado del país. Es en estas circunstancias en las que surge en 1984 el Sistema Nacional de Investigadores (SNI).
Al igual que otras, la experiencia del sni muestra que los criterios, prácticas y procesos de evaluación constituyen poderosas herramientas para estimular la investigación (Gráfica 1).3
La fuerza del reconocimiento social y el “pago por méritos” que introdujo el SNI, llevó a que los procesos de evaluación de este sistema se aplicasen pronto a miles de investigadores. Desde un principio, estos procesos descansaron en comisiones dictaminadoras que evalúan los méritos de los solicitantes.
El proceso de evaluación por pares es, además, aplicado en la evaluación de muchos otros aspectos y ámbitos de las actividades de investigación: ingreso, permanencia y promoción académica; concursos, distinciones y premios; aceptación o rechazo de propuestas de investigación o trabajos enviados para su aprobación o publicación; otorgamiento de becas, financiación de proyectos y contratos; incorporación en academias, sociedades científicas o asociaciones profesionales.
La evolución de la evaluación en el mundo
El desarrollo de las actividades de investigación y desarrollo tecnológico es una de las características sobresalientes del siglo XX. A partir de la segunda mitad de ese siglo acompañó a otro similar en educación superior. Se multiplicaron las sociedades científicas y las revistas especializadas; los congresos, reuniones y simposios para presentar, conocer y discutir los avances. Crecieron las universidades, departamentos y centros de investigación al igual que los laboratorios e institutos nacionales. En consecuencia, se multiplicaron las fundaciones, consejos y agencias para la promoción y coordinación de la ciencia.
Estos avances dieron lugar a muy diversas políticas públicas, organizaciones y programas para el aprovechamiento de la ciencia y la tecnología. Con ello surgieron numerosas instancias para su planeación, gestión y evaluación. Esto significó cantidades cada vez mayores de recursos humanos, financieros y materiales dedicados a esas actividades. Por tanto, aumentaron los enfoques y análisis para incrementar la relación costo-beneficio de las actividades científicas, tecnológicas e innovadoras.
Todo lo anterior condujo a un creciente cuerpo de instrumentos para la recolección y el análisis de los datos asociados con el conocimiento. Es decir, redundó en un interés y una capacidad mayores para evaluar la investigación en sus diversos niveles, componentes y entornos.
En particular, en los últimos años han surgido diversas comparaciones de la capacidad educadora, investigadora e innovadora de países, regiones, universidades y centros. Algunos de estos estudios son motivo de mucha atención por parte de la prensa y el gran público. Cada uno de ellos descansa en una serie de indicadores y procesos que son agregados y ponderados de formas diversas.
El recientemente publicado Ranking de Sistemas Nacionales de Educación Superior, elaborado por el grupo Universitas 21, ilustra lo anterior.4 El estudio analiza cuatro dimensiones de los sistemas de educación superior, como puede verse en la Tabla 3.
La aplicación de este método muestra que los países latinoamericanos, especialmente México, ocupan posiciones bajas en comparación con las de otros países (Gráfica 2).
Ejemplos de evaluación de la investigación universitaria
Hoy en día, existe una vasta y sofisticada literatura sobre estos temas, así como un amplio conjunto de gobiernos, agencias y organizaciones que se ocupan de ellos. Este trabajo recoge la experiencia de dos de estas: el Higher Education Funding Council for England (HEFCE), de Inglaterra, y la Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur (aeres) de Francia.
El hefce, creado en 1992, es un organismo público dependiente del Department for Businesses, Innovation and Skills del Reino Unido y es el responsable de la distribución del financiamiento a las universidades e instituciones de enseñanza superior y de educación continua de Inglaterra.
En 2011 y después de diversos procesos de evaluación llevados a cabo a lo largo de muchos años (conocidos como Research Assessment Exercises, RAE), el hefce estableció un Marco para la Investigación de Excelencia (Research Excellence Framework). Este marco especifica la información requerida, las definiciones y criterios que se aplicarán en la evaluación de las solicitudes de financiamiento que presentarán las instituciones de educación superior, cuyos resultados se harán públicos en diciembre de 2014 y regirán el financiamiento en los años académicos 2015 y 2016.
Recientemente, el hefce ha publicado un esquema que ayuda a entender cómo las universidades contribuyen a la innovación nacional.5 La Figura 1 lo reproduce.
Por su parte, la aeres, establecida por ley en 2007, es una organización independiente creada para evaluar las instituciones de investigación y de educación superior de Francia. Evalúa todas las unidades de investigación francesas incluyendo las del Centre National de la Recherche Scientifique, la principal organización científica de ese país. Analiza también los programas universitarios de estudio y los procesos utilizados en esas instituciones para evaluar a su personal. La aeres hace públicos todos sus procesos de evaluación así como los resultados de ellos. Tiene la posibilidad de incorporar en esos procesos a expertos y organizaciones extranjeras cuando lo considere necesario.
La situación actual en México
El año pasado, el Consejo Consultivo de Ciencias (CCC), a instancias de algunos de sus miembros, llevó a cabo un encuentro para analizar la evaluación de las actividades de investigación en México.6 Se invitó a un centenar de reconocidos investigadores, estudiosos, funcionarios y empresarios de distintas instituciones nacionales a reflexionar conjuntamente sobre el tema y a proponer soluciones.
En dicho encuentro se identificaron 12 problemas asociados con la evaluación de la investigación que impiden que ella incida de mejor manera en el desarrollo de México y en la evolución del sistema de investigación (Tabla 4).
En la reunión se hizo evidente cuán extendido está el reconocimiento del papel que la evaluación tiene en la orientación de las actividades de investigación: se aceptó sin cuestionamientos que este papel debe ampliarse y mejorarse. Así, se señaló, entre otras cosas, que las evaluaciones deben:
• Atender la diversidad de grupos de investigación que hay en el país por edad, género, disciplina, región, institución.
• Cuidar que las investigaciones respondan tanto a lo internacional como a lo local, regional y nacional.
Diversos grupos expresaron en diferentes formas que los actuales procesos de evaluación presentan ya serios problemas. En particular se mencionaron los largos tiempos, altos costos y peligros que significan las evaluaciones por pares, señalándose que México, a diferencia de otros países, no había aprendido de su larga historia de evaluación.
Así, y usando al SNI como principal ejemplo, se indicó que el número de expedientes que tienen que evaluar cada año las comisiones dictaminadoras —tanto de los que buscan ingresar al Sistema por primera vez como de los que desean permanecer en él— se eleva ya a varios miles. Esto implica una carga excesiva para los evaluadores y provoca retraso en sus dictámenes. Peor aún, da lugar a una inadecuada revisión de los expedientes. Además, el costo del proceso es alto e implica una pesada logística para convocar a los integrantes de las comisiones, movilizarlos, atenderlos y procesar sus necesidades y dictámenes. Se genera también un creciente número de inconformidades.
Lo ejemplificado con el SNI, se dijo, se repite en otros procesos del Conacyt y de otras dependencias gubernamentales, al igual que en los que llevan a cabo muchas de las instituciones de investigación del país.
Se señaló, en resumen, que a pesar del gran número de procesos de evaluación de la investigación que México ha venido llevando a cabo en los últimos 30 años, no existen estudios que hayan analizado las diversas experiencias. Tampoco se ha estimado su impacto general o el de las políticas o programas para las que se usan. Incluso menos se han desarrollado métricas o indicadores ad hoc, ni propuesto y probado alternativas.
Siguiendo con el ejemplo del sni, no obstante la importancia que este reviste para los investigadores y sus instituciones, los datos e información de las actividades de investigación no han sido recolectados ni analizados en los últimos 20 años.7 Es decir, dejaron de ser, si es que alguna vez lo fueron, de utilidad para la formulación de políticas públicas.
Propuesta
Es por ello que este trabajo propone algunas acciones para asegurar que en el futuro se revisen constante y sistemáticamente las formas en que se evalúa la investigación científica en México. Estas acciones deben asegurar que las pautas y los procesos de evaluación sirvan de guía para promover el desarrollo de esa actividad en el territorio mexicano. Deben facilitar, asimismo, la evaluación de la investigación realizada por personas, grupos e instituciones, y la de los proyectos, programas y políticas de investigación.
En particular, se propone:
1. Establecer un organismo independiente dedicado a la evaluación y métrica de las políticas, programas e instituciones de investigación. El organismo debe ocuparse, además, en generar lineamientos para la evaluación sustentados en un cuidadoso balance entre los objetivos individuales, institucionales, regionales y nacionales, así como en el uso de la bibliometría y la evaluación por pares.
2. Experimentar un proceso alternativo de evaluación en el SNI, a fin de comparar sus resultados con los del método tradicional.
Organismo dedicado a la evaluación de la investigación y la educación superior
Para asegurar que las actividades de ciencia, tecnología e innovación (CTI) y de educación superior mexicanas respondan de manera eficiente y eficaz a los objetivos institucionales, regionales y nacionales, hace falta contar con un organismo independiente. Sus tareas serán desarrollar los lineamientos e indicadores pertinentes y evaluar el desempeño en esas actividades. Analizará también la eficacia de las políticas públicas en torno a ellas.
Un organismo autónomo de evaluación de la investigación, del tipo del Consejo Nacional para la Evaluación de las Políticas Públicas de Desarrollo Social (Coneval), contribuirá a una responsabilidad compartida entre gobierno e instituciones de investigación y educación superior.
Un organismo de este tipo dará unidad y utilidad a las evaluaciones. Generará instrumentos y establecerá criterios y marcos de referencia claros y pertinentes.
Las instituciones evaluadas contarán con información para orientar sus estrategias de docencia e investigación. Los grupos de educación superior y de investigación tendrán elementos para mejorar la calidad de sus servicios y sustentar sus solicitudes de financiamiento. Las fundaciones, empresas y organismos financiadores dispondrán de información útil para sus decisiones. Los empleadores, estudiantes, directivos y padres de familia contarán con información adecuada para conocer la calidad de los programas de estudio.
El organismo de evaluación propuesto sustentará su trabajo en dos procesos complementarios:
1. El de la autoevaluación, que conduce a que cada institución o persona puedan reflexionar y ponderar su propio desempeño.
2. La validación externa de esa autoevaluación en función de los objetivos y misión de cada institución.
Llevar a cabo estos dos procesos implica una relación estrecha entre la institución y el organismo evaluador. Implica la participación de diferentes sectores sociales y la consistencia de los datos y procesos de evaluación. Por otro lado, sus procesos permitirían el otorgamiento de financiamiento, incluyendo presupuestos institucionales multianuales.
La creación de un organismo con las funciones y características descritas seguramente llevará a modificar o integrar funciones que ahora se vienen llevando a cabo por otros organismos, entre ellos el Consejo para la Acreditación de la Educación Superior (Copaes), los comités interinstitucionales de Evaluación de la Educación Superior (CIEES) y el Foro Consultivo Científico y Tecnológico.
Experimentar un proceso alternativo de evaluación en el SNI
La idea es aprovechar la evaluación en proceso de las solicitudes de primer ingreso y de renovación de pertenencia al sni para evaluar una muestra de ambas con base en un nuevo proceso. Se compararán los respectivos resultados, a fin de sustentar o rechazar la transición de uno a otro proceso. El ejercicio servirá incluso si no se adopta el nuevo método, ya que podría conducir a la generación de otras propuestas.
El modelo alternativo que se propone para evaluar los expedientes de los investigadores descansa en:
• Un formato de solicitud más simple que el actual;
• Un formato de evaluación más simple (y más transparente) que el actual;
• Una distribución de la tarea de evaluación entre un número mayor (y más rico) de evaluadores;
• Un proceso de evaluación más ágil y con menos reuniones presenciales de los evaluadores;
• Un procesamiento más expedito tanto de la información de los solicitantes como de los resultados de su evaluación.
Todo ello sin perder calidad y sin eliminar a las actuales comisiones dictaminadoras. Estas podrían ocuparse, por ejemplo, de los casos controvertidos o interdisciplinarios.
Para lograrlo, sería necesario establecer en la convocatoria para ingreso y permanencia en el sni que los solicitantes llenen una ficha de autoevaluación –ver ejemplo en la Tabla 5– además de los documentos requeridos. El sni enviaría cada una de estas fichas a cinco investigadores que pertenezcan al área y subárea del evaluado, a fin de que procedan a analizarlas dentro de plazos precisos y con reglas claras de confidencialidad. Al concluir este proceso se compararán sus resultados con los de la evaluación normal.
Con el proceso antes descrito y suponiendo un escenario de 5 mil solicitudes por año, sería factible que cada una de esas solicitudes fuese evaluada por cinco investigadores diferentes, sin que ningún evaluador tuviese más de una veintena de casos. El proceso y la plataforma tecnológica también permitirían recurrir a investigadores mexicanos en el extranjero o incluso a investigadores extranjeros si ello se considerase conveniente.
A manera de conclusión
Hemos presentado dos propuestas: un organismo autónomo de evaluación de la investigación y un método alternativo de evaluación a usarse en el sni. Consideramos que ambas propuestas son viables y necesarias para mejorar la investigación que se realiza en México.
________________________________
* Para los propósitos de este trabajo, se entiende por investigación científica al conjunto de actividades de investigación, desarrollo tecnológico e innovación que se lleva a cabo de manera profesional en cualquier área del conocimiento.
1 Derek J. de Solla Price, Little Science, Big Science, Columbia, New York, 1963.
—, Hacia una ciencia de la ciencia, Ariel, Barcelona, 1973.
2 Henk Moed y Andrew Plume, “Research Assessment” en Research Trends, mayo 2011.
3 Atlas de la Ciencia Mexicana en .
4 U21 Rankings of National Higher Education Systems en .
5 PACEC Report, Strengthening the Contribution of English Higher Education Institutions to the Innovation System: Knowledge Exchange and HEIF Funding, consultado el 14 de mayo en .
6 “La evaluación de la investigación”, reunión de trabajo organizada por el Consejo Consultivo de Ciencias de la Presidencia de la República en Cuernavaca, Morelos, enero de 2011.
7 Casi desde su inicio y no obstante lo primitivo de los sistemas de cómputo, Salvador Malo y colaboradores publicaron más de una docena de trabajos con información del SNI. Algunos ejemplos son “Sugerencias para el futuro del Sistema Nacional de Investigadores”, Boletín de la Academia Mexicana de Ciencias, no. 8, marzo-abril, pp. 32-35, (1992); “Distribución geográfica e institucional”, Ciencia y desarrollo, no. 78, año XIII, pp. 84-95 (1988); “La profesionalización de la investigación clínica”, Ciencia y desarrollo, no. 80, año XIV, pp. 121-128 (1988); “La formación académica de los investigadores”, Ciencia y desarrollo, no. 82, año XIV, pp. 93-102 (1988); “Los físicos”, Ciencia y desarrollo, no. 83, año XIV, pp. 141-153 (1988); “Los investigadores nacionales de nivel III”, Ciencia y desarrollo, no. 77, año XIII, pp. 95-103 (1987).
_____________________________
JORGE FLORES es investigador emérito del Instituto de Física de la UNAM, Premio Nacional de Ciencias 1994 y coordinador general del Consejo Consultivo de Ciencias de la Presidencia de la República. SALVADOR MALO es doctor en física por el Imperial College de la Universidad de Londres y físico por la UNAM. Actualmente se desempeña como director general de Aseguramiento de la Calidad en la Educación y el Trabajo. Ha sido secretario general de la UNAM, director general de Investigación Científica de la SEP y director general del Ceneval.
