La ciencia es algo demasiado importante como para dejarla únicamente en manos de los científicos. En las sociedades democráticas, el principio de autonomía de la ciencia es complementado con el de responsabilidad. Toda una serie de instituciones y procedimientos, entre ellos el de su evaluación, tienen precisamente como objetivo asegurar el cumplimiento de las expectativas que la sociedad deposita en ella.
Me propongo llamar la atención sobre los límites y las paradojas de la evaluación como procedimiento que debe ser utilizado reflexivamente, es decir, valorando también sus costes, sus posibles errores e incluso sus efectos indeseados. De hecho, generalmente cuando se hace una evaluación la cuestión de su coste no es suficientemente tematizada. Esto implica que su utilidad es sistemáticamente sobrevalorada.
Aunque buena parte de las críticas a la evaluación tienen un fondo de conservadurismo, la reflexión acerca de su sentido, límites y paradojas puede contribuir no tanto a abolirla como a mejorarla. Esta reflexión de segundo grado evaluar la evaluación es necesaria, de entrada, porque no podemos actuar como si los expertos no se equivocaran nunca; nuestros procedimientos deberían estar siempre alerta ante tal posibilidad. ¿Cómo protegernos de quiebras de la confianza en el sistema científico similares a la que ha sufrido la economía con el descrédito de las agencias de rating?
Cantidad y calidad
La evaluación aspira a medir la calidad y ambos términos medición y calidad no siempre son compatibles. No me refiero a cosas que no estén siendo suficientemente medidas, sino a lo que no se deja medir por su propia naturaleza, a la dificultad de traducir lo cuantitativo en un juicio de calidad.
La seducción de lo cuantitativo ha hecho que evaluadores y evaluados orientemos nuestros respectivos trabajos más por la cantidad que por la calidad. El problema es que esto no permite distinguir al verdadero investigador del hábil profesional, los trabajos innovadores de las publicaciones rutinarias en serie, la hiperproductividad mediocre de la investigación eficiente. Sus limitaciones son patentes en cuanto vemos el alcance de instrumentos de medida como la cita o el análisis del impacto.
La excelencia de una investigación y su transferencia a la sociedad no es bien ponderada cuando se valora únicamente por las citas en revistas internacionales especializadas. Si apreciamos la interdisciplinaridad, las provenientes de otros campos deberían tener un mayor valor que las de nuestra disciplina. El impacto se mide por las veces que es citado, con independencia de que sea para criticarlo o alabarlo. Existen ciertos clubs de citas auto-referenciales y bastantes evidencias de que, por ejemplo, los científicos norteamericanos sólo se citan entre sí.
Algo similar puede decirse de los rankings y su aceptación irreflexiva. Los números con los que se clasifica a investigadores, universidades y centros de investigación no son medidores neutros y objetivos; por el contrario, contienen juicios previos, deben ser interpretados y no pueden ser utilizados ilimitadamente. Qué debe entenderse por excelencia o calidad en relación con el saber es algo que no puede confiarse únicamente a clasificaciones indiscutibles, sino que exigen un permanente debate público. Otro indicador puede ser la consecución de fondos para la investigación, que no dice mucho acerca del sentido o la productividad de lo financiado. Si están muy extendidos éste y otros procedimientos de medida es simplemente porque son cantidades fáciles de medir.
Las dificultades de traducir lo cuantitativo en cualitativo no impiden el empleo de métodos cuantitativos; es más bien una llamada de atención contra cierta beatería de los números, la ilusión de la exactitud o el culto de la cantidad.
Los efectos secundarios de la evaluación
Cuando los seres humanos son observados reaccionan modificando su conducta. La evaluación la modifica de modo sistemático, aunque no intencional. Las ciencias del comportamiento han estudiado esta tendencia de las personas a concentrarse exclusivamente en los criterios medidos y desatender todo lo demás, lo que motiva a los investigadores a desarrollar una competitividad que se traduce, por ejemplo, en la cantidad de las publicaciones; algunos las aumentan de tal modo que trocean sus trabajos hasta las más pequeñas unidades publicables; otros proponen proyectos de investigación menos innovadores pero más seguros; los hay que tienden a disminuir la exigencia de sus doctorados.
El principal efecto secundario de la evaluación es que promueve indirectamente una adaptación: la motivación principal ya no es la búsqueda de nuevo saber, sino con qué actividades, temas y productos se consigue más fácilmente una evaluación positiva. La publicación se convierte en un fin en sí mismo. Las motivaciones intrínsecas del trabajo disminuyen en la medida en que aumentan los incentivos externos.
Los indicadores forman parte de una discusión abierta acerca de qué es una buena investigación, pero también tienden a adquirir vida propia, convertirse en objetivos estratégicos y fomentar ciertas motivaciones autónomas. Dicho de otra manera: "El éxito en el proceso de evaluación puede convertirse en un objetivo más importante que el éxito en la investigación misma" (Brook).
La producción científica de lo nuevo
Entre los principales efectos indeseados de la evaluación científica, el que más debería inquietarnos es que su uso irreflexivo contribuya a dificultar la producción de lo nuevo, objetivo nuclear de la investigación. Puede ser que el aumento de la evaluación se rija por un principio de utilidad marginal decreciente, de manera que lo que comienza separando el saber de la insignificancia termina produciendo una estandarización, a favor del mainstream.
Por definición, un pensamiento que sea realmente nuevo tiene que suscitar resistencias o, simplemente, no ser reconocido como tal. En cambio, la mutua evaluación tiende, por su propia racionalidad, a dificultar la innovación. El incremento de las evaluaciones promueve una espiral de adaptación que dificulta la innovación a través del disenso. La investigación innovadora corre el peligro de ser poco valorada porque puede chocar con el criterio de los evaluadores. La lógica de las citas normaliza la investigación en la medida en que entroniza lo moderadamente nuevo, mientras que los innovadores más radicales que generalmente no tienen pares que los citen permanecen invisibles.
Un sistema en el que todos sus actores se orientan por los mismos indicadores corre el peligro de perder su diversidad y capacidad de innovación. Puede provocar que disminuya el apetito por el riesgo intelectual y que la investigación crítica deje de valer la pena.
La producción del conocimiento obedece hasta cierto punto a dinámicas anárquicas y no es algo completamente gobernable. Lo único que cabe hacer y no es poco es establecer las condiciones que faciliten el surgimiento de nuevos saberes. Pero una cultura que favorezca la novedad y que esté abierta al futuro requiere dos cosas: renuncia al control y paciencia (Koschorke). No puede estar permanentemente interrumpida por las exigencias de rentabilidad a corto plazo.
Tal vez no tengamos otro remedio que reconocer que la evaluación, tan necesaria como es, no sirve más que para asegurar un nivel mínimo, para la "normal science" (Kuhn), pero no para promover la verdadera innovación. Ahora bien, ¿y si fuera todavía peor y actuara como un impedimento? ¿Habrían sobrevivido Planck, Frege, Keynes o Wittgenstein en nuestro actual sistema? Probablemente hay que resignarse al hecho de que las ideas innovadoras no pueden ser reconocidas como tales por sus contemporáneos. Que los vagos se amparen en su genialidad no reconocida no es un motivo para suprimir las evaluaciones, pero tampoco para confiar que ellas produzcan milagrosamente la excelencia.
La especificidad de los saberes humanísticos
El cuarto y último eje que advierte de las limitaciones del sistema de evaluación tiene que ver con su falsa universalidad, es decir, con el hecho de que muchos científicos la impugnan porque entienden que procede de una determinada cultura científica y no respeta la especificidad de otras posibles culturas.
La presión del mercado sobre la Universidad lleva a que la investigación y la docencia se orienten más hacia la aplicación o los saberes inmediatamente útiles. Las ciencias humanas, sociales y jurídicas tienen otra relación con los criterios de utilidad, una praxis que no se adapta bien a los normalizados de cientificidad. Defender esa especificidad contribuye no sólo a enriquecer la pluralidad de las ciencias, sino también la posibilidad de una integración equilibrada de los saberes.
Hay una sensación de que los humanísticos experimentan una invasión de métodos, criterios y enfoques que no hacen justicia a su especificidad. De hecho, se ha producido una cierta estandarización de las publicaciones, algo que puede tener efectos negativos sobre la creatividad. Lo que vale es el artículo corto, altamente especializado, en una revista anglosajona y del que son responsables varios autores en una secuencia minuciosamente establecida. Las humanidades no pueden ser valoradas con los mismos criterios de relevancia y productividad que las especialidades técnico-científicas.
Conclusión
Las limitaciones en nuestros sistemas de evaluación no deberían llevarnos a su impugnación general sino a reconocer que, como todos nuestros sistemas de medición, son inexactos, paradójicos y necesitados de interpretación. Deberíamos hacer un uso reflexivo y crítico. La cuestión de los criterios debe ser objeto de una permanente discusión pública. La reflexión sobre la pertinencia de nuestros procedimientos sólo puede tener lugar dentro de una discusión acerca de nuestros valores en relación con la actividad científica.
(Este artículo es una síntesis de Ciencia bajo observación. Beneficios, límites y paradojas de la evaluación de la actividad científica, publicado en 2013 en la Revista de la Filosofía Moral y Política)
