Evaluación de las transferencias de tecnología. El caso de la investigación contratada en las Universidades

XXX REUNIÓN DE ESTUDIOS REGIONALES EVALUACIÓN DE LA TRANSFERENCIA DE TECNOLOGÍA. EL CASO DE LA INVESTIGACIÓN CONTRATADA EN LAS UNIVERSIDADES. Emilio Díaz Borrego. Universidad de Sevilla [email protected] Luís Palma Martos. Universidad de Sevilla [email protected] Resumen La evaluación de los programas de ciencia y tecnología está plenamente justificada desde la perspectiva económica. El impacto de este tipo de políticas públicas sobre la productividad, la competitividad internacional y en el nivel y en la estructura de la demanda de trabajo está siendo muy estudiado. En esta comunicación partiendo de las dimensiones e instrumentos que pueden emplearse en la evaluación de los programas científico-tecnológicos, nosotros abordamos la problemática de la evaluación de este tipo de actividades realizadas en el ámbito universitario bajo demanda del sector privado. Se trata de un área de la acción pública que como cualquier otra actividad financiada con fondos públicos debe ser evaluada, pero que presenta un conjunto de peculiaridades que hacen los ejercicios de evaluación especialmente complejos. 1. Introducción Cualquier programa de gasto de una institución pública o privada tiene un output que puede valorarse, con mayor o menor dificultad, en términos económicos. Desde una perspectiva muy restrictiva, la evaluación implica comparar los resultados obtenidos tras la puesta en marcha de un programa, con los objetivos establecidos a priori por los responsables del departamento u organismo público o privado que ha financiado el programa. Los objetivos de referencia establecidos a priori permiten concretar y 2 delimitar los cambios o efectos operados que se hayan producidos de manera intencionada. Se trata, en suma, de valorar la eficacia de los programas de gastos. La dificultad de delimitar y cuantificar con claridad los objetivos de los programas e incluso la imposibilidad de establecer a priori todos los objetivos, ha llevado a ampliar los criterios que han de emplearse para evaluar. En este sentido, a mediados de la década de los ochenta, Rossi y Freeman1 caracterizaban la evaluación como un instrumento que aparte de valorar y perfeccionar los programas, incluyese también el diseño del propio programa y la utilidad social. Este enfoque de análisis abre la posibilidad a las evaluaciones ex-ante y ex-post, e incluso también a las evaluaciones de programas en curso o intermedias. Por tanto, el éxito o fracaso de un programa o política de gasto se puede valorar desde diferentes perspectivas, pudiendo alcanzarse incluso conclusiones contradictorias. Un conjunto de cuestiones tales como los propios procedimientos empleados por los agentes que desarrollan el programa, los costes en los que se incurren en el desarrollo de este o la propia organización del departamento que ejecuta el programa, pueden ser todos ellos objeto de evaluación. Los objetivos establecidos en el programa se han convertido en un elemento adicional que el evaluador debe tener en cuenta en su trabajo, que puede ser más o menos primado, dependiendo del programa y de la claridad con que se hayan establecidos. En cuanto a la metodología que suele emplearse en las evaluaciones no existe un modelo aceptado o metodología estandarizada, empleándose una amplia gama de técnicas, tanto cualitativas como cuantitativas. Las entrevistas personales, cuestionarios y revisiones por pares son procedimientos habituales para elaborar los informes finales. En el ámbito comunitario el programa MONITOR/SPEAR estableció las bases metodológicas que se han empleado en la última década en la evaluación de los programas financiados con fondos comunitarios2. 1 ROSSI, P.H. y FREEMAN, H.E. (1985) Evaluation: a systematic approach, págs. 19-20. 2 COMMISSION OF THE EUROPEAN COMMUNITIES (1992) A Guideline for Survey-Techniques in Evaluation of Research. 3 En esta comunicación abordamos la problemática de la evaluación de las actividades científico-tecnológica realizadas en la universidad bajo demanda del sector privado. Se trata de un área de la acción pública que como cualquier otra actividad financiada con fondos públicos debe ser evaluada, pero que presenta un conjunto de peculiaridades que hacen los ejercicios de evaluación especialmente complejos. 2. La Política Científica-Tecnológica a evaluación. 2.1 Evaluación y eficacia de los programas de Ciencia y Tecnología. La evaluación está plenamente justificada desde una perspectiva económica en este ámbito de la acción pública. Así, la constatación de la debilidad tecnológica española frente a los países más desarrollados del entorno europeo y, por supuesto, respecto a EE.UU y algunos países asiáticos, justifica la evaluación de los programas públicos de gasto en el ámbito de la I+D. Un adecuado empleo de los recursos económicos destinados a actividades científicas y tecnológicas son una fuente de competitividad para las empresas y, por ende, para el crecimiento económico y la creación de empleo a medio y largo plazo. Las razones argüidas son de diversa índole, pero se suelen señalar el papel determinante de la tecnología en la productividad, su influencia en la competitividad internacional y su impacto en el nivel y en la estructura de la demanda de trabajo3. Una adecuada Política Científico-Tecnológica es una importante herramienta de las administraciones públicas para elevar las capacidades tecnológicas de las empresas que conforman una economía, favoreciendo la competitividad y la productividad, sin deterioro de los salarios relativos de los trabajadores o márgenes de las empresas. La Unión Monetaria ha incrementado, si cabe aun más, la importancia de una eficaz Política Científico-Tecnológica en el sentido descrito, ya que, no es posible ganar competitividad vía devaluación de la moneda nacional. De hecho, como señalan Blanes y Martín la economía española ha alcanzado un elevado nivel de comercio intraindustrial basado en la diferenciación cualitativa de los productos, que es 3 MARTÍN, C. (1999) “La posición tecnológica de la economía española en Europa. Una evaluación global” págs. 15-17. 4 justamente el tipo de comercio que está más influido por las diferencias en la capacidad tecnológica de los países4. Sin embargo, las evaluaciones no sólo se justifican por razones económicas, sino también por razones políticas. La existencia de una estrecha relación entre política y evaluación es generalmente aceptada y en la práctica no sería posible encontrar muchos ejemplos de acciones evaluativas que no tengan alguna clase de objetivo político. Desde este punto de vista, Mirabal5 señala cuatro aspectos donde pueden sustentarse los ejercicios evaluativos: a) Legitimación del esfuerzo público. b) Distribución y control de los recursos. c) Validación de los resultados obtenidos. d) Orientación de las acciones futuras. No vamos a profundizar en el sentido o alcance de cada uno de los argumentos señalados, pero no cabe duda que cada uno de ellos justifica sobradamente la realización de evaluaciones en todos los programas públicos de I+D. 2.2 Dimensiones e instrumentos de la evaluación. Nos centraremos ahora en la problemática de la evaluación de los programas científicotecnológicos. Los evaluadores que desarrollan su actividad en este campo se encuentran con dificultades añadidas a las habituales para desarrollar su trabajo. En primer lugar, la respuesta a una cuestión básica como ¿qué evaluar? no tiene una respuesta obvia cuando se trabaja con programas elaborados a partir de las políticas científico-tecnológicas. Por ejemplo, determinados programas no tienen continuidad por razones científicas, es decir, tienen un término más allá del cual no continúan las actividades de los científicos. En general, las acciones en el campo de la I+D no son 4 BLANES, V. y MARTÍN, C. (1998) The nature and causes of intra-industry trade: Back to the comparative advantage explanation?. The case of Spain. 5 MIRABAL, O. (1994) Aproximación a la evaluación de las actividades de investigación y desarrollo: la perspectiva de la organización, págs. 15-18. 5 repetitivas, pues carece de sentido repetir las investigaciones una vez concluidas. La evaluación en estos casos no puede tener como objetivo retroalimentar futuras acciones, o iniciativas que repitan lo ya realizado. En segundo lugar, las actividades de I+D se suelen desarrollar en un entorno de fuerte incertidumbre lo que, por una parte, impide la definición de objetivos claros y mensurables y, por otra parte, facilita la presencia de resultados no previstos. Adicionalmente, los propios investigadores en aras de conseguir mayor financiación, no declaran los verdaderos objetivos del proyecto que presentan para su financiación6. Sin embargo, no podemos renunciar a la evaluación de la Política CientíficoTecnológica. De hecho, se puede distinguir entre un enfoque organizacional de la evaluación y un enfoque basado en los programas. El primero se centra en los problemas que se originan en las organizaciones a la hora de alcanzar sus objetivos o desarrollar las actividades científicas que tienen encomendadas. Este enfoque de análisis tiene la ventaja de alcanzar un mayor nivel de compromiso y responsabilidad por parte de todos los actores del proceso de evaluación y, en especial, de los responsables del departamento evaluado7. En cualquier caso, creemos que son enfoques alternativos, que si no viene preestablecido de antemano, el evaluador debe adoptar en función del entorno en el que se desarrolla la evaluación. Así, por ejemplo, si las acciones de I+D no están organizadas en torno a programas correctamente definidos, pero existe un departamento del que dependen todas las decisiones, parece más oportuno el enfoque organizacional. Por el contrario, si existe un programa perfectamente definido y, en especial, con objetivos claros, cerrados y mensurables, se puede optar por la evaluación de programas. De hecho, con el objeto de facilitar la evaluación de las actividades de I+D, éstas están siendo organizadas cada vez con mayor frecuencia en torno a programas, como cualquier otra actividad pública. 6 MIRABAL, O. (1994), op. cit., págs. 22-23. 7 ALKIN, M. C. (1990) Debates on evaluation, cap. 1. 6 En el ámbito europeo, las bases de la evaluación en este terreno se han desarrollado a partir de las propuestas de la Comisión Europea, que a finales de la década de los setenta proponía tres ámbitos o dimensiones en los que debe desarrollarse los ejercicios evaluativos en esta materia8: a) La calidad científica de los resultados. b) Las modalidades de gestión del programa. c) El impacto socioeconómico. Respecto a la primera dimensión, cabe señalar que las primeras evaluaciones en esta materia abordaban la calidad científica de los resultados obtenidos por los investigadores. El instrumento empleado inicialmente fue el examen de los resultados por pares o colegas científicos del mismo área, aunque posteriormente se fueron incorporando especialistas de otras áreas científicas y/o sociales, incluidos representantes de los agentes sociales como empresarios9. Más recientemente, se ha extendido el uso de la bibliometría aunque con una utilidad limitada en función de los ámbitos científicos y geográficos donde se desee aplicar10. En cuanto a la gestión de programas, son fundamentalmente los cuestionarios y las entrevistas los dos instrumentos más empleados habitualmente. El adecuado rendimiento de estos instrumentos depende de manera crucial de la correcta elaboración del cuestionario empleado en el estudio de evaluación11. Finalmente, respecto a la dimensión relativa al impacto socioeconómico de las políticas científico-tecnológicas, cabe destacar que se trata hoy de la principal preocupación de las autoridades públicas. En este sentido, los criterios de eficacia y eficiencia son hoy indiscutibles en todas las intervenciones públicas. 8 COMMISSION DES COMMUNAUTÉS EUROPÉENNES (1979) “Politique de la science et de la technologie. L`évaluation de la Recherche et du Développement”. 9 COMMISSION DES COMMUNAUTÉS EUROPÉENNES (1979), op. cit., págs. 33-34. 10 Véase para el caso particular de Andalucía BASULTO, J.; FRANCO, L.; SOLÍS, F.M. y VELASCO, F. (1995) Producción científica en Andalucía en las bases de datos del I.S.I 1990-1993. 7 Esta última dimensión entraña mayores dificultades que las dos anteriores por el carácter intangible de los efectos que debe medir el evaluador. De hecho, no sólo se trata de elegir un instrumento o conjunto de ellos, sino también de definir correctamente el impacto socioeconómico que deseamos medir. Desde una perspectiva práctica, se trata de limitar la evaluación a unos objetivos muy concretos, lo que implica para el evaluador delimitar con claridad el impacto que quiere cuantificar, en un espacio temporal y geográfico, en un plazo de tiempo que no puede ser muy amplio, para que los resultados obtenidos puedan ser de utilidad para los responsables del departamento o programa evaluado12. En cuanto a los instrumentos habituales que son empleados para evaluar esta dimensión se encuentran los cuestionarios y las entrevistas a expertos, a los que se van añadiendo un amplio conjunto de técnicas entre las que se incluyen métodos multivariantes, sistémicos, financieros, econométricos y, en general, indicadores de ciencia y tecnología. En particular, los evaluadores cuentan hoy con un amplio sistema de indicadores en el campo de la ciencia y la tecnología que ha sido desarrollado por las autoridades comunitarias13. Finalmente, queremos resaltar la importancia de que la evaluación de la Política Científico-Tecnológica se conciba como una parte más del programa, sin convertirse en una función separada que se efectúa al final del programa. En este sentido, es condición necesaria que la evaluación sea continua para establecer un circuito de retroacción que permita mejorar la concepción y puesta en marcha de nuevos programas. La evaluación ex-post realizada por expertos independientes es un elemento esencial en este feed-back porque permite nuevas sugerencias o aportaciones que mejoran la eficacia y eficiencia de los programas. 11 Una detallada guía de cómo elaborar un cuestionario para evaluar actividades de I+D se puede encontrar en COMMISSION OF THE EUROPEAN COMMUNITIES (1992) A guideline for survey techniques in evaluation of Research. 12 En el ámbito comunitario puede consultarse: EUROPEAN COMMISSION (1994) The European Report on Science and Technology Indicators 1994, pág. 252-261. 13 La lista completa de indicadores puede ser consultada en el informe EUROPEAN COMMISSION (1997) Second European Report on S&T. Indicators 1997. Appendix, págs. S1-S2. 8 3. La evaluación de las actividades científicas y tecnológicas en el ámbito universitario. 3.1 Una valoración de la I+D que desarrollan las universidades y los centros de enseñanza superior. Las universidades y, en general, los centros de enseñanza superior vienen desarrollando una importante actividad científica en los últimos años, que las ha convertido en un importante agente de los sistemas nacionales de innovación. En términos relativos esa importancia varía entre territorios, pero en comunidades autónomas como la andaluza, alcanza un porcentaje muy significativo sobre el total de actividades científicas desarrolladas en la región por todos los agentes. TABLA 1.- GASTOS INTERNOS EN I+D POR CC. AA Y SECTORES (2002) Total sectores (miles de euros) Sector privado* (% Total) Sector público** (% Total) TOTAL 7.193.538 54,80 45,20 Andalucía 585.667 34,73 65,27 Extramadura 71.380 11,91 88,09 Cataluña 1.628.042 68,36 31,64 Madrid (Comunidad de) 2.277.822 58,09 41,91 * Empresas e instituciones privadas sin fines de lucro. ** Administración Pública y Enseñanza Superior. FUENTE: Servidor web del INE: www.ine.es y elaboración propia. La tabla 1 recoge los gastos internos en I+D de diferentes regiones españolas y sectores económicos en el año 2001. Hemos elegido cuatro regiones que se caracterizan por niveles de desarrollo muy diferentes. Se puede observar como las comunidades de Andalucía y Extremadura muestran un mayor porcentaje de gastos en I+D gestionados por el sector público, en torno a un 65% en Andalucía y aproximadamente un 88% en Extremadura, mientras que el sector privado presentan porcentajes inferiores al 35% en Andalucía y el 12% en Extramadura. Por el contrario, la comunidad de Madrid y Cataluña, presentan una situación completamente opuesta, donde el sector privado tienen un mayor protagonismo en cuanto a recursos financieros dedicados a la investigación se refiere. Estos resultados no son novedosos, de hecho, 9 se mantienen con ligeras variaciones a lo largo de las últimas décadas y desde perspectivas de análisis diferentes. Así, otros autores han realizado análisis similares pero trabajando con los recursos humanos dedicados a I+D con resultados similares14. Los datos facilitados en la tabla anterior corresponde a un indicador clásico de input del sistema de innovación, pero una valoración rigurosa requiere completar el análisis con indicadores de outputs. Entre los más empleados se encuentran el incremento de investigadores doctores, índices de participación en programas de investigación europeos, publicaciones científicas en bases de datos internacionales u otros de carácter más tecnológico como las patentes. No pretendemos en este epígrafe un estudio exhaustivo, en base a estos indicadores, de los sistemas regionales de innovación. No obstante, queremos resaltar que los investigadores están de acuerdo en que se ha producido una moderada convergencia regional en las actividades de I+D, sobre todo en algunas comunidades autónomas como Andalucía respecto a la media nacional15. Sin embargo, la concentración de actividades tecnológicas es aún muy elevada como pone de manifiesto Molero y Buesa, cuando han estudiado el destino de los fondos públicos en el marco de programas europeos de política tecnológica16. Las causas de esta situación son diversas pero la propia Consejería de Educación y Ciencia de Andalucía reconocía durante la elaboración del III Plan Andaluz de Investigación, que esta Comunidad es deficitaria de proyectos tecnológicos debido a "la carencia de grupos de investigación competitivos en las universidades andaluzas, que estén en condiciones de aplicar sus conocimientos para la generación de nuevas tecnologías"17. Estos datos reflejan la importancia relativa de los centros de enseñanza superior, básicamente universidades, en la gestión de fondos destinados a la investigación, sobre todo en regiones con un nivel de desarrollo inferior a la media nacional, donde las empresas presentan un escaso dinamismo en el ámbito de la investigación. Las 14 MOLERO, J. y BUESA, M. (1999) “Innovación y cambio técnico”, págs. 296-300. 15 CORONADO, D. y ACOSTA, M. (1999) “Evolución de las actividades de investigación y desarrollo tecnológico en Andalucía”, págs. 278-280. 16 En el caso de Andalucía sólo se han financiado por la Unión Europea un 2% de proyectos empresariales de I+D en el período 1986-1994: MOLERO, J. y BUESA, M. (1999) "Innovación y cambio técnico", págs. 302-303. 16 iniciativa individual; por el contrario, la evaluación debe valorar si se dotan recursos de forma sostenida para programas de colaboración dentro de una estrategia a medio y largo plazo. En otro caso no quedaría asegurada la función básica de la interfaz. Desde el segundo enfoque, la evaluación de la eficacia de los trabajos contratados, la principal dificultad para estudiar el impacto sobre el tejido productivo de los trabajos realizados en el ámbito universitario es de información, tanto en las empresas como en la propia universidad. Así, las empresas no suelen tener datos económicos acerca de la colaboración con los investigadores universitarios, salvo el presupuesto pactado entre ambas partes. En muy pocos casos se realiza un análisis cuantitativo del impacto de la colaboración con la universidad. Normalmente, el responsable de la investigación en la empresa o el gerente, o bien ambos, tienen una idea general sobre el impacto que ha tenido en el negocio. El evaluador debe recurrir a indicadores cualitativos para estimar el resultado neto de estas actividades en el ámbito privado También pueden surgir dificultades de información en el ámbito universitario, cuyo origen puede ser la falta de un órgano que centralice toda la información o, incluso, la falta de control de contactos con el mundo empresarial que no se han formalizados mediante el oportuno contrato o convenio. Tampoco es habitual que se elaboren estadísticas desde la propia universidad del impacto en el ámbito privado de los trabajos contratados. El análisis de la eficacia requiere por parte del evaluador que trabaje con los contratos y convenios celebrados entre las universidades y las empresas. Esta tarea obliga a clasificar la gran variedad de colaboraciones posibles entre el mundo universitario y su entorno. Nosotros proponemos a los evaluadores que distingan entre: 1. Los "Proyectos de I+D" que responden a proyectos de investigación básica o aplicada que conllevan profundizar en el conocimiento de algún área concreta. 2. Los "Contratos de Servicios" que no suponen nuevo conocimiento pero que las actividades a realizar requieren una alta especialización o el empleo de instalaciones más o menos complejas. 17 3. Y, los contratos que denominamos "Otras Colaboraciones" donde se recogen el resto de colaboraciones que pueden ser de naturaleza muy diversa, incluidas los acuerdos de colaboración general, formación de recursos humanos, becas de estudio u otros. Recomendamos dividir las conclusiones de la evaluación según procedan de los diferentes tipos de contratos analizados, pues entendemos que las valoraciones finales dependen de la naturaleza de las actividades contratadas. Una universidad puede ser muy bien valorada como prestadora de servicios técnicos para las empresas, pero puede aportar muy poco valor añadido en cuanto a transferencia de tecnología se refiere. Asimismo, en el informe final se debe tener en cuenta que las mismas actividades en dos universidades distintas, puede tener una valoración diferente. Así, nosotros entendemos que se debe tener en cuenta que el tejido productivo donde está enclavada la universidad determina la difusión de los conocimientos generados, resultando determinantes para el establecimiento de contactos, factores tales como la política interna de formación de la empresa, implantación de un sistema de gestión de la calidad, estrategia de negocio a medio y largo plazo, ámbitos de sus mercados, etc23. En este sentido, si el tejido empresarial del entorno universitario está formado por PYMES de sectores maduros o tradicionales, incluso universidades con un fuerte carácter emprendedor, van a tener muchas dificultades para relacionarse con su entorno. Por tanto, el evaluador ha de tener en cuenta que no todas las universidades son iguales, ni tampoco el tejido social y productivo que las rodea. En este sentido, entendemos que cuando evaluamos la eficacia de las actividades de I+D, en universidades situadas en las regiones menos desarrolladas, ha de ponerse el acento en las redes de transferencia de tecnología de la propia universidad, pues su funcionamiento determinará el impacto final de las actividades científicas del centro. 18 Bibliografía. 1. Alkin, M. C. (1990): Debates on evaluation, ed. Sage Publications. 2. Basulto, J.; Franco, L.; Solís, F.M. y Velasco, F. (1995): Producción científica en Andalucía en las bases de datos del I.S.I 1990-1993, Consejería de Industria, Comercio y Turismo, Junta de Andalucía. 3. Blanes, V. y Martín, C. (1998): The nature and causes of intra-industry trade: Back to the comparative advantage explanation. The case of Spain Fundación de las Cajas de Ahorros Confederadas, D.T nº 144. 4. Commission des Communautés Européennes (1979): Politique de la science et de la technologie. L’évaluation de la Recherche et du Développement, EUR 6346, Luxemburgo. 5. Commission of the European Communities (1992): A guideline for survey techniques in evaluation of research, EUR 14339 EN, Luxemburgo. 6. Consejería de Educación y Ciencia, Junta de Andalucía (2000): III Plan Andaluz de Investigación 2000-2003. 7. Coronado, D. y Acosta, M. (1999) “Evolución de las actividades de investigación y desarrollo tecnológico en Andalucía” Boletín Económico de Andalucía, nº 25, págs. 275292. 8. European Commission (1994): The European Report on Science and Technology Indicators 1994, Luxemburgo. 9. European Commission (1997): Second European Report on S&T. Indicators 1997. Appendix, Luxemburgo. 10. Martín, C. (1999) “La posición tecnológica de la economía española en Europa. Una evaluación global” Papeles de Economía Española, nº 81, págs. 2-20. 11. Mirabal, O. (1994) Aproximación a la evaluación de las actividades de investigación y desarrollo: la perspectiva de la organización CSIC, DT 94-12, Madrid. 12. Molero, J. y Buesa, M. “Innovación y cambio técnico” en García Delgado, J.L. (Dir.) (1999): Estructura económica de Madrid. 13. Otris - Universidades Andaluzas (2002): Memoria de actividades 1998-2000, ed. OTRI Universidad de Córdoba. 23 FERNÁNDEZ DE LUCIO, I. (2000) "Una visión crítica de las relaciones universidad-empresa: el papel de las 19 14. Rossi, P. H. y Freeman, H. E. (1985) Evaluation: a systematic approach Sage Publications, London. 15. Tortosa, E. “El lugar de la relación Universidad-Empresa en la política científica nacional” en Fundación Universidad-Empresa (1995): La investigación universitaria en la empresa. A propósito del artículo 11 de la LRU. 16. Vidal García, J. (1994): La caja gris: microanálisis de la actividad investigadora, su gestión y evaluación en una institución universitaria. Estudio del caso de la Universidad de León, ed. Universidad de Salamanca. estructuras de interrelación", pág. 116.