Presentación

La asignatura Evaluación de la Investigación tiene como objetivo principal que el alumno conozca los aspectos fundamentales relativos a la medición y evaluación de la actividad científica en instituciones de educación superior y especializadas en I+D.

Para ello, se estudiarán, en el contexto del sistema de ciencia:

• Los métodos de evaluación más usuales, con especial atención a los procedimientos cuantitativos, como los métodos bibliométricos.

• Los principales indicadores y las fuentes documentales para su obtención y cálculo.

• Las principales instituciones encargadas de la labor evaluadora, con énfasis en la labor de la CNEAI en la evaluación de sexenios de investigación.

• Las convocatorias específicas, como las de evaluación de proyectos, certificación de institutos, evaluación de centros de excelencia, o calidad en revistas y editoriales.

• Las críticas al sistema y las últimas tendencias en evaluación. • Las competencias y tareas de los profesionales de la evaluación investigadora.

Estos contenidos complementan la materia Modelos y Programas de Evaluación de la Calidad Universitarios y permiten al alumnado para lograr una visión completa de los procesos de evaluación de la calidad en universidades y otros agentes del sistema educativo y científico. Asimismo, facultan a las personas interesadas en esta especialización el acceso profesional a unidades dedicadas a la evaluación de la investigación en instituciones educativas y de I+D, así como a empresas consultoras en el sector privado.

Competencias básicas

• CB6: Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo o aplicación de ideas, a menudo en un contexto de investigación.
• CB7: Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
• CB8: Que los estudiantes sean capaces de integrar conocimientos y enfrentarse a la complejidad de formular juicios a partir de una información que, siendo incompleta o limitada, incluya reflexiones sobre las responsabilidades sociales y éticas vinculadas a la aplicación de sus conocimientos y juicios.
• CB9: Que los estudiantes sepan comunicar sus conclusiones y los conocimientos y razones últimas que las sustentan a públicos especializados y no especializados de un modo claro y sin ambigüedades.
• CB10: Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.
  

Competencias generales

• CG1: Capacidad para organizar y desarrollar actividades y tareas propias de la gestión y evaluación y certificación de las instituciones de educación superior. 
• CG2: Capacidad para aplicar un pensamiento crítico, lógico y creativo en la evaluación y certificación de la calidad de las instituciones de educación superior.
• CG4: Capacidad para la implementación de nuevos modelos, programas y tecnologías en la evaluación y gestión de la calidad en las instituciones de educación superior.
• CG6: Gestionar los datos y la información de manera eficaz, haciendo un uso adecuado de las tecnologías en el ámbito de la evaluación y en los procesos de certificación de la educación superior.
• CG7: Aplicar los diferentes criterios y procesos de evaluación y certificación, en la educación superior, de manera ética y respetuosa con las personas, instituciones y los diferentes grupos de interés implicados.
  

Competencias específicas

• CE5: Diseñar herramientas para la medición de la satisfacción de los grupos de interés relacionados con los diferentes procesos de evaluación y mejora que se suceden en las instituciones de educación superior.
• CE7: Analizar sistemas, metodologías e instrumentos de evaluación de la calidad, de los programas y del profesorado que sean sostenibles en el tiempo y en la utilización de recursos.
• CE8: Evaluar críticamente las dimensiones y criterios que señalan las agencias de calidad universitaria en los diferentes programas de evaluación.
• CE9: Diseñar evidencias e indicadores para los diferentes procesos de evaluación, acordes con los objetivos que se pretenden alcanzar por una institución universitaria.
• CE13: Aplicar de forma eficaz y precisa sistemas de evaluación de la calidad, en el ámbito de la educación superior, de las instituciones, programas y profesorado.
• CE14: Analizar informes, documentos y evidencias, a partir de indicadores cuantitativos y cualitativos, e interpretarlos teniendo en cuenta las características del contexto universitario.
  

Competencias transversales

• CT1: Aplicar las nuevas tecnologías como herramientas para el intercambio comunicacional en el desarrollo de procesos de indagación y de aprendizaje.
• CT2: Desarrollar habilidades de comunicación, para redactar informes y documentos, o realizar atractivas y eficaces presentaciones de estos.
  

Tema 1. La evaluación de la investigación

• 1.1. Introducción y objetivos
• 1.2. Sistema científico y evaluación de la investigación
• 1.3. Tipos de evaluación
• 1.4. Hitos de la evaluación investigadora a nivel internacional
• 1.5. Hitos de la evaluación investigadora en España
• 1.6. Referencias bibliográficas
  

Tema 2. Los indicadores bibliométricos

• 2.1. Introducción y objetivos
• 2.2. Qué son los indicadores bibliométricos
• 2.3. Tipologías de indicadores
• 2.4. Los indicadores bibliométricos como herramienta para la toma de decisiones
• 2.5. Consideraciones metodológicas sobre el uso de indicadores bibliométricos
• 2.6. Referencias bibliográficas
  

Tema 3. Fuentes documentales para la evaluación

• 3.1. Introducción y objetivos
• 3.2. Bases de datos para la medición de la producción científica (Web of Science y Scopus)
• 3.3. Fuentes para la evaluación del impacto investigador (Journal Citation Reports, Scimago Journal Rank, Scholarly Publishers Indicators, etc.)
  
• 3.4. Google Scholar como herramienta para la evaluación investigadora
• 3.5. Las nuevas fuentes de datos de producción científica (Dimensiones, Lens, 1findr, Crossref, etc.)
• 3.6. Bases de datos de patentes, tesis doctorales, y otras actividades científicas
• 3.7. Referencias bibliográficas
  

Tema 4. Instituciones evaluadoras de la investigación

• 4.1. Introducción y objetivos
• 4.2. La Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI)
• 4.3. La Agencia Estatal de Investigación (AEI)
• 4.4. Otros organismos nacionales y autonómicos de evaluación investigadora (FECYT, agencias de calidad)
• 4.5. Organismos internacionales de evaluación de la investigación
• 4.6. Referencias bibliográficas
  

Tema 5. La evaluación de sexenios de investigación

• 5.1. Introducción y objetivos
• 5.2. Aspectos legales y administrativos
  
• 5.3. Criterios de evaluación
• 5.4. Preparación de solicitudes de sexenios de investigación
• 5.5. Referencias bibliográficas
  

Tema 6. Evaluación de convocatorias de proyectos de investigación, recursos humanos y transferencia del conocimiento

• 6.1. Introducción y objetivos
• 6.2. La evaluación de proyectos de investigación
• 6.3. La evaluación de convocatorias de recursos humanos
• 6.4. La evaluación de la actividad de Transferencia del conocimiento
• 6.5. Referencias bibliográficas
  

Tema 7. Certificación de institutos de investigación, centros y unidades de excelencia, y revistas y colecciones académicas

• 7.1. Introducción y objetivos
• 7.2. Certificación de institutos de investigación (Instituto de Salud Carlos III)
• 7.3. Acreditación de centros y unidades de excelencia (convocatorias Severo Ochoa y María de Maeztu)
• 7.4. Certificación de calidad de revistas y colecciones académicas (FECYT)
• 7.5. Referencias bibliográficas
  

Tema 8. Críticas a la evaluación de la ciencia

• 8.1. Introducción y objetivos
• 8.2. Las malas praxis investigadoras
• 8.3. Los sesgos de las bases de datos para la evaluación científica
• 8.4. Usos incorrectos de los indicadores bibliométricos para la evaluación
  
• 8.5. La problemática de la evaluación en Ciencias Sociales y Humanidades
• 8.6. Referencias bibliográficas
  

Tema 9. Nuevas tendencias en evaluación de la ciencia

• 9.1. Introducción y objetivos
• 9.2. El ecosistema del Open Access
• 9.3. Las Altmétricas: indicadores alternativos de impacto científico
  
• 9.4. Indicadores complejos para la evaluación científica
• 9.5. Uso responsable de los indicadores / buenas prácticas en evaluación
• 9.6. Referencias bibliográficas
  

Tema 10. Los profesionales de la evaluación de la ciencia

• 10.1. Introducción y objetivos
• 10.2. Las unidades de evaluación de la actividad científica
• 10.3. Perfil y tareas de los profesionales en evaluación de la investigación
• 10.4. Elaboración de informes de evaluación: aspectos a tener en cuenta
  
• 10.5. Recursos para profesionales de la evaluación científica
• 10.6. Referencias bibliográficas
  

Las actividades formativas de la asignatura se han elaborado con el objetivo de adaptar el proceso de aprendizaje a las diferentes capacidades, necesidades e intereses de los alumnos.

Las actividades formativas de esta asignatura son las siguientes:

• Trabajos individuales. Se trata de actividades de diferentes tipos: reflexión, análisis de casos, prácticas, análisis de textos, etc.
• Trabajos colaborativos. Son actividades grupales en las que tendrás la oportunidad de trabajar con tus compañeros. Durante el desarrollo de la asignatura tendrás toda la información que necesites sobre cómo organizarte para trabajar en equipo.
• Participación en eventos. Son actividades programadas todas las semanas del cuatrimestre como clases en directo o foros de debate.

Descargar programación

Estas actividades formativas prácticas se completan, por supuesto, con estas otras:

• Estudio personal
• Tutorías. Las tutorías se pueden articular a través de diversas herramientas y medios. Durante el desarrollo de la asignatura, el profesor programa tutorías en días concretos para la resolución de dudas de índole estrictamente académico a través de las denominadas “sesiones de consultas”. Como complemento de estas sesiones se dispone también del foro “Pregúntale al profesor de la asignatura” a través del cual se articulan algunas preguntas de alumnos y las correspondientes respuestas en el que se tratan aspectos generales de la asignatura. Por la propia naturaleza de los medios de comunicación empleados, no existen horarios a los que deba ajustarse el alumno.
• Examen final presencial u online

Las horas de dedicación a cada actividad se detallan en la siguiente tabla:

ACTIVIDADES FORMATIVAS	HORAS POR ASIGNATURA	% PRESENCIAL
Sesiones presenciales virtuales	15 horas	100%
Recursos didácticos audiovisuales	6 horas	0
Estudio del material básico	60 horas	0
Lectura del material complementario	45 horas	0
Trabajos, casos prácticos y test de evaluación	29 horas	0
Tutorías	16 horas	0
Trabajo colaborativo	7 horas	0
Examen final	2 horas	100%
Total	180 horas	-

Bibliografía básica

Recuerda que la bibliografía básica es imprescindible para el estudio de la asignatura. Cuando se indica que no está disponible en el aula virtual, tendrás que obtenerla por otros medios: librería UNIR, biblioteca...

Los textos necesarios para el estudio de la asignatura han sido elaborados por UNIR y están disponibles en formato digital para consulta, descarga e impresión en el aula virtual.

Bibliografía complementaria

• Bellavista, J., Bordons, M., Guardiola, E., & Méndez, A. (1997). Evaluación de la investigación. Centro de Investigaciones Sociológicas.
• Giménez Toledo, E. (2016). Malestar: los investigadores ante su evaluación. Iberoamericana - Vervuert.
• Glänzel, W., Moed, H. F., Schmoch, U., & Thelwall, M. (Eds.). (2019). Springer Handbook of Science and Technology Indicators. Springer Nature.
• Maltrás Barba, B. (2003). Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Trea.
• Moed, H. F. (2017). Applied evaluative informetrics. Springer International Publishing.
• Sánz Menéndez, L. (1997). Estado, ciencia y tecnología en España, 1939-1997. Alianza editorial.
• Sugimoto, C. R., & Larivière, V. (2018). Measuring research: What everyone needs to know. Oxford University Press.
  

El sistema de calificación se basa en la siguiente escala numérica:

0 - 4, 9	Suspenso	(SS)
5,0 - 6,9	Aprobado	(AP)
7,0 - 8,9	Notable	(NT)
9,0 - 10	Sobresaliente	(SB)

La calificación se compone de dos partes principales:

El examen se realiza al final del cuatrimestre y es de carácter PRESENCIAL U ONLINE Y OBLIGATORIO. Supone el 60% de la calificación final y para que la nota obtenida en este examen se sume a la nota final, es obligatorio APROBARLO.

La evaluación continua supone el 40% de la calificación final. Este 40% de la nota final se compone de las calificaciones obtenidas en las diferentes actividades formativas llevadas a cabo durante el cuatrimestre.

Ten en cuenta que la suma de las puntuaciones de las actividades de la evaluación continua permite que realices las que prefieras hasta conseguir el máximo puntuable mencionado. En la programación semanal de la asignatura, se detalla la calificación máxima de cada actividad o evento concreto puntuables.

Sistema de evaluación	Ponderación min - max
Participación del estudiante (sesiones, foros, tutorías)	5% - 10%
Trabajos, proyectos, laboratorios/talleres y casos	10% - 30%
Test de evaluación	5% - 10%
Examen final	60% - 60%

Álvaro Cabezas Clavijo

Fundador de EC3METRICS. Doctorado en Ciencias Sociales por la Universidad de Granada (2013) y Máster en Información Científica por la misma universidad. Desde 2019, cuenta con la acreditación como Profesor Ayudante Doctor por ANECA.

Al tratarse de formación online puedes organizar tu tiempo de estudio como desees, siempre y cuando vayas cumpliendo las fechas de entrega de las actividades y la fecha de exámenes. Nosotros, para ayudarte, te proponemos los siguientes pasos:

1. Desde el Campus virtual podrás acceder al aula virtual de cada asignatura en la que estés matriculado y, además, al aula virtual del Curso de introducción al campus virtual. Aquí podrás consultar la documentación disponible sobre cómo se utilizan las herramientas del aula virtual y sobre cómo se organiza una asignatura en UNIR. También podrás organizar tu plan de trabajo con tu tutor personal.
2. Observa la programación semanal. Allí te indicamos qué parte del temario debes trabajar cada semana.
3. Ya sabes qué trabajo tienes que hacer durante la semana. Accede ahora a la sección Temas del aula virtual. Allí encontrarás el material teórico y práctico del tema correspondiente a esa semana.
4. Comienza con la lectura de las Ideas clave del tema. Este material es el que debes estudiar para superar la asignatura. Consulta, además, las secciones del tema que contienen material complementario: con esto podrás tener una visión más amplia sobre el tema que estaás trabajando..
5. Dedica tiempo al trabajo práctico (sección Actividades). En la programación semanal te detallamos cuáles son las actividades correspondientes a cada semana y qué calificación máxima puedes obtener con cada una de ellas.
6. Te recomendamos que participes en los eventos del curso (clases en directo, foros de debate…). Para conocer la fecha concreta de celebración de los eventos debes consultar las herramientas de comunicación del aula vitual. Tu profesor y tu tutor personal te informarán de las novedades de la asignatura.

En el aula virtual del Curso de introducción al campus virtual encontrarás siempre disponible la documentación donde te explicamos cómo se estructuran los temas y qué podrás encontrar en cada una de sus secciones. Tambén puedes consulltar ahí el funcionamiento de las distintas herramientas del aula virtual: Correo, Foro, Clases en directo, Envío de actividades, etc.