Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017

63 Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017 Antonio RUIZ GARCÍA Luis VALERO AGUAYO Universidad de Málaga (España) Resumen La valoración de la calidad de las publicaciones periódicas de Psicología suele resumirse con el índice JCR (Journal Citation Report), que se basa únicamente en el número de citas recibidas por la revista. Sin embargo, esa supuesta calidad se utiliza como justificación para valorar curricula, promociones laborales, contrataciones y privilegios académicos. Esto está llevando a múltiples problemas en la investigación científica, y también dentro de Psicología. Entre ellos, que las investigaciones y temas se están tergiversando hacia aquellas que son más rápidas y fáciles de publicar en las revistas que tienen ese indicador; y como consecuencia también se están publicando una gran cantidad de artículos cuya calidad y aportación real al campo resulta dudosa. Partiendo de esta hipótesis, se ha realizado un estudio descriptivo cuantitativo de 29 revistas españolas de Psicología, con JCR (7 revistas) y sin el (22 revistas) del año 2017. Se han revisado un total de 693 artículos. Se han utilizado como categorías de registro: el tipo de estudios, metodología, área, participantes, instrumentos, análisis de datos, conclusiones, replicación, número de autores, países, y universidades. Los resultados muestran que las revistas con JCR reciben y concentran tres veces más publicaciones, con más estudios con encuestas y adaptación de cuestionarios, tienen más autores por publicación, y tienen menos artículos teóricos o de revisión, que las demás revistas sin JCR. Como resultado general existe una gran escasez de estudios experimentales, una gran proliferación de estudios con encuestas, instrumentales y expost-facto, también los participantes suelen ser estudiantes; y las mediciones son siempre con cuestionarios, son muy escasos los que utilicen observación o datos directos con instrumentos. Finalmente, se discute la situación actual de los estudios de Psicología que no parecen superar un estadio correlacional como ciencia. Las causas de los fenómenos psicológicos siguen sin ser estudiadas con una metodología experimental. Abstract The assessment of the quality of Psychlogy Journals is ussually sumarized by the JCR index (Journal Citation Report), based only on the number of citations received by the journal. However, this quality index is used as a justification for curricula, job promotions, hiring and academic privileges. This is carrying to multiple problems in scientific research, also within Psychology. Research and topics are being distorted towards quicker and easier themes to publish in journals with that indicator; and as a result, a large number of publised articles have low quality and make less real contribution to the field. Based on this hypothesis, a quantitative descriptive study of 29 Spanish Psychology Journals was carried out, with 7 journals with JCR, and 22 journals without it. During 2017 a total of 693 articles have been revised. The recording categories were: the type of study, methodology, area, participants, instruments, data analysis, conclusions, replications, number of authors, countries, and universities. The results show that journals with JCR receive and concentrate three times more publications, with more survey studies and questionnaires adaptations, have more authors per publication, and have fewer theoretical or review articles than other journals without JCR. As a general result, there is a great shortage of experimental studies, a great proliferation of studies with surveys, instrumental and ex-post-facto; also the participants are usually university students; and the measurements are questionnaires always, very few studies use observation or direct data with instruments. Finally, we discuss the current situation of psychology studies that do not seem to overcome a correlational stage as science. The causes of psychological phenomena are still not studies with an experimental methodology. Dirección de los autores: Departamento de Personalidad, Evaluación y Tratamiento Psicológico. Facultad de Psicología. Campus de Teatinos. 29071 Málaga. Correo electrónico: [email protected] Recibido: diciembre 2017. Aceptado: marzo 2018. Apuntes de Psicología Colegio Oficial de Psicología de Andalucía Occidental, 2018, Vol. 36, número 1-2, págs. 63-74. Universidad de Cádiz, Universidad de Córdoba, ISSN 0213-3334 Universidad de Huelva, Universidad de Sevilla 64 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 63-74. Recientemente un artículo en la edición internacional del periódico The Guardian (Anonymous Academic, 2017) señalaba cómo la presión por publicar estaba desviando los objetivos de investigación y generando estudios banales, sin ninguna transcendencia, orientados solo al mundo académico y los revisores de cada revista. Señala cómo, por experiencias personales, los directores de esos trabajos eliminan ciertas palabras, ciertos contenidos, y los adaptan a la revista y a los revisores que puedan aceptar los artículos. Lo importante no son los datos directos de las investigaciones, sino las interpretaciones y rechazos que los textos puedan producir en los revisores o en la política editorial de la revista. Así, las investigaciones de los departamentos universitarios van en dirección contraria a la innovación, en contra de los temas interesantes de investigar en el mundo real, van a asegurar una carrera profesional, a mantener artificialmente unos temas intranscendentes, que solo interesan a los editores y revisores de esas revistas. También los Premios Nobel Randy Schekman y Peter Lawrence de la Universidad de Cambridge, y Michael Eisen de la Universidad de California, han denunciado que el factor de impacto de las revistas -es decir, la puntuación recibida por cada publicación sobre el número de veces que sus artículos son citadospervierte la investigación, y crea burbujas en torno a determinados temas (Schekman, 2013). Las revistas promocionan con un formato comercial agresivo sus marcas, de modo que restringen artificialmente el número de artículos que aceptan, y luego esas marcas se venden con el marchamo del JCR (Journal Citation Report). La teoría sería que los mejores artículos se citan con más frecuencia, y estos son los que obtendrían puntuaciones más altas. Según la opinión de Schekman esa puntuación no siempre está relacionada con la calidad, la puntuación es la media de todo lo publicado, y un artículo puede ser muy citado porque es un buen trabajo científico, o bien porque es llamativo, provocador o erróneo. Esto crea “burbujas de moda” en ciertos temas, que no lleva a asentar los ya conocidos mediante replicaciones, ni a innovar realmente si no es mediante la sorpresa o el atractivo superficial. Esto lo afirma sobre grandes revistas como Science, Nature o Cell, lo que ha llevado de hecho a publicar artículos con errores de investigación básicos, a estudios fraudulentos o incluso a otros completamente inventados (Schekman, 2013). Algo semejante ocurre con el funcionamiento de los diferentes departamentos de investigación, que se centran exclusivamente en aquellos temas que les pueden dar una mayor visibilidad, despreciando aquello que no está de moda. La financiación y la atención de la investigación entre el profesorado se dirige a los temas prioritarios que es más probable que obtengan financiación, y que están en sintonía con lo que publican las revistas con esos altos índices de JCR. La corrupción del JCR El sistema imperante del JCR (Journal Citation Report) supone una corrupción para la investigación y para las publicaciones científicas, por varias razones1. Las empresas editoras del JCR son las únicas que cobran doblemente por su servicio: por un lado al productor de contenidos (los científicos) y las universidades, y en última estancia al Estado que paga esas investigaciones, el acto de traducir y de publicar; y por otro lado, al consumidor de esos contenidos (los científicos) y las universidades, y también de nuevo el Estado que gasta grandes sumas de dinero todos los años en mantener la subscripción a las revistas científicas de esas editoras. Aunque estemos en un mercado capitalista y la búsqueda del beneficio económico empresarial parece el único objetivo, resulta una práctica corrupta el cobrar doblemente al productor y consumidor de un producto. Solo por un momento, imaginemos que una empresa editora de periódicos cobrase no solo a los consumidores de esas informaciones unos 30 euros por ejemplar (bastante caro, por cierto), pero que al mismo tiempo también cobrase a los periodistas por editar los contenidos que producen, entre 1000 y 2000 euros por artículo, y por supuesto que también estos perdiesen el copyright de lo publicado y necesitasen el permiso de esa empresa editora para reproducir lo que ellos mismos han creado. Pero, además, los investigadores que revisan esos estudios de manera anónima (y le hacen a las empresas el trabajo duro de revisar el contenido) no reciben ni un euro por sus horas de trabajo. Sorprendente, esa es justamente la situación con las revistas científicas en Psicología, y en otras muchas áreas del conocimiento. El trabajo es para los demás, y ellas se llevan las ganancias. Dos multinacionales de la edición, como son Clarivate Analytics de USA (anteriormente como Thomson Reuters, comprada por dos sociedades inversoras) y Elsevier de Holanda, controlan prácticamente el negocio de la publicación y la consulta de artículos en revistas científicas en el mundo, y también en España (Bergstrom, Courant, McAfee y Williams, 2014; Munarriz, 2017). Según este informe periodístico, estas dos empresas controlan a través de sus indicadores de impacto el contenido y el uso de las investigaciones científicas publicadas. El primero con el índice Journal Citation of Reports (JCR) y el segundo el Scimago Journal Rank (SCR). El problema, no es solo que el contenido de la ciencia esté en manos de empresas privadas, sino que el Estado paga grandes sumas de dinero por las licencias de uso del software de búsqueda y los contenidos en sus bases de datos en los centros de investigación y universidades españolas. Según este artículo se pagarían 4 1. La segunda acepción de la palabra “corrupción” en el Diccionario de la Real Academia de la Lengua Española es “alteración o vicio en un libro o escrito”, y con ese sentido se utiliza en este texto. A. Ruiz García y L. Valero Aguayo Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 63-74. 65 millones de euros por la Web of Knowledge y 1.5 millones por el uso de Scopus. Según la Conferencia de Rectores se han pagado más de 24 millones de euros al año por las revistas incluidas en Science Direct. Aunque datos más recientes en otro artículo periodístico (Villareal y Escudero, 2018a, 2018b) incluyen datos de pagos millonarios en las diversas universidades españolas a estas editoras, por ejemplo, el conjunto de bibliotecas universitarias de Cataluña ha pagado en el periodo 2013-17 más de 28 millones de euros, y las de Galicia más de 14 millones de euros, y así en un largo listado de universidades con sus contratos particulares con estas editoras. Resulta alarmante que esos recursos se paguen a unas empresas privadas que se nutren de un trabajo de investigación, de la elaboración de unos contenidos, que son también de los propios autores, en su mayoría profesores universitarios, que son pagados también por el Estado. De esta forma, una vez elaborados unos contenidos y unos resultados de investigación con fondos públicos, son “cedidos” a empresas privadas que los explotan comercialmente y los venden a los mismos investigadores de nuevo con fondos públicos. Algo falla en el modelo de comunicación científica. Los efectos del JCR El sistema que se está manteniendo en los últimos años ha de cambiarse porque, consideramos, tiene una serie de efectos negativos para la investigación: 1. Este sistema no facilita la comunicación pública y gratuita, el acceso universal al conocimiento, que se supone está en la base de la ciencia. Para acceder a la investigación actual, tanto nacional como internacional, los usuarios han de pagar por ella, y grandes cantidades. Los servicios están restringidos, produciéndose un “efecto Mateo” de que quien más tiene más puede acceder, y si accede a más información puede investigar mejor y publicar mejor, consiguiendo más financiación en los grupos o más curricula en los investigadores. Se crean así círculos y temas dominantes en la investigación solo por la cita recurrente. 2. Tampoco es sostenible a largo plazo puesto que el Estado está pagando doblemente por un mismo servicio. Las cantidades que se gastan podrían subvencionar servicios de información pública y gratuita en todas las universidades y centros de investigación, que fue el proceso que se inició en los años 80 y 90, pero que se ha abandonado por esta otra práctica privada. 3. Además, todos los centros de investigación y los propios investigadores dependen ya de esas empresas privadas para su trabajo. Si en un momento dado una universidad no paga la suscripción de una revista concreta, los investigadores ya no tienen acceso a ese año y a ningún otro año en las bases de datos de esa revista. Al estar informatizado, la volatilidad de la información es muy grande, y al estar concentrado en dos empresas privadas, la capacidad de acceso a la información científica está controlada exclusivamente por esas dos empresas. 4. Se privilegia el sesgo lingüístico, cultural y geográfico del inglés como base obligatoria de todas las publicaciones, que aunque bien ayuda a la internacionalización de la investigación española, deja de lado la audiencia y la influencia potencial sobre más de 560 millones de hispanohablantes en todo el mundo. En este sentido, algunas iniciativas como Dialnet, Redalyc, SciELO y Latindex con bases de datos en español, gratuitas y accesibles, son realmente encomiables. 5. Se enfatizan unos criterios exclusivamente cuantitativos de la investigación y los curricula de los investigadores, aplicando unos estándares economicistas a la ciencia, sin tener en cuenta el compromiso con la sociedad, la utilidad final de la investigación científica para el progreso humano. De esta forma se está produciendo una gran acumulación de información superflua, vacía de contenido principal, y que no aporta realmente nada al avance científico. Y por otro lado, está teniendo también unos efectos negativos sobre la propia calidad de la investigación que se realiza, es decir, el contenido y utilidad de lo que se investiga, y que realmente suele considerarse pocas veces al centrarse toda la atención sobre el número de citas recibidas. Recientemente, en relación a la investigación clínica médica, Ioannidis (2016) ha publicado un polémico artículo en el que afirma que la mayoría de la investigación clínica que se realiza es inútil, bien por sus diseños o por los hallazgos que no tienen ninguna utilidad para los pacientes. Algo similar está ocurriendo también en Psicología, pues ese imperio del JCR lleva a publicar cualquier cosa, con tal que cumpla unos criterios de empirismo o de análisis estadístico. Siempre que un artículo esté bien planteado, tenga los apartados del manual de APA correspondientes, y no haya errores en los análisis matemáticos, puede publicarse aunque el tema no sea relevante ni de gran utilidad. El estudio típico suele ser una nueva adaptación al castellano de un cuestionario de un rasgo meta-cognitivo, que no va a utilizar nadie, y menos si aparece publicado en inglés, porque los psicólogos/as españoles no leen esos artículos y el cuestionario en inglés no se lo van a poder aplicar a ninguno de sus clientes. Objetivos del estudio Este reforzamiento social y profesional exclusivo sobre el JCR está llevando a una gran cantidad de publicaciones basadas solo en encuestas y cuestionarios (lo que dicen las personas, no lo que hacen) y solo con metodología correlacional (donde nunca se pueden afirmar causas). Además se utiliza en su mayoría una población de estudiantes univerA. Ruiz García y L. Valero Aguayo Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017 66 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 63-74. sitarios, que son los que se encuentran más accesibles a los profesores-investigadores, y que son estudios más fáciles y rápidos de realizar, y por tanto de intentar publicar en una revista de impacto. Esta es, pues, la hipótesis o punto de partida para este estudio descriptivo y estadístico sobre la realidad de las publicaciones españolas a través de sus revistas, comparando las que tienen JCR y las que no lo tienen, pero analizando los contenidos, metodologías, participantes, temas, diseños, análisis estadísticos, replicaciones, número de autores, etc., de forma que los datos nos permitan finalmente ofrecer una panorámica del estado actual de la investigación psicológica española, a manera de selfi instantáneo hecho en 2017. Los estudios que se han realizado sobre la calidad de las revistas españolas de Psicología casi siempre toman como criterio el número de citas (Cangas, Pérez y Gázquez, 2006; Carbonel y Calvó 2009; Gámez, 2013; Moreno et al., 2013; Pérez, Gázquez, Fernández y Mercader, 2011; Romero, 2009), elaborando también rankings de las revistas españolas, como se hizo en la base de datos InRecs (Índice de Impacto de las Revistas Españolas de Ciencias Sociales) hasta 2010, y en RESH (Revistas Españolas de Ciencias Sociales y Humanidades); o bien la opinión de los distintos investigadores y profesores que suelen utilizar estas revistas (Alcain y Román, 2005; Salvador, Arquero y Lamarca, 2011); o la distribución de grupos de investigación y “colegios invisibles” (Peñaranda, Quiñones y López, 2005), o la participación de género (González, Castellón, Bolaños, Alonso, Valderrama, Alexandre, 2010); o bien el tipo de temas tratados dentro de psicología clínica en las revistas (Rey, Martínez y Guerrero, 2009); pero pocas han incidido también en el contenido, el tipo de investigación, el diseño, o el área de Psicología implicada (Buela-Casal, Carretero-Dios y Santos-Roig, 2002). Nos proponemos, pues, en este estudio un análisis descriptivo y cuantitativo de las características de los artículos publicados durante 2017 por las revistas españolas de Psicología, comparando en las distintas categorías de registro del contenido (temas, tipo de estudio, participantes, diseños, análisis de datos, replicaciones, áreas, universidades, países, etc.) las posibles diferencias entre las revistas que tienen reconocido un impacto en el índice JCR y las que no lo tienen. Método Participantes Los artículos analizados y revisados han sido un total de 693, de ellos 348 (50’2%) en revistas incluidas en el índice JCR, y otros 345 (49’8%) en revistas sin JCR. Todos los artículos se han obtenido de las webs y bases de datos de esas revistas que aparecían en los números publicados hasta el mes de diciembre de 2017. Se han excluido los artículos que eran editoriales, o comentarios de libros y otras actividades. Puede que posterior a esa fecha algunas revistas hayan publicado otros artículos correspondientes al año anterior, pero ya no se han incluido en esta revisión. Para poder comparar las posibles diferencias de contenidos entre las revistas con JCR (7 revistas), se han tenido que revisar muchas más revistas sin JCR (22 revistas), pues estas últimas publican muchos menos artículos y con menor periodicidad. En la tabla 1 aparece el listado de revistas y el número de artículos de cada una. Categorías de registro Para el registro de los artículos se han utilizado diversas categorías de clasificación, que suelen ser las habituales en los estudios de metodología, partiendo del sistema de Montero y León (2002), y también de Ato, López y Benavente (2013). De esta forma, las categorías utilizadas han sido las siguientes: 1. Pertenencia o no al índice JCR de la revista en el año 2017. A partir de los listados de Web of Science, se han seleccionado las 7 revistas españolas de Psicología con un índice JCR. 2. Área. Definida por la temática tratada en las distintas áreas universitarias españolas (Básica, Metodología, Psicobiología, Evolutiva, Personalidad, Social y Otras). La asignación se ha producido por el tema tratado, pues en muchos casos no es posible conocer el departamento o área concreta de los autores, o incluyen varios autores de universidades y países diferentes. De esta forma, por ejemplo, un artículo sobre la adaptación de un cuestionario se ha incluido siempre en el área de Personalidad, Evaluación y Tratamiento Psicológico, puesto que es un tema de instrumentos de evaluación, independientemente del tema que evaluase ese cuestionario. 3. Universidad. Registrado como la universidad de procedencia del primer y segundo autor. 4. País. Registrados como los países de procedencia de los autores, incluyendo en algunos casos dos y tres países. 5. Número de Autores. Registrado por el número directo de autores de cada artículo, desde 1 hasta 16-18 autores que hay en algún estudio. 6. Diseño. Se ha categorizado el tipo de diseño o estudio tratado en el texto, con las siguientes categorías: Teórico, Descriptivo, Encuestas, Cualitativo, Experimento Simple, Experimento Complejo, Cuasi-experimento, Expost-facto, Caso único, Instrumentales, y Meta-análisis. 7. Participantes. Se han categorizado los tipos de participantes habituales en los estudios como: Estudiantes, Población General, Población Clínica, Infantil, Juvenil, A. Ruiz García y L. Valero Aguayo Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 63-74. 67 Revista Artículos Porcentaje Revistas en JCR Psicothema 86 12.4 Anales de Psicología 84 12.1 Spanish Journal of Psychology 76 11.0 Adicciones 33 4.8 International Journal of Clinical and Health Psychology 30 4.3 Psicología Conductual 23 3.3 Psicológica 16 2.3 Revistas fuera de JCR Revista Iberoamericana de Psicología del Deporte 30 4.3 Papeles del Psicólogo 24 3.5 Quaderns de Psicología 24 3.5 Revista de Psicología Clínica con Niños y Adolescentes 23 3.3 Cuaderno de Psicología del Deporte 21 3.0 Perspectivas en Psicología 21 3.0 Psychological Intervention 21 3.0 Ansiedad y Estrés 20 2.9 Escritos de Psicología 18 2.6 Journal of Work and Organizaton Psychology 16 2.3 Revista de Historia de Psicología 16 2.3 European Journal of Investigation in Health, Psychology and Education 15 2.2 Acción Psicológica 13 1.9 Revista de Psicopatología y Psicología Clínica 13 1.9 Apuntes de Psicología 12 1.7 Anuario de Psicología Jurídica 11 1.6 International Journal of Psychology & Psychological Therapy 10 1.4 Infancia y Adolescencia 10 1.4 European Journal of Child Development 91.3 Clínica y Salud 71.0 Psicología de la Salud 6 0.9 Anuario de Psicología 50.7 Total 693 100 Tabla 1. Relación de revistas y número de artículos revisados en cada una (ordenadas por número de artículos publicados con fecha de 2017 en números aparecidos hasta diciembre de ese año). y Ancianos. Se ha categorizado también en un segundo apartado de Participantes 2, para aquellos casos en que el estudio utilizaba diferentes tipos de poblaciones. 8. Instrumentos. Se han categorizado como: Entrevistas, Cuestionarios, Tests estandarizados, Autorregistros, Observación, Registros Fisiológicos, Instrumentos Automáticos, o Ninguno. También se han categorizado un segundo apartado de Instrumentos 2 para aquellos casos en que los autores utilizaran varios tipos de instrumentos. 9. Análisis de Datos. Categorizados como: Descripción, Diferencias de Medias, ANOVA, Regresión, Factorial, Ecuaciones Estructurales, No Paramétricas, Otras, y Ninguna. También se ha categorizado un segundo apartado Análisis 2 para aquellos casos en que se utilizaran varios tipos de pruebas estadísticas. 10. Tipos de Resultados. Categorizados como Positivos, Negativos, No Concluyentes, y No aplicables. 11. Tipos de Replicación. Registrados como: Estudios de Replicación, Adaptaciones, Nuevos, y No aplicable. A. Ruiz García y L. Valero Aguayo Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017 68 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 63-74. El registro de las categorías se ha realizado de manera independiente por cada investigador, aproximadamente la mitad de cada uno, y categorizando por consenso en aquellos artículos que podían ofrecer alguna duda al respecto. No se ha calculado fiabilidad entre ellos. Procedimiento Con las categorías definidas, cada investigador revisaba los diferentes números publicados por cada revista y disponibles en las webs originales. Se analizaban no solo los resúmenes, que en muchos casos apenas dan información específica, sino el artículo completo para encontrar la información concreta de cada categoría. Se revisaron tanto artículos en español como en inglés. La selección de revistas no siguió un orden riguroso, sino dentro del listado de todas las revistas de Psicología españolas disponibles, aquellas que tenían web y los artículos accesibles para su lectura, así como algunos números publicados en el año 2017. Las categorías se registraban en una base de datos Excel, se pasaban y analizaban estadísticamente mediante el programa SPSS-21. Se han realizado análisis cuantitativos descriptivos y tablas de contingencias con χ2 para posibles diferencias entre un grupo de revistas y otras. Resultados Como ya se ha indicado, para conseguir igualar el número de artículos publicados durante 2017 por 7 revistas con JCR ha sido necesario consultar 22 revistas sin ese índice. Esto indica de principio que las revistas con JCR concentran la mayoría de las publicaciones, y ellas solas tienen tres veces más artículos a lo largo del año que todas las demás juntas. Esto hace suponer que los autores envían la mayoría de sus investigaciones a esas revistas, desechando e incluso despreciando otras, puesto que no son valoradas en el curriculum. Por tanto, cabe suponer una gran avalancha de revisiones en esas revistas con JCR, que aumentan progresivamente sus índices de rechazos (y de paso también su prestigio), mientras que las otras revistas se ven en dificultades para recibir artículos e incluso tener revisores por pares para lo poco que consiguen publicar. También cabe una interpretación positiva, en el sentido de que las exigencias editoriales del JCR obligue a una publicación sistemática y a la actualización continua de las bases de datos, mientras que las otra revistas no tienen tales exigencias y publican con retraso o de forma menos sistemática. Los países de procedencia de los autores son en su mayoría españoles (62.2%), y en colaboración con otros países (8.4%), y en menor medida proceden de Portugal, Argentina, Brasil, México, USA, etc., por ese orden. Es de especial relevancia que en la revista Spanish Journal of Psychology publiquen más autores internacionales que españoles. En cuanto a las universidades de los autores, también hay una gran diversidad, aunque destacan por ese orden: UCM, UAM, UGR, UAB, UV, UNED, UB, USC, UMA, Uniovi, etc. El área correspondiente a los temas tratados en los artículos corresponden la mayoría al de Personalidad, Evaluación y Tratamiento Psicológico, puesto que muchos estudios son sobre instrumentos de evaluación, o bien realizan estudios con encuestas sobre rasgos de personalidad, características clínicas o problemas psicológicos en general, o incluyen también intervenciones en distintos tipos de problemas. Hay diferencias significativas en esta categoría (χ2 = 86.36, gl = 6, p < .0001), al agrupar la mayoría de las publicaciones con JCR en esta área, mucho menor en otras (ver figura 1). Esto no implica que los autores en otras áreas publiquen menos, sino que los temas tratados por su contenido realmente corresponden a esa área, o bien podría ser que esas otras áreas publican más en revistas internacionales. Figura 1. Distribución de los artículos según el área temática abordada. 0 10 20 30 40 50 60 Básica Metodología Psicobiología Evolutiva Personalidad Social Otras Porcentaje Áreas de conocimiento JCR No JCR 0 5 10 15 20 25 30 Porcentaje Diseños utilizados JCR No JCR              Figura 1. Distribución de los artículos según el área temática abordada.                  Figura 2. Distribución de los artículos según el tipo de estudio y diseño utilizado.    A. Ruiz García y L. Valero Aguayo Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 63-74. 69 El tipo de estudio o diseño utilizado en los artículos también presenta diferencias significativas (χ2 = 112.96, gl = 10, p < .0001), puesto que las revistas con JCR presentan una mayor proporción de estudios con encuestas (27.6%) y estudios instrumentales (23.6%), también presentan comparativamente más estudios de experimentos simples y complejos. Mientras que las revistas sin JCR tienen más estudios teóricos (27.2%) y descriptivos (13.3%) (ver figura 2). Las muestras de población utilizadas también difieren significativamente (χ2 = 60.56, gl = 6, p < .0001), porque las revistas con JCR tienen más estudios con estudiantes (19.3%), y con población infantil (18.1%) y juvenil (15.5%); mientras las que no tienen JCR tienen más estudios teóricos sin población (34.5%) (ver figura 3). El tipo de instrumentos utilizados en su mayoría son cuestionarios, en las revistas con JCR hay un 68.4%, y las que no un 49’0% (χ2 = 56.84, gl = 7, p < .0001), en estas últimas también hay un 35.1% que no utiliza instrumentos al ser más teóricos. Es característico que de todos los artículos, en ambos tipos de revistas, apenas se utilice un 4.6% con Figura 2. Distribución de los artículos según el tipo de estudio y diseño utilizado. Figura 3. Distribución de los artículos según el tipo de población utilizado. 0 10 20 30 40 50 60 Básica Metodología Psicobiología Evolutiva Personalidad Social Otras Porcentaje Áreas de conocimiento JCR No JCR 0 5 10 15 20 25 30 Porcentaje Diseños utilizados JCR No JCR              Figura 1. Distribución de los artículos según el área temática abordada.                  Figura 2. Distribución de los artículos según el tipo de estudio y diseño utilizado.    0 5 10 15 20 25 30 35 40 Porcentaje Participantes JCR No JCR 0 10 20 30 40 50 60 70 80 Porcentaje Instrumentos JCR No JCR                Figura 3. Distribución de los artículos según el tipo de población utilizado.                 Figura 4. Distribución de los artículos según el tipo de instrumentos utilizados. 0 10 20 30 40 50 60 Básica Metodología Psicobiología Evolutiva Personalidad Social Otras Porcentaje Áreas de conocimiento JCR No JCR 0 5 10 15 20 25 30 Porcentaje Diseños utilizados JCR No JCR              Figura 1. Distribución de los artículos según el área temática abordada.                  Figura 2. Distribución de los artículos según el tipo de estudio y diseño utilizado.    0 5 10 15 20 25 30 35 40 Porcentaje Participantes JCR No JCR 0 10 20 30 40 50 60 70 80 Porcentaje Instrumentos JCR No JCR                Figura 3. Distribución de los artículos según el tipo de población utilizado.                 Figura 4. Distribución de los artículos según el tipo de instrumentos utilizados. A. Ruiz García y L. Valero Aguayo Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017 70 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 63-74. algún registro directo instrumental, un 2.5% la observación, un 1. 4% los registros fisiológicos, y un 0.6% autorregistros (ver figura 4). En cuanto al tipo de análisis de datos empleado son congruentes con los tipos de estudios, de esta forma hay también diferencias significativas entre las revistas con y sin JCR (χ2 = 91’23, gl = 8, p < .0001), porque las primeras utilizan más pruebas de ANOVA, Regresión y Factoriales; mientras que las segundas utilizan solo pruebas descriptivas o bien no aplicables por ser más teóricos o de revisiones (ver figura 5). El número de autores es también superior en las revistas con JCR (χ2 = 67.92, gl = 13, p < .0001), hay un 29% de artículos con cuatro autores, incluso llegan a publicarse Figura 4. Distribución de los artículos según el tipo de instrumentos utilizados. Figura 5. Distribución de los artículos según el tipo de análisis de datos utilizado. 0 5 10 15 20 25 30 35 40 Porcentaje Participantes JCR No JCR 0 10 20 30 40 50 60 70 80 Porcentaje Instrumentos JCR No JCR                Figura 3. Distribución de los artículos según el tipo de población utilizado.                 Figura 4. Distribución de los artículos según el tipo de instrumentos utilizados. 0 5 10 15 20 25 30 35 40 Porcentaje Participantes JCR No JCR 0 10 20 30 40 50 60 70 80 Porcentaje Instrumentos JCR No JCR                Figura 3. Distribución de los artículos según el tipo de población utilizado.                 Figura 4. Distribución de los artículos según el tipo de instrumentos utilizados. 0 5 10 15 20 25 30 Porcentaje Análisis de Datos JCR No JCR 0 5 10 15 20 25 30 35 1 2 3 4 5 6 7 8 9 Más 10 Porcentaje Número de Autores JCR No JCR              Figura 5. Distribución de los artículos según el análisis de datos utilizado.                      Figura 6. Distribución de los artículos según el número de autores.  A. Ruiz García y L. Valero Aguayo Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 63-74. 71 artículos con más de 10 autores (1.8%), en cambio en las revistas sin JCR son más frecuentes los artículos con uno a tres de autores (ver figura 6). Por su parte, el tipo de resultados obtenidos presenta también diferencias significativas porque casi todos se agrupan en “resultados positivos”, tanto en un tipo de revistas como en otro (χ2 = 23.62, gl = 3, p < .0001), más del 92% de los artículos son siempre con resultados positivos, negativos apenas son un 1.3%, y los demás son no concluyentes o no aplicables. De forma similar, el tipo de novedad de los artículos en su mayoría son nuevos estudios (86.1%), y en menos medida adaptaciones de instrumentos (11.3%), pero pocos son replicaciones de otros estudios (1.0%). Las revistas con JCR presentan más adaptaciones de instrumentos que las otras (χ2 = 50.58, gl = 3, p < .0001). Como resumen, puede afirmarse que hay diferencias significativas entre los artículos que aparecen en las revistas con JCR y las que no. Aunque ambas tienen bastantes similaridades, al publicar estudios en su mayoría basados en encuestas y cuestionarios, con población universitaria, en temas del área de personalidad y clínica, siempre con resultados positivos; sin embargo, las revistas con JCR concentran una mayor proporción estudios, con más autores por artículo, que utilizan en su mayoría encuestas y adaptaciones de cuestionarios, utilizan más población de estudiantes, infantil y juvenil, así como instrumentos casi únicos los cuestionarios, por tanto también utilizan más pruebas estadísticas complejas. Mientras que las revistas sin JCR abordan temas similares, pero publican muchos menos estudios por año, tienen mayor proporción de estudios teóricos y de revisión, con menos autores por artículo, y con menos instrumentos o pruebas estadísticas al ser de carácter teórico o de revisiones. Conclusiones y discusión El selfi de la calidad y contenidos de las revistas de Psicología españolas ha mostrado diferencias importantes entre la revistas incluidas en el índice JCR y las que no lo están. Este estudio descriptivo se ha basado en los contenidos de los artículos, y no en las citas que reciben como suele hacerse en otros estudios similares (Gámez, 2013; Moreno et al., 2013; Pérez, Gázquez, Fernández y Mercader, 2011), ni con la opinión de los investigadores y profesores que las utilizan (Alcain y Román, 2005; Salvador, Arquero y Lamarca, 2011), por tanto solo es un retrato (selfi) o instantánea de la situación actual de la investigación psicológica española, que creemos no difiere mucho de lo que se publica internacionalmente. Al categorizar los contenidos de lo publicado se encuentra un perfil similar en ambos tipos de revistas: una mayoría de estudios con metodología correlacional y basados en encuestas y cuestionarios, con una mayor proporción de estudiantes universitarios como participantes, y temas que entran generalmente en el área de personalidad, evaluación y tratamiento psicológico (aunque se publiquen por profesores de otras áreas, tienen esa temática); y también un mayor número de autores en los trabajos. Además, prácticamente todo lo que se publica tiene resultados positivos y son “novedosos”, apenas hay replicaciones de los hallazgos de otros autores. Sin embargo, también se han encontrado diferencias significativas, pues las revistas con JCR reciben y publican la mayoría de las investigaciones españolas, por tanto, pueden seleccionar más lo que publican, acentuando el carácter metodológico y estadístico de los estudios, por lo que aparece mayor proporción de pruebas estadísticas, Figura 6. Distribución de los artículos según el número de autores. 0 5 10 15 20 25 30 Porcentaje Análisis de Datos JCR No JCR 0 5 10 15 20 25 30 35 1 2 3 4 5 6 7 8 9 Más 10 Porcentaje Número de Autores JCR No JCR              Figura 5. Distribución de los artículos según el análisis de datos utilizado.                      Figura 6. Distribución de los artículos según el número de autores.  A. Ruiz García y L. Valero Aguayo Efectos del JCR en la calidad de las revistas españolas de Psicología: un selfi en 2017