Peer reviewing

ISSN : 2174-7911 DECEMBER 2011 Second Issue VOLUME 1 • ISSUE2 Bilingual Journal Journal of the SISOB Project 40 PEER REVIEWING Inés Méndez REVISIÓN POR PARES Inés Méndez Image taken from http://www.juliencollinet.info María Inés Méndez (PhD) belongs to the DGITE team, where she works as a technical adviser in European Projects and is an Associate Professor in the Journalism Department at the University of Seville. She has experience as a member of coordinting staff in the European Projects, in which SGUIT is partner, for example ERASTAR Regions (Space Technologies Applications and Research for the regions and medium-sized countries), NEREUS (the Network of European Regions Using Space Technologies), CreaMED (Fostering Creativity and Innovation in the Mediterranean Area as key elements for Regional Sustainable Development: CreaMED Alliance). At the university, her main areas of research are scientifi c and technological communication and journalism of quality. She participated in communication and dissemination tasks in several technical European projects. María Inés Méndez (Dra.) pertenece al equipo DGITE, en el cual trabaja como consejero técnico en materia de proyectos euroopeos; asímismo es profesora asociada en el departamento de periodismo de la Universidad de Sevilla. Ha tomado parte en la coordinación de proyectos europeos, en la que SGUIT es socio, por ejemplo ERASTAR Regions (Aplicaciones para tecnologías espaciales e investigación para las regiones y países de mediano tamaño), NEREUS (la red para las regiones europeas utilizando tecnologías espaciales), Crea-MED (fomentando la creatividad y la innovación en el área del Mediterráneo como elemento clave para el desarrollo regional sostenible: Alianza CreaMED). En la universidad, sus principales áreas de investigación son la comunicación científi ca y tecnológica y el periodismo de calidad. Como investigadora universitaria, posee una interesante experiencia tomando parte en las tareas de comunicación y diseminación de diversos proyectos técnicos europeos. 40 41 When we use the term “Peer review” we refer to a method of determining the quality, credibility and scientifi c rigor of a written work or a funding application. Peer review is usually performed by several experts in the given fi eld. In academia, a publication qualifi es for publication if it has been favourably peer-reviewed. How is it done? Peer-review is the process of subjecting a work or an idea to the scrutiny of one or more experts in the given fi eld. They evaluate the work and suggest the ways of improving it. Then, they return the reviewed papers together with their comments and recommendations to the editor. Typically, most of the reviewers’ comments are eventually sent to the author(s). Reviewers usually propose one of the following: • Unconditional acceptance of a manuscript or a proposal. • Acceptance on condition that the author improves it in certain ways. • Rejection, but also encouragement to revise the manuscript and resubmit it. • Outright rejection. During the peer-review process, the role of reviewers is advisory and the editor does not have to accept their opinions. Although peer review may be very rigorous in terms of the quality of a given work, the fi nal decision lies with the editor and is subject to restrictions. Some of them have to do with limited funds and publication space. If that is the case, only a small number of manuscripts can be published. It may also happen that a journal has few highquality manuscripts to choose from and accepts a number of less impressive works on condition that their authors will improve their quality. Figure 1. Peer review (http://4. bp.blogspot.com). Generally speaking, peer-review has more critics than defenders. We should pay attention what the fi rst group has to say in order to make peer-review reliable and of high quality. Some sociologists of science claim that just a small number of people virtually control what is going to be published and their choices are often affected by their personal viewpoints. They are also critical of the fact that the well-established authors in a given fi eld tend to be regarded as the best reviewers as opposed to the less-established ones. As a result, novel and little-known lines of research often meet with reluctance from the most prestigious publishers (Thomas Kuhn‘s well-known observations regarding scientifi c revolutions). 41 42 Image taken from http://www.juliencollinet.info ¿Qué entendemos por Revisión por Pares o Peer Reviewing? Cuando hablamos de Peer Reviewing nos estamos refi riendo al método utilizado para validar trabajos escritos y solicitudes de fi nanciación con el fi n de medir su calidad, factibilidad, rigor científi co, etc. Realizado por un número de revisores con un rango y categoría similar a la del autor. En el ámbito científi co y académico, generalmente, sólo se considera válida una publicación científi ca cuando ha pasado por un proceso de revisión por pares. ¿Cuál es el procedimiento? La revisión por pares somete un trabajo o idea al escrutinio de uno o más expertos en el área. Estos árbitros responden con una evaluación del trabajo, que incluye sugerencias sobre cómo mejorarlo, la cual es enviada al editor u otro intermediario (típicamente, la mayoría de los comentarios de los árbitros son reenviados a los autores). Las opciones propuestas son generalmente las siguientes: • Aceptación incondicional del manuscrito o de la propuesta. • Aceptación sujeta a las mejoras propuestas por el árbitro. • Rechazo, animando a los autores a revisar el documento y someterlo a revisión nuevamente. • Rechazo incondicional. Durante el proceso de revisión, el papel de los árbitros es consultivo, y el editor no tiene obligación formal de se42 43 Image taken from http://www.juliencollinet.info Even though peer-review is supposed to guarantee high quality of the submitted papers, it is not uncommon to fi nd papers containing false results. Since reviewers assume that the submitted work is honest and professional, they may fail to address the fraud and such erroneous papers may still be published. This has to do with the real quality of scientifi c papers. If an author has had many of his papers published and his results are frequently cited by other researchers, journals will continue publishing his works independently of their quality. That is why many authors believe that this must change and the quality must always come fi rst. The-above mentioned critical voices show what peer review should be like. It is not just about an expert revising a paper so that it can be published in a high-impact journal. Peer review is a process that affects authors’ academic and research careers. The paper’s quality, impact and innovation must be 43 44 guir la opinión de los árbitros. Aun cuando la revisión por pares puede ser muy rigurosa en términos de las cualidades de un trabajo, la decisión de publicar o de fi nanciar un trabajo recae al fi nal sobre el editor y está sometida a algunas restricciones. Algunas de estas restricciones pueden venir de la mano, generalmente del espacio y el presupuesto, es decir si el espacio para publicar los trabajos es limitado (como por ejemplo en las conferencias científi cas) o buen una gran diferencia entre las solicitudes de fi nanciación y las propuestas presentadas. De forma contraria, puede ocurrir que una publicación no haya recibido sufi cientes trabajos claramente publicables y decida aceptar un mayor número de trabajos con aceptación condicionada. Figura 1. Proceso de revisión por pares (http://4.bp.blogspot.com). Críticas a la revisión por pares: Cuando se realiza una evaluación de la revisión por pares, son pocas las críticas favorables existentes en los foros de investigadores y tecnólogos. Generalmente el la vision que el sistema tiene de este procedimiento ha evolucionado con el tiempo, contando casi con más detractores que defensores. Debemos hacernos eco de los primeros para poder garantiza unos procesos realmente fi ables y con garantías de calidad. Algunos autores vinculados a la Sociología de la Ciencia y la Tecnología se refi eren al control y al poder que unos pocos expertos ejercen sobre la producción que fi nalmente será publicada. Control que, en ocasiones, suele venir aparejado a las preferencias de los evaluadores sobre las conclusiones presentadas por los autores de los textos. Por otra parte, también critican el poder y la infl uencia que ejerce el prestigio y el reconocimiento de los autores dentro de su área ( autores que al mismo tiempo suelen ser evaluadores en otras revistas) a la hora de valorar favorablemente un texto, frente a otro procedente de un investigador novel. En este último caso, la novedad y las nuevas líneas de trabajo suelen encontrar grandes reticencias en las publicaciones consagradas (observaciones de Thomas Kuhn sobre las revoluciones científi cas.) Otros autores hablan de que, pese a las supuestas garantías de calidad que presenta la revisión por pares, es fácil encontrar ejemplos de falsifi cación de los resultados de impacto de los autores que, al no ser contrastados por los evaluadores, hacen que trabajos con, no excesiva calidad, superen los fi ltros más exigentes. 44 45 evaluated independently of the author’s prestige or his publications’ citation indices. There is no doubt that peer review is indispensable given the amount of scientifi c results that are being produced and the need to disseminate them. However, it must favour quality and innovativeness if it is to contribute to the progress of science and technology. 45 46 Este aspecto está, como se ha comentado, relacionado con la calidad real de los trabajos. Directa o indirectamente, cuando un autor muestra unos índices de citación y un volumen de publicaciones alto, suelen ser aceptados los trabajos que se presentan independientemente de la calidad de los mismos. Desgraciadamente, son muchos los sistemas científi cos que premian el volumen de publicaciones frente a la calidad de la misma. Por tanto, muchos autores defi enden un cambio en cuanto a la valoración de determinados índices curriculares, primando la calidad frente a la calidad. Estos análisis nos muestran la importancia real de la revisión por pares, no se trata simplemente de la revisión de un texto por un experto que aporta comentarios y sugerencias a los autores para mejorar una publicación que aparecerá en una revista de impacto. Se trata de un proceso altamente delicado que va a afectar a corto, medio y largo plazo a la evolución y desarrollo de la vida académica e investigadora de los autores que se someten al mismo. Los criterios e indicios de calidad, impacto e innovación deben ser, ante todo, los más importantes a la hora de evaluar positiva o negativamente un trabajo, independientemente del reconocido prestigio del autor, los índices de citación y publicación , etc. Es incuestionable que se ha hecho necesaria e imprescindible la revisión por pares, habida cuenta de la cantidad de textos y trabajos que se generan y que precisan la diseminación de calidad que garantizan las revistas de prestigio, pero esta revisión no debe obviar nunca aspectos tan básicos como la calidad y la novedad para hacer progresar la ciencia y la innovación de cualquier Sistema de I+D+i. 46