La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica

93 La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica Raimundo AGUAYO ESTREMERA Universidad de Granada (España) Resumen La investigación en Psicología se caracteriza por hacer uso del método científico, sobre todo el hipotético-deductivo. Recientemente se han publicado varios trabajos que muestran las dificultades con las que los psicólogos se encuentran a la hora de investigar. Algunas de ellas son la diversidad de modelos teóricos, la ausencia de estudios de replicación, los errores en el diseño, la alta tasa de falsos positivos, las prácticas inadecuadas de análisis de datos y la lentitud e ineficacia de la transmisión del conocimiento científico. En este trabajo, mediante una revisión narrativa, se pretende reflexionar de manera crítica sobre la ocurrencia de estos problemas en el campo de la Psicología de la Salud Ocupacional, en concreto, el síndrome de burnout. Se aportan evidencias de que algunos problemas mencionados a nivel general coinciden con los de este campo. Finalmente se discuten estos resultados. Abstract Research in Psychology is characterised by using the scientific method, specifically the hypothetico-deductive model. Recently, several authors have shown some of the problems that psychologists face when conducting research. For instance, a wide variety of theoretical models, lack of replication studies, study design errors, high rate of false positive, inappropriate data analysis practices and ineffective and slow scientific knowledge transmission. Through a narrative review, this study aims to critically analyse the occurrence of these problems in the field of Occupational Health Psychology, particularly regarding the burnout syndrome. Evidence suggests that some problems mentioned at a general level coincide with those in this field. Finally, these results are discussed. Dirección del autor: Facultad de Psicología. Campus Cartuja, s/n. 18071 Granada. Correo electrónico: [email protected]. Recibido: diciembre de 2017. Aceptado: marzo de 2018. La investigación en Psicología se caracteriza por hacer uso del método científico, sobre todo el hipotético-deducti- vo. Dicho método se define por una serie de pasos ordenados y convenidos por los científicos, que se pueden agrupar en tres niveles clásicos: teórico-conceptual, técnico-metodo- lógico y estadístico-analítico (Arnau, 1990). Desde hace algunos años se están publicando trabajos que advierten que los psicólogos están contraviniendo estas normas acordadas, con las que se sentaron las bases de la investigación científica actual. Sin ánimo de exhaustividad, se pueden citar algunos ejemplos recientes de estas críticas en Psicología, por ejemplo, los especiales publicados en 2012 de las revistas Perspectives on Psychological Science, sobre el grado de replicabilidad de las investigaciones, y Studies in History and Philosophy of Biological and Biomedical Sciences, sobre las sucesivas crisis. A estos especiales se suman otros trabajos, mencionados más abajo, que analizan las prácticas actuales de investigación en Psicología. A continuación se indican brevemente la mayoría de las críticas mencionadas por estos autores, agrupadas en los tres niveles anteriormente mencionados. Se puede consultar un resumen más amplio en castellano en el trabajo que publican García-Garzón, Lecuona y Carbajal en este mismo monográfico (García-Garzón, Lecuona y Carvajal, 2018). En el nivel teórico-conceptual, se ha hecho notar que existen demasiados modelos teóricos vigentes (Ferguson y Heene, 2012; Lilienfeld, 2012; Pashler y Harris, 2012), que las investigaciones no se basan en teorías sólidas o que predomina la confusión conceptual (Beller y Bender, 2017; Francis, 2012; LeBel y Peters, 2011; Nosek, Spies y Motyl, 2012; Schmidt, 2010), que los paradigmas de investigación son demasiado individualistas y positivistas (Faye, 2012; Parker, 1989) y que no se realizan suficientes replicaciones o que los métodos con que se hacen no son adecuados (Makel, Plucker y Hegarty, 2012; Nosek et al., 2012; Pashler y Harris, 2012). Apuntes de Psicología Colegio Oficial de Psicología de Andalucía Occidental, 2018, Vol. 36, número 1-2, págs. 93-100. Universidad de Cádiz, Universidad de Córdoba, ISSN 0213-3334 Universidad de Huelva, Universidad de Sevilla 94 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 93-100. En el nivel técnico-metodológico, se ha puesto en cuestión el abuso del método experimental (Faye, 2012; Klein, Doyen, Leys, Magalhaes, Miller, Questienne y Cleeremans, 2012), de la estrategia exploratoria (Pashler y Harris, 2012), el mal uso de la estrategia confirmatoria (Nosek et al., 2012; Wagenmakers, Wetzels, Borsboom y van der Maas,2012), el número elevado de investigadores aislados que estudian fenómenos similares (Ioanidis, 2005; Nosek et al., 2012), los errores en la puesta en práctica de los procedimientos experimentales (Fernández-García, Vallejo-Seco, Livacic-Rojas y Tuero-Herrero, 2014; Klein, Doyen, Leys et al., 2012) y la ausencia de instrumentos de medida con buenas propiedades psicométricas (LeBel y Peters, 2011). En el nivel estadístico-analítico, se ha criticado la alta tasa de errores tipo I y II (Fiedler, Kutzner y Krueger, 2012; Ioannidis, 2005; Simmons, Nelson y Simonsohn, 2011), la baja potencia estadística (Fiedler et al., 2012; Ioannidis, 2012), los errores en la interpretación de los resultados estadísticos (Badenes-Ribera, Frías-Navarro, Monterde-i-Bort y Pascual-Soler, 2015; Bakker y Wicherts, 2011; Caperos y Pardo, 2013) y las prácticas inadecuadas de análisis de datos, como abusar de contrastes independientes, practicar la pesca de p-valores, eliminar outliers, recabar participantes hasta obtener resultados significativos, elegir a conveniencia la variable dependiente, usar covariables innecesariamente, eliminar condiciones del diseño experimental, seleccionar los casos más convenientes a la hipótesis del investigador, usar un tamaño muestral excesivamente grande o pequeño, dividir la muestra en pequeños grupos y obviar los tamaños del efecto y los intervalos de confianza (Bakker, Dijk y Wicherts, 2012; Fanelli, 2010; Fieldler, 2011; Giner-Sorolla, 2012; Ioannidis, 2005; John, Loewenstein y Prelec, 2012; Nosek et al., 2012; Schmidt, 2010; Simmons, Nelson y Simonsohn, 2011; Simonsohn, 2012). Además de estas críticas, otros autores se han preocupado por reflexionar sobre las maneras actuales que usan los psicólogos para comunicar sus hallazgos al resto de la comunidad científica. En los especiales de las revistas Psychological Inquiry, publicado en 2012, y Teknokultura en 2017 se pueden consultar algunas de las dificultades que existen en este último paso del método científico. En concreto, Nosek y Bar-Anan (2012) destacan cinco problemas comunicativos: (a) ausencia, debido al sesgo de publicación; (b) ineficacia, ocasionado por la falta de claridad en la descripción de los procedimientos; (c) imprecisión, por errores aleatorios; (d) lentitud, debido al actual sistema de publicación; y (e) inalterabilidad, en referencia a que una vez publicado el artículo queda sin la posibilidad de cambio, aunque contenga errores. Cabe reseñar que estas actividades científicas de transmisión de conocimientos no quedan recogidas en los tres niveles clásicos (Arnau, 1990). No obstante, debido a que es una característica fundamental del método científico y supone una parte importante de la labor del investigador actual, la difusión de los hallazgos científicos podría considerarse su cuarto nivel: el comunicativo. Síndrome de burnout En el campo de la Psicología de la Salud Ocupacional, el síndrome de burnout es un tema que ha tenido un gran auge investigativo. Según una búsqueda en Proquest (término “burnout”, sin truncamientos, realizada en diciembre de 2017), desde 1970 los estudios sobre el síndrome han ido en aumento hasta llegar a más de 160.000 trabajos. Al igual que en otros ámbitos de la Psicología se han identificado varias prácticas inadecuadas de investigación, es probable que se estén reproduciendo en el campo del síndrome de burnout. Sin embargo, no existe hasta la fecha ningún estudio que analice este tema. En este trabajo no se pretende hacer una descripción exhaustiva de cada una de esas prácticas inadecuadas, sino más bien reflexionar de forma crítica sobre su ocurrencia. Para ello, se han realizado búsquedas intencionales de artículos empíricos y de revisión teórica (narrativa, sistemática y meta-análisis), así como de libros clásicos. Tomando como punto de partida los pasos del método científico, agrupados en los tres niveles clásicos más el comunicativo, el objetivo del presente estudio de revisión narrativa (Ato, López y Benavente, 2013) es reflexionar sobre si los problemas antes mencionados están ocurriendo en el campo del síndrome de burnout. En la tabla 1 se puede ver un resumen de las prácticas cuestionables y errores de investigación según los niveles metodológicos en el área del burnout. A nivel teórico-con- ceptual, parece que la mayoría de las cuestiones planteadas previamente tienen lugar en este ámbito. Por ejemplo, en el estudio del síndrome de burnout se dispone de diversos modelos explicativos (por ejemplo, Edelwich y Brodsky, 1980; Gil-Monte, 2005; Golembiewski, Munzenrider y Stevenson 1986a; Leiter, 1993; Maslach y Jackson, 1981b), sin embargo, hay pocos estudios cuyo objetivo sea testar su validez comparativamente. Los investigadores suelen partir del modelo de Maslach y Jackson (1981b), aunque sin identificar un motivo demasiado claro aparte de ser el más utilizado tradicionalmente. Además, dicho modelo es frecuentemente alterado en las definiciones operativas de los instrumentos de evaluación, por ejemplo, eliminando ítems (Olivares y Gil-Monte, 2009). Esta práctica resulta aún más problemática cuando se piensa que este modelo fue elaborado en base a una lógica más empírica que teórica, utilizando la técnica del análisis factorial. A pesar de que han pasado más de 40 años de investigación, sigue sin haber un marco teórico sólido para explicar el síndrome, tanto a nivel de este modelo específico (aparición temporal de sus tres componentes) como a nivel general (relación entre el burnout y otros constructos) (Schaufeli y Buunk, 2003). Quizá por ello, actualmente se siguen señalado problemas para discriminar el burnout de otros constructos como la depresión, la fatiga, el estrés o la extenuación emocional (Ahola y Hakanen, 2014; Bakusic, Schaufeli, Claes y Godderis, 2017; Bianchi, Schonfeld y Laurent, 2015; Van Dam, 2016). R. Aguayo Estremera La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 93-100. 95 Tabla 1. Resumen de prácticas cuestionables y errores de investigación. Nivel metodológico Prácticas Teórico-conceptual Diversidad de modelos teóricos Predominancia de la lógica positivista Individualismo psicologicista Ausencia de estudios de replicación Técnico-metodológico Abuso del método asociativo y selectivo Abuso de la estrategia exploratoria Uso inapropiado de la estrategia confirmatoria Investigación parcelada y aislada Diseños inadecuados Estadístico-analítico Elevada tasa de error tipo I y tipo II Prácticas cuestionables de investigación Errores de interpretación de los resultados Comunicativo Ausencia y lentitud Ineficacia e imprecisión Inalterabilidad La predominancia de la lógica empirista o positivista es otra cuestión que parece tomar forma en la investigación sobre el síndrome de burnout. A pesar de que los métodos cualitativos no son incompatibles con los cuantitativos y de que son útiles en la descripción de fenómenos complejos, la gran mayoría de trabajos sobre burnout han sido de naturaleza cuantitativa, por lo menos hasta la década de 2010 (Gil-Monte y Moreno-Jiménez, 2007). Otro aspecto que también se reproduce en este campo es el individualismo psicologicista. Según Leiter y Maslach (2014), el síndrome de burnout se ha descrito y definido en términos de experiencias personales (cansancio, cinismo e ineficacia). Esto ha podido favorecer que tanto modelos explicativos como intervenciones se centren en factores individuales antes que en sociales u organizacionales, coincidiendo así con los valores actuales de las sociedades occidentales, que propugnan que las personas son las únicas responsables de sus resultados y priman el éxito individual. Aunque se han desarrollado modelos explicativos de tipo organizacional (por ejemplo, el de Golembiewski, Munzenrider y Stevenson, 1986b), una visión individualista del síndrome de burnout favorece el olvido del papel que juegan los actores sociales (no solamente organizacionales, sino también económicos, políticos, sindicales, etc.) tanto en su explicación como en su tratamiento. En cuanto a los estudios de replicación, parece que el interés suscitado es escaso ya que se encuentran muy pocos trabajos que aborden el tema, sin distinguir siquiera entre replicación directa o conceptual. Una búsqueda en la WoS (diciembre de 2017) arroja tan solo 17 documentos en cuyo título aparece el término “replicat*” junto con “burnout” (frente a más de 10.000 documentos en los que aparece solo “burnout”). En Proquest, la primera búsqueda arroja 52 documentos (frente a más de 23.000 de la segunda). A nivel técnico-metodológico existen algunas diferencias entre las críticas generales y lo que se pueden observar en el ámbito del burnout. En este último no ha existido un sobreuso del método experimental. En este caso, los investigadores parecen haber abusado del método asociativo y de encuestas (Ahola y Hakanen, 2014), utilizando preferentemente una estrategia exploratoria. Por ejemplo, una aproximación común es la de identificar factores de riesgo que favorezcan el desarrollo del síndrome. Algunos investigadores hipotetizan estos riesgos a partir de deducciones teóricas, pero otros parecen hacerlo en base a resultados empíricos previos o seleccionando un amplio rango de variables. Esto último es especialmente peligroso cuando a los resultados basados en análisis de tipo exploratorio se le otorgan características propias de resultados provenientes de análisis confirmatorios (Wagenmakers et al., 2012). El uso inapropiado de la estrategia confirmatoria se ve plasmado en este caso en los estudios de validación del Maslach Burnout Inventory (MBI; Maslach y Jackson, 1981a), que es el instrumento más usado para evaluar el síndrome (Schaufeli y Taris, 2013). Así, en la revisión de Worley et al. (2008) se observa que en la mayoría de los estudios de análisis factorial confirmatorio, los investigadores eliminan los ítems o los dejan cargar en varias dimensiones para mejorar el ajuste global. Al hacer estos cambios se pasa de una estrategia confirmatoria a otra exploratoria (Asparouhov y Multhen, 2009). Además, en la línea de lo indicado de manera general por LeBel y Peters (2011), varios autores han señalado los problemas psicométricos de las distintas versiones y adaptaciones de este cuestionario, como baja fiabilidad, estructura factorial cuestionable, ambigüedad de algunos ítems, falta de validez discriminante y ausencia de baremos para el diagnóstico clínico (por ejemplo, Aguayo, Vargas, De la Fuente y Lozano, 2011; Olivares y Gil-Monte, 2009; Squires,Finlayson, Gerchowet al., 2014; Wheeler, Vassar, Worley y Barnes, 2011). De la crítica vertida sobre la gran cantidad de investigadores aislados que trabajan en problemas científicos similares (Ioannidis, 2005; Nosek et al., 2012), se puede decir que el estudio del burnout se ha globalizado (Maslach y Leiter, 2014; Schaufeli et al., 2009). Sin embargo, dicha globalización parece no haber facilitado la colaboración entre investigadores ni la integración de conocimientos. Esto se puede notar valorando la situación actual de tres diferentes formas: estudios meta-analíticos, transculturales y espacios de debate (tales como revistas especializadas y congresos). En cuanto a los dos primeros, no parecen existir demasiados estudios de este tipo. De acuerdo a R. Aguayo Estremera La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica 96 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 93-100. sendas búsquedas en Proquest, sólo hay 139 meta-análisis (términos “burnout” y “meta-analy*”, en título, sin truncamientos) y 37 estudios transculturales (términos “burnout” y “cross-cultural”, en título, sin truncamientos), aunque la tendencia es ascendente. En cuanto a los foros de debate, hasta la fundación de Burnout Research en 2014 no existía una revista internacional especializada en el síndrome y, hasta el conocimiento del autor, no se celebran congresos internacionales especializados. Debido al sobreuso de la encuesta, en el ámbito del burnout las críticas sobre los procedimientos experimentales se transforman principalmente en críticas sobre los errores en el diseño de la recogida de información. De acuerdo con varias revisiones sistemáticas y meta-análi- sis (Aguayo et al., 2011; Aguayo Vargas, Cañadas y De la Fuente, 2017; Aguayo, Marín y García, en revisión; Albendín, Gómez, Cañadas-De la Fuente et al., 2016; Gómez-Urquiza, Monsalve-Reyes, San Luis-Costas et al., 2016; Vargas, Cañadas, Aguayo et al., 2014), la mayoría de los estudios que abordan el síndrome son transversales, tienen muestras medianas o pequeñas, emplean muestreos no probabilísticos e informan de bajas tasas de respuesta. Además, en muchos estudios no se indican las hipótesis y en prácticamente ninguno se informa de la realización de estudios de potencia o del error muestral asumido para determinar el tamaño de la muestra. A nivel estadístico-analítico no hay estudios en el campo del burnout, hasta el conocimiento del autor, que analicen las cuestiones que se han planteado a nivel general. No obstante, vistos cuáles son los problemas citados y sus causas, se pueden observar indicios que no permiten descartar que no estén ocurriendo en este campo. Quizá el principal problema mencionado a este nivel es la alta tasa de error tipo I, que ha llevado incluso a afirmar que la mayoría de las conclusiones en Psicología son falsas (Ioannidis, 2005). Por una parte, según Simmons et al. (2012), la gran cantidad de falsos positivos se debe principalmente a lo que denominan “grados de libertad del investigador”, que está relacionado con el número de alternativas que tienen los investigadores para conseguir que sus resultados sean estadísticamente significativos. Estos grados de libertad, que John, Loewenstein y Prelec (2012) llaman “prácticas cuestionables de investigación” (PCI), se concretan en acciones como abusar de contrastes independientes, cambiar la hipótesis una vez conocidos los resultados, publicar sólo los resultados significativos, practicar la pesca de p-valores, eliminar outliers y el resto arriba mencionadas. En el campo del burnout, hay varios estudios que muestran la presencia de algunas PCI, por ejemplo, baja potencia debida a pequeños tamaños muestrales, bajos tamaños del efecto y resultados exploratorios que son interpretados como confirmatorios (Aguayo et al., 2017; Gómez-Urquiza et al., 2016; Worley et al., 2008; Vargas et al., 2014). En todo caso, se desconoce la prevalencia exacta de las PCI en este ámbito, así como las de falsos positivos y falsos negativos. Por otra parte, según otros investigadores (entre ellos, Bakker, van Dijk y Wicherts, 2012; Ioannidis, 2005 y 2012; Nosek et al., 2012), existen más factores que también pueden observarse en el ámbito del burnout, por los que aumenta la tasa de falsos positivos: gran cantidad de definiciones para el mismo concepto, número elevado de equipos de investigación trabajando sobre los mismos temas, conflictos de interés provenientes de la necesidad de publicar en revistas de impacto, ausencia de información relevante en artículos, sesgo de confirmación y de publicación. Otro problema en este nivel es la tasa de error tipo II (Fiedler, Kutzner y Krueger, 2012). Algunos de los motivos que se citan son características que suelen aparecer habitualmente en los artículos que abordan el síndrome de burnout, por ejemplo, bajos tamaños muestrales y del efecto y uso de contrastes genéricos para poner a prueba hipótesis específicas. Con respecto al de análisis de datos, no existen estudios que analicen las PCI. No obstante, se ha observado que en general no se siguen las recomendaciones de la APA (Wilkinson y APA Task Force on Statistical Inference, 1999), por ejemplo, informar del error muestral, de la potencia observada, de la fiabilidad de las mediciones, de los tamaños del efecto y de los intervalos de confianza (Aguayo et al., 2011; Wheeler et al., 2011). En cuanto a la validación de instrumentos de medida, sobre todo el MBI por ser el más empleado, se ha constatado que en bastantes estudios de análisis factorial, tanto exploratorio como confirmatorio, los procedimientos utilizados son incorrectos: tamaño muestral, método de rotación y método de retención de factores, estimación de la fiabilidad, método de estimación de la matriz de correlaciones, uso de índices de ajuste, correlación de errores o eliminación de ítems para mejorar el ajuste (Worley et al., 2008). Tampoco hay estudios que analicen la frecuencia con que los investigadores en este campo cometen errores en la interpretación de los resultados estadísticos. No obstante, varios autores han informado de la ocurrencia de algunos errores de este tipo. Por ejemplo, se ha observado la presencia de errores en la interpretación del p-valor (Badenes-Ribera et al., 2015) y de inducción de la fiabilidad (Aguayo et al., 2011; Wheeler et al., 2011), una práctica no recomendada, que puede estar relacionada con una mala interpretación del concepto de fiabilidad (Sánchez-Meca y López-Pina, 2008). Finalmente a nivel comunicativo es probable que la investigación sobre el síndrome de burnout esté en un pun- to similar al resto de campos de la Psicología. En primer lugar, las revistas científicas son la herramienta principal de transmisión de conocimiento en este ámbito, al igual que en el resto (Nosek y Bar-Anan, 2012).De los 161.424 R. Aguayo Estremera La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 93-100. 97 documentos que arrojó la búsqueda en Proquest, el 40% están publicados en revistas científicas, el 33’5% son tesis doctorales, el 11’8% en revistas profesionales, el 1’8% son libros, ponencias y actas, el 10’2% están publicados en periódicos y revistas de tipo general y el 2’7% en otras fuentes (tales como, informes, blogs y documentos de trabajo). Además, muchas de las revistas en que se publica siguen el proceso de revisión por pares y cuentan con índice de impacto. En muchos casos estas revistas son de tipo multidisciplinar, por ejemplo Psychology Applied o Psychology Multidisciplinary; en otros casos, las revistas son del ámbito ocupacional y sanitario, por ejemplo, Nursing o Public Environmental Occupational Health. Así, las tasas de rechazo de las revistas en donde se publican estudios sobre burnout pueden estar entre el 70% y 90%, igual que en otros campos de Psicología (Nosek et al., 2012). Conjuntamente estos factores incrementan las dificultades de los psicólogos para comunicar sus hallazgos científicos. En segundo lugar, los investigadores del síndrome de burnout se encuentran en contextos laborales similares a los investigadores de otros ámbitos, principalmente, universidades y centros de investigación. Por tanto, al igual que sus compañeros de profesión, tienen una necesidad de publicar en revistas científicas con índice de impacto para obtener la tesis doctoral, acceder a un puesto de trabajo o ascender en su carrera laboral. En este sentido, se puede decir que existe una presión por publicar los resultados en revistas científicas de calidad, pero las características del sistema de publicación lo dificultan. Esta presión propicia el desarrollo de un contexto social y cultural favorable a un tipo de investigación científica determinada, que queda reflejada en el popular eslogan “publisih or perish”. Mensajes como este parecen sugerir que el “premio” de una buena investigación es la publicación en una revista de calidad, más allá de cómo se haya realizado dicha investigación, de los propios hallazgos o su impacto social. Debido a esta similitud de condiciones académicas y de trabajo, es probable que también en el nivel comunicativo estén presentes problemas parecidos a los apuntados de manera general, por ejemplo, comunicación lenta o insuficiente, ausencia de comunicación, sesgo de publicación, falta de transparencia en la revisión por pares y en los informes de investigación y difícil acceso a estudios sin publicar (como señalan Moneyham, Franklin, Mrazek y Schooler, 2012; Nosek y Bar-Anan, 2012; Nosek et al., 2012). Conclusiones Las apelaciones a los problemas metodológicos de la investigación en Psicología no son nuevas. A partir de 1970 varios autores empezaron a cuestionar diversos aspectos, entre otros, la preponderancia del paradigma experimental y la validez de sus procedimientos, la relevancia de los hallazgos psicológicos y el reduccionismo individualista (Faye, 2012). Desde hace algunos años se están publicando trabajos que vuelven a preocuparse por estos mismos problemas metodológicos, a los que se suman nuevos propios de esta época (como es la comunicación de los hallazgos científicos). En este trabajo se muestran algunas evidencias de que, al igual que en otros campos de la Psicología, los investigadores especializados en el síndrome de burnout no están transitando por el mejor camino. Se han puesto ejemplos de prácticas inadecuadas o errores que se cometen en todos los pasos del método científico, desde el nivel teórico-conceptual hasta el comunicativo. Por ejemplo, la existencia de un amplio conjunto de definiciones de burnout, la ausencia de estudios de replicación, el uso inadecuado de la estrategia confirmatoria en la validación de instrumentos de medida, algunos errores en el diseño de las investigaciones, el abuso de la técnica de encuestas, algunas prácticas cuestionables de investigación y varios problemas en la difusión de los hallazgos científicos. Este conjunto de circunstancias puede despertar interrogantes sobre la calidad metodológica de algunos estudios que tratan el síndrome de burnout, así como de la validez de sus resultados y conclusiones. Sin embargo, con este trabajo no se pretende concluir que todos, ni siquiera la mayoría, de los resultados dentro de este campo, carezcan de validez o de importancia. Las conclusiones que se derivan de este trabajo son tentativas. En muchos casos se desconoce la frecuencia de estos errores y malas prácticas, y la bibliografía utilizada aquí ha sido recabada intencionalmente y sin ánimo de exhaustividad. El objetivo del presente trabajo es poner de relieve algunos problemas científicos actuales aplicados al estudio del síndrome de burnout. Con ello, se quiere, fundamentalmente, contribuir a un cambio de actitud: de una acrítica y permisiva con cualquier manera de hacer investigación, a otra en la que, a través de la crítica y autocrítica, se haga más riguroso y transparente el proceso de investigación científica. Las acciones a realizar para retomar con fuerza el camino de la rigurosidad y la transparencia quedan fuera del alcance del presente estudio. Sin embargo, se puede consultar un resumen, tanto de los problemas como de las posibles soluciones, en otros trabajos (véase Chambers, 2017; García-Garzón, Lecuona y Carbajal, 2018). Para concluir, se espera que los problemas que se han identificado en este trabajo proporcionen un punto de partida para investigar sobre ellos con mayor detenimiento y profundidad, utilizando métodos que permitan obtener mejores evidencias. En definitiva, se pretende ayudar a fomentar un debate que ya está en marcha en varios campos científicos, y a abrir nuevas vías de investigación, cuyos resultados pueden resultar esclarecedores en muchos aspectos para el estudio del síndrome de burnout. R. Aguayo Estremera La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica 98 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 93-100. Referencias Aguayo, R., Marín, M.D. y García, M. (en revisión). Burnout syndrome in secondary school teachers: a systematic review and meta-analysis. Social Psychology of Education. Aguayo, R., Vargas, C., Cañadas, G.R. y De la Fuente, E.I. (2017). Are socio-demographic factors associated to the Maslach Burnout Inventory dimensions in police officers? A correlational meta-analysis. Anales de Psicología, 33, 383-392 [DOI: 10.6018/ analesps.33.2.260391]. Aguayo, R., Vargas, C., De la Fuente, E.I. y Lozano, L.M. (2011). A meta-analytic reliability generalization study of the Maslach Burnout Inventory. International Journal of Clinical and Health Psychology, 11, 343-631. Ahola, K. y Hakanen, J. (2014). Burnout and health. En M.P. Leiter, A.B. Bakker y C. Maslach (Eds.), Burnout at Work: A psychological perspective. East Sussex: Psychology Press. Albendín, L., Gómez, J.L., Cañadas-De la Fuente, G.A., Cañadas, G.R., San Luís, C. y Aguayo, R. (2016). Prevalencia bayesiana y niveles de burnout en enfermería de urgencias. Una revisión sistemática. Revista Latinoamericana de Psicología, 48 (2), 137-145 [DOI: 10.1016/j.rlp.2015.05.004]. Arnau, J. (1990). Diseños experimentales multivariables. Madrid: Alianza Editorial. Ato, M., López, J.J. y Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología, 29 (3), 1038-1059 [DOI: 10.6018/analesps.29.3.178511]. Badenes-Ribera, L., Frías-Navarro, D., Monterde-i-Bort, H. y Pascual-Soler, M. (2015). Interpretation of the p value: A national survey study in academic psychologists from Spain. Psicothema, 27 (3), 290-295 [DOI: 10.7334/psicothema2014.283]. Bakker, M., van Dijk, A. y Wicherts, J.M. (2012). The Rules of the Game Called Psychological Science. Perspectives on Psychological Science, 7 (6), 543-554 [DOI: 10.1177/1745691612459060]. Bakker, M. y Wicherts, J.M. (2011). The (mis)reporting of statistical results in psychology journals. Behavior Research Methods, 43, 666-678 [DOI: 10.3758/s13428- 011-0089-5]. Bakusic, J., Schaufeli, W., Claes, S. y Godderis, L. (2017). Stress, burnout and depression: A systematic review on DNA methylation mechanisms. Journal of Psychosomatic Research, 92, 34-44 [DOI: 10.1016/j. jpsychores.2016.11.005]. Beller, S. y Bender, A. (2017). Theory, the final frontier? A corpus-based analysis of the role of theory in psychological articles. Frontiers in Psychology, 8, 951-967 [DOI: 10.3389/fpsyg.2017.00951]. Bianchi, R., Schonfeld, I.S. y Laurent., E. (2015). Burnout-depression overlap: A review. Clinical Psychology Review, 36, 28-41 [DOI: 10.1016/j.cpr.2015.01.004]. Caperos, J.M. y Pardo, A. (2013). Consistency errors in p-values reported in Spanish psychology journals. Psicothema, 25 (3), 408-414 [DOI: 10.7334/psicothema2012.207]. Chambers, C. (2017). The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice. Londres: Princeton University Press. Edelwich, J. y Brodsky, A. (1980). Burn-out: Stages of disillusionment in the helping professions. Nueva York: Human Sciences Press. Fanelli, D. (2010). Do Pressures to Publish Increase Scientists’Bias? An Empirical Support from US States Data. PLoS ONE, 5 (4), e10271 [DOI: 10.1371/ journal. pone.0010271]. Faye, C. (2012). American social psychology: Examining the contours of the 1970s crisis. Studies in History and Philosophy of Biological and Biomedical Sciences, 43 (2), 514-521 [DOI: 10.1016/j.shpsc.2011.11.010]. Fiedler, K. (2011). Voodoo Correlations Are Everywhere - Not Only in Neuroscience. Perspectives on Psychological Science, 6 (2), 163-171 [DOI: 10.1177/1745691611400237]. Fiedler, K., Kutzner, F. y Krueger, J.I. (2012). The long way from α-error control to validity proper: Problems with a short-sighted false-positive debate. Perspectives on Psychological Science, 7 (6), 661- 669 [DOI: 10.1177/1745691612462587]. Ferguson, C.J. y Heene, M. (2012). A Vast Graveyard of Undead Theories: Publication Bias and Psychological Science’s Aversion to the Null. Perspectives on Psychological Science, 7 (6), 555-561 [DOI: 10.1177/1745691612459059]. Fernández-García, P., Vallejo-Seco, G., Livacic-Rojas, P.E. y Tuero-Herrero, E. (2014). Validez estructurada para una investigación cuasi-experimental de calidad. Se cumplen 50 años de la presentación en sociedad de los diseños cuasi-experimentales. Anales de Psicología, 30 (2), 756-771 [DOI: 10.6018/analesps.30.2.166911]. Francis, G. (2012). The Psychology of Replication and Replication in Psychology. Perspectives on Psychological Science, 7(6), 585-594 [DOI: 10.1177/1745691612459520]. García-Garzón, E., Lecuona, O. y Carbajal, G.V. (2018). Estudios de replicación, pre-registros y ciencia abierta en Psicología. Apuntes de Psicología, 36 (1-2), Gil-Monte, P.R. (2005). El síndrome de quemarse por el trabajo (burnout). Una enfermedad laboral en la sociedad del bienestar. Madrid: Pirámide. Gil-Monte, P.R. y Moreno-Jiménez, B. (2007). El síndrome de quemarse por el trabajo (burnout): grupos profesionales de riesgo. Madrid: Pirámide. R. Aguayo Estremera La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 93-100. 99 Giner-Sorolla, R. (2012). Will we march to utopia, or be dragged there? Past failures and future hopes for publishing our science. Psychological Inquiry. An International Journal for the Advancement of Psychological Theory, 23 (3), 263-266 [DOI: 10.1080/1047840X.2012.706506]. Golembiewski, R.T., Munzenrider, R.F. y Stevenson, J.G. (1986a). Phases of burnout: Developments in concepts and applications. Nueva York: Praeger. Golembiewski, R.T., Munzenrider, R. F. y Stevenson, J. G. (1986b). Stress in organizations: Toward a phase model of burnout. Nueva York: Praeger. Gómez-Urquiza, J.L., Monsalve-Reyes, C.S., San Luis-Cos- tas, C., Fernández-Castillo, R., Aguayo-Estremera, R. y Cañadas-de la Fuente, G.A. (2016). Factores de riesgo y niveles de burnout en enfermeras de atención primaria: una revisión sistemática. Atención Primaria, 49 (2), 77-85 [DOI: 10.1016/j.aprim.2016.05.004]. Ioannidis, J.P. (2005). Why most published research findings are false. PLoS Medicine, 2 (8), e124 [DOI: 10.1371/ journal.pmed.0020124]. Ioannidis, J.P. (2012). Scientific communication is down at the moment. Please check again later. Psychological Inquiry. An International Journal for the Advancement of Psychological Theory, 23 (3), 267-270 [DOI: 10.1080/1047840X.2012.699427]. John, L.K., Loewenstein, G. y Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science 23 (5) 524-532 [DOI: 10.1177/0956797611430953]. Klein, O., Doyen, S., Leys, C., Magalhaes, P.A., Miller, S., Questienne, L. y Cleeremans, A. (2012). Low Hopes, High Expectations: Expectancy Effects and the Replicability of Behavioral Experiments. Perspectives on Psychological Science 7 (6) 572-584 [DOI: 10.1177/1745691612463704]. LeBel, E.P. y Peters, K.R. (2011). Fearing the Future of Empirical Psychology: Bem’s (2011) Evidence of Psi as a Case Study of Deficiencies in Modal Research Practice. Review of General Psychology, 15 (4), 371- 379 [DOI: 1037/a0025172]. Leiter, M.P. (1993). Burnout as a developmental process: Consideration of models. En W. Schaufeli, C. Maslach y T. Marek (Eds.), Professional burnout: Recent developments in theory and research. Washington: Taylor & Francis. Leiter, M.P. y Maslach, C. (2014). Interventions to prevent and alleviate burnout. En M.P. Leiter, A.B. Bakker y C. Maslach (Eds.), Burnout at Work: A psychological perspective. East Sussex: Psychology Press. Lilienfeld, S.O. (2012). Scientific Utopia or Scientific Dystopia? Psychological Inquiry. An International Journal for the Advancement of Psychological Theory, 23 (3), 277-280 [DOI: 10.1080/1047840X.2012.704807]. Makel, M.C., Plucker, J.A. y Hegarty, B. (2012). Replications in Psychology Research: How Often do They Really Occur? Perspectives on Psychological Science, 7 (6), 537-542 [DOI: 10.1177/1745691612460688]. Maslach, C. y Jackson, S.E. (1981a). Maslach Burnout Inventory. Palo Alto, CA: Consulting Psychologists Press. Maslach, C. y Jackson, S.E. (1981b). The Measurement of Experienced Burnout. Journal of Organizational Behavior, 2, 99-113 [DOI: 10.1002/ job.4030020205]. Maslach, C. y Leiter, M.P. (2014). Editorial. Burnout Research, 1, 1-2. Mooneyham, B.W., Franklin, M.S., Mrazek, M.D. y Schooler, J.W. (2012). Modernizing Science: Comments on Nosek and Bar-Anan (2012), Psychological Inquiry. An International Journal for the Advancement of Psychological Theory, 23 (3), 281-284 [DOI: 10.1080/1047840X.2012.705246]. Nosek, B.A. y Bar-Anan, Y. (2012). Scientific Utopia: I. Opening Scientific Communication. Psychological Inquiry. An International Journal for the Advancement of Psychological Theory, 23(3), 217-243 [DOI: 10.1080/1047840X.2012.692215]. Nosek, B. A., Spies, J. R. y Motyl, M. (2012). Scientific utopia: II. Restructuring incentives and practices to promote truth over publishability. Perspectives on Psychological Science, 7 (6), 615-631 [DOI: 10.1177/1745691612459058]. Olivares, V.E. y Gil-Monte, P.R. (2009). Análisis de las principales fortalezas y debilidades del “Maslach Burnout Inventory” (MBI). Ciencia y Trabajo, 11 (33), 160-167. Parker, I. (1989). The Crisis in Modern Social Psychology -and How to End it. Londres: Taylor & Frances/ Routledge. Pashler, H. y Harris, C.R. (2012). Is the replicability crisis overblown? Three arguments examined. Perspectives on Psychological Science, 7 (6), 531-538 [DOI: 10.1177/1745691612463401]. Sánchez-Meca, J. y López-Pina, J.A. (2008). El enfoque meta-analítico de generalización de la fiabilidad. Acción Psicológica, 5 (2), 37-64 [DOI: 10.5944/ap.5.2.457]. Schaufeli, W.B. y Buunk, D. (2003). Burnout: An overview of 25 years of research and theorizing. En M.J. Schabracq, J.A.M. Vinnubst y C.L. Cooper (Eds.), The Handbook of Work and Health Psychology. West Sussex: John Wiley & Sons Ltd. Schmidt, F. (2010). Detecting and correcting the lies that data tell. Perspectives on Psychological Science, 5 (3), 233-242 [DOI: 10.1177/1745691610369339]. Simonsohn, U. (2012). It Does Not Follow: Evaluating the One-Off Publication Bias Critiques by Francis (2012a, 2012b, 2012c, 2012d, 2012e, in press). Perspectives on Psychological Science, 7 (6), 597-599 [DOI: 10.1177/1745691612463399]. R. Aguayo Estremera La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica 100 Apuntes de Psicología, 2018, Vol. 36, número 1-2, págs. 93-100. Simmons, J.P., Nelson, L.D. y Simonsohn, U. (2011). False-Positive Psychology. Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22 (11), 1359-1366 [DOI: 10.1177/0956797611417632]. Squires, A., Finlayson, C., Gerchow, L., Cimiotti, J. P., Matthews, A., Schwendimann, R. [...] y Sermeus, W. (2014). Methodological considerations when translating “burnout”. Burnout Research, 1 (2), 59-68 [DOI: 10.1016/j.burn.2014.07.001]. Van Dam, A. (2016). Subgroup Analysis in Burnout: Relations Between Fatigue, Anxiety, and Depression. Frontiers in Psychology, 7, 90 [DOI:10.3389/ fpsyg.2016.00090]. Vargas, C., Cañadas, G.A., Aguayo, R., Fernández, R. y De la Fuente, E.I. (2014). Which occupational risk factors are associated with burnout in nursing? A meta-analytic study. International Journal of Clinical and Health Psychology, 14 (1), 28-38 [DOI: 10.1016/ S1697-2600(14)70034-1]. Wagenmakers, E.J., Wetzels, R., Borsboom, D. y van der Maas, H.L.J. (2011). Why psychologists must change the way they analyze their data: The case of Psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100 (3), 426-432 [DOI: 10.1037/a0022790]. Wheeler, D.L., Vassar, M., Worley, J. A. y Barnes, L.L. (2011). A reliability generalization meta-analysis of coefficient alpha for the Maslach Burnout Inventory. Educational and Psychological Measurement, 71 (1), 231-244 [DOI: 10.1177/0013164410391579]. Wilkinson, L. y APA Task Force on Statistical Inference. (1999). Statistical Methods in Psychology Journal: Guidelines and Explanations. American Psychologist, 54 (8), 594-604 [DOI: 10.1037/0003-066X.54.8.594]. Worley, J.A., Vassar, M., Wheeler, D.L. y Barnes, L.L. (2008). Factor structure of scores from the Maslach Burnout Inventory: A review and meta-analysis of 45 exploratory and confirmatory factor-analytic studies. Educational and Psychological Measurement, 68 (5), 797-823 [DOI: 10.1177/0013164408315268]. R. Aguayo Estremera La investigación en el síndrome de burnout: reflexión crítica desde una perspectiva metodológica