incidencia de los mixed methods en comunicación humana: rigor en la integración cualitativo-cuantitativo

M. Teresa Anguera Facultad de Psicología Universidad de Barcelona INCIDENCIA DE LOS MIXED METHODS EN COMUNICACIÓN HUMANA: RIGOR EN LA INTEGRACIÓN CUALITATIVO-CUANTITATIVO UNIVERSIDAD DE MÁLAGA FACULTAD DE PSICOLOGÍA 25 Noviembre 2016 EIXOS BÀSICS DE LA COMUNICACIÓ METGE-PACIENT (1) Importante crecimiento de la literatura científica sobre el tema En muchas de las situaciones de interacción social (enfermos hospitalizados, formación de padres, régimen penitenciario, situciones escolares de aprendizaje, centros de adicciones, etc.) se producen continuadamente actos comunicativos de muy diferentes tipos y formatos (que pueden ser interindividuales, de persona con grupo, entre grupos, etc.), y en todos ellos nos puede resultar interesante conocer mejor su continuidad, intensidad, fluidez, regularidad, espontaneidad, intereses, ejecución de roles, etc. La relación comunicativa entre diferentes agentes que tiene lugar en la vida cotidiana (reuniones periódicas de trabajo, interacción psicoterapeutapaciente, centros de enseñanza, contextos deportivos), ¿podemos ‘apresarla’?, ¿se produce una evolución determinada que conduce a su resolución? ¿cómo és dentro y fuera de un despacho / aula / hospital / cancha / etc.?, ¿y en grupos de trabajo/discusión?, ¿con qué límites?, ¿qué se mantiene?, ¿existen regularidades?, ¿...? EIXOS BÀSICS DE LA COMUNICACIÓ METGE-PACIENT (2) Ámbito pluridisciplinario y poliédrico Efecto ‘terapéutico’ para los implicados en un conflicto Programas de entrenamiento para conseguir medir y mejorar instrumentos específicos de comunicación Núcleo del flujo comunicativo Effective communication Puente entre la ”Psicología basada en la evidencia” y el trabajo con diferentes agentes relacionados con el trabajo profesional o investigador Relación colaborativa FLUJO COMUNICATIVO Comunicación eficaz Interdependencia continuada E-R  Secuencia de actos comunicativos “ESCUCHA ATENTA” INFORMACIÓN OBTENIDA DE LA REALIDAD MARCO TEÓRICO EJES BÁSICOS DE LA COMUNICACIÓN EN MEDIACIÓN BASE DE DATOS EJES BÁSICOS DE LA COMUNICACIÓN EJES BÁSICOS DE LA COMUNICACIÓN Facilitar el diálogo y crear condiciones para que se produzca Tratar de que se establezca una comunicación fluida Empatizar con las personas Promover una interacción positiva Compartir ideas Dar seguridad y confianza Registros de determinados episodios de conductas Reuniones individuales y/o colectivas de agentes implicados Foros de discusión entre personas de diferentes colectivos Informes diversos Reuniones periódicas específicas Autoinformes de profesionales Escritos de queja Hojas de vida Unobtrusive measures Etc. FUENTES DE INFORMACIÓN Durante décadas, los datos cualitativos se han hallado muy desprestigiados, en función de la predominancia de determinadas escuelas psicológicas En amplios colectivos de investigadores se consideraban datos ‘no científicos’, sin credibilidad para la investigación del comportamiento humano. En muchas situaciones del ámbito de la psicología clínica se obtiene material tipo visual y tipo texto, que puede aportar información muy rica si se trata adecuadamente. Desde el inicio del nuevo milenio, ha adquirido un elevado auge el planteamiento de los mixed methods, que ha repercutido muy positivamente. SÍNTESIS HISTÓRICA DE LOS DATOS CUALITATIVOS ABORDATGE METODOLÓGIC (3) Para llevar a cabo adecuadamente el estudio de la comunicación, resulta muy adecuada la metodología observacional por respetar la espontaneidad del comportamiento y los contextos habituales en los cuales se lleve a cabo. Se podrá diversificar y complementar. ABORDAJE METODOLÓGICO ABORDATGE METODOLÓGIC (3) Es especialmente idónea la diferenciación entre la observación directa (capturable por los órganos sensoriales) y la observación indirecta (material textual obtenido de forma oral o directamente como texto). En muchas ocasiones se recomienda su complementación. ABORDAJE METODOLÓGICO OBSERVACIÓN DIRECTA OBSERVACIÓN INDIRECTA PERCEPTIVIDAD TOTAL PERCEPTIVIDAD PARCIAL REGISTROS DIVERSOS: Básicamente imágenes grabadas videográficamente MATERIAL DOCUMENTAL: Textos originarios o grabaciones magnetofónicas (tratadas directamente o transcrites) ESTUDIO OBSERVACIONAL PROPIAMENTE DICHO (percepción visual) CONDUCTA ORAL Y ANÁLISIS DOCUMENTAL (entrevista en profundidad, grupo focal, diarios, whatsapps, etc.) METODOLOGÍA OBSERVACIONAL (DIRECTA E INDIRECTA) Consentimiento informado OBSERVACIÓN DIRECTA OBSERVACIÓN INDIRECTA ESTATUS METODOLÓGICO OBSERVACIÓN DIRECTA OBSERVACIÓN INDIRECTA Comportamiento espontáneo Contexto habitual Conductas perceptibles (canal visual o auditivo) Grabación videográfica (cumpliendo los requisitos éticos) Instrumento construido ad hoc (a medida) Grado bajo de control interno (intrusividad) Textos (origen documental en diferentes formatos o transcripción de conducta oral) Perceptividad parcial Grabación magnetofónica Instrumento construido ad hoc (a medida) Exige refuerzo en control de calidad del dato por mayor riesgo de subjetividad Grado bajo de control interno (intrusividad) FORMAS INICIALES DE LA OBSERVACIÓN INDIRECTA FORMA ORAL FORMA DOCUMENTAL TRANSCRIPCIÓN TEXTO ANÁLISIS DEL TEXTO ANÁLISIS DEL TEXTO OBSERVACIÓN INDIRECTA Registro y codificación LINCE MOTS SDIS-GSEQ HOISAN EXCEL Etc. THÈME HOISAN SDIS-GSEQ STATGRAPHICS SPSS EXCEL Etc. Instrumento de observación Parcela de realidad a observar Diseño observacional Relación de códigos (de SC, de FC o de FC/SC) Instrumento “ad hoc” Instrumento de registro Instrumento de análisis DIAGRAMA DEL PROCESO METODOLÓGICO SDIS-GSEQ HOISAN LINCE GT Etc. Control de calidad del dato Instrumento de control de calidad del dato Análisis de datos Interpretación de resultados CUALITATIVA MACRO-ETAPAS DE LA METODOLOGÍA OBSERVACIONAL: Perspectiva mixed methods CUANTITATIVA CUALITATIVA Delimitación del problema Estudio exploratorio Diseño observacional Registro descriptivo Construcción de instrumento ad hoc Codificación Muestreo observacional Control de calidad del dato Análisis de datos Interpretación de resultados Propuesta de nuevo problema Extracción de parámetros del registro Quantitizing En función del marco teórico de referencia en el ámbito de la comunicación, y tanto en OBSERVACIÓN DIRECTA como INDIRECTA, se deberán plantear las dimensiones o niveles de respuesta en las que se apoye cada estudio (y posible desplegamiento en subdimensiones) DECISIÓN ACERCA DE LAS DIMENSIONES O NIVELES DE RESPUESTA A Conducta verbal B Conducta proxémica C Conducta no verbal D Conducta vocal Ejemplo de niveles de respuesta en la comunicación humana (Weick, 1968, 1985) C1 Expresiones faciales C2 Conducta gestual C3 Conducta postural ABORDATGE METODOLÓGIC (4) Flujo de conducta comunicativa Los niveles de respuesta han de ser congruentes con el marco teórico, y pueden extraerse de la literatura científica o proponerlos ‘ex novo’ de manera argumentada. ABORDAJE METODOLÓGICO Diversos niveles de respuesta Weick, K.E. (1968, 1985). Systematic observational methods. In G. Lindzey & E. Aronson (Eds.), Handbook of Social Psychology (Vol. I). Reading, Mass.: Addison-Wesley. Combinación entre Formatos de campo y Sistemas de categorías (2) G1 G2 G3 G4 G5 G6 G1A G2A G31 G41 G51 G61 G1B G2B G32 G42 G52 G62 G1C G2C G33 G43 G53 G63 G1D G2D G34 G44 G54 G64 G2E G35 G45 G55 G2F G46 G56 G47 G57 G48 G58 G59 Esquema de instrumento que combina FORMATO DE CAMPO y SISTEMAS DE CATEGORÍAS G1={G1A, G1B, G1C, G1D} G5={G51, G52, G53, G54, G55, G56, G57, G58, G59} G6={G61, G62, G63, G64} Catálogos de conductas E/ME … … … E/ME Sistemas de categorías Combinación entre Formatos de campo y Sistemas de categorías (3) Catálogo de conductas Catálogo de conductas Catálogo de conductas Sistema de categorías Sistema de categorías Sistema de categorías G1C G2A G32 G45 G59 G62 G1C G2D G33 G45 G62 G1C G46 G58 G1A G2B G33 G46 G58 G62 G1A G2B G34 G58 G62 REGISTRO  DATOS CUALITATIVOS El flujo comunicativo, al aplicar la metodología observacional, puede ser registrado y transformarse en una matriz de códigos, que preserva toda la información con el grado de molecularización o molarización que deseemos CVerbal={CV1, CV2, CV3, CV4} CProxémica={CP1, CP2} EFaciales={EF1, EF2, EF3} CGestual={CG1, CG2, CG3, CG4} CV3 CP1 EF1 CG3 CV3 CP1 EF3 CG1 CV1 CP2 EF2 CG1 CV4 CP1 EF3 CG2 CV1 CP1 EF2 CG2 CV2 CP2 EF1 CG1 CV2 CP2 EF1 CG3 CV2 CP2 EF3 CG4 CV3 CP1 EF2 CG3 CV1 CP1 EF2 CG4 CV2 CP1 EF3 CG4 CV2 CP2 EF3 CG1 (…) ABORDAJE METODOLÓGICO (7) ABORDAJE METODOLÓGICO: REGISTRO DATOS CUALITATIVOS D11= {a11 b11 c11 d11} D12 = {a12 b12 c12 d12 e12} D13= {a13 b13 c13} D21 = {a21 b21 c21 d21 e21 f21} D22 = {a22 b22 c22 } INSTRUMENTO DE OBSERVACIÓN MULTIDIMENSIONAL Cada una de las subdimensiones ha permitido la construcción de un sistema de categorías (cumpliendo los requisitos de exhaustividad y mutua exclusividad). Dimensión D1 (Conducta no verbal) Subdimensión D11 (Expresión facial) Subdimensión D12 (Conducta gestual) Subdimensión D13 (Conducta postural) Dimensión D2 (Conducta verbal) Subdimensión D21 (Dialógica) Subdimensión D22 (Agresividad) SUPUESTO a11 b12 a13 d21 a22 b11 a12 c13 b21 b22 c11 b12 c13 f21 b22 d11 e12 a13 b21 c22 a11 a12 c13 f21 a22 b11 a12 c13 b21 a22 b11 d12 c13 b21 a22 c11 b12 a13 b21 b22 d11 a12 b13 c21 b22 MATRIZ DE CÓDIGOS DEL REGISTRO Cada fila corresponde a las coocurrencias de códigos de las sucesivas unidades, y relativos a las conductas que coocurren en el intercambio interactivo. D11= {a11 b11 c11 d11} D12 = {a12 b12 c12 d12 e12} D13= {a13 b13 c13} D21 = {a21 b21 c21 d21 e21 f21} D22 = {a22 b22 c22 } Unidad 1 Unidad 2 Unidad 3 Unidad 4 Unidad 5 Unidad 6 Unidad 7 Unidad 8 Unidad 9 Registro continuo a lo largo de la sesión (ORDEN) a11 b12 a13 d21 a22 b11 a12 c13 b21 b22 c11 b12 c13 f21 b22 d11 e12 a13 b21 c22 a11 a12 c13 f21 a22 b11 a12 c13 b21 a22 b11 d12 c13 b21 a22 c11 b12 a13 b21 b22 d11 a12 b13 c21 b22 Cada fila corresponde a coocurrencias de códigos + DURACIÓN Unit 1 Unit 2 Unit 3 Unit 4 Unit 5 Unit 6 Unit 7 Unit 8 Unit 9 Registro continuo a lo largo de la sesión (parámetro DURACION) 1’20’’ 42’’ 2’10’’ 1’52’’ 45’’ 3’16’’ 1’17’’ 58’’ 1’35’’ MATRIZ DE CÓDIGOS DEL REGISTRO D11= {a11 b11 c11 d11} D12 = {a12 b12 c12 d12 e12} D13= {a13 b13 c13} D21 = {a21 b21 c21 d21 e21 f21} D22 = {a22 b22 c22 } En observación indirecta, igualmente se habrá construido un instrumento de observación, y cada unidad textual se asigna a una categoría. SC = {A B C D} Debe cumplir las condiciones E/ME OBSERVACIÓN DIRECTA OBSERVACIÓN INDIRECTA HOISAN LINCE MOTS SDIS-GSEQ THE OBSERVER THEMECODER AQUAD ATLAS.ti HYPERBAS MAXQDA2 NVIVO NUDIST ABORDAJE METODOLÓGICO (8) CODIFICACIÓN INFORMATIZADA Cálculo de la concordancia entre registros de un mismo codificador en diferentes momentos de tiempo Cálculo de la concordancia entre registros de diferentes codificadores PROGRAMAS INFORMÀTICOS GT SDIS-GSEQ SPSS SAS Etc. ABORDAJE METODOLÓGICO (9) CONTROL DE CALIDAD DE LOS DATOS FORMAS BÁSICAS DE INTEGRACIÓN DE DATOS CUALITATIVOS Y CUANTITATIVOS: TRANSFORMACIÓN CUALITATIVO CUANTITATIVO Y CUALITATIVO-CUANTITATIVO DATOS CUALITATIVOS RESULTADOS DATOS CUANTITATIVOS DATOS CUALITATIVOS DATOS CUANTITATIVOS RESULTADOS RESULTADOS DATOS CUALITATIVOS DATOS CUALITATIVOS DATOS CUANTITATIVOS MERGE [Mezclar, converger] CONNECT [Conectar] TRANSFORMAR EMBED [Incrustar, anidar] Quantitizing Consistencia de los datos A1=2 A2=3 A3=0 A4=2 A2 1’23’’ A1 2’1’´´ A2 54´´ A4 1’34’’ A1 2’15`` A2 1’42`` A4 3’10’’ A2 A1 A2 A4 A1 A2 A4 Counting Una dimensión (columna) PARÁMETROS PRIMARIOS DEL REGISTRO (1) A = {A1, A2, A3, A4, A5} Dimensión o nivel de respuesta Sistema de categorías Cada fila corresponde a una unidad Instrumento ad hoc Consistencia de los datos A1=2 B1=2 A2=3 B2=3 A3=0 B3=0 A4=2 B4=1 B5=1 A2 B1 1’23’’ A1 B4 2’1’´´ A2 B2 54´´ A4 B2 1’34’’ A1 B2 2’15`` A2 B1 1’42`` A4 B5 3’10’’ A2 B1 A1 B4 A2 B2 A4 B2 A1 B2 A2 B1 A4 B5 Counting Dos dimensiones (columnas) n dimensiones Matriz de datos Análisis cuantitativo a partir de datos cualitativos PARÁMETROS PRIMARIOS DE REGISTRO (2) Cada fila corresponde a una unidad A = {A1, A2, A3, A4, A5} B = {B1, B2, B3, B4, B5, B6} Dimensiones Sistemas de categorías (exhaustivos y mutuamente excluyentes) Instrumentos ad hoc Etapa 1 Etapa 2 Etapa 3 A cada una de las sesiones se aplicarán los criterios de segmentación en unidades de conducta (observación directa), o en unidades textuales (observación indirecta). En este ejemplo, la sesión 1 estaría segmentada en 9 unidades (las 9 filas de la matriz) AGREGACIÓN / DESAGREGACIÓN DE MATRICES DE CÓDIGOS Estudio empírico tradicional caracterizado básicamente por: •Descripción (habitualmente minuciosa) de un participante / episodio / contexto / … •Se pueden incluir múltiples fuentes de información •No existen controles metodológicos ni de objetividad ¿QUÉ ENTENDEMOS POR CASO ÚNICO? Aplicable a la comunicación DIFERENTES CONTEXTOS OBJETIVIDAD DEL CASO MÚLTIPLE A PARTIR DE LA DETECCIÓN DE ESTRUCTURAS ‘OCULTAS’ Proponemos un replanteamiento de la línea de trabajo Sistematización de la información Segmentación y gestión de la información Detección de regularidades ILUSTRACIÓN EN EL ESTUDIO DE LA RELACION COMUNICATIVA (10) Análisis secuencial de retardos Detección de T-Patterns Relaciones de asociación entre datos categóricos (análisis loglineal, logit, probit, ...) ANÁLISIS CUANTITATIVO A PARTIR DE DATOS CUALITATIVOS Análisis de tendencias Análisis de coordenadas polares Se centra en la detección de la estructura oculta (no visible) en episodios de conducta, tanto diacrónicamente como en un momento dado. Objetivos del análisis secuencial Extracto de lista serial Detección de patrones de conducta Búsqueda de relaciones de asociación significativas entre conductas registradas Análisis secuencial de retardos (1) Análisis cuantitativo de datos cualitativos Detección de patrones de conducta Extraído de: Arias, E. y Anguera, M.T. (2004). Detección de patrones de conducta comunicativa en un grupo terapéutico de adolescentes. Acción Psicológica, 3 (3), 199-206. Extraído de: Arias, E. y Anguera, M.T. (2005). Análisis de la comunicación en un grupo terapéutico de adolescentes: estudio diacrónico. Revista de Psicopatología y Salud Mental del Niño y del Adolescente, M1, 25-36. ILUSTRACIÓN EN EL ESTUDIO DE LA RELACION COMUNICATIVA (12) HOISAN, v.1.6.3.3 www.menpas.com SDIS-GSEQ GSEQ5 Análisis secuencial de retardos (2) Fernández Viader, M.P. (1993). Estrategias comunicativas en el niño sordo en contexto familiar. Interacción comunicativa en díadas homogéneas y díadas heterogéneas. Tesis Doctoral no publicada. Barcelona: Universidad de Barcelona. Análisis secuencial de retardos Análisis cuantitativo de datos cualitativos  Detección de patrones de conducta Martínez del Pozo, M. (1993). Análisis del "proceso de elaboración del duelo" en el hipertenso esencial: Estudio empírico de sus fases mediante observación sistemática (Directores: Víctor Hernández y M. Teresa Anguera). Tesis Doctoral no publicada. Barcelona: Universidad de Barcelona. ANÁLISIS SECUENCIAL DE RETARDOS Análisis cuantitativo de datos cualitativos  Detección de patrones de conducta Extraido de: Blanchet, A., Batt, M., Trognon, A. & Masse, L. (2005). Language and behavior patterns in a therapeutic interaction session. In L. Anolli, S. Duncan, M. Magnusson & G. Riva (Eds.), The hidden structure of social interaction. From Genomics to Culture Patterns (pp. 51-70).Amsterdam: IOS Press. ABORDAJE METODOLÓGICO (6) DETECCIÓN DE T-PATTERNS (2) OBSERVACIÓN INDIRECTA THEME, v. Edu Análisis cuantitativo de datos cualitativos Detección de T-Patterns CONCLUSIONES CONCLUSIONES Delimitar muy bien los límites temáticos, contextuales, temporales, de perfil de participantes, de actividad, ... en los estudios de Análisis de la Conducta Aprovechar las posibilidades de los mixed methods Tener muy en cuenta el marco teórico para adoptar decisiones metodológicas Saber aplicar las crecientes posibilidades informáticas y analíticas para cuantificar los datos cualitativos Considerar las matrices de códigos como materia prima cualitativa para análisis cuantitativos Realizar siempre una exigente autocrítica metodológica “Everything has the potential to be data, but nothing becomes data without the intervention of a researcher who takes note –and often makes noteof some things to the exclusion of others” (pp. 3-4) Wolcott, H.F. (1994). Transforming qualitative data: Description, analysis, and interpretation. Thousand Oaks, CA: Sage. REFERENCIAS REFERENCIAS (1) Anguera, M.T. (2003). Observational Methods (General). In R. Fernández-Ballesteros (Ed.), Encyclopedia of Psychological Assessment, Vol. 2 (pp. 632-637). London: Sage. Anguera, M.T. (2010). Posibilidades y relevancia de la observación sistemática por el profesional de la Psicología. Papeles del Psicólogo, 31(1), 122-130. Anguera, M. T., Camerino, O. & Castañer, M. (2012). Mixed methods procedures and designs for research on sport, physical education and dance. In O. Camerino, M. Castañer & M.T. Anguera (Ed.), Mixed Methods Research in the Movement Sciences: Case studies in sport, physical education and dance (pp. 3-27). Abingdon, UK: Routledge. Anguera, M. T., Camerino, O., Castañer, M., y Sánchez-Algarra, P. (2014). Mixed methods en actividad física y deporte. Revista de Psicología del Deporte, 23(1), 123-130. Anguera, M.T. y Hernández-Mendo, A. (2016).Avances en estudios observacionales en Ciencias del Deporte desde los mixed methods. Cuadernos de Psicología del Deporte, 16(1), 17-30. Bazeley, P. (2015). Writing up multimethod and mixed methods research for diverse audiences. In S. N. Hesse-Biber & R. B. Johnson (Eds.), The Oxford Handbook of multimethod and mixed methods research inquiry (pp. 296-313). Oxford: Oxford University Press. Bergman, M. M. (2007). Multimethod research and mixed methods research: Old wine in new bottles? Journal of Mixed Methods Research, 1(1), 101-104. DOI: 10.1177/2345678906291429 Blanco-Villaseñor, A., Losada, J.L. & Anguera, M.T. (2003). Analytic techniques in observational designs in environment-behavior relation. Medio Ambiente y Comportamiento Humano, 4(2), 111-126. Camerino, O., Castañer, M., & Anguera, M. T. (Coords.) (2012). Mixed Methods Research in the Movement Sciences: Case studies in sport, physical education and dance. Abingdon, UK: Routledge. REFERENCIAS (2) Chacón-Moscoso, S., Anguera, M.T., Sanduvete-Chaves, S. & Sánchez-Martín, M. (2014). Methodological convergence of program evaluation designs. Psicothema, 26(1), 91-96. Chacón-Moscoso, S., Sanduvete, S., Portell, M. & Anguera, M.T. (2013). Reporting a program evaluation: Needs, program plan, intervention, and decisions. International Journal of Clinical and Health Psychology, 13(1), 58-60. Cresswell, J.W. (1999). Mixed-Method research: Introduction and application. In G.J. Cizek (Ed.), Handbook of educational policy (pp. 455472). San Diego, CA: Academic Press. Creswell, J. W. (2003). Research design: Qualitative, quantitative, and mixed methods approaches (2nd ed.). Thousand Oaks, CA: Sage. Creswell, J. W. (2015). A concise introduction to mixed methods research. Thousand Oaks, CA: Sage. Creswell, J. W., Fetters, M. D., & Ivankova, N. V. (2004). Designing a mixed methods study in primary care. Annals of Family Medicine 2(1), 7-12. Creswell, J. W., & Plano Clark, V. L. (2007). Designing and conducting Mixed Methods Research (2nd ed., 2011). Thousand Oaks, CA: Sage. Creswell, J. W., & Tashakkori, A. (2008). How do research manuscripts contribute to the literature on mixed methods? Journal of Mixed Methods Research, 2(2), 115-120. Fetters, M. D., & Freshwater, D. (2015). The 1+1=3 integration challenge. Journal of Mixed Methods Research, 9(2), 115-117. Gimeno, A., Anguera, M.T., Berzosa, A. y Ramírez, L. (2006). Detección de patrones interactivos en la comunicación de familias con hijos adolescentes. Psicothema, 18(4), 785-790. Greene, J. C. (2008). Is mixed methods social inquiry a distinctive methodology? Journal of Mixed Methods Research, 2(1), 7-22. Greene, J.C. & Caracelli, V.J. (Eds.) (1997). Advances in mixed-method evaluation: The challenges and benefits of integrating diverse paradigms: New directions for evaluation. San Francisco: Jossey-Bass. Guest, G. (2012). Describing mixed methods research: An alternative to typologies. Journal of Mixed Methods Research, 7(2), 141-151. Hesse-Biber, S. N. (2015). Introduction: Navigating a turbulent research landscape: Working the boundaries, tensions, diversity, and contradictions of multimethod and mixed methods inquiry. In S. N. Hesse-Biber & R. B. Johnson (Eds.), The Oxford handbook of multimethod and mixed methods research inquiry (pp. xxiii-liii). Oxford: Oxford University Press. Hunter, A., & Brewer, J. (2015a). Designing multimethod research. In S. N. Hesse-Biber & R. B. Johnson (Eds.), The Oxford handbook of multimethod and mixed methods research inquiry (pp. 185-205). Oxford: Oxford University Press. Hunter, A., & Brewer, J. (2015b). Conundrums of multimethod resarch. In S. N. Hesse-Biber & R. B. Johnson (Eds.), The Oxford handbook of multimethod and mixed methods research inquiry(pp. 616-623). Oxford: Oxford University Press. Ivankova, N.V., Creswell, J.W., & Stick, S.L. (2006). Using mixed-methods sequential explanatory design: From theory to practice. Field Methods, 18(1), 3-20. Johnson, R. B., Onwuegbuzie, A. J., & Turner, L. A. (2007). Toward a definition of mixed methods research. Journal of Mixed Methods Research, 1(2), 112-133. Leeman, J., Voils, C. I., & Sandelowski, M. (2015). Conducting mixed methods literature reviews: Synthesizing the evidence needed to develop and implement complex social and health interventions. In S. N. Hesse-Biber & R. B. Johnson (Eds.), The Oxford handbook of multimethod and mixed methods research inquiry (pp. 167-184). Oxford: Oxford University Press. Mark, M. M. (2015). Mixed and Multimethods in Predominantly Quantitative Studies, Especially Experiments and Quasi-Experiments. In S. N. Hesse-Biber & R. B. Johnson (Eds.), The Oxford Handbook of multimethod and mixed methods research inquiry (pp. 21-41). Oxford: Oxford University Press. REFERENCIAS (3) REFERENCIAS (4) Maxwell, J., Chmiel, M., & Rogers, S. E. (2015). Designing integration in multimethod and mixed methods research. In S. N. HesseBiber & R. B. Johnson (Eds.), The Oxford Handbook of multimethod and mixed methods research inquiry (pp. 223-239). Oxford: Oxford University Press. López-Fernández, O., & Molina-Azorín, J. (2011). The use of mixed methods research in the field of behavioural sciences. Quality & Quantity, 45, 1459-1472. Morgan, D.L. (1998). Practical strategies for combining qualitative and quantitative methods: Applications to health research. Qualitative Health Research, 8(3), 362-376. Morse, J.M. (1991). Approaches to qualitative-quantitative methodological triangulation. Nursing Research, 40, 120-123. Morse, J. M. (2003). Principles of mixed methods and multimethod research design. In A. Tashakkori & C. Teddie (Eds.), Handbook of mixed methods in social and behavioral research (pp. 189-208). Thousand Oaks, CA: Sage. Onwuegbuzie, A. J., & Coombs, J. P. (2010). Emergent data analysis techniques in mixed methods research: A synthesis. In A. Tashakkori, & C. Teddie (Eds.), Sage Handbook of mixed methods in social & behavioral research (2nd. ed., pp. 397-430). Thousand Oaks, CA: Sage. Onwuegbuzie, A. J., & Hitchcock, J. H. (2015). Advanced mixed analysis approaches. In S. N. Hesse-Biber, & R. B. Johnson (Eds.), The Oxford Handbook of multimethod and mixed methods research inquiry (pp. 275-295). Oxford: Oxford University Press. Patton, M.Q. (1990). Qualitative evaluation and research methods. Newbury Park, CA: Sage. Plano Clark, V. L. (2010). The adoption and practice of mixed methods: U.S. Trends in federally funded health-related research. Qualitative Inquiry, 16, 428-440. REFERENCIAS (5) Plano Clark, V. L., Anderson, N., Wertz, J. A., Zhou, Y., Schumacher, K., & Miaskowski, C. (2015). Conceptualizing longitudinal mixed methods designs: A methodological review of health sciences research. Journal of Mixed Methods Research, 9(4), 297-319. Plano Clark, V. L., Garrett, A. L., & Leslie-Pelecky, D. L. (2010). Applying three strategies for integrating quantitative and qualitative databases in a mixed methods study of a nontraditional graduate education program. Field Methods, 22(2), 154-174. Plano Clark, V. L., & Ivankova, N.V. (2016). Mixed methods research. A guide to the field. Thousand Oaks, CA: Sage. Plano Clark, V. L., & Sanders, K. (2015). The use of visual displays in mixed methods research. In M. T. McCrudden, G. Schraw, & C. W. Buckendahl (Eds.), Use of visual displays in research and testing (pp. 177-206). Charlotte, NC: Information Age Publishing, Inc. Plano Clark, V. L., Schumacher, K., West, C., Edrington, J., Dunn, L. B., Harzstark, A., Melisko, M., Rabow, M. W., Swift, P. S., & Miaskowski, C. (2013). Practices for embedding an interpretive qualitative approach within a randomized clinical trial. Journal of Mixed Methods Research, 7(3), 219-242. Portell, M., Anguera, M.T., Chacón, S. & Sanduvete, S. (2015). Guidelines for Reporting Evaluations based on Observational Methodology (GREOM). Psicothema, 27(3), 283-289. Portell, M., Anguera, M. T., Hernández-Mendo, A., & Jonsson, G. K. (2015). Quantifying biopsychosocial aspects in everyday contexts: an integrative methodological approach from the behavioral sciences. Psychology Research and Behavior Management, 8, 153-160. Salmons, J. E. (2015). Conducting multimethod and mixed methods research online. In S. N. Hesse-Biber & R. B. Johnson (Eds.), The Oxford handbook of multimethod and mixed methods research inquiry (pp. 522-547). Oxford: Oxford University Press. Sánchez-Algarra, P. & Anguera, M. T. (2013). Qualitative/quantitative integration in the inductive observational study of interactive behaviour: Impact of recording and coding among predominating perspectives. Quality & Quantity, 47(2), 1237-1257.