Efecto del orden de presentación de los atributos sobre los resultados del análisis conjunto

103 Metodología de Encuestas Volumen 11, 2009, 103-119 ISSN: 1575-7803 EFECTO DEL ORDEN DE PRESENTACIÓN DE LOS ATRIBUTOS SOBRE LOS RESULTADOS DEL ANÁLISIS CONJUNTO Sérgio Dominique Ferreira Lopes; Antonio Rial Boubeta; Eduardo Picón Prado y Jesús Varela Mallou Correspondencia: Prof. Dr. Antonio Rial Boubeta Unidad de Psicología del Consumidor y Usuario (PSICOM) Universidad de Santiago de Compostela Campus Sur, s/n – Santiago - 15782 - A Coruña – España Tel.: 981563100 ext.13912 – Fax: 0034 981 528071 e-mail: [email protected] http://www.usc.es/psicom/ Met. de Encuestas 11, 2009, 103-119 S. D. Ferreira, A. Rial, E. Picón y J. Varela 104 RESUMEN: Desde los trabajos de Luce y Tukey (1964) el Análisis Conjunto ha ido evolucionando paulatinamente hasta convertirse en la actualidad en la herramienta metodológica más utilizada en el estudio de las preferencias del consumidor. En España su aplicación se ha extendido a numerosos campos del ámbito comercial y ha centrado también el trabajo de diferentes investigadores. La búsqueda de procedimientos estadísticos adecuados para la estimación de parámetros, junto con el desarrollo de estrategias que facilitasen la recogida de la información han sido dos de las grandes preocupaciones en este contexto. Este trabajo se centra en un aspecto técnico aparentemente menor, pero de enorme trascendencia en el uso del Análisis Conjunto, como es el orden de presentación de los niveles de atributo en el procedimiento de perfiles completos con estímulos simulados. Los resultados obtenidos permiten constatar la existencia de un sesgo claro a este nivel. Cuando se cambia el orden de presentación la importancia de los atributos varía, así como las utilidades parciales estimadas para cada nivel de atributo. En consecuencia, la recomendación para los profesionales es clara: si no se controla este efecto, los resultados pueden carecer de validez y, por tanto, la toma de decisiones puede conducir al fracaso. Palabras clave: Análisis Conjunto, Investigación de Mercados, Preferencias del Consumidor, Recogida de datos, Perfiles completos. ABSTRACT. Conjoint Analysis has been evolving steadily since the seminal work of Luce and Tukey (1964), and has become the most often used tool for the analysis of the consumer preferences. Conjoint method has also attracted the interest of many academic researchers. Some of the biggest methodological concerns include the statistical procedures to optimize parameter estimation, and the overload information problem. But little attention has been focused on an issue such as the order of the attribute presentation and its influence on the estimates. In this paper, we carried out an empirical study to analyse this potential harmful bias when using full profile procedures of collecting information. Results show that when the order of the stimuli presentation changes, the attributes’ importance and the part-worth change too. Therefore, a clear recommendation for professionals arises: They should be aware of this effect and try to control it in order to get more reliable results and improve the decision-making process. Key words: Conjoint Analysis, Marketing Research, Consumer Preferences, Data Collection, Full Profile. Recibido: 9 de febrero 2009 Revisado: 1 de mayo 2009 Aceptado: 17 de junio 2009 Efecto del orden de presentación de los atributos sobre… Met. de Encuestas 11, 2009, 103-119 105 En un mercado tan competitivo como el actual es preciso ser consciente de que no todos los elementos de un producto o servicio contribuyen en igual medida a conferirle atractivo y valor final para el consumidor. Averiguar qué elementos aportan o restan valor es una tarea obligada para los responsables de cualquier firma comercial. El Análisis Conjunto constituye una técnica multivariante sencilla, potente y flexible para evaluar y analizar las preferencias manifiestas de los consumidores hacia productos o servicios (Picón, Varela y Braña, 2006; Varela y Braña, 1996; Varela, Rial y García, 2003). La base conceptual para medir las preferencias de los sujetos es la utilidad. Se trata de un constructo latente que permite expresar de forma cuantitativa la preferencia de un sujeto por el conjunto de características de un producto o servicio. Es, por tanto, una medida de la preferencia global. En consecuencia, cuanto más alta sea la utilidad de un producto/servicio, más preferido será éste y mayor probabilidad tendrá de ser elegido por el consumidor. En el Análisis Conjunto se asume que la preferencia de los consumidores por un producto/servicio está en función de la utilidad asociada con cada una de sus características clave presentes en él. ),...,( 1k kj uufU = Estas utilidades parciales (part-worth utilities) k j u conforman la utilidad global y proporcionan una estimación cuantitativa de cuál es el impacto de cada una de las características definitorias del producto en el juicio de preferencia del consumidor (en su decisión de compra). Cada utilidad parcial hace referencia a un nivel de atributo concreto. Los atributos (o factores) son las dimensiones o características clave de un producto/servicio y los niveles hacen referencia a las posibles variaciones contempladas dentro de un atributo. Por ejemplo, el color de la carrocería de un automóvil podría ser un atributo, mientras que los colores alternativos (rojo, blanco, verde) serían los niveles. Los productos o servicios se caracterizan por un perfil (también llamado tratamiento o estímulo), que no es otra cosa que una combinación concreta de niveles de atributo. El investigador manipula estas combinaciones de atributos hasta construir un conjunto de perfiles reales o hipotéticos. Estos perfiles son lo único que evalúan los encuestados, bien ordenándolos de más a menos preferidos, bien dándoles una puntuación de preferencia, bien escogiendo el más preferido de entre un subconjunto del total. El Análisis Conjunto descompone estas evaluaciones globales hasta llegar a determinar la influencia de cada atributo y nivel en las preferencias globales por productos/servicios con esas características. Con estas utilidades parciales no sólo podemos reconstruir las preferencias por los perfiles evaluados (evaluando la validez predictiva del análisis), sino que también podemos llegar a estimar la utilidad global de combinaciones diferentes, no evaluadas directamente por los sujetos (y que además pueden ser reales o hipotéticas). Una de las etapas o fases fundamentales en el desarrollo de cualquier estudio conjunto es la de la recogida de los datos (Picón, Varela y Braña, 2006). Met. de Encuestas 11, 2009, 103-119 S. D. Ferreira, A. Rial, E. Picón y J. Varela 106 Existen básicamente cinco modos de recoger la información en un estudio de este tipo. Las matrices de comparaciones, también llamadas matrices trade-off, consisten en una serie de tarjetas en cada una de las cuales aparecen combinados sólo dos atributos con sus respectivos niveles. La tarea del sujeto consiste en ordenar las diferentes combinaciones de dos niveles de más a menos preferida. Otro método consiste en la ordenación de perfiles completos. Primero se elaboran una serie de descripciones de un producto/servicio con todos los atributos y utilizando un solo nivel para cada atributo. La tarea del sujeto consiste en ordenar los perfiles de más a menos preferidos. Una de las ventajas de este método de perfiles completos (también de los conjuntos de elección) es que los perfiles pueden ser presentados verbalmente, mediante tarjetas, dibujos, diseños de ordenador o productos reales. Una forma alternativa de recoger los datos en el Análisis Conjunto tradicional es la cuantificación de perfiles completos. La construcción (y el análisis) de los perfiles es similar. Lo único que cambia es la tarea de los sujetos: en este caso se les pide que expresen numéricamente el grado de preferencia por cada uno de los perfiles. El método de Comparaciones Pareadas es un procedimiento a medio camino entre los perfiles completos y las matrices de comparaciones. Consiste en comparar dos perfiles incompletos, formados por un subconjunto del total de atributos evaluados en el estudio. Al igual que en las matrices de comparaciones, el sujeto evalúa estímulos de dos en dos, pero aquí los estímulos son perfiles en vez de atributos. Por último, los conjuntos de elección son característicos de la aproximación basada en Elección. Aquí los sujetos no necesitan ni ordenar ni mucho menos cuantificar todas las alternativas disponibles. Simplemente han de escoger el perfil más preferido de entre un pequeño subconjunto del total, pudiendo además no elegir ninguna de las opciones presentadas. Se presentan varios conjuntos con diferentes perfiles (y diferente número de perfiles) hasta completar un diseño específico, capaz de estimar los efectos principales. Como no podría ser menos, todos estos métodos cuentan con puntos fuertes y débiles. Los procedimientos de perfiles completos presentan una serie de ventajas fundamentales: (a) Ofrecen descripciones más realistas de los estímulos, presentando una mayor validez ecológica. (b) Tienen en cuenta las correlaciones ambientales que pueden darse entre atributos de productos reales. (c) Permiten medir las preferencias de los sujetos mediante constructos de tipo conductual (intención de compra, probabilidad de cambio a una nueva marca), muy útiles cuando deseamos introducir nuevos productos/servicios en el mercado. (d) Son más flexibles y fáciles de implementar, ya que no necesitan del ordenador para recoger los datos (tal vez la principal ventaja de la metodología de perfiles completos frente a otras más computerizadas como ACA o Elección Discreta). (e) A pesar de que resulta prácticamente imposible emplear perfiles si recurrimos a una entrevista exclusivamente telefónica, se han desarrollado algunos procedimientos que combinan el teléfono y el correo para superar esta limitación, como el Método TMT (teléfono-correo-teléfono). (f) Por último, destacar una venaja importante frente a los métodos de elección discreta: Permiten obtener las estimaciones a nivel individual, lo que resulta de gran utilidad en aplicaciones de segmentación de mercados (Picón, 2004; Picón y Varela, 2004; Varela, Picón y Braña, 2004). Efecto del orden de presentación de los atributos sobre… Met. de Encuestas 11, 2009, 103-119 107 Como contrapartida, las condiciones experimentales pueden no ser muy representativas de la conducta de elección real del sujeto: las tarjetas en sí muestran un mayor realismo, pero el sujeto debe establecer sus preferencias entre un gran número de ellas (normalmente no menos de 16), lo que no es habitual en las elecciones que realizamos en nuestra vida diaria y dificulta la tarea de selección. De alguna manera, cognitiviza un comportamiento (meter un producto en nuestra cesta de la compra) que en la mayoría de las ocasiones es mucho más automático y directo (Huber, Wittink, Johnson, y Miller, 1992). Las limitaciones más serias de un estudio con perfiles completos se originan casi siempre a partir de deficiencias en el diseño y descuidos de tipo metodológico. Resulta esencial, por ejemplo, realizar una selección cuidadosa de los atributos y niveles que finalmente formarán parte del análisis, evitar el uso de atributos correlacionados, prestar especial atención a atributos “especiales” como la marca o el precio, tratar de que el número de niveles de todos los atributos esté equilibrado, etc. Un aspecto de especial interés es el denominado “efecto de orden” en la presentación de los estímulos (Johnson, 1987; Chrzan, 1994), consistente en que las utilidades obtenidas (y sus importancias derivadas) pueden variar en función de la posición que ocupan en la tarjeta. Existirán efectos de orden si la importancia estimada para un atributo es diferente según la posición que ocupa éste en el perfil evaluado (y manteniendo constantes el resto de variables del diseño, como el número de perfiles evaluados, número de atributos, niveles, etc.). Estamos, por tanto, ante un aspecto susceptible de afectar negativamente a la capacidad predictiva del Análisis Conjunto, como han comprobado varios autores (DeSarbo y Green, 1984; Johnson, 1987; Orme, Alpert, y Christensen, 1997). Por ejemplo, en su estudio con perfiles completos, Johnson encontró que este efecto era responsable del 16% de la varianza de error de las predicciones conjuntas. En este mismo contexto, existen trabajos que se refieren al efecto negativo producido por el orden de presentación de los atributos en los resultados obtenidos (Acito, 1977, DeMoranville y Bienstock, 2003). No obstante, más allá de la constatación de que existe un sesgo y de la necesidad de su control, poco se ha investigado para conocer con una mayor exactitud sus características y potenciales efectos negativos sobre la validez predictiva del modelo conjunto. El objetivo de este estudio consiste precisamente en arrojar alguna luz adicional sobre este sesgo, tratando de comprobar empíricamente la existencia de un efecto del orden de presentación de los diferentes niveles de atributo sobre los resultados conjuntos y estudiar con mayor profundidad qué tipo de efectos tienen lugar, con la finalidad de ofrecer las recomendaciones oportunas a los profesionales para que hagan un uso más riguroso de esta metodología. Met. de Encuestas 11, 2009, 103-119 S. D. Ferreira, A. Rial, E. Picón y J. Varela 108 Método Participantes La muestra estuvo constituida por 300 jóvenes universitarios, 96 hombres y 204 mujeres, con edades comprendidas entre los 18 y los 35 años (Media=23.53; Desviación Típica=4.59), residentes en la ciudad de Porto (Portugal) y área metropolitana. Los participantes fueron invitados a tomar parte de manera voluntaria en el estudio, advirtiéndoles de la importancia de que la tarea a realizar se ejecutase con la máxima seriedad y sinceridad posible. Para la realización de dicha tarea se establecieron tres grupos (SERIE 1, SERIE 2 y SERIE 3), correspondientes a tres secuencias distintas de presentación de los atributos considerados. Los sujetos fueron asignados de forma aleatoria a cada uno de ellos. En cualquier caso, para garantizar que se trataba de grupos equilibrados, se comprobó que su composición era similar por lo que se refiere a variables sociodemográficas como Sexo, Edad, Estado Civil, Ocupación e Ingresos. Tal y como se recoge en la Tabla 1, la distribución de los grupos con relación a dichas variables no implicaba diferencias significativas. Selección de Atributos y Niveles El presente trabajo se encuadra dentro de un estudio más amplio, cuyo objetivo era estudiar las preferencias turísticas de los jóvenes del Norte de Portugal. Para la selección de los atributos y niveles a utilizar se tuvieron en cuenta dos elementos: a) la bibliografía existente sobre el tema (Goodrich, 1978; Muller, 1995; Baloglu y McCleary, 1999; Gallarza, Gil y Calderón, 2002; Picón y Varela, 2000; Varela, Picón y Braña, 2004; Rodríguez y Molina, 2007; Rial, García y Varela, 2008); y; b) la realización de un estudio piloto previo con una muestra de 100 estudiantes. En consecuencia, fueron seleccionados un total de 6 atributos: Clima, Entorno, Oferta Cultural, Oferta de Ocio, Precio y Duración del Viaje (tabla 2). Estímulos Dado el amplio número de combinaciones posibles (3x4x2x2x4x3 = 576), y la correspondiente imposibilidad de trabajar experimentalmente con ellos, se aplicó un diseño factorial fraccionado (generado mediante el procedimiento Orthoplan del SPSS), que seleccionó un diseño eficiente (ortogonal y equilibrado; véase Picón, Varela y Braña, 2006) compuesto por 16 perfiles diferentes. Estos 16 perfiles representan el número mínimo de estímulos (combinaciones de niveles de atributo) necesario para la realización del estudio, con un grado de generalización de resultados suficiente. Se construyeron, por tanto, 16 tarjetas que representaban dichas combinaciones y en las que se describían las características de cada destino. En definitiva, para la recogida de datos se optó por la utilización de Perfiles Completos (Full Profile) simulados (tarjetas). Para estudiar el efecto del orden de presentación de los niveles de atributo, se utilizaron tarjetas de 3 colores diferentes, cada uno representativo de un orden o secuencia de presentación concreta. Así por ejemplo, en la Serie 1 (Color AZUL), la Efecto del orden de presentación de los atributos sobre… Met. de Encuestas 11, 2009, 103-119 109 descripción del destino turístico comenzaba haciendo alusión al Clima (Sol, Frío/Nieve ó Templado), seguido del Tamaño de la Oferta Cultural (Amplia ó Reducida), el Entorno (Playa, Naturaleza ó Urbano), el Tamaño de la Oferta de Ocio (Amplia ó Reducida), el Precio (…) y la Duración del viaje (…). En las series 2 y 3 (Blanco y Gris, respectivamente), como se puede observar el orden de presentación de las características del destino (niveles de atributo) era diferente. Tabla 1. Composición de los tres grupos de participantes Serie 1 Serie 2 Serie 3 χ2 Sig. Hombre 35.6% 34.0% 43.1% Sexo Mujer 64.4% 66.0% 56.9% 2.019 0.364 18 - 25 Años 71.2% 75.5% 76.5% 25 - 30 Años 16.3% 13.8% 13.7% Grupo de Edad Más de 30 Años 12.5% 10.6% 9.8% 0.885 0.927 Estudiante 53.8% 54.3% 57.8% Ocupación Trabajador 46.2% 45.7% 42.2% 0.397 0.820 Soltero 92.3% 89.4% 95.1% Casado 6.7% 9.6% 4.9% Estado Civil Otros 1.0% 1.1% .0% 2.755 0.600 Hasta 500€ 3.8% 5.3% 12.7% 500€ - 750€ 20.2% 14.9% 14.7% 750€ - 1000€ 6.7% 11.7% 10.8% Más de 1000€ 17.3% 14.9% 12.7% 0€ 16.3% 13.8% 16.7% Ingresos Non revela 35.6% 39.4% 32.4% 10.656 0.385 Met. de Encuestas 11, 2009, 103-119 S. D. Ferreira, A. Rial, E. Picón y J. Varela 110 Tabla 2. Atributos y Niveles utilizados Procedimiento Lo que a los sujetos se les pedía era que durante unos minutos inspeccionasen el contenido de las 16 tarjetas (destinos turísticos con características concretas) y, a continuación, las ordenasen en función de sus propias preferencias, desde la más preferida a la menos preferida (procedimiento Sequence). Una descripción detallada de los diferentes procedimientos de recogida de datos en el Análisis Conjunto puede consultarse en el trabajo de López y Varela (2000). Análisis de Datos La matriz de datos en la que se recogía la secuencia de ordenación de los 300 sujetos (300 x 16) fue analizada mediante el algoritmo Conjoint implementado en el paquete estadístico SPSS 15.0. ATRIBUTOS NIVELES DE ATRIBUTOS (a) Clima Sol Frío o Nieve Templado (b) Tamaño de la Oferta Cultural Amplia Reducida (c) Entorno Playa Naturaleza o Montaña Urbano (d) Tamaño de la Oferta de Ocio y de Diversión Nocturna Amplia Reducida (e) Precio Hasta 300€ 300€ - 600€ 600€ - 1000€ Más de 1000€ (f) Duración 2-3 Días (Fin de Semana) 1 Semana 2 Semanas Efecto del orden de presentación de los atributos sobre… Met. de Encuestas 11, 2009, 103-119 111 Figura 1. Ejemplo de las tarjetas utilizadas y los distintos ordenes de presentación de los niveles de atributo DESTINO 1 c) PLAYA d) AMPLIA OFERTA DE OCIO Y DIVERSIÓN NOCTURNA a) SOL b) AMPLIA OFERTA CULTURAL e) MÁS DE 1000€ f ) 1 SEMANA DESTINO 1 e) MÁS DE 1000€ f) 1 SEMANA c) SOL d) AMPLIA OFERTA CULTURAL a) PLAYA b) AMPLIA OFERTA DE OCIO Y DIVERSIÓN NOCTURNA DESTINO 1 a) SOL b) AMPLIA OFERTA CULTURAL c) PLAYA d) AMPLIA OFERTA DE OCIO Y DIVERSIÓN NOCTURNA e) MÁS DE 1000€ f ) 1 SEMANA Serie 2 (BLANCO): c-d-a-b-e-f Serie 1 (AZUL): a-b-c-d-e-f Serie 3 (GRIS): e-f-c-d-a-b Met. de Encuestas 11, 2009, 103-119 S. D. Ferreira, A. Rial, E. Picón y J. Varela 118 Por último, es preciso advertir también que el presente estudio se ha llevado a cabo en el contexto del Marketing Turístico y con una muestra de jóvenes, por lo que sería de interés poder disponer de nuevos datos de otros ámbitos y otros segmentos de la población. Referencias Acito, F. (1977). An investigation of some data Collection issues in Conjoint Measurement. American Marketing Association Educator’s Proceedings, 82-85. Baloglu, S. y McCleary, K.W. (1999). A model of destination image formation. Annals of Tourism Research, 35 (4), 11-15. Chrzan, K. (1994). Three kinds of order effect in choice-based conjoint analysis. Marketing Letters, 5, 165-172. DeMoranville, Carol W. y Carol C. Bienstock. (2003). Question Order Effects in Measuring Service Quality”. International Journal of Research in Marketing, 20 (3), 217-231. DeSarbo, W. S. y Green, P. E. (1984). Concepts, theory and techniques, Choiceconstrained conjoint analysis, Decision Sciences, 15, 291-323. Feltrinelli, E. y Molteni, L. (2004). L’uso commerciale della Conjoint Analysis in Italia, Giornata di Studio La Conjoint Analysis: Orientamenti metodologici e recenti contribute all’analisi dei dati prefenza nelle scienze socioeconomiche, Universitá Degli Studi di Salermo. Gallarza, M., Gil, I. y Calderón, H. (2002). Destination image. Towards a conceptual framework. Annals of Tourism Research, 29(1), 56-78. Goodrich, J. (1978). The Relationship Between Preferences for and Perceptions of Vacation Destinations – Application of a Choice Model. Journal of Travel Research, 17 (2), 8-13. Gustafsson, A., Herrmann, A. y Huber, F. (2000). Conjoint analysis as an instrument of market research practice. Conjoint Measurement: Methods and Applications. Berlin, Springer-Verlag. Hartmann, A. y Sattler, H. (2002). Commercial Use of Conjoint Analysis in Germany, Austria and Switzerland. Research Papers on Marketing and Retailing, University of Hamburg, 6. Haugtvedt, C.P. y Wegener, D.T. (1994). Message order effects in persuasion. An attitude strength perspective. Journal of Consumer Research, 21 (1), 205- 218. Huber, J., Wittink, D.R., Johnson, R.M. y Miller, R. (1992). Learning Effects in Preference Tasks: Choice-Based Versus Standard Conjoint. Sawtooth Software Conference Proceedings, M. Metegrano ed., 275-282, Ketchum (Idaho), Sawtooth Software. Johnson, R. M. (1987): Adaptive Conjoint Analysis Sawtooth Software Conference on Perceptual Mapping, Conjoint Analysis, and Computer Interviewing. Sawtooth Software, Ketcham, ID, 253–265. Klatsky, R.L. (1995). Human memory. San Francisco, California: Freeman. Efecto del orden de presentación de los atributos sobre… Met. de Encuestas 11, 2009, 103-119 119 López, R. y Varela, J. (2000). Evaluación de las escalas de respuesta en la medición conjunta. Metodología de Encuestas, 2 (2), 185-198. Luce, R.D. y Tukey, J.W. (1964). Simultaneous Conjoint Measurement: A new type of fundamental measurement. Journal of Mathematical Psychology, 1, 1- 27. Montes, C.; Picón E.; Varela, J. y Braña, T. (2008). Order effects in attribute presentation of complete conjoint profiles. III European Congress of Methodology. Oviedo, September, 2008. Muller, T.E. (1995). How personal values govern the post-visit attitudes of international tourists. Journal of Hospitality and Leisure Marketing, 3(2), 3-24. Orme, B.K.; Alpert, M.I. y Christensen, E. (1997). Assessing the validity of Conjoint Analysis – continued. Sawtooth Software Conference Proceedings, 209-225, Ketchum, Idaho, E.U.A.. Picón, E. (2004). Una comparación Monte Carlo de tres métodos métricos de segmentación con análisis conjunto. Psicológica, 25, 207-228. Picón, E. y Varela, J. (2004). Una evaluación empírica del procedimiento de segmentación conjunto de clases latentes. Metodología de las Ciencias del Comportamiento, vol. Especial, 491-498. Picón, E. y Varela, J. (2000). Segmentando mercados con análisis conjunto. Una aplicación al sector turístico. Psicothema, 12, 453-458. Picón, E.; Varela, J. y Braña, T. (2006). Análisis Conjunto. Ed. La Muralla. Madrid. Ramírez, J.M. (2008). Uso Comercial del Análisis Conjunto en España. Metodología de Encuestas, 10, 27-38. Rial, A.; García, A. y Varela, J. (2008). Una aplicación metodológica para el estudio de la imagen de marca de un destino turístico. Pasos. Revista de Turismo y de Patrimonio Cultural, 6, 1-10. Rodríguez, P. y Molina, O. (2007). La segmentación de la demanda turística española. Metodología de Encuestas, 9, 57-92. Varela, J. y Braña, T. (1996). Análisis Conjunto aplicado a la investigación comercial. Madrid: Eudema. Varela, J.; Rial, A. y García, A. (2003). Análisis Conjunto. En Análisis Multivariante para las Ciencias Sociales; J.P. Lévy y J. Varela (coord.). Madrid: Prentice Hall. 507-566. Varela, J.; Picón, E. y Brana, T. (2004). Segmentation of the Spanish domestic tourism market, Psicothema, 16, 76-83.