En torno a la investigación empírica en el campo de la traductología

EXPERIÈNCIES EUTI 1 125-134 16/4/98 11:04 Página 126 Resumen Los autores proponen una reflexión sobre los requisitos de obligada observación a la hora de diseñar experimentos exploratorios en el campo de la traductología. Discuten la adaptación de los criterios «clásicos», válidos para todas las ciencias experimentales y sociales e introducen nuevos criterios que se desprenden de la problemática específica que plantea la investigación en el campo de la didáctica de la traducción. En una segunda parte, a raíz del diseño de un experimento práctico realizado por uno de los autores, se matizan las exigencias teóricas establecidas en la introducción y se cuestiona la posibilidad de su rigurosa aplicación. Palabras clave: didáctica de la traducción, diseño experimental, investigación traductológica, criterios exploratorios. Abstract The authors propose a consideration of the conditions for observation whendesigning exploratory experiments in the field of translation studies. They discuss the adaptation of the «classic» criteria which are valid in all experimental and social sciences, and introduce new criteria resulting from the specific problems posed by research into the didactics of translation. In the second part, the theoretical requirements set out in the introduction are modified in the light of a practical experiment carried out by one of the authors and questions are raised concerning the feasability of a strict application of those theoretical requirements. Key words: didactics of translation, experimental design, research in translation studies, exploratory criteria. *Los autores son profesores de traducción inversa y desde hace años mantienen un intercambio de apuntes —breves reflexiones o ideas espontáneas— sobre conceptos generales o problemas concretos dentro del campo de la traductología que reflejan sus inquietudes profesionales y sobre todo didácticas. Los siguientes planteamientos —resumen y traducción de algunas cartas redactadas en alemán— representan una reflexión sobre la necesidad de diseñar experimentos exploratorios en el campo de la didáctica de la traducción. Quaderns. Revista de traducció 1, 1998 127-134 En torno a la investigación empírica en el campo de la traductología* Martin Kreutzer Universidad de Las Palmas de Gran Canaria. Facultad de Traducción e Interpretación Willy Neunzig Universitat Autònoma de Barcelona. Facultat de Traducció i d’Interpretació 08193 Bellaterra (Barcelona). Spain EUTI 1 125-134 16/4/98 11:04 Página 127 128 Quaderns. Revista de traducció 1, 1998 Martin Kreutzer; Willy Neunzig Querido Martin, Ayer en el Seminario de Traducción Especializada comencé a presentar —como cada año— el marco teórico al que íbamos a atenernos a lo largo del curso. Una estudiante me preguntó, sin embargo, por qué no simulábamos el mundo real y, en lugar de discutir las traducciones a nivel teórico, no traducíamos simplemente textos especializados que les ayudaran a adquirir más práctica, pues se encontraban en el último año de la carrera. Claro que aquí cabe una respuesta que explique el por qué nosotros, en nuestro concepto didáctico, consideramos necesario atenernos a una teoría de la traducción específica, haciendo, por ejemplo, referencia a las tesis de Neubert sobre la relación entre teoría y práctica de la traducción y adaptarlas a la didáctica. Más convincente, sin embargo, sería poder referirnos a unos resultados empíricos concretos —como lo hacen por ejemplo los psicólogos o sociólogos— que probasen que los alumnos obtienen mejores resultados si la enseñanza se basa en un determinado concepto didáctico, o que traducir bien no sólo depende del mayor o menor número de traducciones realizadas durante los estudios (creo recordar que tú piensas presentar un trabajo de investigación en este campo). En todo caso, independientemente de este debate con los estudiantes, pienso que tienen toda la razón aquéllos que exigen que la traductología moderna —para explicar los fenómenos— no se centre tanto en estrategias ex post facto, es decir de investigación descriptiva como única técnica de recogida de datos, sino que se dedique más a una investigación verificativa partiendo de unos experimentos exploratorios convenientemente diseñados. Mediante una metodología empírica nuestra ciencia adquirirá, en mi opinión, unos fundamentos más sólidos, dado que se acercará al ideal de las ciencias positivo-naturales. Para ajustarnos a este ideal científico debemos partir de diseños experimentales y estrategias metodológicas rigurosas que permitan medir y determinar las inferencias de nuestras hipótesis de trabajo. Como modelo sigo postulando los diseños clásicos que entroncan en la teoría del muestreo y que se fundamentan en la comparación de grupos o bien en la comparación intrasujeto, es decir, diseños de medidas repetidas. No considero apropiado el plantearnos diseños operacionales que enfatizan el sujeto único y las observaciones repetidas a lo largo de una serie de registros del comportamiento de este sujeto único, pese a lo popular que en el último tiempo se han tornado estos métodos en las ciencias sociales. No debemos ni podemos dedicarnos a un único sujeto (alumno) dada la situación muy especial que supone ser investigador y profesor al mismo tiempo. En nuestros experimentos debemos observar rigurosamente los siguientes requisitos «clásicos», válidos para todas las ciencias experimentales y sociales, y además introducir otros criterios que se desprenden de la problemática específica que plantea la investigación en el campo de la didáctica. —Objetividad: el diseño experimental tiene que garantizar que los instrumentos que se utilizan sean independientes del investigador que los utiliEUTI 1 125-134 16/4/98 11:04 Página 128 za, es decir, que, en el caso hipotético de que el experimento fuera realizado por otros investigadores, se obtendrían resultados iguales o muy similares. Esto implica claridad, transparencia, comprensibilidad y lógica en el planteamiento metodológico. En el caso de la didáctica de la traducción, es obvio que el investigador/profesor puede manipular los estímulos y los resultados, por lo que hay que hacer especial hincapié en la estandarización de las intervenciones y de los instrumentos de medición. —Fiabilidad: el diseño experimental tiene que garantizar el control de todos los factores que puedan distorsionar los resultados, es decir, las variables independientes (en nuestro caso se trataría de variables como conocimientos lingüísticos, cultura general, experiencia previa, input pedagógico, etc.), sea conociendo la magnitud de su influencia, sea minimizando su influencia dentro del experimento mismo. Un método muy común es el de formar grupos «paralelos» que la estadística denomina «muestras apareadas», es decir, la muestra general —la clase— se divide, partiendo de los resultados obtenidos en un test previo, en «parejas» con comportamiento similar y se asigna un miembro a un grupo y el otro al segundo grupo. No podemos dar por sentado que al dividir la muestra en grupos escogiendo los miembros al azar, se vayan a obtener grupos realmente comparables. Después de haber obtenido dos muestras apareadas (dos grupos) se le administrará a un grupo —el grupo experimental— una intervención (variable dependiente, por ejemplo un cierto input didáctico), mientras que el grupo de control no disfruta de esta intervención. Ya que se trata de grupos «iguales», las diferencias observables en un segundo test pueden atribuirse a la influencia de la intervención realizada. —Reproducibilidad o lo que otros llaman repetibilidad: el diseño tiene que garantizar que los resultados obtenidos en un experimento determinado se puedan repetir en experimentos paralelos con otros probandos. —Validez: hay que asegurar que los resultados (por ejemplo la mejora en los resultados de las traducciones realizadas por los estudiantes) sean indicadores válidos para los objetivos que se desean alcanzar, es decir, hay que asegurar que uno esté midiendo lo que en realidad desea medir. si deseamos, por ejemplo, medir la aplicación adecuada de una estrategia de traducción determinada, no lo podemos hacer ciñiéndonos a la traducción correcta o falsa de una o dos palabras. —Extrapolabilidad: el experimento se tiene que diseñar de tal forma que los resultados obtenidos sean extrapolables a otras situaciones o por lo menos que sirvan de base para formular hipótesis de trabajo para posteriores investigaciones. En el caso de la didáctica de la traducción, sólo tienen sentido los experimentos cuyos resultados valgan para muchas situaciones translatorias y tengan relevancia general en el campo de la docencia de la traducción. —Cuantificabilidad: los datos obtenidos a partir de los experimentos deben ser cuantificables para permitir unos análisis basados en métodos de estadística inferencial, para asegurar —desde un planteamiento positivo-científiLa investigación empírica en la traductología Quaderns. Revista de traducció 1, 1998 129 EUTI 1 125-134 16/4/98 11:04 Página 129 co— la validez de los resultados obtenidos. Si, por ejemplo, se quiere analizar la correcta aplicación de una cierta estrategia translatoria tras una determinada intervención por parte del profesor, se tienen que poder asignar valores numéricos a los resultados obtenidos antes y después de la intervención. Sólo con ello podremos utilizar análisis estadísticos y concluir que una cierta intervención ha llevado a cambios significativos en el comportamiento translatorio de los estudiantes. Además hay que incluir en el diseño experimental ciertos criterios que se derivan directamente de la situación investigadora y del contexto experimental en el que normalmente debemos realizar nuestras exploraciones. —Equidad: pese a tratarse de un experimento exploratorio, la ética pedagógica nos obliga a asegurar que todos los participantes (los alumnos de una asignatura) tengan exactamente las mismas posibilidades de aprender los contenidos y/o las destrezas, por lo que no caben diseños que excluyan a determinados sujetos o que prevean intervención negativa como podría ser la enseñanza de estrategias de traducción erróneas. —Eficiencia: dado que no podemos obligar a los probandos a participar en todas las fases experimentales y como la cantidad de probandos es limitada, el diseño tiene que asegurar que el experimento siga funcionando correctamente pese a que «por el camino» vayan «perdiéndose» miembros de uno de los grupos o surjan otras imponderabilidades típicas de la situación docente. —Economía:el experimento debe plantearse dentro del desarrollo normal de una asignatura para impedir que los estudiantes probandos se vean obligados a invertir mucho tiempo en el experimento, lo que influiría en su motivación y distorsionaría los resultados. Si realmente te decides a realizar tu experimento en el marco de la didáctica, te recomiendo el libro de Mayntz y otros: Einführung in die Methoden der empirischen Soziologie (Introducción a los métodos de la sociología empírica). Coméntame los resultados. Hasta pronto Willy Estimado Willy, Ya hace tiempo que me mandaste unas cartas sobre la investigación empírica. En los últimos meses, pues, he realizado un experimento con mis estudiantes y a raíz del diseño que he elegido y de los primeros resultados obtenidos, quisiera hacerte algunos comentarios sobre los criterios científicos que enumeras. Antes de entrar en detalles, quisiera explicarte brevemente el experimento que he realizado en estos últimos meses. A mí me interesaba saber, como creo que a todos los profesores, si mis alumnos eran capaces de asimilar las estrategias de traducción que procuramos enseñarles. Pero como esto resulta ser una cuestión amplísima que sólo puede (en el mejor de los casos) contestarse mediante unos seguimientos a largo plazo (durante toda la carrera), he elegido sólo un segmento de esta gran cuestión y he optado por formular un objetivo mucho 130 Quaderns. Revista de traducció 1, 1998 Martin Kreutzer; Willy Neunzig EUTI 1 125-134 16/4/98 11:04 Página 130 más concreto: ¿logran los alumnos aprender unas determinadas estrategias o procedimientos para resolver cierto tipo de problema de traducción y aplicarlos cuando detectan un problema similar? Como en las Islas Canarias gran parte de las traducciones que se realizan pueden englobarse en el marco del turismo, parto en mi experimento de textos de este tipo con determinados problemas traslatorios que tienen una solución posible basándonos en conceptos finalistas. Mi objetivo pues era comprobar si los alumnos, tras mi intervención (veinte horas de clase), saben detectar esta clase de problemas y si realizan traducciones significativamente más coherentes que sin este tipo de intervención, en otras palabras, si asimilan mayoritariamente lo que les trato de enseñar. Se trata pues de una investigación de base realizada en un marco didáctico en el que, teóricamente, se habrían de respetar todos los criterios que tu postulas. Sin embargo, veo que la rigurosa aplicación de los criterios científicos que reivindicas limitaría mucho la realización de experimentos en nuestra área de trabajo. Antes de comentar los puntos que sugieres quiero describirte mi experimento: —Diseño: dos grupos paralelos, cinco fases experimentales. —Grupo experimental: nueve estudiantes de segundo de la asignatura Introducción a la Traducción Especializada de nuestra Facultad y cinco estudiantes de intercambio alemanes (Erasmus) los que «disfrutarán» de mis clases. —Grupo de control: siete estudiantes de primero de la asignatura Lengua B1 de nuestra facultad que me servirán para controlar si no existe un aprendizaje «indirecto» sólo por el hecho de estudiar en una facultad de traducción. —Fase experimental 1 (baseline 1): traducción en casa de tres textos que reflejan determinados problemas translatorios, a realizar por los alumnos de ambos grupos. —Fase experimental 2: (baseline 2): preguntas estandarizadas sobre los problemas translatorios y las soluciones propuestas (grabación de las entrevistas). —Fase experimental 3: veinte horas de intervención del profesor/investigador (clases prácticas de traducción), ateniéndose —en lo que se refiere a las estrategias de traducción para resolver determinados problemas— a un marco referencial teórico (aquí conceptos finalistas) y utilizando textos que reflejan problemas similares a los definidos en la baseline 1. —Fase experimental 4: traducción en casa de tres textos que reflejan problemas translatorios similares a los de la baseline, a realizar por los alumnos de ambos grupos. —Fase experimental 5: preguntas estandarizadas sobre los problemas translatorios y las soluciones propuestas (grabación de las entrevistas). —Evaluación: a) análisis comparativo de las soluciones propuestas por ambos grupos antes y después de la intervención, La investigación empírica en la traductología Quaderns. Revista de traducció 1, 1998 131 EUTI 1 125-134 16/4/98 11:04 Página 131 b) evaluación de los comentarios sobre las estrategias translatorias utilizadas, c) comparación estadística y descriptiva de los resultados de ambos grupos. Partiendo de mi experiencia, quiero ahora hacerte algunos comentarios sobre los puntos a los que haces referencia en tus cartas: —Objetividad: en este diseño, lo que se puede definir de forma operacional es el marco referencial utilizado, los problemas translatorios en los que se basa el análisis y hasta las preguntas para las entrevistas. Lo que no puedo estandarizar es mi intervención (justamente la didáctica del profesor/investigador) durante las veinte horas de enseñanza (aquí tendríamos que plantearnos si no sería mejor trabajar con un «profesor virtual», es decir con un ordenador). Especial importancia adquiere en mi experimento la evaluación de los datos verbales (las entrevistas) pues, para ser objetivo, tengo que partir de unas categorías relativamente amplias cuando quiero clasificar y codificar los datos (y para que otros evaluadores puedan extraer de ellos el valor informativo que les atribuyo). En pos de esta objetividadestoy sacrificando matices que posiblemente serían muy interesantes. —Fiabilidad: en este punto influyen de una forma esencial los puntos que tú llamas «equidad» y «economía». Para ser sinceros, casi la única opción que nos queda es utilizar a nuestros estudiantes como probandos. La equidad nos impide, claro está, dividir a los estudiantes de una asignatura en grupos y formar por ejemplo sólo a una parte de ellos. Esto significa que me ha resultado imposible hacer las clásicas muestras apareadas para obtener «grupos iguales» en lo que se refiere a las variables independientes (conocimientos lingüísticos, cultura general, etc.) para diseñar un experimento de repeated measurement con grupos experimentales y de control. La realidad nos obliga a decantarnos por diseños de comparación intra-sujeto con un grupo de control externo, pero ello no significa necesariamente que los resultados sean menos fiables. Las «deficiencias» teóricas del diseño se pueden compensar utilizando más de un instrumento exploratorio. Los comentarios grabados junto con las traducciones escritas suplen, en mi experimento, las dudas que pudieran surgir por la falta de grupos de control rigurosamente paralelos. —Reproducibilidad: aquí nos encontramos, a mi parecer, ante un planteamiento ambiguo. Que un experimento sea repetible no significa que el experimento «posterior» tenga que arrojar los mismos «datos» que el original; en nuestro campo es difícil que se den traducciones iguales. Pero lo importante es que los experimentos paralelos o posteriores puedan confirmar las tendencias observadas en el experimento original. —Validez: el problema en este caso reside: a) en definir bien lo que pretendemos medir y b) en los instrumentos que tenemos a disposición para medir lo que queremos medir. Sólo se trata, a fin de cuentas, de evitar generalizaciones ilícitas en el momento de interpretar los resultados. En mi experimento, concretamente, sólo pretendía medir si los estudiantes eran capaces de asimilar determinadas estrategias de traducción y aplicarlas luego 132 Quaderns. Revista de traducció 1, 1998 Martin Kreutzer; Willy Neunzig EUTI 1 125-134 16/4/98 11:04 Página 132 de forma adecuada y no, por ejemplo, si aprendían a traducir correctamente. Los resultados obtenidos indican que mi objetivo, pero sólo éste, parece haberse alcanzado. Pero también se trata de que seamos conscientes de los instrumentos exploratorios que utilizamos. En mi caso no puede ser lícito medir un proceso —como es la aplicación o no aplicación de una determinada estrategia de traducción— a raíz del producto, es decir, solamente del análisis de la traducción redactada por el estudiante. Por ello introduje el otro instrumento exploratorio (las entrevistas estandarizadas) y así, en la medida posible, reconstruir a posteriori el camino (el proceso) elegido por el estudiante. —Extrapolabilidad: como bien dices al principio de tu carta, nos encontramos al principio de la investigación inductiva en nuestro campo, por lo que carece de interés ceñirse a problemas minúsculos como son la correcta traducción de palabras sueltas o términos. El objeto de nuestros estudios tienen que ser problemas cuyas soluciones sean de alguna manera extrapolables y que nos ayuden a reflexionar y formular hipótesis sobre la didáctica de la traducción en términos más amplios. Mi experimento abarca una cuestión bastante común de nuestra área y, por consiguiente, los resultados pueden tener relevancia y aplicación en un vasto campo de la traductología, o por lo menos de la didáctica de la traducción. —Cuantificabilidad: como ya lo mencioné más arriba, no debe interesarnos cuantificar resultados de experimentos en una escala continua, no necesitamos obtener un «coeficiente de destreza translatoria». Basta valorar, por ejemplo en este caso concreto, si el estudiante aplicó una cierta estrategia en una situación determinada o no. Por lo tanto, aquí nos bastan dos categorías: «Estrategia aplicada» y «estrategia no aplicada». A lo sumo, se podría introducir una tercera categoría que sería «intento de aplicación de estrategia fallido». De todos modos los resultados son cuantificables, es decir, podemos obtener resultados estadísticamente significativos. —Equidad, eficiencia y economía: estos tres puntos son de gran importancia práctica dada nuestra situación investigadora, pero atenerse a ellos nos lleva inevitablemente a concesiones en la aplicación rigurosa de los demás criterios, como has ido viendo a lo largo de mis explicaciones. Para respetar la ética pedagógica tenemos que «inventarnos» grupos de control, especialmente si no tenemos dos o más grupos que cursan la misma asignatura, como ocurre en la sección de alemán. La eficiencia nos obliga a reducir a posteriori los grupos experimentales e ir eliminando del experimento atodos aquellos alumnos que se pierden partes esenciales del experimento con el fin de no distorsionar los resultados. Finalmente, la economía nos obliga a realizar nuestro trabajo en una situación experimental en la que no podemos evitar el carácter de «examen» que el experimento puede tener para los estudiantes (especialmente las entrevistas), cosa que cuestiona si es lícito extrapolar o generalizar los resultados. Creo que habría que incluir un décimo criterio, la «anonimidad», que nos llevaría, sin embargo, a tener que hacer concesiones en estos últimos puntos. La investigación empírica en la traductología Quaderns. Revista de traducció 1, 1998 133 EUTI 1 125-134 16/4/98 11:04 Página 133 Como ves, no todos los criterios que mencionas se pueden aplicar siempre de forma tan rigurosa como tú lo reivindicas. Pero este hecho no nos impide en absoluto realizar experimentos empíricos, por ejemplo, dentro de la didáctica de la traducción. En mi opinión se trata de establecer una jerarquía en la aplicación de los criterios. Muy arriba encontraríamos «validez», «equidad», «economía» y «cuantificabilidad», pues estamos realizando una investigación de base en un marco muy concreto que tenemos que respetar. Luego vendría «extrapolabilidad» y «reproducibilidad», ya que se trata de establecer puntos de partida para posteriores experimentos. Por muy paradójico que suene, la «objetividad» y la «fiabilidad» quedarían relegadas a los últimos lugares. Esto no significa que los experimentos en nuestra área no necesiten ser objetivos o fiables, sino que la rigurosa aplicación de estos criterios simplemente nos impediría realizar estudios empíricos. ¿Qué te parece? Un abrazo Martin 134 Quaderns. Revista de traducció 1, 1998 Martin Kreutzer; Willy Neunzig EUTI 1 125-134 16/4/98 11:04 Página 134