ELIA 2, 2001
115
PROBLEMAS EN LA EVALUACIÓN DE LA COMPETENCIA
DISCURSIVA EN INGLÉS COMO L2.
Rubén Chacón Bel án
Uni e sidad de Se illa
Nowadays, language es ing is conside ed a undamen al componen in
o eign language eaching and lea ning. In his pape , some o he mos
ep esen a i e ea u es o language es ing a e desc ibed and special
a en ion is gi en o he ques ion o language es alidi y. Some well-known
language- es ing ins i u ions use he na i e speake (NS) as a s akeholde o
e alua e he o e all le el in he o eign language, wi hou aking in o
accoun he easibili y o such a concep . In his ega d, some a gumen s a e
p esen ed in o de o demons a e he ambi alence o he no ion o “na i e
speake ” in language lea ning e alua ion. Pa icula a en ion is paid o
in e na ional language- es ing s anda ds ha , al hough well-known and
widely used, may no be as app op ia e as hey a e assumed o be. Some
sugges ions a e made o he ield o bilingualism s udies.
1. Si uación ac ual de la e aluación lingüís ica
La e aluación del conocimien o lingüís ico en una L2 es un
enómeno complejo que ha cob ado especial in e és en los úl imos años.
Nume osas son las publicaciones pe iódicas elacionadas con es e ema que
han su gido o han inc emen ado su impo ancia, como Language Tes ing,
Fai Tes y Language Tes ing Upda e. El mayo én asis po a e igua cuál es
la e icacia del ap endizaje po medio de p uebas de endimien o, o p uebas
de ap i ud, se cen a p incipalmen e en las exigencias ins i ucionales que
ins an, an o a p o eso es como a alumnos, a cumpli con unos obje i os
cu icula es. En el ap endizaje ins i ucional de una L2, la e aluación o mal
se islumb a como un componen e undamen al.
La e aluación, en cualquie a de sus modalidades, supone la ecogida
sis emá ica de in o mación que pos e io men e se u iliza á pa a oma
decisiones ela i as a la enseñanza y el ap endizaje, y suele ene
consecuencias ascenden ales pa a el u u o de los alumnos ya sea po la
admisión o exclusión en un de e minado cu so, o la concesión de una no a
R.Chacón Bel án
116
que ep esen a el g ado de p og eso alcanzado. Aunque la e aluación del
ap endizaje puede encauza se an o desde una pe spec i a cuali a i a como
cuan i a i a, es és a úl ima la que en la ac ualidad se p ac ica con mayo
ecuencia, sob e odo po su con eniencia al abaja con g upos nume osos.
Mien as que la e aluación cuali a i a cuen a con la obse ación como
ins umen o de medida, la e aluación cuan i a i a emplea la p ueba o el es .
2. Ca ac e ís icas gene ales de la e aluación lingüís ica
En cualquie p ueba de ap i ud lingüís ica, dos son las cualidades
esenciales a las que se debe p es a especial a ención: la iabilidad y la
alidez. La iabilidad es la medida del g ado en que una p ueba p opo ciona
esul ados consis en es, es deci , se dice que una p ueba es iable si da
esul ados simila es cuando se adminis a en ocasiones di e en es o
cuando la usan pe sonas dis in as (Richa ds, Pla & Pla :1997). La
iabilidad se encuen a condicionada po la consis encia de la medición en
di e en es momen os, con di e en es ipos de examen, y con di e en es
e aluado es. Po o a pa e, la alidez es el g ado en que una p ueba mide
lo que se supone que iene que medi , es deci , el g ado en que puede
emplea se con buenos esul ados pa a los ines deseados. Hay a ios
p ocedimien os es adís icos que pueden aplica se a una p ueba pa a es ima
su alidez, y con ello la bondad de la medición (Richa ds, Pla &
Pla :1997). Se debe ene en cuen a que ambas cualidades son
complemen a ias pues, mien as que la iabilidad es una cualidad de la
pun uación o cali icación, la alidez lo es de la in e p e ación y uso de las
p uebas. Pa a que la e aluación suponga un ins umen o p eciso, ambas
cualidades son necesa ias, si bien en es e abajo nos cen a emos en la
alidez como componen e undamen al de una e aluación ehacien e.
La compe encia discu si a ep esen a uno de los cua o componen es
de la compe encia comunica i a que desc ibe la habilidad pa a p oduci
discu so, an o o al como esc i o, comp ensible y cohe en e en los di e en es
géne os (ej. ca as de negocios, ensayos cien í icos,...) (Richa ds, Pla &
Pla , 1997). Pa a la elabo ación de p uebas des inadas a medi la
compe encia discu si a, ya sea a g an escala o pa a g upos pequeños, se
deben ene en cuen a a ios ac o es de e minan es pues la e aluación es
ELIA 2, 2001
117
in ínsecamen e p oblemá ica debido a que pe sigue la medición de
capacidades cogni i as y me acogni i as. Además, debemos ene en cuen a
que, de en e odos los componen es de la compe encia comunica i a, la
compe encia discu si a ep esen a posiblemen e la capacidad menos
es udiada en el ap endiz de lenguas po las di icul ades que ello en aña. La
e aluación de la compe encia discu si a a a an o capacidades men ales
como con ex uales, y po ello es necesa iamen e indi ec a, incomple a,
imp ecisa, subje i a y ela i a (Bachman, 1990). Analicemos cada una de
es as ca ac e ís icas po sepa ado:
A. Indi ec a. La ac uación de los alumnos en las p uebas o es s
supone un indicado indi ec o de las ca ac e ís icas o cualidades subyacen es
que, como lingüis as, nos in e esa medi . Po ejemplo, pa a a e igua si el
ap endiz es capaz de u iliza adecuadamen e un ocabula io p e iamen e
in oducido en clase, se le puede pedi que esc iba una edacción, o que haga
un eje cicio de ellena espacios en blanco. Sin emba go, en es e ipo de
p uebas in e ienen o as cualidades indi iduales comple amen e ajenas al
manejo de la L2, como pueden se des ezas especiales pa a esc ibi de
o ma c ea i a, o la capacidad de a a y elaciona elemen os léxicos
descon ex ualizados.
B. Incomple a. La compe encia/ac uación que se puede obse a a
pa i de una p ueba ep esen a únicamen e un pequeño po cen aje de las
capacidades lingüís icas que posee el indi iduo. En la mayo ía de los casos
se usan p uebas esc i as de una o dos ho as de du ación pa a de e mina el
conocimien o global del alumno en la L2. En lo conce nien e a la des eza
o al, ese iempo se puede e educido a una en e is a de 10 ó 15 minu os.
C. Imp ecisa. Una a ea no siemp e mide e icazmen e la des eza o
habilidad que p e ende analiza . Puede ocu i que la a ea se si úe po
encima o po debajo del ni el de compe encia del alumno, y que p opo cione
in o mación poco p ecisa. Es e p oblema es más ecuen e de lo que se ía
deseable, ya que en e aluación cuan i a i a a as eces se hacen p uebas
pe sonalizadas sino que, po el con a io, se busca un pun o medio de
di icul ad, y en elación con és e se alo a la compe encia y/o ac uación del
g upo.
R.Chacón Bel án
118
D. Subje i a. Quienes diseñan las p uebas cons an emen e oman
decisiones subje i as en cuan o al diseño y al con enido de las mismas, ya
sea en lo e e en e a la emá ica o las des ezas a las que se concede mayo
impo ancia. Del mismo modo, las p uebas lingüís icas es án basadas bien en
con enidos cu icula es o en eo ías del ap endizaje, las cuales, a su ez,
ambién son subje i as.
E. Rela i a. La ela i idad de las p uebas lingüís icas es una de las
ca ac e ís icas en las que quisie a cen a me. A pesa de que se suele medi
en é minos absolu os, la es imación de las habilidades lingüís icas en una
L2 es ela i a y pa cial. No malmen e se con as an las habilidades
p oduc i as en la L2 con una escala numé ica p og esi a. Con ecuencia, se
oma al Hablan e Na i o Cul o (HNC) como c i e io absolu o de habilidad
lingüís ica y se le si úa en el pun o más al o de la escala. Es o se hace
pasando po al o las emendas a iaciones indi iduales ap eciables en
cuan o a cohesión del discu so, o ganización de ideas, o compo amien o
sociolingüís ico, e c... Sin emba go, la expe iencia demues a que, como en
cualquie o a habilidad cogni i a, no exis en é minos absolu os y po ello
no hay un indi iduo que posea el conocimien o al 100%, ue a de un
con ex o eó ico e idealizado. Di ícilmen e se pod ía ca ac e iza a un
indi iduo con una compe encia discu si a absolu a ni en la L1 ni en la L2.
3. El HNC como modelo en la e aluación
En la ac ualidad, se puede ap ecia una cla a endencia a es anda iza
odo lo conce nien e a la e aluación del ap endizaje lingüís ico. P ueba de
ello son las di e sas o ganizaciones c eadas ecien emen e con el in de
mejo a los p ocesos e aluado es y, en úl ima ins ancia, elabo a p uebas de
ap i ud lingüís ica con alcance in e nacional. T as es a endencia ambién se
encuen a el obje i o de c ea unos c i e ios es ánda , que engan alidez
uni e sal independien emen e de la lengua con que se a e. Po ello, se han
es ablecido asociaciones in e nacionales como ILTA (In e na ional
Language Tes ing Associa ion) o ALTE (Associa ion o Language Tes e s in
Eu ope). A pesa de los es ue zos ealizados po es as asociaciones, la
e aluación del inglés como L2 se encuen a in luida en g an medida po las
endencias impe an es en los EE.UU. En la base de dicha co ien e,
ELIA 2, 2001
119
encon amos el en oque de la compe encia/ac uación (P o iciency
Mo emen ) que se emplea pa icula men e pa a e alua el uso o al de la
lengua inglesa. El P o iciency Mo emen aba ca an o la enseñanza como la
e aluación de lenguas ex anje as y se encuen a ep esen ado po la ILR
(In e agency Language Round able), ins i ución p ecu so a de las ACTFL
Guidelines (Ame ican Council on he Teaching o Fo eign Languages), que
ep esen an las di ec ices empleadas en la ac ualidad po ins i uciones
es a ales pa a la e aluación lingüís ica. Las aspi aciones de es e mo imien o
son al as, como queda pa en e en la siguien e ci a de Liskin-Gaspa o:
The guidelines p omise o be a “common ya ds ick” o he
o eign-language p o ession ha will allow us o o ganize much needed
p o iciency-based cu icula, ma e ials, e alua ion ins umen s, and
a icula ion plans a ound well-de ined le els o language skill. (Liskin-
Gaspa o, 1984:13)
La p incipal en aja de las ACTFL Guidelines adica en que
p opo cionan una p ueba de e aluación en la que el endimien o se mide de
acue do con un c i e io es ablecido p e iamen e (c i e ion e e enced es ).
Po es e mo i o, el es udian e debe alcanza un ni el de compe encia-
ac uación mínimo pa a pasa dicha p ueba, es deci la pun uación se
in e p e a como indicado de los log os ob enidos en elación con una se ie
de habilidades ijadas con an e io idad, al igual que ocu e con las p uebas
pa a ob ene el ca ne de conduci . En con as e con és as, se encuen an las
de no ma de g upo (no m e e enced es ) en las que se compa a el
endimien o de un alumno con el endimien o global de o o g upo cuyas
pun uaciones se han es ablecido como no ma base, po ejemplo el TOEFL,
pa a el que se es ablece una no ma en elación con la pun uación ob enida
po un g upo seleccionado de alumnos.
La escala u ilizada po la ILR (In e agency Language Round able)
pa a medi el g ado de compe encia discu si a o al de los ap endices, oscila
en e los ni eles 0 y 5, en e lo que de e minan como 0 ó la ca encia absolu a
de habilidad alguna pa a comunica se en la lengua, y 5 que se aplica a quien
in e ac úa uncionalmen e igual a un HNC de la lengua me a. El iempo

R.Chacón Bel án
120
eque ido pa a es e ipo de p uebas suele oscila en e los 10 y los 40
minu os de in e ención po alumno. Además, en su desc ipción se
especi ica que el ni el máximo (5) o equi alen e al HNC se ob iene a la go
plazo, a a és de la amilia ización con a ios ipos de egis os idiomá icos
y g upos sociales en un pe íodo ex enso que anscu e desde la in ancia a
los es udios de pos g ado. En dichas di ec ices pa a la e aluación, se ma iza
que la expe iencia acumulada a lo la go de años de aplicación de dichas
p uebas, demues a la imposibilidad de odos los Hablan es Na i os (HN)
pa a alcanza el ni el máximo que no malmen e co esponde a indi iduos
con una i ulación académica. Pa adójicamen e se especi ica que la mayo ía
de los HN p obablemen e iene una compe encia equi alen e al ni el 3.
4. P oblemas con el HNC como modelo de compe encia discu si a
Las e e encias al HNC como es ánda son explíci as en las
de iniciones de ILR (In e agency Language Round able). Las di ec ices de
ACTFL Guidelines, que suponen una e olución de la an e io y que han sido
pe eccionadas a lo la go de años de aplicación, han e i ado las e e encias
al HNC aunque és e con inúa p esen e de o ma implíci a. Au o es como
Valdman (1989) y Ba nwell (1989) compa en es e pun o de is a. La
ealidad es que incluso las ACTFL Guidelines con inúan a aigadas en la
c eencia de que el HN se puede ca ac e iza sin ningún p oblema y que
indiscu iblemen e debe es a p esen e en e los c i e ios de e aluación.
Como ya se indicó an e io men e, los ideado es de es e ipo de
p ueba posiblemen e se encuen an en lo cie o al p e e i un c i e io
es ablecido a una p ueba de no ma de g upo po p opo ciona mayo
obje i idad en los esul ados. Sin emba go, eniendo en cuen a lo
complicado que esul a medi cualquie ipo de ac i idad cogni i a y el
hecho de que di ícilmen e se puede ca ac e iza a un indi iduo con una
habilidad lingüís ica absolu a y comple a, es imp obable que nadie se si úe
en lo al o de dicha escala. A pesa de es as conside aciones, el HN se emplea
como modelo compa a i o, con i iéndose así en un c i e io inadecuado. La
expe iencia nos demues a que independien emen e de la a iedad o egis o
lingüís ico po la que se op e, el g upo de HN no es homogéneo. A es o
debe íamos añadi el deba e susci ado, desde hace ya más de dos décadas,
ELIA 2, 2001
121
sob e el a amien o del concep o HN en el campo de la lingüís ica
(Coulmas, 1981). Dicha dialéc ica ha gi ado en o no a la necesidad de
p opo ciona una de inición in eg al del HN que sea ú il, an o en el ámbi o
eó ico como aplicado, y que englobe ma ices psicolingüís icos,
sociolingüís icos y p agmá icos. Po el momen o, más de 20 años después de
que se inicia a dicho deba e, no hay indicios pa a pensa que la comple a
ca ac e ización del HN es é p óxima, lo que se debe a la g an can idad de
en oques que se pueden adop a , y a la in edisciplina iedad necesa ia pa a
consegui un concep o sólido. Asímismo, esul a muy di ícil, an o desde un
pun o de is a eó ico como p ác ico, de ini un ni el de conocimien o
lingüís ico absolu o o modélico (Bachman y Sa ignon, 1986; Bachman,
1990), o que al menos p esen e homogeneidad en e los miemb os de una
comunidad lingüís ica. Es a pos u a se encuen a co obo ada po au o es
como Hamil on e al (1993) quienes iden i ican una endencia bas an e
gene alizada en los úl imos años pa a desa olla p uebas de ap i ud di igidas
a HNN, basadas en la compa ación con el discu so del HN. T as es a
p ác ica se encuen a nue amen e la idea de que el g upo de HN es
homogéneo y ácilmen e ca ac e izable. Nume osos son los abajos
dedicados a con as a la ac uación de na i os y no-na i os en p uebas
diseñadas pa a medi la compe encia/ac uación en la L2, es deci , p uebas
diseñadas pa a HNN aplicadas a HN (Alde son, 1980). En es os abajos de
in es igación se demues a empí icamen e que la ac uación de los HN es
muy he e ogénea y que además la compe encia/ac uación de los p opios HN,
se encuen a lejos del ni el supe io . Cuando menos, pod íamos cali ica
es os esul ados de pa adójicos, ya que con as an con los esul ados que
cab ía espe a pues, como señala McNama a (1996), el g ado de
compe encia-ac uación es á sis emá icamen e elacionado con las des ezas
cogni i as indi iduales de cada pe sona. Wei (1988) ealizó una se ie de
p uebas lingüís icas, u ilizando es e ipo de es , y encon ó cla as di e encias
en e la p oducción de HN y HNN. Los HN consiguie on esul ados que
oscilaban en e el 76% y el 88% en a eas de lec u a y en e el 65% y el 88%
en a eas de esc i u a. Es os esul ados es án lejos del ni el 100% y aún más,
cues ionan la impa cialidad y la alidez de las p uebas que emplean el
c i e io mencionado an e io men e. Los esul ados de es e es udio cues ionan
igualmen e la noción de que exis a una in e acción modélica en e los
R.Chacón Bel án
122
p opios HN, ni a un mac o-ni el, como pueden se a iedades o egis os
lingüís icos, ni ampoco a un mic o-ni el como pueden se si uaciones
co idianas.
Widdowson (1998) señala que los diálogos y ex os incluidos en
manuales pa a la enseñanza del inglés den o del en oque comunica i o, con
ecuencia desc iben una si uación alejada de la ealidad que no se
co esponde con lo que ocu i ía en un con ex o co idiano; po ejemplo, el
diálogo de una amilia a la ho a del desayuno. En una si uación eal los
in e locu o es in e calan en su discu so o al ges os, ases incomple as e
incluso bos ezos, con lo cual el con ex o y la in o mación pa alingüís ica
juegan un papel decisi o. O o au o que compa e es e pun o de is a es
Fulche (1987), quien analiza una con e sación en e cua o pe sonas con
amplia o mación académica, es de las cuales son HN de la lengua inglesa
mien as que la cua a es un HNN del inglés. Fulche (ibid.) g aba y analiza
la con e sación man enida po los cua o in e locu o es y demues a la g an
can idad de epe iciones, dudas, a amudeos, apa en es e o es
g ama icales,... que es án p esen es en su discu so o al. Es e au o concluye
que an o las escalas de e aluación como los ma e iales didác icos
elabo ados bajo es a concepción, esponden a lo que especialis as en
e aluación y diseñado es de p uebas piensan que ocu e en si uaciones
comunica i as eales. Sin emba go, las p uebas e lejan aquello que sus
au o es c een que ocu e, o debe ía ocu i , en si uaciones co idianas, y no lo
que ealmen e acon ece. Algunos au o es c i ican la excesi a con ianza
pues a en las p uebas pa a medi la compe encia discu si a o al, es ablecidas
a ni el mundial y que po su emp ana implan ación han c eado adición en
el campo de la e aluación lingüís ica. El p oblema adica en que se a a de
ins umen os imp ecisos e ine icaces pa a medi lo que p e enden medi y
po an o ca ecen de la alidez necesa ia pa a al e ec o. Según es os au o es,
el p incipal pelig o es que una ez implan adas en el sis ema educa i o son
di íciles de modi ica o, llegado el caso, e adica . Po ello se p oduce un
enómeno al que an o Lan ol y F awley (1992) como T ayno (1985)
coinciden en llama “ he ail wagging he dog”, es deci , el abo mo iendo al
pe o.
O a ci cuns ancia que me ece conside a se es la amplia di usión que
ELIA 2, 2001
123
llegan a ene es e ipo de p uebas en el ámbi o mundial. De hecho, aunque
inicialmen e diseñadas pa a el con ex o sociopolí ico de los Es ados Unidos,
llegan a adop a se en o os con ex os sin se some idas a e isión o
adap ación alguna.
5. El HNC como obje i o idealizado en la enseñanza de lenguas
Llegado es e pun o, se ía impo an e des aca algunas ma izaciones
con espec o al uso gene alizado de é minos como HN y HNN.
No malmen e, se les en iende como é minos an agónicos y se p esupone la
homogeneidad de los mismos, aún más, se les conside a cali ica i os
ácilmen e u ilizables pa a clasi ica indi iduos. Fi h y Wagne (1997)
exponen la necesidad de lle a a cabo p o undas modi icaciones en la
concep ualización de las in es igaciones ecien es ela i as a la adquisición
de segundas lenguas. Señalan es os au o es que las eo ías y me odologías de
in es igación en la adquisición de la L2 e lejan un desni el impo an e en e
o ien aciones cogni i as po un lado y o ien aciones sociales y con ex uales
po o o. Es a si uación, y el ma cado én asis e in e és po ac o es
cogni i os en oposición a ac o es con ex uales, han hecho que se iden i ique
al ap endiz de la L2 como un comunicado de icien e deseoso de
consegui la compe encia-ac uación de un HN idealizado. Es os au o es
pos ulan que concep os undamen ales como HNN, ap endiz de lenguas e
in e lengua ep esen an elemen os monolí icos en el ámbi o de la
adquisición de lenguas segundas, pues son en endidos de o ma simpli icada
p esuponiendo la exis encia de un HN idealizado.
Un supues o bas an e di undido en e los especialis as en enseñanza
de lenguas ex anje as es que odo ap endiz iene como obje i o pa ece se
an o como sea posible al HN. Sin emba go, Shephe d (1990) sugie e que
an e la p egun a de si el obje i o inal de los ap endices de lenguas
ex anje as es pa ece se a un HN an o como sea posible, la espues a
inmedia a de la mayo ía se ía a i ma i a. Al pensa de enidamen e en el
es ue zo necesa io pa a con e i se en un HN (o pseudo-na i o) de la lengua
me a, así como las implicaciones cul u ales que ello conlle a ía, un g an
núme o de es os ap endices cambia ía de opinión. En al caso, posiblemen e