Adap aci´on del M´e odo de E ique ado No Supe isado TBL
Jes´us Gonz´alez Ma ´ı
In elligen Dialogue Sys ems
Se illa
[email p o ec ed]
Da id Gonz´alez Maline
G. In es igaci´on Julie a
Uni e sidad de Se illa
[email p o ec ed]
Jos´eAn onioT oyano
Depa amen o LSI
Uni e sidad de Se illa
oy[email p o ec ed]
Resumen: Se p esen a una mejo a al m´e odo de e ique ado de B ill basado en eglas
y ans o maciones. Se disminuye conside ablemen e los iempos de en enamien o
sin sac ifica de ninguna mane a la eficicacia del m´e odo.
Palab as cla e: B ill, TBL, egla, ans o maci´on, e ique ado mo osin ´ac ico, ca-
ego ia
Abs ac : This pape p oposes an imp o emen o he B ill’s “T ans o ma ion-
Rule Based” POS-Tagge Algo i hm. Ou imp o emen dec eases aining imes
conside ably wi hou affec ing he accu acy o he algo i hm.
Keywo ds: B ill, TBL, ule, ans o ma ion, Pa -o -OS agging, ca ego y
1. In oducci´on
Desob aesconocidalanecesidadde
ealiza el e ique ado mo osin ´ac ico den o
de los p ocesos de a amien o del lenguaje
na u al. Pa a lle a a cabo es a a ea se
pueden u iliza di e sos ipos de algo i mos,
en e los cuales podemos encon a el p o-
pues o po B ill(B ill, 1992)(B ill, 1994) y en
conc e o la e si´on no supe isada de su e i-
que ado basado en ans o maciones(B ill,
1995).
La g an en aja de es e m´e odo es que
pe mi e una mayo implicaci´on po pa e
de los ling¨uis as a la ho a de mejo a lo
y adap a lo a los di e en es ´ambi os de
aplicaci´on del mismo. Sin emba go, y a pesa
de la e ec i idad del m´e odo, los iempos de
en enamien o que equie e un algo i mo de
es e ipo son conside ablemen e supe io es a
los iempos que emplean los e ique ado es
basados en los modelos de Ma ko .
Exis eng ancan idadde abajosque
in en an mejo a de alguna o ma es e p o-
blema: (Roche y Schabes, 1995), (Ramshaw
y Ma cus, 1996), (Aone y Hausman, 1996),
(Ngai y Flo ian, 2001), e c... Pe o la mayo ´ıa
de los mismos sac ifican la eficacia del
e ique ado po elocidad de ejecuci´on; po
consiguien e el m´e odo cae en des en aja
con espec o a o os que p opo cionan un
mejo esul ado en iempos semejan es.
Todos los abajos mencionados se cen an
en es udia las p obabilidades de las eglas
pa a e i a gene a aquellas que a pos e io i
sean innecesa ias. Sin emba go, es o no se
cumple siemp e y a eces se pie den eglas
que pod ´ıan se muy p o echosas pa a au-
men a el n´ume o de palab as co ec amen e
e ique adas.
En es e a ´ıculo se p esen a una adap-
aci´on del m´e ododeB illquenodesecha
ninguna egla, pe o que ealiza una mejo a
empo al muy in e esan e ya que pe mi e
compe i con los ya mencionados algo i mos
basados en modelos de Ma ko . En defi-
ni i a, aumen a en p opo ci´on la calidad
de los esul ados espec o a los iempos de
en enamien o, sin sac ifica el g ado de
p ecisi´on y cobe u a de las aglas ob enidas.
2. Algo i mo de B ill No
Supe isado
El algo i mo de B ill pa e de un ex o
sin e ique a y de un dicciona io que con ie-
ne las di e en es ca ego ´ıas g ama icales a las
que puede op a una palab a. A con inuaci´on
ealiza los siguien es pasos:
1. En p ime luga , e ique a cada palab a
consuconjun odee ique asco espon-
dien e.
2. Gene a odas las eglas posibles
bas´andose en un conjun o de e minado
de plan illas (PREVWORD, NEXT-
WORD, PREVTAG, NEXTTAG, ...).1
3. Pun ´ua cada egla en unci´on de una se-
ie de pa ´ame os, como po ejemplo la
ecuencia de apa ici´on de las mismas.
4. Si no exis e ninguna egla que haya sido
pun uada po encima de un cie o um-
b al e mina el en enamien o del e ique-
ado . Si exis e, la aplica a odas las pa-
lab as del ex o que concue den con el
con ex o de la egla y la a˜nade al con-
jun o de eglas ap endidas po el e ique-
ado .
5. Vol e al paso 2.
Veamos un b e e ejemplo. Supongamos
el siguien e es ado en el p oceso de en ena-
mien o del e ique ado :
... ele aba(VERB) a(PREP-NOMB) la(DET-
NOMB) o illa(NOMB-VERB) misma(ADJ)
del(DET) ´ıo(NOMB-VERB) y(CONJ) ...
...
... habi aba(VERB) un(DET) pueblo(NOMB)
de(PREP) homb es(NOMB) igo osos(ADJ) ...
Pa a la palab a ambigua “o illa” de la p i-
me a ase y omando como e e encia la pa-
lab a no ambigua “pueblo” de la seguda ase,
enemos la siguien e coincidencia de con ex-
o:
PREVTAG(DET): NOMB-VERB →NOMB
Como se e, pa a las dos palab as “o illa”
y “pueblo”, exis e una posible e ique a
com´un que les p ecede: “DET”. Dado que
enemos un caso no ambiguo (“pueblo”) en
el cual una palab a posee la ca ego ´ıa g a-
ma ical de “NOMB”, en el caso de “o illa”,
gene amos la egla an e io men e ci ada. Si
es a egla ob iene la mayo pun uaci´on se
aplica ´a y en el siguien e paso del algo i mo
el ex o se hab ´a ans o mado en:
... ele aba(VERB) a(PREP-NOMB) la(DET-
NOMB) o illa(NOMB) misma(ADJ) del(DET)
´ıo(NOMB-VERB) y(CONJ) ...
1La e si´on implemen ada po los au o es s´olo con-
empla los ci ados ipos de plan illas.
3. Va iaci´on de Es ados
La mejo a del algo i mo se basa en un
es udio de los es ados po los que pasa el
p oceso de en enamien o. En cada i e aci´on,
se gene a un conjun o de eglas posibles
en e las que elegi aquella que ob enga la
mayo pun uaci´on, que no malmen e coinci-
de con aquella que m´as palab as desambigua.
Podemos defini un es ado del algo i mo
median e los siguien es elemen os: el ex o
de en ada, el conjun o de eglas candida as,
la egla de mayo pun uaci´on y el conjun o
de eglas ap endido du an e los an e io es
es ados del algo i mo. Pa a consegui una
mejo aquenocomp ome alaeficacia
debemos consegui un algo i mo di e en e,
m´as eficien e pe o que man enga el mismo
n´ume o de es ados as´ı como la secuencia de
los mismos. Po an o, la idea cla e de es a
p opues a consis e en encon a cu´ales son
los ac o es que implican un cambio de un
es ado a o o, abaja con dichos elemen os
y gene a un nue o algo i mo que no necesi e
el es ue zo compu acional del o iginal.
Pa a p opone una nue a soluci´on se es-
udi´o p e iamen e el algo i mo o iginal pa a
encon a su pa e c ´ı ica, es o es, la que
mayo ca ga compu acional sopo a. ´
Es a
ecae sob e la a ea de gene a el conjun o de
eglas candida as y puede llega a consumi
el 85 % del iempo del algo i mo. Es o es de-
bido a que el algo i mo o iginal no iene m´as
emedio que ol e a gene a las a cada paso
o es ado. La pun uaci´on de eglas ambi´en
consumeunapa eimpo an edel iempo
pe o no es significa i a en compa aci´on al
iempo necesa io pa a gene a las miles (o
incluso millones) de eglas que pueden llega
a gene a se.
El p oblema de la gene aci´on de dichas
eglas consume mucho iempo po que equie-
e eco e el ex o de en ada un n´ume o
muy ele ado de eces en cada i e aci´on:
node eco idos
noi e aciones =(palab as ambiguas)2
4. Gene aci´on R´apida de Reglas
Una ez se es udian los di e en es es ados
po los que pasa el algo i mo du an e sus
ejecuciones, se puede obse a que el es ado
de eglas candida as a ´ıa en unci´on de
una se ie de pa ones que p esen amos a
Jesús González Ma í, Da id González Maline y José An onio T oyano
con inuaci´on:
Apa ici´on en nue os con ex os
La apa ici´on de nue as eglas en el
conjun o de eglas candida as cuando
se cambia de un es ado a o o en una
i e aci´on,sedebeexlusi amen eala
apa ici´on de nue os con ex os que
cuad en con las palab as que a´un siguen
siendo ambiguas en el ex o. Es o quie e
deci que, cuando desambiguamos una
palab a en una i e aci´on, en la siguien e
pueden apa ece nue as eglas o igi-
nadas po las palab as ambiguas que
aho a ienen en com´un su con ex o con
el con ex o no ambiguo.
Po ejemplo, dado el siguien e agmen o
de un ex o sob e el que es ´a abajando
el sis ema de en enamien o:
... ele aba(VERB) a(PREP-NOMB)
la(DET-NOMB) o illa(NOMB-VERB)
misma(ADJ) del(DET) ´ıo(NOMB-VERB)
y(CONJ) ...
... la(NOMB)2mayo (NOMB-ADJ)
pa e(NOMB-VERB) de(PREP) la(DET-
NOMB) gen e(NOMB) ...
... habi aba(VERB) un(DET) pue-
blo(NOMB) de(PREP) homb es(NOMB)
igo osos(ADJ) ...
Si enemos en cuen a el educido con-
jun o de eglas que se gene a ´ıan a
pa i de la palab a ambigua “o illa”
de la p ime a ase, emos que s´olo
exis e una palab a no ambigua que
concue da con su con ex o pa a la
plan illa PREVTAG: “pueblo”, pues
an olapalab aquelap ecede,comola
que p ecede a “o illa” pe enecen a la
ca ego ´ıa g ama ical de de e minan e.
Po lo an o la ´unica egla que se gene a
se ´ıa:
•PREVTAG(DET): NOMB-VERB →NOMB
Es a egla significa que si es amos an e
una palab a que puede se o bien un
2La ca ego ´ıa NOMB iene del nomb e de la no a
musical “LA”. Conside ese el ejemplo como un caso
en el que se ha desambiguado inco ec amen e.
nomb eobienun e boylapalab a
que le p ecede con iene en sus posibles
e ique as DET, en onces debemos elegi
pa a ella la ca ego ´ıa de NOMB.
En es e mismo es ado, la egla que ob-
iene mayo pun uaci´on si e pa a de-
sambigua la palab a “mayo ” a NOMB.
Si aho a u ie amos que ol e a gene-
a odas las eglas del conjun o pa a
la palab a “o illa”, ya no es “pueblo”
quien concue da en con ex o, sino am-
bi´en la palab a “mayo ” gene ando es as
dos nue as eglas en el conjun o de eglas
posibles:
•PREVTAG(NOMB): NOMB-VERB →
NOMB
•PREVWORD(“la”): NOMB-VERB →
NOMB
Desapa ici´on po la palab a desambigua-
da
En cuan o a la desapa ici´on de eglas, se
pueden da dos casos. El m´as e iden e
es el caso en el que una palab a ambigua
que gene aba eglas, pasa a se no am-
bigua. En es e caso, desapa ecen odas
las eglas que se gene aban u iliz´andose
dicha palab a como e e encia.
En el ejemplo an e io , en´ıamos un
o al de es eglas gene adas a pa i
de la palab a “o illa” como palab a
ambigua de e e encia. Si en una de
las i e aciones se eligie a una egla
que la desambiguase, las es eglas
que se gene a on en el caso an e io
desapa ece ´ıan.
Desapa ici´on po con ex os p opios y
ajenos
Exis e un segundo caso de desapa ici´on
de eglas que se p oduce al desambigua
palab as que cuad an con los con ex os
de alguna palab a po encialmen e u ili-
zable pa a la gene aci´on. Po ejemplo,
p esen ando el siguien e es ado an´alogo
al an e io pe o con la palab a “mayo ”
desambiguada:
... ele aba(VERB) a(PREP-NOMB)
la(DET-NOMB) o illa(NOMB-VERB)
misma(ADJ) del(DET) ´ıo(NOMB-VERB)
y(CONJ) ...
A
dap ación del Mé odo de E ique ado No Supe isado TBL
... la(NOMB) mayo (NOMB) pa e(NOMB-
VERB) de(PREP) la(DET-NOMB) gen-
e(NOMB) ...
... habi aba(VERB) un(DET) pue-
blo(NOMB) de(PREP) homb es(NOMB)
igo osos(ADJ) ...
Las eglas que se gene an son las siguien-
es:
•PREVTAG(DET): NOMB-VERB →NOMB
•PREVTAG(NOMB): NOMB-VERB →
NOMB
•PREVWORD(“la”): NOMB-VERB →
NOMB
Sin emba go, se puede obse a que el
“la” que p ecede a la palab a “o illa”
es ambi´en una palab a ambigua, lo cual
da luga a dos con ex os di e en es a e-
ne en cuen a a la ho a de gene a e-
glas. Si dicha palab a ue a desambigua-
da en una de las i e aciones del algo-
i mo, end ´ıamos que ene en cuen a
cu´ales son las eglas que desapa ecen po
es a causa. En es e caso conc e o, si de-
sambiguamos “la” a de e minan e,la e-
gla que desapa ece ´ıa se ´ıa:
•PREVTAG(NOMB): NOMB-VERB →
NOMB
5. Resul ados
Pa a la ealizaci´on de las p uebas de
medici´on de iempos y compa aci´on en e
algo i mos, se u iliz´o una m´aquina con
p ocesado In el Pen ium III a 800 Mhz,
256 MBy es de memo ia RAM y ejecu ando
un sis ema ope a i o Windows 2000.
La implemen aci´on del algo i mo o iginal
u ilizada ue c eada a pa i del a ´ıculo
publicado po B ill sob e el en enamien o
no supe isado. P ime o se ealiz´ouna
implemen aci´on “al pie de la le a” y a
con inuaci´on se implemen ´ouna e si´on
queusabaes uc u asdeda osindexadas.
Finalmen e se ealiz´ouna e ce aimplemen-
aci´on que sacaba p o echo de los p incipios
mencionados en la secci´on an e io . Cada
e si´on se ue cons uyendo en base a la
an e io po lo que odo el c´odigo com´un
es compa ido haciendo de es e modo m´as
fiable los esul ados y compa a i as.
El siguien e cuad o mues a los di e en es
iempos de ejecuci´on (en segundos) del
algo i mo en sus es a ian es u ilizadas en
las p uebas:
Tam a ˜no
del Tex o 1Kb 5Kb 10 Kb 20 Kb
O iginal 1.14 160.97 640.87 5329.37
Indexada 0.53 103.95 408.24 2834.84
R´apida 0.34 48.31 138.13 807.09
Cuad o 1: Tiempos de ejecuci´on
El mismo esul ado puede ap ecia se
g ´aficamen e en la figu a 1. Se obse a
el c ecimien o exponencial del iempo de
ejecuci´on en las es e siones. El n´ume o de
eglas que se puede llega a gene a en un
ex o depende exponencialmen e del ama˜no
del mismo. Se obse a que la di e encia de
iemposamedidaqueel ama˜no c ece es
muy conside able.
Figu a 1: Tiempos de ejecuci´on
Como se ci ´o an e io men e, la mejo a
se ha ealizado ´unicamen e en la gene aci´on
de eglas y no en o a pa e del algo i -
mo. Es a ca ac e ´ıs ica puede ap ecia se
mejo si medimos la di e encia de iempos
que exis e en e cada i e aci´on. Ya que
las esimplemen acionessecompo an
exac amen e de la misma o ma, incluso
a la ho a de conse a el es ado en e las
i e aciones, ealizamos la medici´on en e
la e si´on indexada y la e si´on mejo ada,
ob eniendo una g ´afica como la de la figu a 2.
Jesús González Ma í, Da id González Maline y José An onio T oyano
Figu a 2: Tiempos de i e aci´on
Se obse a que la ejecuci´on del algo i mo
mejo ado pa ece mucho m´as cons an e en
su iempo de i e aci´on que el algo i mo
o iginal. Es o se debe a que el algo i mo
o iginal gene a la o alidad del conjun o
de eglas posibles en cada i e aci´on, mien-
as que el algo i mo p opues o an s´olo
ealiza dicha ope aci´on al comienzo de la
ejecuci´on misma. De es e modo, ealiza
en cada i e aci´on ´unicamen e los c´alculos
necesa ios pa a a e igua las modificaciones
delconjun ode eglasdelai e aci´on an e io .
La figu a 3 mues a la di e encia de iem-
pos en cada i e aci´on de los dos algo i mos
compa ados. Ya que el iempo de pun uaci´on
delas eglasesid´en icamen e igual en ambos
algo i mos, se obse a que la disminuci´on en
la di e encia se debe a c´omo p og esi amen e
dec ece el n´ume o de eglas candida as que
se pueden calcula , consecuencia l´ogica de
c´omo se an desambiguando las palab as en
el ex o.
Figu a 3: Di e encia de Tiempos
6. Conclusi´on
En es e a ´ıculo se ha buscado una solu-
ci´on a la len i ud de ejecuci´on del algo i mo
de en enamien o pa a el e ique ado no
supe isado p opues o po B ill. Pa a ello
se han es udiado los di e en es es ados po
los que pasa el algo i mo, as´ı como los
ac o es que hacen a ia de un es ado a
o o, de una i e aci´onalasiguien e.Apa i
de esa in o maci´on, se dise˜na un nue o
algo i mo capaz de e i a ene que egene-
a la in o maci´on ob enida del ex o sino
quesegene abas´andose en el es ado an e io .
Es impo an e hace hincapi´eenelhecho
de que los conjun os de eglas soluci´on
de la e si´on de B ill y la nue a e si´on
p opues a son exac amen e id´en icos. Es a
soluci´on po an o puede defini se como una
adap aci´on que mejo a la eficiencia empo al
del algo i mo o iginal.
El esul ado es un nue o e ique ado no
supe isado que se ejecu a en unos m´a genes
de iempo conside ablemen e in e io es a
losdela e si´on o iginal de B ill, con la
en aja a˜nadida de que el compo amien o y
los esul ados del algo i mo con espec o al
o iginal se man ienen in ac os.
7. T abajo Fu u o
Al igual que se ha conseguido educi el
iempo de gene aci´on de las eglas candida as
en cada i e aci´on del algo i mo, de un modo
semejan esepod ´ıa mejo a la eficiencia en
el iempo necesa io pa a la pun uaci´on de
las mismas. Es e en oque saca pa ido de
que la a iaci´on en las pun uaciones de las
eglas siguen ambi´en cie os pa ones de
modificaci´on semejan es a los del conjun o
de eglas candida as.
Dado que en la e si´on mejo ada
aqu´ı p opues a la gene aci´on de eglas ha
sido educida a un segundo plano en cuan o
a consumo de ecu sos, el nue o cuello
debo ellaeslapun uaci´on. La posible
educci´on del iempo de pun uaci´on da ´ıa
luga a un algo i mo mucho m´as ´apido
que el ac ual, aunque en p opo ci´on, no
se consegui ´a una mejo a compa able a la
desc i a en el p esen e abajo.
A
dap ación del Mé odo de E ique ado No Supe isado TBL

Pues o que las mejo as p esen adas se
han ealizado sob e el e ique ado o iginal
de B ill, se ´ıa in e esan e eliza compa a-
i as con o os e ique ado es (po ejemplo:
nTBL), incluso e ique ado es basados en
modelosdeMa ko (comoTNT).
Po o o lado, se ´ıa muy in e esan e
compa a el g ado de eficacia del algo i mo
cuando se aumen a el n´ume o de plan illas
posibles. En nues o es udio s´olo se han im-
plemen ado PREVWORD, NEXTWORD,
NEXTTAG, y PREVTAG. Algunas plan-
illas posibles se ´ıan: PREVPREVWORD
(palab a an e io a la an e io ), PREV-
PREVTAG (e ique a de la palab a an e io
a la an e io ), ..., 2-PREVWORD (las dos
palab as an e io es), 2-NEXTTAG (las
e ique as de las dos palab as pos e io es),
e c...
Bibliog a ´ıa
Aone, China su y Ke in Hausman, 1996. Un-
supe ised lea ning o a ule-based Spanish
Pa o Speech agge .
B ill, E ic. 1992. A simple ule-based pa os
speech agge . En 3 d Con e ence on Ap-
plied Na u al Language P ocessing. T en-
o, I alia.
B ill, E ic. 1994. Some ad ances in
ule-based pa o speech agging. En
12 h Con e ence on A i icial In elligence
(AAAI-94). Sea le, Wa.
B ill, E ic. 1995. Unsupe ised lea ning o
disambigua ion ules o pa o speech
agging. En 3 d Wo kshop on Ve y La ge
Co po a.
Ngai, G ace y Radu Flo ian, 2001.
T ans o ma ion-based lea ning in he
as lane.
Ramshaw,LanceA.yMi chellP.Ma cus,
1996. Explo ing he s a is ical de i a ion
o ans o ma ion ule sequences o pa -
o -speech agging.
Roche, Emmanuel y Y es Schabes, 1995. De-
e minis ic Pa -o -Speech agging wi h i-
ni e s a e ansduce s.
Jesús González Ma í, Da id González Maline y José An onio T oyano