Facul ad de Ciencias
TRABAJO DE FIN DE GRADO
G ado en Ma em´a icas
Redes Neu onales Con olucionales
Au o : Elena Ma ´ın de Diego
Tu o : Eus asio del Ba io Tellado
Julio 2022
´
Indice gene al
1. In oducci´on 1
1.1. Mo i aci´on ..................................... 1
1.2. Obje i os ..................................... 1
1.3. Fases del p oyec o ................................. 2
2. Ap endizaje au om´a ico 3
2.1. Ap endizaje supe isado ............................. 5
2.2. Regula izaci´on ................................... 11
2.3. Algo i mos de op imizaci´on de descenso del g adien e ............. 15
2.4. Conclusiones .................................... 24
3. Ap endizaje p o undo 25
3.1. Redes neu onales a i iciales ........................... 28
3.1.1. Funciones de ac i aci´on .......................... 29
3.2. Redes neu onales con olucionales ........................ 38
3.2.1. La ope aci´on con oluci´on ......................... 39
3.2.2. Componen es de una ed neu onal con olucional ............ 41
3.2.3. A qui ec u as p opues as pa a el p oyec o ............... 43
3.3. Conclusiones .................................... 46
4. Es udio expe imen al 47
4.1. Obje i os ..................................... 47
4.2. Es udio del da ase ................................ 47
4.3. Desc ipci´on me odolog´ıa y especi icaciones ................... 49
4.3.1. Ha dwa e y So wa e u ilizado en el p oyec o .............. 49
4.4. Es udios pilo o .................................. 49
4.5. An´alisis de los da os ............................... 53
4.5.1. P ocesamien o de los da os ........................ 53
4.5.2. Modelo de ap endizaje au om´a ico ................... 54
1
4.5.3. En enamien o del modelo de ap endizaje au om´a ico g acias al con-
jun o de en enamien o .......................... 56
4.6. Resul ados ob enidos ............................... 56
5. Conclusiones inales y u u as l´ıneas de abajo 58
6. Anexos 60
6.1. P oblemas de ap endizaje con exos ....................... 60
6.1.1. P oblemas de ap endizaje con exos ................... 63
6.1.2. Funciones de p´e dida sus i u a ...................... 64
6.2. De iniciones ela i as a la Teo ´ıa de la In o maci´on .............. 64
6.3. P og amas esc i os en Py hon .......................... 67
6.3.1. Modelo ed neu onal con olucional LeNe -5 pa a el conjun o de da os
MNIST .................................. 67
6.3.2. Modelo ed neu onal o almen e conec ada ............... 71
6.3.3. Modelo Red Neu onal Con olucional Le-Ne -5 pa a el conjun o de da-
os de in e ´es ............................... 73
6.3.4. Modelo Red Neu onal Con olucional pa a el conjun o de da os de in e ´es 75
6.3.5. C´odigo pa a la isualizaci´on del conjun o de da os ........... 78
2
´
Indice de igu as
2.0.1.P og amaci´on adicional en e al Ap endizaje Au om´a ico .......... 3
2.0.2.Dados los da os, p oduce conocimien o sob e ellos. ............... 4
2.0.3.Dada la asociaci´on, de uel e un p og ama ap oximado de dicha asociaci´on. . 4
2.1.1.G ´a ico explica i o de lo que sucede con los e o es de inidos al a ia la com-
plejidad de la clase de hip´o esis ......................... 10
2.2.1.Funci´on ue emen e con exa [14]........................ 12
2.3.1.Ejemplo de la ´ecnica de descenso del g adien e donde se ilus a como el
p ocedimien o usa las de i adas pa a busca el m´ınimo [6].......... 16
2.3.2.En la imagen de la izquie da se mues a la angen e de la unci´on en el pun o
w, mien as que en la imagen de la de echa se mues an a ios subg adien es
pa a una unci´on con exa pe o no di e enciable. [[14], Figu a 14.2] ...... 19
2.3.3.En la imagen de la izquie da se mues a el algo i mo del descenso del g adien e
y en la de echa el algo i mo del descenso del g adien e es oc´as ico, ambos con
el obje i o de minimiza la unci´on 1,25(x+ 6)2+ (y−8)2[[14], Secci´on 14.2] 21
3.0.1.G ´a ico explica i o egla lineal pa a un dominio bidimensional. Elabo aci´on
p opia. ....................................... 25
3.0.2.Esquema de los pasos que ealiza un clasi icado lineal. Fuen e: enlace . . . . 26
3.0.3.Ejemplo ilus a i o. Elabo aci´on p opia. .................... 26
3.0.4.A qui ec u a o mada po nodos o ganizados en capas capaz de esol e el
ejemplo p opues o. Imagen: elabo aci´on p opia. ................ 27
3.0.5.Funci´on no con inua u ilizada en la an e io a qui ec u a pa a esol e el ejem-
plo p opues o, hw(x) = ⟨w,x⟩=⟨(b, w1, .., wd),(1, x1, ..., xd)⟩. Imagen:
elabo aci´on p opia. ................................ 27
3.1.1.Esquema g ´a ico ep esen a i o de la ed neu onal eed o wa d. No a: en la
desc ipci´on ma em´a ica el inpu 0,1es la cons an e (o0,0) y los dem´as los
elemen os de x. Fuen e: [[14], Secci´on 20.1] ................... 28
3.1.2.Funci´on sigmoide: di e enciable y mon´o ona po an o el g adien e es ´a de i-
nido en odos sus pun os. No amos que ϕsig(0) = 1/2. Imagen: elabo aci´on
p opia. ....................................... 30
3

3.1.3.Funci´on de p´e dida log´ıs ica en azul y unci´on de p´e dida 0-1 en na anja.
No a: la unci´on ϕlog es di idida po log(2) pa a consegui ϕlog(0) = 1. Imagen:
elabo aci´on p opia. ................................ 31
3.1.4.Funci´on angencial hipe b´olica: di e enciable y mon´o ona. Imagen: elabo aci´on
p opia. ....................................... 32
3.1.5.Funci´on ReLU. Imagen: elabo aci´on p opia. .................. 32
3.1.6.Funciones de ac i aci´on mencionadas. Imagen: elabo aci´on p opia. . . . . . . 33
3.1.7.Fuen e: [1]..................................... 36
3.2.1.Ejemplo de una con oluci´on de dos dimensiones sin aspone el ke nel. Fuen e:
[[6], Secci´on 9.2] .................................. 40
3.2.2.Pa ´ame os compa idos, [[6], Secci´on 9.2] ................... 40
3.2.3.Esquema de una ed neu onal con olucional cualquie a. Fuen e: enlace . . . . 41
3.2.4.[[6], Figu a 9.7] .................................. 42
3.2.5.A qui ec u a LeNe -5, inicialmen e u ilizada pa a lee c´odigos pos ales y d´ıgi-
os (o ecido en [9]). ................................ 43
3.2.6.A qui ec u a Vgg-16 (abajo) y Vgg-19 (a iba) Enlace............. 44
3.2.7.A qui ec u a DenseNe , [8]. Las capas en e dos bloques adyacen es se de-
nominan capas de ansici´on, las cuales modi ican el ama˜no a a ´es de la
con oluci´on y la ag upaci´on. ........................... 44
3.2.8.A qui ec u a DenseNe pa a el conjun o de da os ImageNe [8]. Pa a nues o
conjun o de da os la ´ul ima capa solo con iene una unidad. .......... 46
4.2.1.h ps://gi hub.com/bas eeling/pcam ...................... 48
4.2.2.Ejemplos de los dos conjun os con la e ique a asociada co espondien e. . . . 48
4.4.1.P ecisi´on y p´e dida ob enida con la a qui ec u a LeNe -5 pa a el conjun o de
da os MNIST. ................................... 50
4.4.2.P ediciones pa a el conjun o de alidaci´on despu´es del en enamien o del modelo. 50
4.4.3. ........................................... 51
4.4.4.Compa aci´on de la p´e dida ob enida despu´es de en ena 30 y 100 eces es-
pec i amen e. ................................... 52
4.5.1.Elemen o del conjun o de en enamien o .................... 53
4.5.2.Imagen de la igu a 4.5.1 ans o mada en una ma iz donde solo se mues an
los alo es asociados al colo e de po simpli ica . Den o de la ma iz de
ama˜no 96 ×96 se ha ampli icado la subma iz cen al de ama˜no 32 ×32. . 53
4.5.3.Ejemplo simb´olico de la p ime a pa e de la capa de con oluci´on, donde se
puede ap ecia que las ma ices que ac ´uan como ke nels ienen una e ce a
dimensi´on aco de con los alo es RGB. Fuen e: enlace ............. 55
4.5.4.Ejemplo sencillo de la unci´on max pooling y a e age pooling. Elabo aci´on
p opia. ....................................... 55
4.5.5.Especi icaciones en Py hon del modelo ..................... 56
4.6.1.Resul ados ob enidos pa a el modelo de la igu a 4.5.5 ............. 57
6.1.1.Funci´on con exa, [[14], De inici´on 12.2] ..................... 60
6.1.2.Posible unci´on sus i u a pa a la p´e dida 0-1, [[14], Secci´on 12.3] ....... 64
4
Abs ac
A i icial neu al ne wo ks a e a class o machine lea ning algo i hms in ol ed in many o he mos
spec acula applica ions in A i icial In elligence. Deep neu al ne wo ks o mul ilaye ne wo ks
p oduce he bes empi ical esul s in he classi ica ion o images o ex s. F om a heo e ical poin
o iew, unde s anding he easons o he success o hese algo i hms is s ill a pending issue. In
addi ion o he con e gence p oblems o he lea ning algo i hms, he eno mous o e pa ame e iza ion
o many ypes o neu al ne wo ks makes, pe haps, e y likely ha he classi ica ion ules ob ained
ollowing his me hod su e om o e i ing. The goal o his p ojec is o s udy he design o
neu al ne wo ks adap ed o image analysis, wi hou abundan pa ame iza ion, bu o ien ed o
ake ad an age o he special s uc u e o his ype o da a. The gain o his app oach in e ms o
con ol o he o e i will be s udied and applied o he classi ica ion o some app op ia e image
da ase .
CAP´
ITULO 1
In oducci´on
El p esen e cap´ı ulo desc ibe el con ex o del abajo desa ollado, seguido de los obje i os
del mismo y inaliza con su es uc u a.
1.1. Mo i aci´on
Se capaz de au oma iza la de ecci´on de c´ance con me ´as asis en explo aciones his o-
pa ol´ogicas g acias al ap endizaje au om´a ico y en especial al modelo de edes neu onales,
es un campo con un po encial p ome edo pa a la u ilidad cl´ınica. La clasi icaci´on de im´age-
nes m´edicas implica la ex acci´on de en idades de la imagen y la asignaci´on de e ique as
u ilizando las ca ac e ´ıs icas ex a´ıdas. G acias al es udio del modelo de edes neu onales
con olucionales ha enido un g an a ance en el endimien o. El modelo de Redes Neu onales
Con olucionales es ´a o mado po capas con olucionales cuya unci´on p incipal es ap ende
y ex ae las ca ac e ´ıs icas necesa ias pa a una comp ensi´on e icien e de la imagen. Es e
modelo comenz´o a gana popula idad en el a˜no 2012, debido a AlexNe , que de o ´o a odos
los dem´as con un ´eco d en p ecisi´on y baja asa de e o en ImageNe La ge Scale Visual
Recogni ion Compe i ion 2012 [16]. A su ez, el modelo de Redes Neu onales Con oluciona-
les u o un g an a ance cuando GoogleNe lo u iliz´o pa a de ec a c´ance con una p ecisi´on
del 89 % mien as que los pa ´ologos pod´ıan log a la p ecisi´on de s´olo el 73 % [11].
1.2. Obje i os
La idea que se pe sigue con la ealizaci´on de es e p oyec o es p o undiza en el campo
de las edes neu onales y, en pa icula , en el uso de las edes neu onales con olucionales. A
con inuaci´on se de allan los equisi os necesa ios pa a la ealizaci´on de es e T abajo Final
de g ado, los cuales son:
En ende los concep os elacionados con el ap endizaje au om´a ico supe isado, en
pa icula , el p oblema de clasi icaci´on bina ia, desde un pun o de is a ma em´a ico.
1
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 8
La elecci´on del conjun o Hse basa en onces en el conocimien o a p io i del p oblema que se
desea es udia . Es a es icci´on se conoce como es icci´on de sesgo induc i o.
Se obse a que RS(h) depende del conjun o de en enamien o S, que se ob iene a pa i de
un p oceso alea o io, luego el iesgo es una a iable alea o ia. Como esul ado de la a amada
Ley de los G andes N´ume os, podemos conclui que, pa a cada hp e iamen e ijada, el iesgo
emp´ı ico con e ge al iesgo cuando el ama˜no del conjun o de en enamien o iende a in ini o;
coloquialmen e, el p omedio iende al alo espe ado.
1
n
n
X
i=1
ℓ(xi, yi, h)n→∞
−−−→ RD(h)
No es iable asumi que es posible de e mina de mane a exac a la unci´on de dis ibuci´on
Da pa i del conjun o de en enamien o Sya que siemp e nos amos a encon a con un
conjun o de da os ini o donde hay alguna p obabilidad de que no sea muy ep esen a i o.
En es e sen ido, in oducimos un pa ´ame o de exac i ud ϵ. Conside a emos que el algo i mo
es adecuado, ap oximadamen e co ec o, si ob enemos RS(ˆ
h)≤ϵy el obje i o es, po an o,
encon a una co a supe io del iesgo emp´ı ico que pe mi a de e mina si el algo i mo es
’adecuado’. [[14], Subsecci´on 2.3.1]
Una o ma de e i a p oblemas de sob eajus e es, como hemos mencionado, es ingi
la clase de hip´o esis Hen unci´on de la in o maci´on conocida del p oblema. Una p egun a
na u al es si exis e alg´un algo i mo o sis ema que clasi ique co ec amen e en odas las a eas
de ap endizaje. En o as palab as, es amos buscando un algo i mo que sin conocimien o a
p io i (al es ingi la b´usqueda de p edic o es a H, impl´ıci amen e c eemos que uno de los
miemb os de dicha clase es un modelo con bajo e o pa a la a ea en cues i´on), es ´e p epa a-
do pa a se desa iado po cualquie a ea de ap endizaje. Es deci , la p egun a es si exis e un
algo i mo de ap endizaje Ay un conjun o de en enamien o de ama˜no n, de al o ma que
pa a cualquie dis ibuci´on D, si A ecibe nmues as i.i.d.1de D, con p obabilidad al a el
esul ado es un p edic o hcon poco iesgo. El eo ema No-F ee-Lunch nos di ´a que no exis e
dicho ’uni e sal lea ne ’. Conc e amen e, el eo ema es ablece que pa a las a eas de clasi-
icaci´on bina ias, pa a cada algo i mo se puede encon a una dis ibuci´on pa a la que alla,
aunque esa a ea puede se ap endida con ´exi o po o o algo i mo [[14], Teo ema 5.1]. De
acue do con es e esul ado, no exis e ning´un algo i mo capaz de esol e con ´exi o cualquie
p oblema. Po ende, es necesa io inclui cie a in o maci´on a p io i sob e la dis ibuci´on D
en nues o modelo de ap endizaje. El obje i o es aho a es udia los bene icios de inco po a
dicha in o maci´on a p io i en el modelo.
Sea Huna clase de hip´o esis, subconjun o es ic o del espacio de unciones H = {g|g:
X → Y}. El obje i o se ´a con ola el exceso de iesgo
ED(h) = RD(h)−RD(hB),(2.1.13)
de al o ma que nos pe mi a selecciona una clase de hip´o esis H´op ima pa a el modelo,
encon ando un equilib io en e modelos menos y m´as complejos que ga an icen mejo es
1independien es igualmen e dis ibuidas

CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 9
esul ados. RD(h) deno a el iesgo sob e la clase HyRD(hB) simboliza el iesgo de la egla
de Bayes sob e la clase H. Como consecuencia inmedia a del Teo ema 2.1.1 y de la de inici´on
2.1.0.2, pa a cualquie clasi icado h:X → Y, el exceso de iesgo ED(h) es un alo no
nega i o. Conc e amen e,
RD(h)−RD(hB) =
Ex[η(x)I(h(x) = 0) + (1 −η(x))I(h(x) = 1)−
η(x)I(hB(x) = 0) −(1 −η(x))I(hB(x) = 1)] =
Ex[|2·η(x)−1|I(h(x)=hB(x))] =
2·Ex[|η(x)−1
2|I(h(x)=hB(x))].
(2.1.14)
Coloquialmen e, la asa de e o del clasi icado de Bayes es la m´ınima asa de e o posible.
Pa a encon a la clase de hip´o esis H´op ima pa a el modelo, ealiza emos una descom-
posici´on del exceso de iesgo pa a un p edic o ˆ
h=MREH(S). Sumando y es ando los
´e minos RS(ˆ
h) y RD(¯
h) ob enemos:
ED(ˆ
h) = RD(ˆ
h)−RD(hB)
=RD(ˆ
h)−RS(ˆ
h) + RS(ˆ
h)−RD(¯
h) + RD(¯
h)−RD(hB).(2.1.15)
Dado que ˆ
hes el minimizado de iesgo emp´ı ico, se deduce RS(ˆ
h)≤ RS(¯
h). Po ende,
RD(ˆ
h)−RS(ˆ
h) + RS(ˆ
h)−RD(¯
h) + RD(¯
h)−RD(hB)≤
(RD(ˆ
h)−RS(ˆ
h)) + (RS(¯
h)−RD(¯
h)) + (RD(¯
h)−RD(hB)).(2.1.16)
Aco ando supe io men e los dos p ime os pa ´en esis po suph∈H|RS(h)−RD(h)|, ob enemos
la descomposici´on:
ED(ˆ
h) = RD(ˆ
h)−RD(hB)
≤2 sup
h∈H|RS(h)−RD(h)|+ (RD(¯
h)−RD(hB)) (2.1.17)
Al ´e mino suph∈H|RS(h)−RD(h)|se le denomina ´a e o de es imaci´on yRD(¯
h)−RD(hB)
se ´a conocido como e o de ap oximaci´on.
Si nues o p oblema es la clasi icaci´on bina ia, de la ecuaci´on (2.1.17) se puede sus i ui
siemp e el iesgo Rpo el e o L, ob eniendo que el exceso de e o se descompone como:
ED(ˆ
h) = 2 ·sup
h∈H|LS(h)−LD(h)|+ min
h∈H LD(h)−min LD(h);
e o es imacion = sup
h∈H|LS(h)−LD(h)|
e o ap oximacion = min
h∈H LD(h)−min LD(h)
(2.1.18)
E o de ap oximaci´on: e leja la calidad del conocimien o a p io i, medido con el iesgo
m´ınimo den o de los p edic o es de la clase de hip´o esis H. Es deci , mide el sesgo
del algo i mo al elegi p e iamen e la clase de hip´o esis H, soluci´on u ilizada pa a
ga an iza que no se p oduce sob eajus e en el caso de oma como clase una dema-
siado g ande. El e o de ap oximaci´on no depende del ama˜no de la mues a y es ´a
de e minado po la clase de hip´o esis elegida. Es sencillo e i ica que si aumen amos
el ama˜no de la clase de hip´o esis, puede disminui el e o de ap oximaci´on.
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 10
E o de es imaci´on: apa ece debido a que el iesgo emp´ı ico es solamen e una es ima-
ci´on del iesgo e dade o, po an o, el p edic o que minimiza el iesgo emp´ı ico es
solo un es imado del p edic o que minimiza el iesgo e dade o. Es dependien e del
ama˜no o complejidad de la clase H.
Figu a 2.1.1: G ´a ico explica i o de lo que sucede con los e o es de inidos al a ia la complejidad de la clase
de hip´o esis
Si elegimos una clase compleja el sesgo disminuye, pe o puede aumen a el iesgo de
sob eajus e (disminuye el e o de ap oximaci´on pe o aumen a el de es imaci´on), o si bien
escogemos una clase menos compleja, disminuye el sob eajus e pe o puede aumen a el ses-
go (aumen a el e o de ap oximaci´on pe o disminuye el de es imaci´on) y en ambos casos
el exceso de iesgo es al o, e igu a 2.1.1. Po an o, pa a con ola el exceso de iesgo
o al ED(ˆ
h), g acias a la descomposici´on p e ia, debemos encon a un equilib io en e el
e o de es imaci´on y el e o de ap oximaci´on, p oblema conocido como equilib io en e ses-
go y a ianza. Es amos conside ando el ama˜no de Hcomo medida de complejidad de es a.
La en aja de es a descomposici´on es que el e o de es imaci´on es el ´unico ´e mino alea o io.
Teniendo en cuen a que un algo i mo de ap endizaje au om´a ico es ´a de e minado eli-
giendo: una amilia de modelos H(ob enida dependiendo de las especi icaciones de los da os),
la unci´on de cos e que se ´a el iesgo RD(h) y el p ocedimien o de op imizaci´on, en onces
pa a encon a un p edic o que minimice el iesgo RD(h), es su icien e con especi ica el
algo i mo de op imizaci´on [6]. Un posible p ocedimien o a ni el e´o ico es minimiza el ies-
go emp´ı ico, es o es, en luga de op imiza el iesgo di ec amen e, op imizamos el iesgo
emp´ı ico ˆ
h∈a gminh∈H RS(h) (MRE) y espe amos que el iesgo disminuya signi ica i a-
men e ambi´en. Como hemos demos ado, pa a un p edic o minimizado de iesgo emp´ı ico
ˆ
h, el exceso de iesgo es ´a con olado. Es udia emos aho a un algo i mo de op imizaci´on
pa a el c´alculo e ec i o del MRE, es ingi´endonos a los p oblemas de ap endizaje con exos
( e secci´on P oblemas de ap endizaje con exos). Rep esen a emos con el s´ımbolo wuna
hip´o esis pe enecien e a una clase de hip´o esis con exa H.
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 11
2.2. Regula izaci´on
La minimizaci´on de iesgo emp´ı ico iene como incon enien e la ines abilidad, es deci ,
es un m´e odo p openso a p oblemas de sob eajus e. An e io men e se ha es udiado como
posible soluci´on la educci´on del espacio de hip´o esis a un subconjun o del mismo. En es a
secci´on se es udia ´a un p ocedimien o que puede se in e p e ado como es abilizado . La
egula izaci´on es una egla de op imizaci´on en la que minimiza emos conjun amen e el
iesgo emp´ı ico y una unci´on de egula izaci´on, que o malmen e es una aplicaci´on R:
Rn→R, [[14], Cap´ı ulo 13]. La hip´o esis wob enida median e la egla de op imizaci´on
egula izada sa is ace:
w∈a gminw(RS(w) + R(w)).(2.2.1)
In ui i amen e, la ’complejidad’ de una hip´o esis es medida po el alo de la unci´on de e-
gula izaci´on y el algo i mo equilib a en e bajo iesgo emp´ı ico y complejidad de la hip´o esis.
Exis en muchas posibles unciones de egula izaci´on, escogidas dependiendo del conocimien o
a p io i sob e el p oblema. Una de las unciones m´as simples es R(w) = λ||w||2, con λ > 0
y la no ma l2. El p oblema de op imizaci´on se educe a la conocida como egula izaci´on
Tikhono :
A(S) := a gminw(RS(w) + λ||w||2).(2.2.2)
Sea Aun algo i mo de ap endizaje, Sel conjun o de en enamien o con nobse aciones
yA(S) la salida del algo i mo. Se dice que el algo i mo sob eajus a si la di e encia en e el
e dade o iesgo RD(A(S)) y el iesgo emp´ı ico de la salida, RS(A(S)) es un alo g ande.
Es udia emos en el eo ema 2.2.1 la espe anza de dicha di e encia con espec o al conjun o de
en enamien o ES[RD(A(S)) −RS(A(S))], ob eniendo que un algo i mo sob eajus a cuando
a ´ıa mucho la p edicci´on pa a el elemen o zien unci´on de si pe enece al conjun o de
en enamien o.
Teo ema 2.2.1. Sea Duna dis ibuci´on. Sea Sun conjun o de en enamien o de ama˜no
nyz′= (x′, y′)un elemen o adicional del conjun o de da os de en ada independien e a
S. Sea U(n)la dis ibuci´on uni o me sob e [n]. Se deno a ´a como S(i)al conjun o ob enido
eemplazando el i-´esimo elemen o de Spo z′. Pa a cualquie algo i mo de ap endizaje se
e i ica la igualdad:
ES∼Dn[RD((A(S)) −RS(A(S))] =
=E(S,z′)∼Dn+1,i∼U(n)[ℓ(zi, A(S(i))) −ℓ(zi, A(S))] (2.2.3)
Demos aci´on. Teniendo en cuen a que Syz′son mues as independien es e igualmen e
dis ibuidas p o enien es de D, pa a odo ise e i ica:
ES[RD(A(S))] = ES,z′[ℓ(z′, A(S))] = ES,z′[ℓ(zi, A(S(i)))].
Po o o lado,
ES[RD(A(S))] = ES,i[ℓ(zi, A(S))].
Combinando ambos esul ados se concluye la p ueba, [[14], Teo ema 13.2].
De o ma in ui i a podemos deci que un algo i mo de ap endizaje es es able si un ’lige o’
cambio en los da os de en ada no p oduce un cambio ’g ande’ en la salida del algo i mo. Sea
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 12
Sun conjun o de en enamien o y z′= (x′, y′) un elemen o adicional del conjun o de da os
de en ada. Se deno a ´a como S(i)al conjun o ob enido eemplazando el i-´esimo elemen o de
Spo z′. Un ’lige o’ cambio en los da os de en ada signi ica que en enamos el algo i mo A
con S(i)en ez de S, es deci , eemplazamos solo un elemen o del conjun o de en enamien o.
El e ec o de es e ’lige o’ cambio es medido compa ando la p´e dida de la hip´o esis A(S) en zi
y la p´e dida de la hip´o esis A(S(i)) en zi, que es exac amen e la pa e de echa de la ecuaci´on
2.2.3. Se ob iene como consecuencia que las eglas de ap endizaje es ables no sob eajus an.
[[14], Secci´on 13.2]
Suponiendo que la unci´on de p´e dida es con exa y es Lipschi z o sua e, la minimizaci´on
egula izada Tikhono A(S) := a gminw(RS(w) + λ||w||2) p oduce un algo i mo es able,
g acias a que la unci´on obje i o RS(w) + λ||w||2es ue emen e con exa, como se de ine a
con inuaci´on [[14], De inici´on 13.4].
De inici´on 2.2.0.1. Funci´on ue emen e con exa Una unci´on es λ− ue emen e
con exa si pa a odo w,uyα∈(0,1) se iene:
(αw+ (1 −α)u)≤α (w) + (1 −α) (u)−λ
2α(1 −α)||w−u||2.
Cla amen e, oda unci´on con exa es 0- ue emen e con exa.
Figu a 2.2.1: Funci´on ue emen e con exa [14]
Lema 2.2.2. 1. La unci´on (w) = λ||w||2es 2λ- ue emen e con exa.
2. Si es λ− ue emen e con exa y ges con exa, en onces +ges λ− ue emen e
con exa.
3. Si es λ− ue emen e con exa y uminimiza , en onces pa a cualquie w, se iene
(w)− (u)≥λ
2||w−u||2
Demos aci´on. (1) y (2) son consecuencias di ec as de la de inici´on 2.2.0.1. Pa a p oba (3),
di idiendo la ecuaci´on de la de inici´on 2.2.0.1 po αob eniendo:
(u+α(w−u)) − (u)
α≤ (w)− (u)−λ
2(1 −α)||w−u||2.
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 13
Tomando l´ımi e cuando α→0 se ob iene que la pa e de echa con e ge a (w)− (u)−
λ
2||w−u||2; mien as que la pa e izquie da es la de i ada de la unci´on g(α) = (u+α(w−
u)) en α= 0. Bajo la hip´o esis que uminimiza , se iene que α= 0 minimiza gy po an o
la pa e de echa de la ecuaci´on an e io es ce o en el l´ımi e, comple ando la p ueba [[14],
Lema 13.5].
P oba emos aho a que la minimizaci´on egula izada Tikhono A(S) := a gminw(RS(w)+
λ||w||2p oduce un algo i mo es able [[14], Secci´on 13.3]. Sea Sun conjun o de en enamien-
o, z′= (x′, y′) un elemen o adicional del conjun o de da os de en ada y S(i)el conjun o
ob enido eemplazando el i-´esimo elemen o de Spo z′. Aplicando (2) del lema 2.2.2 ob ene-
mos que la unci´on obje i o S(w) = RS(w) + λ||w||2es 2λ- ue emen e con exa. Haciendo
uso de (3), pa a cualquie , se iene S( )− S(A(S)) ≥λ|| −A(S)||2. Po o o lado, pa a
cualquie yuy odo i, se iene que:
S( )− S(u) = RS( ) + λ|| ||2−(RS(u) + λ||u||2)
=RS(i)( ) + λ|| ||2−(RS(i)(u) + λ||u||2)
+ℓ((xi, yi), )
n+ℓ((x′, y′),u)
n.
(2.2.4)
En pa icula , omando como =A(S(i)), u=A(S) y eniendo en cuen a el hecho que
minimiza RS(i)(w) + λ||w||2, se ob iene:
S(A(S(i))) − S(A(S)) ≤ℓ((xi, yi), A(S(i))) −ℓ((xi, yi), A(S))
n
+ℓ((x′, y′), A(S)) −ℓ((x′, y′), A(S(i)))
n.
(2.2.5)
Teniendo en cuen a S( )− S(A(S)) ≥λ|| −A(S)||2:
λ||A(S(i))−A(S)||2≤ℓ((xi, yi), A(S(i))) −ℓ((xi, yi), A(S))
n
+ℓ((x′, y′), A(S)) −ℓ((x′, y′), A(S(i)))
n.
(2.2.6)
El an´alisis de es abilidad con in´ua dependiendo si la unci´on de p´e dida es Lipschi z [[14],
Co ola io 13.6] o sua e [[14], Co ola io 13.7], concluyendo en ambos casos que es es able y
po an o no sob eajus a.
Lema 2.2.3. Sea la unci´on de p´e dida con exa y ρ-Lipschi z. En onces la minimizaci´on
egula izada Tikhono A(S) := a gminw(RS(w) + λ||w||2)p oduce un algo i mo al que
ES∼Dn[RD((A(S)) −RS(A(S))] ≤2ρ2
λn .
Demos aci´on. Si la unci´on de p´e dida es ρ-Lipschi z, po de inici´on:
ℓ((xi, yi), A(S(i))) −ℓ((xi, yi), A(S)) ≤ρ||A(S(i))−A(S)|| (2.2.7)
Y an´alogamen e, ℓ((x′, y′), A(S)) −ℓ((x′, y′), A(S(i))) ≤ρ||A(S(i))−A(S)||. Teniendo en
cuen a es as desigualdades pa a la ecuaci´on 2.2.6, se ob iene
λ||A(S(i))−A(S)||2≤2ρ||A(S(i))−A(S)||
n,

CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 14
que implica:
||A(S(i))−A(S)|| ≤ 2ρ
λn.
Vol iendo a la ecuaci´on 2.2.7 se concluye
ℓ((xi, yi), A(S(i))) −ℓ((xi, yi), A(S)) ≤2ρ2
λn .
La p ueba concluye g acias a la igualdad 2.2.3 del eo ema 2.2.1.
Lema 2.2.4. Sea la unci´on de p´e dida no nega i a con exa y β-sua e. En onces la mini-
mizaci´on egula izada Tikhono A(S) := a gminw(RS(w) + λ||w||2)con λ≥2β
np oduce un
algo i mo al que ES∼Dn[RD((A(S)) −RS(A(S))] ≤48β
λn E[RS(A(S))]. Es deci , es es able.
Demos aci´on. Si es una unci´on no nega i a y β-sua e en onces es ´a aco ada:
||∇ (w)||2≤2β (w).(2.2.8)
G acias a la suposici´on de que es una unci´on sua e, se iene:
ℓ((xi, yi), A(S(i))) −ℓ((xi, yi), A(S)) ≤ ⟨∇ℓ((xi, yi), A(S)) , A(S(i))−A(S)⟩+
β
2||A(S(i))−A(S)||2(2.2.9)
Aplicando la desigualdad de Cauchy-Schwa z se ob iene:
ℓ((xi, yi), A(S(i))) −ℓ((xi, yi), A(S)) ≤
≤ ||∇ℓ((xi, yi), A(S))||||A(S(i))−A(S)||+β
2||A(S(i))−A(S)||2≤
≤p2βℓ((xi, yi), A(S))||A(S(i))−A(S)||+β
2||A(S(i))−A(S)||2.
(2.2.10)
An´alogamen e:
ℓ((x′, y′), A(S(i)))−ℓ((x′, y′), A(S)) ≤q2βℓ((x′, y′), A(S(i)))||A(S(i))−A(S)||+β
2||A(S(i))−A(S)||2.
Aplicando los esul ados ob enidos a la inecuaci´on 2.2.6 se ob iene:
||A(S(i))−A(S)|| ≤ √2β
(λn −β)(pℓ((xi, yi), A(S)) + qℓ((x′, y′), A(S(i)))).
Haciendo uso de la hip´o esis β≤λn
2, se sigue:
||A(S(i))−A(S)|| ≤ √8β
(λn)(pℓ((xi, yi), A(S)) + qℓ((x′, y′), A(S(i)))).
Jun ando el esul ado an e io con la ecuaci´on 2.2.10 se sigue:
ℓ((xi, yi), A(S(i))) −ℓ((xi, yi), A(S)) ≤
≤p2βℓ((xi, yi), A(S))||A(S(i))−A(S)||+β
2||A(S(i))−A(S)||2
≤(4β
λn +8β2
(λn)2)(pℓ((xi, yi), A(S)) + qℓ((x′, y′), A(S(i))))2
≤8β
λn(pℓ((xi, yi), A(S)) + qℓ((x′, y′), A(S(i))))2
≤24β
λn (ℓ((xi, yi), A(S)) + ℓ((x′, y′), A(S(i)))),
(2.2.11)
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 15
donde en la ´ul ima desigualdad se ha hecho uso de (a+b)2≤3(a2+b2). Tomando espe anzas
en ambas pa es de la inecuaci´on 2.2.10 y eco dando el eo ema 2.2.1 inaliza la p ueba del
lema, eniendo en cuen a que E[ℓ((xi, yi), A(S))] = E[ℓ((x′, y′), A(S(i)))] = E[RS(A(S))].
N´o ese que si pa a odo zse iene que ℓ(z, 0)≤C, pa a un escala C≥0, en onces pa a
odo conjun o de en enamien o S, se iene:
RS(A(S)) ≤ RS(A(S)) + λ||A(S)||2≤ RS(0) + λ||0||2 = RS(0)≤C.
En onces el lema 2.2.4 implica
ES∼Dn[RD((A(S)) −RS(A(S))] ≤48βC
λn .
En conclusi´on, suponiendo que la unci´on de p´e dida es con exa y es Lipschi z o sua e,
la minimizaci´on egula izada Tikhono A(S) := a gminw(RS(w) + λ||w||2) p oduce un al-
go i mo es able.
En suma, es deseable que un algo i mo de ap endizaje enga un alo peque˜no pa a el
iesgo emp´ı ico, adem´as de se es able. El iesgo espe ado de un algo i mo de ap endizaje
puede eesc ibi se como:
ES[RD(A(S))] = ES[RS(A(S))] + ES[RD(A(S)) −RS(A(S))].(2.2.12)
El p ime ´e mino e leja la calidad del algo i mo pa a ajus a se al conjun o de en ena-
mien o, mien as que el segundo es equi alen e a la es abilidad del p opio algo i mo. Dado
que nues o obje i o es minimiza el iesgo del algo i mo, es necesa io que la suma de am-
bos ´e minos sea peque˜na. An e io men e pa a la egula izaci´on Tikhono se ha aco ado
el ´e mino e e en e a la es abilidad y se ha demos ado que ´es e disminuye a medida que
aumen a el pa ´ame o de egula izaci´on λ. Sin emba go, el iesgo emp´ı ico aumen a con λ.
Es deci , el pa ´ame o λequilib a en e es abilidad y minimiza el iesgo emp´ı ico. Po ende,
nos en en amos a un equilib io en e el ajus e y el sob eajus e. [[14], Secci´on 13.4]
2.3. Algo i mos de op imizaci´on de descenso del g a-
dien e
El p oblema de op imizaci´on se e ie e a minimiza cie a unci´on obje i o o unci´on de
cos e (x) al e ando x. La ´ecnica de Descenso del G adien e (Cauchy 1847) [[14], Sec-
ci´on 14.1] es un p ocedimien o i e a i o de op imizaci´on num´e ica que consis e en educi
(x) en peque˜nas e apas mo iendo xen sen ido opues o al signo de las de i adas, e igu a
2.3.1. La complejidad de los p oblemas ha ´a que nos con o memos con alo es de su icien-
emen e peque˜nos, pe o no necesa iamen e con el m´as bajo. No malmen e la unci´on obje i o
iene m´ul iples en adas :Rn→Ry po an o se ha ´a uso de los concep os: de i adas
pa ciales, g adien e ∇w (w) y de i ada di eccional en la di ecci´on u( ec o uni a io), que
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 16
es la pendien e de la unci´on en la di ecci´on u. Es deci , es la de i ada de la unci´on
(w+λu) con espec o a λe aluada en λ= 0. Aplicando el Desa ollo en se ie de Taylo
(no aci´on Landau) se ob ienen las siguien es igualdades:
G(λ) := (w+λu)− (w) = λ∇w (w)·u+o(λ)
G(λ) = G′(0) ·λ+o(λ); G′(0) = ∇w (w)·u.(2.3.1)
El p ocedimien o inicia escogiendo un alo cualquie a, po ejemplo w(1) = 0. Pa a minimiza
se a a de encon a la di ecci´on uen la que dec ece m´as ´apido. Es deci , se a a de
esol e
minu,uTu=1(uT∇w (w)).
Aplicando la desigualdad de Cauchy-Bunyako sky-Schwa z, se ob iene:
minu,uTu=1(uT∇w (w)) ≥ −||∇w (w))|| (2.3.2)
d´andose la igualdad si y solo si
u=−∇w (w)
||∇w (w))||.
Po ende, la unci´on dec ece cuando nos mo emos en la di ecci´on opues a al g adien e y
el nue o pun o p opues o po es e m´e odo es
w( +1) =w( )−η∇w (w( ))
donde η > 0 es la asa de ap endizaje. En gene al, despu´es de Ti e aciones, la salida
de es a ´ecnica es el ec o ¯
w=1
TPT
=1 w( ), o bien, el ´ul imo ec o ob enido w(T)o
a gmin ∈[T] (w( )). El m´e odo se aplica has a que odos los elemen os del g adien e son
ce o, o su icien emen e ce canos a ce o.
Figu a 2.3.1: Ejemplo de la ´ecnica de descenso del g adien e donde se ilus a como el p ocedimien o usa las
de i adas pa a busca el m´ınimo [6]
En es e pun o hemos de no a que la condici´on necesa ia pa a que el p ocedimien o de
op imizaci´on de Descenso del G adien e uncione es que la unci´on obje i o sea di e enciable,
pa a pode as´ı calcula el g adien e y las de i adas pa ciales y di eccionales de acue do con
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 17
las ecuaciones 2.3.1. Asimismo, si la unci´on es con exa hay ga an ´ıas es ad´ıs icas de que
el algo i mo con e ja.
Una ez de inido el p ocedimien o de Descenso del G adien e, es con enien e analiza
la con e gencia del algo i mo [[14], Cap´ı ulo 14]. Es udia emos ´unicamen e el caso de un-
ciones con exas y Lipschi z. Sea w∗cualquie ec o y sea Bla co a supe io de ∥w∗∥. Es
con enien e pensa que w∗es el elemen o que minimiza (w). Deseamos ob ene una co a
supe io de la di e encia (¯
w)− (w∗) donde ¯
w=1
TPT
=1 w( )es la salida del algo i mo.
Aplicando la desigualdad de Jensen se ob iene:
(¯
w)− (w∗) = (1
T
T
X
=1
w( ))− (w∗)
≤1
T
T
X
=1
(w( ))− (w∗)
=1
T
T
X
=1
( (w( ))− (w∗)).
(2.3.3)
Pa a cada , g acias a la p opiedad de con exidad de se iene que:
(w( ))− (w∗)≤ ⟨ w( )−w∗,∇ (w( ))⟩.(2.3.4)
Combinado con lo ob enido an e io men e:
(¯
w)− (w∗)≤1
T
T
X
=1 ⟨w( )−w∗,∇ (w( ))⟩.(2.3.5)
Pa a aco a supe io men e la pa e de la de echa de la desigualdad an e io hacemos uso del
siguien e lema [[14] Lema 14.1]:
Lema 2.3.1. Sea 1, 2, ..., Tuna secuencia ini a de ec o es. Cualquie algo i mo con
ec o inicial w(1) = 0 y egla w( +1) =w( )−η e i ica:
T
X
=1 ⟨w( )−w∗, ⟩ ≤ ∥w∗∥2
2η+η
2
T
X
=1 ∥ ∥2.(2.3.6)
En pa icula , pa a cada B, ρ > 0, si pa a odo se iene que ∥ ∥ ≤ ρy ijamos η=qB2
ρ2T,
en onces pa a odo w∗con ∥w∗∥ ≤ Bse e i ica:
1
T
T
X
=1 ⟨w( )−w∗, ⟩ ≤ Bρ
√T.(2.3.7)
Demos aci´on. Las siguien es igualdades se ob ienen median e manipulaciones algeb aicas:
⟨w( )−w∗, ⟩=1
η⟨w( )−w∗, η ⟩
=1
2η(−∥w( )−w∗−η ∥2+∥w( )−w∗∥2+η2∥ ∥2)
=1
2η(−∥w( +1) −w∗∥2+∥w( )−w∗∥2) + η
2∥ ∥2
(2.3.8)
CAP´
ITULO 2. APRENDIZAJE AUTOM ´
ATICO 24
2.4. Conclusiones
En es e cap´ı ulo se han in oducido los concep os y no aci´on necesa ios pa a desc ibi
el p oblema de clasi icaci´on bina ia den o del ma co del ap endizaje supe isado desde un
pun o de is a ma em´a ico. Desc i o el p oblema, se ha p ocedido a es udia di e en es al-
go i mos de op imizaci´on que gene an, bas´andose en el conjun o de en enamien o S, un
p edic o con meno iesgo posible, den o del ma co de los p oblemas de ap endizaje con e-
xos. Como p ime a ´ecnica se encuen a el p ocedimien o de Descenso del G adien e, de inido
pa a unciones di e enciables. El an´alisis de con e gencia se ha ealizado pa a unciones con-
exas y Lipschi z, ob eniendo ga an ´ıas compu acionales (co ola io 2.3.1.1). Sin emba go,
en el ajus e de Redes Neu onales es cada ez m´as ecuen e el uso de unciones de p´e dida
(como la ReLU) con exas pe o no di e enciables, condici´on necesa ia pa a el p ocedimien-
o an e io . En es a si uaci´on es posible adap a el algo i mo man eniendo el an´alisis de
con e gencia usando la noci´on de subg adien e. Despu´es se es udia un nue o p ocedimien o
conocido como Descenso del G adien e Es oc´as ico, donde la di ecci´on de ac ualizaci´on es un
ec o alea o io con alo espe ado un subg adien e de la unci´on en el ec o co espondien-
e. Es e nue o m´e odo posee ga an ´ıas compu acionales pa a unciones con exas Lipschi z y
aco adas. El p ocedimien o de Descenso del G adien e Es oc´as ico es aplicado al p oblema
de minimizaci´on de la unci´on de cos e RSob eniendo ga an ´ıas es ad´ıs icas y compu acio-
nales (inc emen ando en n´ume o de i e aciones el iesgo espe ado es an ce cano al m´ınimo
iesgo como se desee, co ola io 2.3.2.1). La secci´on inaliza con la aplicaci´on de la ´ecnica
de Descenso del G adien e Es oc´as ico pa a minimiza una unci´on λ- ue emen e con exa
como la unci´on de cos e asociada a la minimizaci´on egula izada.
Has a el momen o, los p oblemas de ap endizaje con exos han sido el ma co e´o ico de
es udio. ´
Es os poseen ga an ´ıas es ad´ıs icas al no su i sob eajus e y ga an ´ıas compu acio-
nales, es o es, despu´es de un n´ume o de i e aciones se ob iene un buen p edic o . A pa i
de es e cap´ı ulo la eo ´ıa es udiada has a aho a no unciona ´a. Un caso pa icula es el mo-
delo de edes neu onales, que so p enden emen e en la p ´ac ica unciona bien pe o no posee
ga an ´ıas e´o icas.

CAP´
ITULO 3
Ap endizaje p o undo
Una de las amilias de clases de hip´o esis sob e las que se basan muchos algo i mos de
ap endizaje, debido a se in ui i a, ´acil de in e p e a y ajus a se a los da os azonablemen e
bien en algunos p oblemas es la amilia de p edic o es lineales [[14], Cap´ı ulo 9]. En
p ime a ins ancia, de ini emos la clase de las unciones a ines como
Ld={hw:w∈Rd+1},
donde
hw(x) = ⟨w,x⟩=⟨(b, w1, .., wd),(1, x1, ..., xd)⟩=b+
d
X
i=1
wixi.
Equi alen emen e, Ld={x7→ ⟨w,x⟩:w∈Rd+1}.Es o quie e deci que Ldes un conjun o
de unciones, donde cada una es ´a pa ame izada po w∈Rd+1 y asigna pa a cada ec o
x= (1, x1, x2, ..., xd), el alo ⟨w,x⟩.
Figu a 3.0.1: G ´a ico ex-
plica i o egla lineal pa a
un dominio bidimensional.
Elabo aci´on p opia.
A pa i de la amilia de p edic o es lineales se ob ienen los cla-
si icado es lineales cuyo obje i o es clasi ica los pun os del do-
minio en clases disjun as; en pa icula , pa a el p oblema de clasi i-
caci´on bina ia en dos clases C0yC1. Cada egla lineal (o hip´o esis),
pa ame izada po w, decide la clase en unci´on del esul ado de
aplica una an o maci´on a ´ın hw; es deci , pa a un elemen o xdel
dominio, si hw(x)≥0 en onces pe enece a C1, de lo con a io a C0.
En o as palab as, el dominio de pun os es sepa ado en dos hipe -
espacios a a ´es del hipe plano hw= 0 y pos e io men e se asigna
la clase Cjdependiendo del esul ado del algo i mo an e io (Figu-
a 3.0.1). Suponiendo que sea posible sepa a los pun os g acias a
un hipe plano, el obje i o es encon a un hipe plano, ca ac e izado
po el ec o w, que anule el e o emp´ı ico (hipe plano MRE). Una
posible soluci´on pa a halla el hipe plano con e o emp´ı ico nulo es
el algo i mo Pe cep on (F. Rosenbla , 1958 [13]). Es e algo i mo
i e a i o consis e en cons ui una secuencia de ec o es w(1),w(2), ..., donde se inicia con
25
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 26
w(1) como ec o nulo. En cada i e aci´on , si el algo i mo encuen a un pun o mal clasi icado
(xi, yi), es o es, hw(xi)yi≤0 en onces ac ualiza el ec o w( +1) =w( )+yixicon el obje i o
de alcanza yi⟨w,xi⟩>0. En caso con a io, de uel e el ec o w( ). No emos que
yi⟨w( +1) ,xi⟩=yi⟨w( )+yixi,xi⟩=yi⟨w( ),xi⟩+∥xi∥2,
po an o, pa ece in ui se que el algo i mo se encamina hacia una soluci´on ’co ec a’ pa a
el pun o (xi, yi). Se puede p oba que bajo la suposici´on de que sea posible sepa a el es-
pacio po un hipe plano, el algo i mo Pe cep on inaliza con odos los pun os clasi icados
co ec amen e en un iempo ini o, es deci , encuen a el hipe plano MRE [[14], Teo ema
9.1].
Figu a 3.0.2: Esquema de los pasos que ealiza un clasi icado lineal. Fuen e: enlace
Desa o unadamen e, pa a pode aplica los algo i mos an e io es con ga an ´ıas debemos
supone que es posible sepa a los pun os del dominio po un hipe plano. En el caso de no
cumpli se dicha condici´on, no es posible halla el hipe plano. P ueba de ello es el siguien e
ejemplo. Sea X={[0,0],[0,1],[1,0],[1,1]}un conjun o bidimensional y conside emos que un
elemen o x= (x1, x2)∈ X pe enece a la clase 0 cuando (x1, x2) = (0,0) `o (x1, x2) = (1,1),
mien as que pe enece a la clase 1 cuando (x1, x2) = (1,0) `o (x1, x2) = (0,1), e igu a
3.0.3.
Figu a 3.0.3: Ejemplo ilus a i o. Elabo aci´on p opia.
Pa a es e ejemplo conc e o no es posible sepa a los pun os en unci´on de la clase a la que
pe enecen a a ´es de un hipe plano, es deci , no podemos hace uso de un solo clasi icado
lineal. Pa a a on a el p oblema cuando los pun os no son sepa ables po un hipe plano,
es necesa io encon a on e as m´as complejas geom´e icamen e y po an o necesi amos
m´as lexibilidad en la clase de hip´o esis. Los clasi icado es no lineales mul icapa, o ambi´en
conocidos como mul ilaye pe cep on MLP solucionan el p oblema de la clasi icaci´on pa a
conjun os de da os no linealmen e sepa ables, en iqueciendo la clase de hip´o esis g acias a
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 27
la no linealidad. Es os cons uyen una a qui ec u a m´as compleja basada en un conjun o de
clasi icado es no lineales o ganizados en capas, donde cada clasi icado se denomina nodo.
Resol amos el ejemplo con el modelo in oducido ( e igu a 3.0.4).
Figu a 3.0.4: A qui ec u a o mada po nodos o gani-
zados en capas capaz de esol e el ejemplo p opues o.
Imagen: elabo aci´on p opia.
La capa inicial ecoge los alo es de los
a ibu os pa a un pun o en conc e o, es de-
ci , omemos (x1, x2) = (0,0). A con inua-
ci´on, en la capa ocul a se encuen an dos
clasi icado es con espec i as unciones:
hw=(−1,1,1)((x1, x2)) = (0 si x1+x2<1
1 si x1+x2≥1
hw=(1,−1,−1)((x1, x2)) = (0 si −x1−x2<−1
1 si −x1−x2≥ −1
Pa a el pun o (x1, x2) = (0,0) se ob iene
hw=(−1,1,1)((0,0)) = 0 y hw=(1,−1,−1)((0,0)) =
1. Po ´ul imo, en la capa inal, el nue o pun-
o (o1, o2) = (0,1) se clasi ica seg´un la egla:
hw=(2,1,1)((o1, o2)) = (0 si o1+o2<2
1 si o1+o2≥2
Y ob enemos pa a el pun o (x1, x2) = (0,0) la e ique a 0 o equi alen emen e la clase 0, debido
a que hw=(2,1,1)((0,1)) = 0. An´alogamen e se ob ienen las e ique as pa a los es elemen os
es an es de X.
Cabe des aca que hemos conseguido on e as no lineales de sepa aci´on g acias a usa
en la nue a a qui ec u a como eglas de clasi icaci´on unciones no con inuas (y po an o no
di e enciables), e igu a 3.0.5.
Figu a 3.0.5: Funci´on no con inua u ilizada en la an e io a qui ec u a pa a esol e el ejemplo p opues o,
hw(x) = ⟨w,x⟩=⟨(b, w1, .., wd),(1, x1, ..., xd)⟩. Imagen: elabo aci´on p opia.
En suma, pa a esol e el p oblema se necesi a m´as lexibilidad en la clase de hip´o esis,
es deci , una a qui ec u a m´as compleja basada en un conjun o de clasi icado es o ganizados
en capas, donde cada clasi icado se denomina nodo y las eglas de clasi icaci´on pueden se
unciones no con inuas. Cuando el n´ume o de capas es es o m´as, se habla de ap endizaje
p o undo o deep lea ning en la li e a u a inglesa.
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 28
3.1. Redes neu onales a i iciales
Una ed neu onal a i icial (ANN) es una colecci´on de nodos conec ados en e s´ı don-
de la ed o ma un g a o di igido y ponde ado. MLP es un ejemplo de ed neu onal a i icial
o almen e conec ada. En es e abajo cen a emos la a enci´on en las edes neu onales
eed o wa d, ca ac e izadas po que las conexiones en e los nodos no o man un ciclo, es
deci , la in o maci´on se mue e en una sola di ecci´on, desde los nodos de la en ada, a a ´es
de los nodos ocul os (si los hay) has a los nodos de salida. El ´e mino ed hace e e encia a
que habi ualmen e son ep esen adas como composici´on de a ias unciones (ecuaci´on 3.1.3).
Ma em´a icamen e, una ed neu onal eed o wa d es a ca ac e izada po un g a o di igido
y ac´ıclico, G= (V, E) jun o con una unci´on de pesos sob e las a is as, w:E→R, que
no debe ene necesa iamen e la imagen de odas las a is as dis in a del alo ce o, pues
in e esa ene no demasiados pa ´ame os en enables pa a no p oduci sob eajus e. Debido a
que la ed es ´a o ganizada en capas, los nodos pueden se eag upados en conjun os disjun os
V=˙
∪M
m=0Vm, al que cada a is a de Econec a un nodo de la capa Vm−1con uno de Vm
pa a alg´un m∈[M]. La capa V0es denominada capa inicial y con iene d+ 1 nodos que
son los inpu s, donde o0,0= 1 y o0,i =xi. Cada nodo es modelado po una unci´on escala
ϕ:R→R, que ecibe como inpu la suma ponde ada de los ou pu s de los nodos conec ados
con ´el, con el obje i o de in oduci no linealidad en el modelo (si dicha unci´on es no lineal)
pa a consegui mayo lexibilidad en ´el mismo. La unci´on ϕse ´a denominada unci´on de
ac i aci´on y se elegi ´a en unci´on del alo de salida buscado. Deno a emos po m,i el i-
´esimo nodo de la capa myom,i(x) el esul ado de m,i cuando el ec o de inpu s de la ed
neu onal es x. El n´ume o de pa ´ame os en enables es |E|+M[[14], Cap´ı ulo 20].
Figu a 3.1.1: Esquema g ´a ico ep esen a i o de la ed neu onal eed o wa d. No a: en la desc ipci´on ma-
em´a ica el inpu 0,1es la cons an e (o0,0) y los dem´as los elemen os de x. Fuen e: [[14], Secci´on 20.1]
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 29
Bajo la hip´o esis de que ya han sido calculados los alo es de los nodos pa a la capa m,
la desc ipci´on ma em´a ica pa a una ed neu onal a i icial eed o wa d, es o es,
pa a los nodos de la capa m+ 1 es:
am+1,i(x) = X
:( m, , m+1,i)∈E
w(( m, , m+1,i))om, (x),
om+1,i(x) = ϕ(am+1,i(x)).
(3.1.1)
donde m+1,i ∈Vm+1 es el elemen o ide la capa m+1 ijado p e iamen e, am+1,i(x) es el inpu
de m+1,i cuando el ec o de inpu s de la ed neu onal es x. Con cie o abuso de no aci´on,
ϕ(z)=[ϕ(z1), ..., ϕ(zd)]′cuando zes un ec o de dimensi´on d. Llama emos p o undidad del
modelo a la longi ud de la cadena desc i a Myancho de la ed al alo m´axm|Vm|[[14],
Secci´on 20.1]. La desc ipci´on ma em´a ica 3.1.1 esc i a con no aci´on ec o ial es:
am+1(x) = W(m)om(x),
om+1(x) = ϕ(am+1(x)).(3.1.2)
La ma iz W(m)asociada a la capa m iene como en ada un alo no nulo w(( m, , m+1,i))
cuando la posici´on (i, ) e i ica ( m, , m+1,i)∈E. Es deci , W(m)(i, )=w(( m, , m+1,i)) si
se e i ica ( m, , m+1,i)∈Ey 0 en o o caso. G acias a la o ganizaci´on en capas se deduce
´acilmen e que la salida de la ed se exp esa como composici´on de unciones:
oM=ϕ(W(M−1)(ϕ(W(M−2)(···ϕ(W(0)x))))).(3.1.3)
3.1.1. Funciones de ac i aci´on
En la es uc u a de ed neu onal a i icial, como se ha mencionado, cada nodo es modelado
po una unci´on escala ϕ:R→R. La unci´on ϕse ´a denominada unci´on de ac i aci´on
y se elegi ´a en unci´on del alo de salida buscado. Repasa emos algunas de las unciones de
ac i aci´on no lineales m´as u ilizadas en la p ´ac ica.
En el ma co de la clasi icaci´on bina ia, deseamos p edeci el alo de la a iable y∈ Y =
{0,1}. Si en ez, el obje i o es modela la elaci´on en e la p obabilidad p(x) = P(y= 1|x)
yx, ob eniendo po an o una p obabilidad al inal del algo i mo, no es posible usando como
p obabilidad una unci´on lineal en los nodos inales. En es e momen o es ap opiado conec a
es e p oblema con la eg esi´on log´ıs ica, modelo de eg esi´on que iene como aplicaci´on la
clasi icaci´on. Sea S={(x1, y1),(x2, y2), ..., (xn, yn)}, con yi∈ {0,1}. Siendo p∈[0,1] una
p obabilidad, se de ine la ans o maci´on logi (p) = log( p
1−p)∈(−∞,∞).En es e modelo se
asume que, siendo ijo X=x:
logi (E[Y|X=x]) = logi (P(Y= 1|X=x)) = w′x.(3.1.4)
En o as palab as, logi (E[Y|X=x]) es lineal en x. Aplicando la in e sa de la ans o ma-
ci´on logi se ob iene:
p(x;w) := P(Y= 1|X=x) = 1
1 + e−w′x
1−p(x;w) = P(Y= 0|X=x) = e−w′x
1 + e−w′x=1
1 + ew′x
(3.1.5)

CAP´
ITULO 3. APRENDIZAJE PROFUNDO 30
Una ez de inida la desc ipci´on del modelo de eg esi´on log´ıs ica, el in es halla un clasi icado
hw(x) = w′x’adecuado’. Conc e amen e, el obje i o es la es imaci´on de wdonde se hace
uso del m´e odo de m´axima e osimili ud. Sea Lla e osimili ud:
L(w) =
n
Y
i=1
P(Y=yi|X=xi) =
n
Y
i=1
(pi)yi·(1 −pi)1−yi(3.1.6)
donde pi=p(xi;w) = 1
1+e−w′xi. Se deno a ´a po ϕsig :R→[0,1] a la unci´on ϕsig(z) :=
1
1+e−z, e igu a 3.1.2. No amos que pi=p(xi;w) = ϕsig(w′xi). Como consecuencia inme-
dia a se iene que el clasi icado hwclasi ica bien cuando w′xi>0 si yi= 1 (w′xi>0⇒
pi>1/2) y cuando w′xi<0 si yi= 0.
Figu a 3.1.2: Funci´on sigmoide: di e enciable y mon´o ona po an o el g adien e es ´a de inido en odos sus
pun os. No amos que ϕsig(0) = 1/2. Imagen: elabo aci´on p opia.
Sin p´e dida de gene alidad, cambiamos la codi icaci´on de la e ique a, es o es:
yi= 0 ⇔y∗
i=−1
yi= 1 ⇔y∗
i= 1 (3.1.7)
Con es a nue a codi icaci´on, el clasi icado hˆ
w(x) = 1 ⇔p(x;ˆ
w)≥1/2 y po ende, clasi ica
co ec amen e el elemen o (xi, y∗
i) cuando y∗
i(w′xi)>0, que es exac amen e la unci´on de
p´e dida 0-1.
Dado que la unci´on loga i mo es mon´o ona c ecien e maximiza la e osimili ud 3.1.6 es
equi alen e a maximiza la can idad 1:
1
nℓ(w) := 1
nlog(L(w)) = 1
n
n
X
i=1
[yi·log(pi) + (1 −yi)·log(1 −pi)].(3.1.8)
Obse amos que el ´ul imo ´e mino es la en op´ıa, unci´on na u al pa a maximixa la e osi-
mili ud.
1ℓen es e con ex o hace e e encia a la log- e osimili ud
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 31
Con la nue a codi icaci´on y eniendo en cuen a que log(pi) = −log(1+e−w′xi), el obje i o
adica en halla w al que maximice:
1
nℓ(w) = −1
n
n
X
i=1
log(1 + e−y∗
i(w′xi)).(3.1.9)
Equi alen emen e el m´e odo de eg esi´on log´ıs ica busca el wque minimiza:
Rlogis ica := 1
n
n
X
i=1
log(1 + e−y∗
i(w′xi)).(3.1.10)
Sea c > 0. Obse amos que cuando los elemen os del dominio son sepa ables cy∗
i(w′xi)>0
pa a odo i. Luego, ´ın [log(L(w))] = 0 pe o el m´ınimo no se alcanza, es deci , no exis e
ning´un alo de wque anule la unci´on c i e io y po an o la eg esi´on log´ıs ica alla.
Resumiendo, la eg esi´on log´ıs ica es equi alen e a la minimizaci´on de iesgo emp´ı ico
asociado a la unci´on de p´e dida log´ıs ica ℓlog(z) := log(1 + e−z):
ℓlog(w;x, y) := log(1 + e−y∗
i(w′xi)).(3.1.11)
En con aposici´on a la unci´on que de ine el iesgo cuando la unci´on de p´e dida es la
p´e dida 0-1, la unci´on ℓlog(w;x, y) es con exa con espec o a wy di e enciable. Po an o
es posible aplica las ´ecnicas de descenso de g adien e pa a halla un minimizado y el
p oblema es esoluble e icien emen e.
Figu a 3.1.3: Funci´on de p´e dida log´ıs ica en azul y unci´on de p´e dida 0-1 en na anja. No a: la unci´on ϕlog
es di idida po log(2) pa a consegui ϕlog(0) = 1. Imagen: elabo aci´on p opia.
O a posible unci´on de ac i aci´on es la unci´on angen e hipe b´olica anh, ( e igu a
3.1.4) donde la imagen a ´ıa en e −1 y 1.
anh(z) = ex−e−x
ex+e−x(3.1.12)
La en aja en e a la unci´on sigmoide es que pa a alo es nega i os g andes la imagen es
nega i a y alo es ce canos a ce o ienen imagen ce cana a ce o. Como la an e io unci´on
de ac i aci´on es di e enciable y po an o el g adien e es ´a de inido en odos sus pun os.
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 32
Figu a 3.1.4: Funci´on angencial hipe b´olica: di e enciable y mon´o ona. Imagen: elabo aci´on p opia.
La unci´on ’Rec i ied Linea Uni ’ ( e igu a 3.1.5) es una de las unciones de ac i-
aci´on m´as u ilizadas en la ac ualidad, en especial en el modelo de edes neu onales con o-
lucionales. Su imagen es [0,∞) y ac ´ua como una unci´on lineal pa a alo es posi i os y no
lineal pa a el es o:
ϕ(z) = m´ax(0, z) = (0 si z≤0
zsi z > 0
Figu a 3.1.5: Funci´on ReLU. Imagen: elabo aci´on p opia.
Es una unci´on mon´o ona pe o no es di e enciable en el o igen z= 0. Po an o dicha
unci´on de ac i aci´on no iene g adien e de inido en el pun o z= 0 pe o si subg adien e ( e
de inici´on 2.3.0.1), po an o es posible usa el algo i mo de e op opagaci´on y en ena el
modelo e icien emen e (m´e odo descenso del g adien e es oc´as ico). Es po ello que a e ec os
p ´ac icos es posible u iliza ϕ(z) = m´ax(0, z) como unci´on de ac i aci´on.
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 33
Figu a 3.1.6: Funciones de ac i aci´on mencionadas. Imagen: elabo aci´on p opia.
Una ez especi icada la ed neu onal eed o wa d (V, E, ϕ, w), se ob iene la unci´on
hV,E,ϕ,w :R|V0|−1→R|VM|donde hV,E,ϕ,w(x) = ϕ(aM,i(x)) es el alo de la capa inal cuando
el ec o de inpu s de la ed es x. Po ende, pa a el modelo de edes neu onales a i iciales
se de ine como clase de hip´o esis al conjun o de p edic o es con la o ma edes neu onales:
HV,E,ϕ ={hV,E,ϕ,w :R|V0|−1→R|VM|;w:E→R},
donde odas las hip´o esis hV,E,ϕ,w compa en la es uc u a del g a o subyacen e de la ed y
las unciones de ac i aci´on pe o di ie en en los pesos de los nodos w:E→R. A la e na
(V, E, ϕ) se la conoce como a qui ec u a de la ed. [[14], Secci´on 20.2] Dado que Ees un con-
jun o ini o, se puede e la unci´on de pesos como un ec o w∈R|E|. Suponiendo que la ed
iene dinpu s y kou pu s nodos, simpli icando la no aci´on, deno a emos hw:Rd+1 →Rk
a la unci´on calculada po la ed pa a la unci´on de pesos w, en onces ℓ((x,y), hw) se ´a la
p´e dida al p edeci hw(x) cuando la e ique a es y∈ Y.
Dada una unci´on de p´e dida ℓ, la unci´on de cos e se ´a el iesgo emp´ı ico: RS(w) =
E(x,y)∼DS[ℓ((x,y), hw)] = 1
nPn
i=1 ℓ((x,y), hw). En especial, si la unci´on de p´e dida es la
p´e dida log´ıs ica, la unci´on obje i o a minimiza se ´a:
F(w) = 1
n
n
X
i=1
log(1 + e−y∗
ihw(xi)),
donde hw(xi) es la unci´on calculada po la ed pa a la unci´on de pesos w. De ca a a aplica
las ´ecnicas de descenso de g adien e es oc´as ico, se debe calcula el g adien e:
∇wF(w) = 1
n
n
X
i=1 ∇wlog(1 + e−y∗
ihw(xi)) (3.1.13)
Pa a simpli ica , se calcula el p omedio en los lo es mues eados de ama˜no B:
X
i∈ILo e
∂hℓ(y∗
i;hw(xi))∇whw(xi),(3.1.14)
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 40
de es dimensiones, el il o a aplica ambi´en se alinea a a ´es de esa e ce a dimensi´on
con la imagen. El desplazamien o de la en ana de con oluci´on (el il o supe pues o sob e
la imagen) po la imagen se puede con igu a y a es a a iable se le llama s ide, pudiendo
se una unidad, dos, e c. [[6], Secci´on 9.2]
Figu a 3.2.1: Ejemplo de una con oluci´on de dos dimensiones sin aspone el ke nel. Fuen e: [[6], Secci´on
9.2]
La con oluci´on ap o echa es ideas impo an es que pueden ayuda a mejo a un sis ema
de ap endizaje au om´a ico, desc i as a con inuaci´on. [[6], Secci´on 9.2]
Figu a 3.2.2: Pa ´ame os compa idos, [[6], Sec-
ci´on 9.2]
En p ime luga , con a iamen e a lo que suced´ıa
en las capas de edes neu onales adicionales,
donde cada unidad de salida de una capa in e -
ac ´ua con cada unidad de en ada de la siguien e;
las edes con olucionales al no usa la mul iplica-
ci´on ma icial cl´asica, consiguen, siemp e que el
ama˜no del ke nel sea meno que el ama˜no del
inpu , un n´ume o meno de in e acciones. Es o
signi ica que necesi amos menos ope aciones pa a
calcula la salida y almacena menos pa ´ame os,
lo que educe los equisi os de memo ia del mo-
delo y mejo a su e iciencia es ad´ıs ica. Es e p o-
cedimien o es conocido con el nomb e de i e a-
ciones dispe sas (spa se in e ac ions). Con-
c e amen e, si hay m en adas y n salidas, en on-
ces la mul iplicaci´on de ma ices equie e m·n
pa ´ame os, luego los algo i mos ienen iempo de ejecuci´on O(m·n). Si limi amos el n´ume o
de conexiones que cada ou pu iene a k, el iempo de ejecuci´on se educe a O(k·n), y es o

CAP´
ITULO 3. APRENDIZAJE PROFUNDO 41
nos pe mi i ´a ob ene un buen endimien o siemp e que ksea a ios ´o denes de magni ud
m´as peque˜nos que m. Po ejemplo, al p ocesa una imagen, la imagen de en ada puede ene
miles o millones de p´ıxeles, pe o podemos de ec a ca ac e ´ıs icas peque˜nas y signi ica i as,
como bo des con ke nels que ocupan solo decenas o cien os de p´ıxeles.
O a de las ideas ap o echada po las edes con olucionales es la conocida como pa ´ame-
os compa idos (pa ame e sha ing). Es o es, usa el mismo pa ´ame o pa a m´as de
una unci´on en nues o modelo; con a iamen e a las edes neu onales adicionales, donde
cada elemen o de la ma iz es usado una ´unica ez pa a ob ene el ou pu co espondien e
de la capa. En las edes neu onales con olucionales, cada elemen o del ke nel es usado con
casi odos los elemen os del inpu , lo que se aduce en que el algo i mo no debe ap ende un
conjun o de pa ´ame os pa a cada localizaci´on, sino solo un conjun o de pa ´ame os. Es e
a ance no a ec a al iempo de ejecuci´on, pe o educe los equisi os de almacenamien o del
modelo a kpa ´ame os. Como ejemplo de es os dos p ime os p incipios obse amos la igu a
3.2.2 que son dos modelos di e en es donde las lechas indican las conexiones en e nodos.
(Figu a de a iba - con oluci´on con ke nel de ama˜no 3) No amos que cuando ses ejecu-
ado, solo ecibe in o maci´on de es inpu s, de la misma o ma que solamen e es ou pu s
son a ec ados po un solo x.(Figu a de abajo - Modelo sin pa ´ame os compa idos) Po el
con a io, cuando ses ejecu ado, odos los pesos de los inpu s son ele an es; de la misma
mane a que odos los ou pu s son a ec ados po odos los x.
En el caso de la con oluci´on, la o ma pa icula de compa i pa ´ame os hace que
la capa enga una p opiedad llamada equi a iancia a la anslacci´on o ep esen aciones
equi a ian es (equi a ian ep esen a ions). Una unci´on equi a ian e equi ale a deci
coloquialmen e que, si la en ada cambia, la salida cambia de la misma o ma; es deci , es
equi a ian e a g sii (g(x)) = g( (x)).
En suma, la ope aci´on de con oluci´on es signi ica i amen e m´as e icien e que la mul ipli-
caci´on de ma ices densas en ´e minos de los equisi os de memo ia y e iciencia es ad´ıs ica.
[[6], Secci´on 9.2]
3.2.2. Componen es de una ed neu onal con olucional
Figu a 3.2.3: Esquema de una ed neu onal con olucional cualquie a. Fuen e: enlace
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 42
Cualquie ed neu onal con olucional se es uc u a en dos e apas bien di e enciadas ( e
igu a 3.2.3). En p ime a ins ancia, den o de la e apa denominada ea u e selec ion, se
encuen a la capa de en ada (inpu ), donde se ecoge la dimensi´on de la imagen y man iene
los alo es de los p´ıxeles inal e ados y la conocida como capa con olucional donde se p o-
cesa ´a la imagen, explicada con m´as de alle pos e io men e. A con inuaci´on se encuen a la
segunda e apa denominada clasi icaci´on que consis e en capas ocul as o almen e conec-
adas. Finalmen e, la capa de salida da ´a como esul ado las pun uaciones de cada clase y
ealiza ´a el p oceso de clasi icaci´on.
Figu a 3.2.4: [[6], Figu a 9.7]
Una capa con olucional iene es e apas de inidas ( igu-
a 3.2.4). La p ime a ejecu a a ias con oluciones en pa alelo
pa a p oduci un conjun o de ac i aciones lineales. En la segun-
da e apa, conocida como De ec o S age, cada ac i aci´on lineal
pasa a a ´es de una unci´on de ac i aci´on no lineal. Y en ´ul i-
ma ins ancia, se modi ica a´un m´as la salida de la capa g acias
a la unci´on com´unmen e denominada pooling unc ion, que
eplaza el ou pu en una ubicaci´on de la ed con una es ad´ıs i-
ca esumida de los esul ados ce canos. Un ejemplo conocido
de unci´on de ag upaci´on es max pooling (Zhouand Chellappa,
1988) que escoge el ou pu de alo m´as g ande den o de un
l´ımi e ec angula . Debido a que la ope aci´on de con oluci´on
puede disminui el ama˜no de la imagen, la ´ecnica elleno ce o
(ze o-padding) nos pe mi e conse a el ama˜no de en ada o i-
ginal. Consis e en ag ega un bo de de p´ıxeles odos con alo
ce o al ededo de los bo des de la imagen de en ada.
Cabe des aca que cuando deseamos de e mina si la ima-
gen con iene una ca a, necesi amos conoce si hay un ojo en
cada lado de ´es a, pe o no es impo an e la localizaci´on den o
de la imagen del ojo. Es deci , es impo an e solamen e sabe si
es ´a p esen e alguna ca ac e ´ıs ica en la imagen, pe o no donde
se encuen a. En es os casos, una p opiedad ´u il y log ada g acias a la unci´on de ag upaci´on
(a e age pooling), se ´a la conocida como in a ianza a la anslacci´on, ´ease, si cambiamos el
alo del inpu lige amen e, el alo de la mayo ´ıa de los ou pu s ag upados no cambian. En
o os con ex os, es m´as impo an e conse a la ubicaci´on de una ca ac e ´ıs ica. Po ejem-
plo, si que emos encon a una esquina de inida po dos a is as en una o ien aci´on espec´ı ica,
debemos p ese a la ubicaci´on de las a is as lo su icien emen e bien como pa a p oba si se
encuen an. [[6], Secci´on 9.3]
Con iene en a iza la g an en aja con espec o a o os ipos de edes neu onales de las
edes con olucionales, es o es, pueden abaja con en adas de dis in a dimensi´on. En el
caso pa icula del p ocesamien o de im´agenes, si conside amos una colecci´on de ellas donde
cada una iene di e en e ancho y la go, es deci , el inpu iene ama˜no a iable, aplicando
el ke nel un n´ume o di e en e de eces dependiendo del ama˜no de la en ada y la salida, se
esuel e el p oblema. Es os ipos de en ada no pueden se ep esen ados po edes neu onales
adicionales, basadas en la mul iplicaci´on de ma ices.
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 43
3.2.3. A qui ec u as p opues as pa a el p oyec o
La a qui ec u a LeNe 5 (Yann LeCun, 1990) es una de las p ime as aplicaciones
de edes neu onales con olucionales desa olladas con ´exi o. [10] Ha sido el o igen de g an
pa e de las a qui ec u as mode nas, y una inspi aci´on pa a muchos in es igado es de es e
campo. LeNe -5 oma una imagen de en ada de ama˜no 32×32 p´ıxeles. Cada capa, excep o
la ´ul ima, es seguida po la unci´on de ac i aci´on anh.
Figu a 3.2.5: A qui ec u a LeNe -5, inicialmen e u ilizada pa a lee c´odigos pos ales y d´ıgi os (o ecido en
[9]).
Se puede esumi en los siguien es pun os:
C1: La p ime a capa con olucional. Es a consis e en seis ke nels con olucionales de
ama˜no 5 ×5. C1 emi e seis im´agenes de ama˜no 28 ×28. La p ime a capa de una ed
neu onal con olucional no malmen e iden i ica ca ac e ´ıs icas b´asicas como bo des y
esquinas.
S2: Una capa de submues eo, ambi´en conocida como capa de ag upaci´on p omedio
(a e age pooling). Cada cuad ado de cua o p´ıxeles en la salida C1 se p omedia a un
solo p´ıxel. S2 educe las seis im´agenes de 28 ×28 con un ac o de 2, p oduciendo seis
im´agenes de salida de ama˜no 14 ×14.
C3: La segunda capa con olucional. Es a cons a de 16 ke nels con olucionales, cada
uno de ama˜no 5×5, que oman las seis im´agenes de 14×14, p oduciendo 16 im´agenes
de ama˜no 10 ×10.
S4: La segunda capa de ag upaci´on p omedio (a e age pooling). S4 educe las 16 im´age-
nes de 10 ×10 a 16 im´agenes de 5 ×5.
C5: Una capa con olucional o almen e conec ada con 120 salidas. Cada uno de los
120 nodos de salida es ´a conec ado a odos los 400 nodos (5 ×5×16) que p o ienen
de S4. En es e pun o, la salida ya no es una imagen, sino una ma iz 1D de longi ud
120.
F6: Una capa o almen e conec ada que conec a los 120 nodos a una nue a capa de
longi ud 84.
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 44
Capa inal: Una unci´on so max que ans o ma la salida de F6 en una dis ibuci´on
de p obabilidad de 10 alo es que suman 1.
La a qui ec u a VGGne (Visual Geome y G oup) es un ipo de ed neu onal
con olucional, p opues a po Ka en Simonyan and And ew Zisse man en su pape Ve y
Deep Con olu ional Ne wo ks o La ge-Scale Image Recogni ion [15]. Podemos di e encia
dos conocidas a qui ec u as ( e igu a 3.2.6) dependiendo del n´ume o de capas, es o es,
VGG-16 (16 capas, 13 de ellas de con oluci´on, 2 de ellas o almen e conec adas y la capa
inal una so max pa a clasi ica ) o VGG-19 (19 capas, 16 de ellas de con oluci´on, 2 de ellas
o almen e conec adas y la capa inal una so max pa a clasi ica ). Algo que demues an
es as edes neu onales es que la p o undidad de una ed neu onal es un pa ´ame o c ´ı ico.
Desa o unadamen e, es as edes ienen muchos pa ´ame os en el momen o de en enamien o.
Figu a 3.2.6: A qui ec u a Vgg-16 (abajo) y Vgg-19 (a iba) Enlace.
Figu a 3.2.7: A qui ec u a DenseNe ,
[8]. Las capas en e dos bloques
adyacen es se denominan capas de
ansici´on, las cuales modi ican el a-
ma˜no a a ´es de la con oluci´on y la
ag upaci´on.
T abajos ecien es han demos ado que las edes con-
olucionales pueden se sus ancialmen e m´as p o undas,
m´as p ecisas y e icien es pa a en ena si con ienen cone-
xiones m´as co as en e las capas ce canas a la en ada y
las ce canas a la salida. Desa o unamen e, a medida que
las edes neu onales con olucionales son m´as p o undas,
su ge un p oblema, a sabe , debido a que la in o maci´on
sob e la en ada o el g adien e pasa a a ´es de muchas
capas, ´es a puede desapa ece en g an medida cuando lle-
ga al inal (o al comienzo) de la ed. Teniendo en men e
es a obse aci´on in oducimos la a qui ec u a Redes
Con olucionales Densamen e Conec adas (Dense-
Ne )[8], la cual pa a ga an iza el m´aximo lujo de in-
o maci´on en e las capas de la ed, conec a odas las ca-
pas (con ama˜nos de ea u es coinciden es) di ec amen e
en e s´ı. Pa a p ese a el a ance ( eed o wa d) na u al,
cada capa ob iene en adas adicionales de odas las capas an e io es y pasa la salida a odas
las capas pos e io es.
CAP´
ITULO 3. APRENDIZAJE PROFUNDO 45
Como se obse a en la igu a 3.2.7, la capa l-´esima iene len adas, que son las salidas
de los bloques con olucionales an e io es y sus ca ac e ´ıs icas ( ea u es) se ansmi en a
odas las L−lcapas pos e io es. Po an o, pa a una ed con Lcapas, se ob ienen L(L+1)
2
conexiones, en luga de L, como en a qui ec u as adicionales.
Sea x0una imagen que a a iesa una ed con olucional con Mcapas, cada una de las
cuales implemen a una ans o maci´on no lineal ϕm(mes el indice de la capa) compues a
de ope aciones como la no malizacion po lo es (Ba ch No maliza ion), ReLU, ag upaci´on
(pooling) o con oluci´on. La salida de la capa mse deno a ´a po om. En una ed con olucional
adicional el ou pu de la capa mes el inpu de la capa m+ 1 como se io, ob eniendo
om=ϕm(om−1).
Deep Residual Ne wo ks - ResNe s: a˜naden una conexi´on que omi e las ans o -
maciones no lineales median e la unci´on de iden idad, es o es,
om=ϕm(om−1) + om−1.(3.2.1)
Una en aja es que el g adien e puede lui di ec amen e a a ´es de la unci´on de
iden idad desde las capas pos e io es a las capas an e io es. Sin emba go, la unci´on
de iden idad y la salida de ϕse combinan median e una suma, lo que puede impedi
el lujo de in o maci´on en la ed. [7]
DenseNe s: pa a mejo a a´un m´as el lujo de in o maci´on en e capas, p oponemos un
pa ´on de conec i idad di e en e (connec i i y pa e n), es o es, in oducimos conexio-
nes di ec as desde cualquie capa a odas las capas pos e io es ( igu a 3.2.7). Esc i o
en o ma de ecuaciones, esul a que la capa m ecibe como en adas las ca ac e ´ıs icas
de las capas p eceden es ( ea u e-maps) x0,o1, ..., om−1, esul ando
om=ϕm([x0,o1, ..., om−1]),(3.2.2)
donde [x0, ..., om−1] es la conca enaci´on de las salidas de las capas p eceden es. Sin
emba go, la conca enaci´on en (3.2.2) no es ´alida cuando a ian los ama˜nos, es po
ello que a˜nadimos capas de ansici´on, de iniendo ϕm(·) como composici´on la no mali-
zacion po lo es (Ba ch No maliza ion), ReLU y 3 ×3 con oluci´on ( e igu a 3.2.8).
Supe icialmen e DenseNe s y ResNe s son muy simila es en el sen ido de que las en-
adas en ez de suma se, se conca enan, pe o ienen compo amien os di e en es las
dos a qui ec u as.
Hipe pa ´ame o asa de c ecimien o: si cada unci´on phimp oduce ksalidas, en-
onces la capa m iene k0+k(m−1) en adas. Es o p oduce que puedan exis i capas
es echas con po ejemplo k= 12. Es ´a demos ado que una asa de c ecimien o ela-
i amen e peque˜na es su icien e pa a ob ene esul ados buenos pa a cie os conjun os
de da os [8].
En de ini i a, la a qui ec u a edes con olucionales densamen e conec adas p esen an
a ias en ajas, como pueden se : ali ian el p oblema del g adien e, o alecen la p opagaci´on
de las ca ac e ´ıs icas de la imagen, omen an la eu ilizaci´on de dichas ca ac e ´ıs icas y
educen sus ancialmen e el n´ume o de pa ´ame os.

CAP´
ITULO 3. APRENDIZAJE PROFUNDO 46
Figu a 3.2.8: A qui ec u a DenseNe pa a el conjun o de da os ImageNe [8]. Pa a nues o conjun o de da os
la ´ul ima capa solo con iene una unidad.
3.3. Conclusiones
Exis en m´e odos de clasi icaci´on de uso com´un basados en on e as lineales. La clasi ica-
ci´on log´ıs ica es uno de ellos. Cuando es posible sepa a los elemen os po un hipe plano, la
clasi icaci´on log´ıs ica alla po que no se alcanza el ´op imo de la unci´on c i e io. En ese caso
un algo i mo que puede se implemen ado de mane a e icien e en la p ´ac ica es Pe cep on.
En ocasiones, es necesa io busca on e as m´as complejas geom´e icamen e; en o as pala-
b as, necesi amos m´as lexibilidad en la clase de hip´o esis. Es e p oblema mo i a el es udio
del modelo de edes neu onales a i iciales, uno de los m´as u ilizados en la p ´ac ica.
Una ez de inido el espacio de hip´o esis, la inalidad es halla una ed neu onal con
m´ımino iesgo emp´ı ico y pa a ello se aplica, con peque˜nas modi icaciones, el m´e odo de
descenso de g adien e es oc´as ico. A su ez, son p esen ados es algo i mos con peque˜nas
co ecciones de ´es e, de los cuales no se posee a´un undamen os e´o icos que jus i iquen su
buen compo amien o en la p ´ac ica.
Se inaliza el cap´ı ulo con una incu si´on en las edes neu onales con olucionales aplica-
das a la clasi icaci´on de im´agenes. La idea subyacen e del modelo es ex ae ca ac e ´ıs icas
ap o echando la es uc u a bidimensional de las im´agenes y la ope aci´on de con oluci´on que
p omedia los alo es de p´ıxeles ce canos.
CAP´
ITULO 4
Es udio expe imen al
En es e cap´ı ulo se p esen an los expe imen os ealizados pa a ilus a los modelos de
edes neu onales con olucionales aplicado a un conjun o de da os en conc e o.
4.1. Obje i os
El p op´osi o es la clasi icaci´on bina ia de im´agenes usando como modelo de ap endizaje
au om´a ico las edes neu onales con olucionales, es o es, dada una imagen como en ada,
cons ui un modelo que de uel a una clase o una la p obabilidad con la que cada clase
desc ibe la imagen.
4.2. Es udio del da ase
El conjun o de im´agenes u ilizado en es e p ojec o es un da ase pe enecien e a Ten-
so low Da ase s (enlace al conjun o de da os) conocido como Pa ch camelyon. Cons a de
327.680 im´agenes m´edicas en colo de 96 ×96 pixels donde cada una ha sido ex a´ıda de
explo aciones his opa ol´ogicas de secciones de ganglios lin ´a icos. La e ique a de cada imagen
es un n´ume o bina io que indica la p esencia de ejido me as ´asico.
Im´agenes: El conjun o de da os se di ide en un conjun o de en enamien o de 262.144
(218) ejemplos, y un conjun o de alidaci´on con o o de p ueba de 32.768 (215) ejemplos
espec i amen e. No hay supe posici´on en e las di isiones, y odas las di isiones ienen
un equilib io de 50/50 en e ejemplos con e ique a 0 y 1 espec i amen e.
E ique as: La e ique a 1 indica que la egi´on cen al de 32 ×32 pixels de la imagen
con iene al menos un p´ıxel de ejido umo al. El ejido umo al en la egi´on ex e na de
la subimagen no in luye en la e ique a. Es a egi´on ex e io se p opo ciona pa a pe mi i
el dise˜no de modelos o almen e con olucionales que no u ilizan ning´un elleno ce o,
pa a ga an iza un compo amien o adecuado cuando se aplica a una imagen comple a.
47
CAP´
ITULO 4. ESTUDIO EXPERIMENTAL 48
Figu a 4.2.1: h ps://gi hub.com/bas eeling/pcam
En p ime luga , isualizamos el conjun o de da os, es deci , algunas im´agenes alea o ias
del conjun o de da os pa ch camelyon.
(a) Im´agenes del conjun o de en enamien o (b) Im´agenes del conjun o denominado es se
Figu a 4.2.2: Ejemplos de los dos conjun os con la e ique a asociada co espondien e.
CAP´
ITULO 4. ESTUDIO EXPERIMENTAL 49
4.3. Desc ipci´on me odolog´ıa y especi icaciones
1. Ca ga el conjun o de da os desde Tenso Flow
2. Examen y comp ensi´on del conjun o de da os
3. P ocesamien o de los da os
4. C eaci´on del modelo de ap endizaje au om´a ico
5. En enamien o del modelo de ap endizaje au om´a ico g acias al conjun o de en ena-
mien o
6. P ueba del modelo g acias al conjun o de p ueba ( es se )
7. Mejo a del modelo
4.3.1. Ha dwa e y So wa e u ilizado en el p oyec o
En es a subsecci´on se ´an is os los p incipales componen es del o denado con el que
se ha abajado y las di e en es he amien as de so wa e que han sido u ilizadas. A lo
la go del desa ollo del p oyec o se han u ilizado an solo un disposi i o ha dwa e: un
o denado po ´a il p opio. Los componen es del o denado po ´a il, de la ma ca HP, son los
siguien es: P ocesado In el Co e i5-1035G1, Disco du o: 1 e aby e, Memo ia RAM 8 GB.
Cabe des aca , que con es e po ´a il que es de gama media, se ha conseguido lle a a cabo
el en enamien o y la comp obaci´on del buen uncionamien o de la ed neu onal en ho as
ap oximadamen e. Es o es un cla o indicado del buen desempe˜no del p og ama c eado: con
un o denado de sob emesa po en e el en enamien o y pos e io alidaci´on se ´ıa cues i´on de
ho as.
El so wa e que u iliza emos en el desa ollo de es e T abajo Final de G ado es el que
se mues a a con inuaci´on. El sis ema ope a i o es Windows 10. El lenguaje que usa emos es
Py hon que es sin duda uno de los lenguajes m´as u ilizados en el Ap endizaje Au om´a ico
si no el que m´as. Es un lenguaje de p og amaci´on in e p e ado y mul ipa adigma, ya que
sopo a o ien aci´on a obje os, p og amaci´on impe a i a y ambi´en p og amaci´on uncional.
El en o no de abajo es Anaconda, dis ibuci´on lib e y abie a pa a los lenguajes Py hon y
R. En e sus p incipales paque es encon amos las p incipales lib e ´ıas, APIs que se usa an
a lo la go del p oyec o como pueden se Tenso Flow, Ke as, Numpy, e c... El c´odigo se
encuen a en Jupy e No ebooks. Los “No ebook” con ienen una lis a de celdas de en ada
y salida o denadas, es deci cada celda con iene las l´ıneas de c´odigo, es o a p io i no pa ece
mucho, pe o pe mi e la ejecuci´on de pa es de c´odigo sin necesidad de ejecu a odo el c´odigo
comple o de la aplicaci´on que es amos ealizando.
4.4. Es udios pilo o
Como p ime expe imen o pilo o se ha cons uido el modelo de ed neu onal con olucional
LeNe -5 ( e apa ado 3.2.3) u ilizando como conjun o de da os el conjun o com´unmen e
conocido como conjun o MNIST. Es un conjun o de im´agenes de d´ıgi os esc i os a mano del
CAP´
ITULO 4. ESTUDIO EXPERIMENTAL 56
Figu a 4.5.5: Especi icaciones en Py hon del modelo
4.5.3. En enamien o del modelo de ap endizaje au om´a ico g a-
cias al conjun o de en enamien o
El p oceso de en enamien o de un modelo de ap endizaje au om´a ico implica p opo -
ciona al algo i mo de ap endizaje au om´a ico el conjun o de en enamien o que con iene
elemen os del dominio con su e ique a. De acue do con los explicado en secciones an e io es,
el en enamien o iene como in minimiza el iesgo emp´ı ico RDg acias a algo i mos de
op imizaci´on del descenso del g adien e es oc´as ico. En e ec o, g acias a la lib e ia Ke as,
podemos aplica odos ellos, aunque gene almen e en las simulaciones se ha op ado po el
op imizado ’Adam’.
4.6. Resul ados ob enidos
En la mayo ´ıa de los casos, la unci´on de e o y la unci´on de p´e dida signi ican lo
mismo, pe o con una peque˜na di e encia. Una la unci´on de e o mide/calcula has a qu´e
pun o nues o modelo se des ´ıa de la p edicci´on co ec a. Una unci´on de p´e dida ope a sob e
el e o pa a cuan i ica que an malo es ob ene un e o de un ama˜no, que se e a ec ado
po las consecuencias nega i as que esul an en una p edicci´on inco ec a. Decidida la clase

CAP´
ITULO 4. ESTUDIO EXPERIMENTAL 57
de hip´o esis, debido a nos encon amos en el ma co de la clasi icaci´on bina ia, la unci´on de
p´e dida se ´a la en op´ıa c uzada bina ia.
La medida de endimien o u ilizada es la p ecisi´on (accu acy) que es la p opo ci´on
de ejemplos pa a los cuales el modelo unciona adecuadamen e. Al es a in e esados en sabe
c´omo unciona el algo i mo en da os no conocidos a p io i, e alua emos la p ecisi´on u ilizando
un conjun o de da os de p ueba, es se , el cual es independien e de los da os u ilizados pa a
en ena el sis ema. Cabe des aca que la p´e dida no es un po cen aje como la p ecisi´on, es
una suma. Analizando las dos can idades en conjun o es posible ob ene m´as in o maci´on
ace ca de las p edicciones del modelo. Si la p ecisi´on es baja y la p´e dida al a en onces
signi ica que el modelo no p edice co ec amen e en la mayo ´ıa de los pun os. Po el con a io,
si los dos alo es son peque˜nos, signi ica que el modelo p oduce e o es peque˜nos en la mayo ´ıa
de los da os. Si an o la p ecisi´on como la p´e dida son alo es g andes, el modelo p edice
mal en pocos pun os. Finalmen e, si la p ecisi´on es un alo al o y la p´e dida bajo, en onces
se puede deci que el modelo come e peque˜nos e o es en pocos pun os, que es la si uaci´on
deseada. [Enlace a la uen e]
Se puede obse a que la p ecisi´on del modelo pa a el conjun o de en amien o es ap o-
ximadamen e de 0.8515625 despu´es de 50 i e aciones. Sin emba go, es in e esan e que un
modelo gene alice bien, es deci , que ob enga buenas p edicciones pa a pun os no usados en
el en enamien o. El es imado del iesgo ob enido se encuen a en e los alo es 0.75 y 0.8,
conside ado buen alo a ´andose de im´agenes m´edicas. En cuan o a la p´e dida, se obse a
que la p´e dida espec i a al conjun o de en amien o disminuye si se aumen a el n´ume o de
i e aciones, mien as que la p´e dida pa a obse aciones del conjun o de alidaci´on disminuye
has a alcanza su m´ınimo en e 40 y 50 i e aciones y aumen a pos e io en e debido al sob e-
ajus e. Resumidamen e, los esul ados ob enidos nos dicen que el modelo ap oximadamen e
el 75 −80 % de las eces clasi ica bien pa a una imagen no pe encecien e al conjun o de
en enamien o.
0 10 20 30 40 50
I e aciones
0.50
0.55
0.60
0.65
0.70
0.75
0.80
0.85
P ecision
P ecision pa a el conjun o de en enamien o y alidacion
P ecision conj. en enamien o
P ecision conj. alidacion
(a) P ecisi´on
0 10 20 30 40 50
I e aciones
0.45
0.50
0.55
0.60
0.65
0.70
Pe dida
Pe dida pa a el conjun o de en enamien o y alidacion
Pe dida conj. en enamien o
Pe dida conj. alidacion
(b) P´e dida
Figu a 4.6.1: Resul ados ob enidos pa a el modelo de la igu a 4.5.5
CAP´
ITULO 5
Conclusiones inales y u u as l´ıneas de abajo
En es e abajo se ha es udiado el p oblema de clasi icaci´on bina ia supe isado desde el
pun o de is a de es ad´ıs ica ma em´a ica, inalizando con una aplicaci´on p ´ac ica.
Du an e odo el p oyec o el obje i o es, elegida una clase de hip´o esis H, halla un
clasi icado que equilib e en e meno iesgo emp´ı ico y meno di e encia en e el iesgo
emp´ı ico y el iesgo e dade o, o su es imaci´on.
En el ma co del ap endizaje con exo, se han e isado las ga an ´ıas es ad´ıs icas y compu-
acionales de posibles algo i mos ob eniendo muy buenos esul ados a ni el e´o ico. Sin
emba go, en el modelo p incipal de es udio, las edes neu onales a i iciales, los clasi icado-
es ob enidos pueden se complejos p o ocando que el iesgo no sea una unci´on con exa y
consecuen emen e no se encuen an den o del an e io con ex o, condici´on que no implica
que no se ob engan excelen es esul ados a ni el p ´ac ico.
Basado en lo es udiado has a el momen o, pod ´ıa pa ece que el modelo de edes neu-
onales es ´alido cuando los elemen os del dominio de da os poseen una opolog´ıa simila a
una cuad ´ıcula como las im´agenes. No obs an e, si ans o mamos una imagen 96 ×96 en un
ec o de dimensi´on 9216×1, p´ıxeles ce canos y elacionados en la imagen son o denados sin
cohe encia en el nue o ec o , eliminando el signi icado in ´ınseco de la imagen. Su ge as´ı la
necesidad de modi ica la mul iplicaci´on de ma ices en el modelo po la ope aci´on de con o-
luci´on, capaz de p omedia p´ıxeles ce canos y de ap o echa as´ı la es uc u a bidimensional
de las im´agenes. Es o mo i a el in e ´es de las llamadas edes neu onales con olucionales.
El p oyec o inaliza con una aplicaci´on p ´ac ica de la eo ´ıa abo dada a a ´es de la que
he cons a ado que no exis e a´un una sis ema izaci´on cla a que pe mi a encon a una a qui-
ec u a adecuada pa a cualquie conjun o de da os.
T as ealiza es e T abajo Fin de G ado he omado consciencia del eno me es ue zo,
alo y dedicaci´on de odos aquellos in es igado es que, cada uno en su campo, de o ma
indi idual o colec i a, es ´an colabo ando en la ac ual e oluci´on cien ´ı ico- ecnol´ogica en la
que odos es amos inme sos. Como dice Fei-Fei Li, p o eso a de ciencias de la compu aci´on en
la Uni e sidad de S an o d ”Como ecn´ologo, eo c´omo la In eligencia A i icial y la cua a
e oluci´on indus ial a ec a ´an odos los aspec os de la ida de las pe sonas ”.
58
CAP´
ITULO 5. CONCLUSIONES FINALES Y FUTURAS L´
INEAS DE TRABAJO 59
Quie o des aca en es e pun o el abajo de Geo ey Hin on, Yann LeCun y Yoshua
Bengio, conside ados pad es de una ´ecnica esencial de la In eligencia A i icial, el Ap endi-
zaje P o undo, que ha sido mi e e encia du an e odo es e iempo. Geo ey Hin on en 1986
in en ´o los algo i mos de e op opagaci´on undamen ales pa a en ena edes neu onales,
conside ado un e dade o hi o en la In eligencia A i icial. Yann LeCun hizo apo aciones al
abajo de Hin on y el 1989 dise˜n´o LeNe -5, una de las a qui ec u as pione as en el campo y
que ha se ido de mo i aci´on pa a in es igaciones u u as. Po su pa e, Yoshua Bengio ha
ealizado con ibuciones cla e en modelos p obabil´ıs icos de secuencias. El abajo de odos
ellos ue econocido po la Associa ion o Compu ing Machine y en 2018 con el P emio
Tu ing y es e a˜no 2022 jun o con Demis Hassabis, CEO y co undado de DeepMind se ´an
gala donados con el P emio P incesa de As u ias de In es igaci´on Cien ´ı ica y T´ecnica. En-
lace a la uen e
En cuan o a u u as l´ıneas de in es igaci´on podemos clasi ica las en es ´ambi os:
A ni el de Es ad´ıs ica, como se ha cons a ado en el ´ul imo siglo, el a ance ha sido
no o io pe o el desa ollo de es a ciencia es un con inuum.
En segundo luga , eniendo en cuen a que se ob ienen buenos esul ados en la p ´ac ica,
se ´an p ecisos eo emas (ga an ´ıas es ad´ıs icas y compu acionales) que con o men el
cue po e´o ico de las co ecciones del algo i mo de descenso de g adien e es oc´as ico
como Momen um, RMSP op y Adam, en e o os.
A ni el expe imen al e in o m´a ico, exis e la posibilidad de, o bien haciendo uso del
ap endizaje po ans e encia o de la b´usqueda de o as a qui ec u as, de dise˜na una
ed neu onal con olucional pa a el conjun o de da os p opues o con mejo gene aliza-
ci´on que la p esen ada.
Mi modes o abajo es s´olo un peque˜no pun o de una in ini a l´ınea con inua de la es-
ad´ıs ica aplicada al ap endizaje au om´a ico, que iene a´un un la go camino po eco e .
Me gus a ´ıa conclui con una ci a de Yan LeCun ”Nues a in eligencia es lo que nos hace
humanos, y la In eligencia A i icial es una ex ensi´on de esa cualidad” y o a de Timo hy
Donald Cook, di ec i o de Apple Inc. ”Lo que odos enemos que hace es asegu a nos de que
es amos usando la In eligencia A i icial de una mane a que sea en bene icio de la humanidad,
no en de imen o de la humanidad”.
CAP´
ITULO 6
Anexos
6.1. P oblemas de ap endizaje con exos
En es a secci´on se in oduci ´an los p oblemas de ap endizaje con exos, amilia impo an e
de p oblemas de ap endizaje debido a que se pueden esol e e icien emen e. En gene al, un
p oblema de ap endizaje con exo es aquel cuya clase de hip´o esis es un conjun o con exo, y
cuyas unciones de p´e dida son unciones con exas [[14], Cap´ı ulo 12].
De inici´on 6.1.0.1. Conjun o con exo Un conjun o Cde un espacio ec o ial es un
conjun o con exo si pa a dos ec o es u, ∈C, el segmen o que los une es ´a con enido en
C. Es deci , pa a cualquie α∈[0,1] se iene que αu+ (1 −α) ∈C. [[14], De inici´on 12.1]
De inici´on 6.1.0.2. Funci´on con exa Sea Cun conjun o con exo. Una unci´on :C→
Res con exa si pa a cualquie u, ∈Cyα∈[0,1], se iene que (αu+ (1 −α) )≤
α (u) + (1 −α) ( ).[[14], De inici´on 12.2]
Figu a 6.1.1: Funci´on con exa, [[14], De inici´on 12.2]
El epig a o de una unci´on es el conjun o
epig a o( ) := {(x, β) : (x)≤β}.(6.1.1)
60

CAP´
ITULO 6. ANEXOS 61
Es sencillo p oba que una unci´on es con exa si y solo si su epig a o es un conjun o con exo.
[[14], Ecuaci´on 12.1]
Una p opiedad impo an e de las unciones con exas es que odo m´ınimo local es ambi´en
un m´ınimo global. O a p opiedad ele an e es que, pa a odo pun o, podemos cons ui la
angen e a la unci´on en dicho pun o, m´as a´un, siemp e es ´a po debajo de oda imagen de
.
Lema 6.1.1. Sea :R→Runa unci´on eal y ′, ′′ su de i ada p ime a y segunda
espec i amen e. Los siguien es enunciados son equi alen es:
es con exa
′es mon´o onamen e no dec ecien e
′′ es no nega i a
[[14], Lema 12.3]
El siguien e esul ado mues a que la composici´on de una unci´on escala con exa con
una unci´on lineal es una unci´on con exa.
Lema 6.1.2. Supongamos que :Rd→Rpuede esc ibi se como (w) = g(⟨w,x⟩+y)
pa a alg´un x∈Rd, y ∈R, g :R→R. En onces si ges con exa, ambi´en lo es . [[14], Lema
12.4]
Demos aci´on. Sean w1,w2∈Rdyα∈[0,1]. Se e i ican las siguien es elaciones:
(αw1+ (1 −α)w2) = g(⟨αw1+ (1 −α)w2,x⟩+y)
=g(α⟨w1,x⟩+ (1 −α)⟨w2,x⟩+y)
=g(α(⟨w1,x⟩+y) + (1 −α)(⟨w2,x⟩+y))
≤αg(⟨w1,x⟩+y) + (1 −α)g(⟨w2,x⟩+y),
(6.1.2)
y de la ´ul ima desigualdad se deduce la con exidad de g.
Con un azonamien o simila se p ueba que el m´aximo de unciones con exas es una
unci´on con exa y que la suma ponde ada con pesos no nega i os de unciones con exas es
una unci´on con exa. [[14], Lema 12.5]
Lema 6.1.3. Pa a i= 1, ... sea i:Rd→Runa unci´on con exa. Las siguien es unciones
de RdaRson a su ez con exas:
g(x) = m´axi∈[ ] i(x)
g(x) = Pi∈[ ]wi i(x)donde wi≥0∀i
Demos aci´on. La p ime a hip´o esis se sigue de:
g(αu + (1 −α) ) = m´ax
i i(αu + (1 −α) )
≤m´ax
i[α i(u) + (1 −α) i( )]
≤αm´ax
i i(u) + (1 −α) m´ax
i i( )
=αg(u) + (1 −α)g( ).
(6.1.3)
CAP´
ITULO 6. ANEXOS 62
La segunda hip´o esis se dedice de:
g(αu + (1 −α) ) = X
i
wi i(αu + (1 −α) )
≤X
i
wi[α i(u) + (1 −α) i( )]
=αX
i
wi i(u) + (1 −α)X
i
wi i( )
=αg(u) + (1 −α)g( ).
(6.1.4)
De inici´on 6.1.0.3. Funci´on Lipschi z bajo la no ma Euclidea sob e RdSea C∈
Rd. Una unci´on :Rd→Rkse dice ρ-Lipschi z sob e C si pa a cada w1,w2∈Cse iene
que ∥ (w1)− (w2)∥ ≤ ρ∥w1−w2∥. [[14], De inici´on 12.6]
In ui i amen e una unci´on Lipschi z no a ´ıa muy ´apido. No emos que si :R→Res
di e enciable, g acias al eo ema del pun o medio ob enemos que (w1)− (w2) = ′(u)(w1−
w2), donde ues un pun o in e medio en e w1yw2. Si la de i ada de es ´a aco ada en alo
absolu o en odos sus pun os po ρ, en onces la unci´on es ρ-Lipschi z.
Lema 6.1.4. Sea (x) = g1(g2(x)), donde g1es ρ1-Lipschi z y g2es ρ2-Lipschi z. En on-
ces, es (ρ1ρ2)-Lipschi z. Resumidamen e, la composici´on de unciones Lipschi z p ese a la
p opiedad. [[14], Lema 12.7]
Demos aci´on.
| (w1)− (w2)|=|g1(g2(w1)) −g1(g2(w2))|
≤ρ1∥g2(w1)−g2(w2)∥
≤ρ1ρ2∥w1−w2∥
(6.1.5)
De inici´on 6.1.0.4. Funci´on sua e Una unci´on :Rd→Rse dice β-sua e si su
g adien e es β-Lipschi z. Es deci , pa a cada u,wse e i ica ∥∇ ( )−∇ (w)∥ ≤ β∥ −w∥.
[[14], De inici´on 12.8]
El siguien e lema a i ma que la composici´on de una unci´on sua e con una unci´on lineal
sigue siendo sua e.
Lema 6.1.5. Sea (w) = g(⟨w,x⟩+b)pa a alg´un x∈Rd, b ∈R, g :R→R. En onces si
ges β-sua e, es (β∥x∥2)-sua e. [[14], Lema 12.9]
Demos aci´on. Aplicando la egla de la cadena ob enemos que ∇ (w) = g′(⟨w,x⟩+b)x,
donde g′es la de i ada de g. Usando que ges sua e jun o con la desigualdad de Cauchy-
Schwa z ob enemos:
( ) = g(⟨ ,x⟩+b)
≤g(⟨w,x⟩+b) + g′(⟨w,x⟩+b)⟨ −w,x⟩+β
2(⟨ −w,x⟩)2
≤g(⟨w,x⟩+b) + g′(⟨w,x⟩+b)⟨ −w,x>+β
2(∥ −w∥∥x∥)2
= (w) + ⟨∇ (w), −w⟩+β∥x∥2
2∥ −w∥2
(6.1.6)
CAP´
ITULO 6. ANEXOS 63
6.1.1. P oblemas de ap endizaje con exos
De inici´on 6.1.1.1. P oblema de ap endizaje con exo Llama emos p oblema de ap en-
dizaje con exo (H,X,Y, ℓ) si la clase de hip´o esis Hes un conjun o con exo y pa a odo
(x, y)∈ X ×Y, la unci´on de p´e dida ℓ(·,(x, y)) es una unci´on con exa. [[14], De inici´on
12.10]
Un ejemplo pa icula es la eg esi´on lineal con la p´e dida cuad ´a ica, ℓ(h(x), y) =
1
2∥h(x)−y∥2.
Lema 6.1.6. Si la unci´on de p´e dida ℓes una unci´on con exa y la clase de hip´o esis Hes un
conjun o con exo, en onces el algo i mo de MREH(S) = a g m´ınw∈H RS(h)es un p oblema
de op imizaci´on con exa (minimiza una unci´on con exa sob e un conjun o con exo). [[14],
Lema 12.11]
Demos aci´on. El minimizado de iesgo emp´ı ico es ´a de inido como
ˆ
h∈a gmin
h∈H RS(h).
Si S es el conjun o de en enamien o en onces RS(h) = 1
nPn
i=1 ℓ(xi, yi, h).Aplicando el
lema 6.1.3 RS(h) es con exa. Po ende, el algo i mo MRE es un p oblema de minimiza una
unci´on con exa en un conjun o con exo.
En es e caso hay ga an ´ıas en cuan o a la con e gencia.
De inici´on 6.1.1.2. P oblema de ap endizaje con exo-Lipschi z-aco ado Llama e-
mos p oblema de ap endizaje con exo-Lipschi z-aco ado (H,X,Y, ℓ) con pa ´ame os ρ, B si
se sa is ace:
La clase de hip´o esis Hes un conjun o con exo y pa a odo h∈ H se iene que ∥h∥ ≤ B.
Pa a odo (x, y)∈ X ×Y, la unci´on de p´e dida ℓ(·,(x, y)) es una unci´on con exa y
ρ-Lipschi z.
[[14], De inici´on 12.12]
De inici´on 6.1.1.3. P oblema de ap endizaje con exo-aco ado-sua e Llama emos
p oblema de ap endizaje con exo-aco ado-sua e (H,X,Y, ℓ) con pa ´ame os β, B si se sa is-
ace:
La clase de hip´o esis Hes un conjun o con exo y pa a odo h∈ H se iene que ∥h∥ ≤ B.
Pa a odo (x, y)∈ X ×Y, la unci´on de p´e dida ℓ(·,(x, y)) es una unci´on con exa y
β-sua e y no nega i a.
[[14], De inici´on 12.13]
CAP´
ITULO 6. ANEXOS 64
6.1.2. Funciones de p´e dida sus i u a
En gene al las unciones de p´e dida na u ales no son con exas y en pa icula imple-
men a el algo i mo MRE es compu acionalmen e in a able, po ejemplo cuando la unci´on
de p´e dida es la p´e dida 0-1. Una posible soluci´on a es e p oblema es aco a supe io men-
e la unci´on no con exa po una unci´on sus i u a con exa. Po ejemplo, pa a la p´e dida
0-1 podemos de ini la unci´on ℓ∗(h(x),x, y) := m´ax{0,1−y < h, x>}.Se e i ica que
ℓ0,1(h, (x, y)) ≤ℓ∗(h(x),x, y) y es con exa. Es as nue as unciones pe mi en maneja p o-
blemas no con exos minimizando unciones sus i u as con exas. Desa o unadamen e, puede
e se no ablemen e inc emen ado el iesgo. [[14], Secci´on 12.3]
Figu a 6.1.2: Posible unci´on sus i u a pa a la p´e dida 0-1, [[14], Secci´on 12.3]
6.2. De iniciones ela i as a la Teo ´ıa de la In o maci´on
La in uici´on b´asica de ´as de la eo ´ıa de la in o maci´on es que sabe que ha ocu ido un
e en o imp obable da m´as in o maci´on que sabe que ha ocu ido un e en o p obable [[6],
Cap´ı ulo 3]. Nos gus a ´ıa cuan i ica la in o maci´on de mane a que o malice es a in uici´on:
Los e en os p obables deben ene un con enido de in o maci´on bajo, y en el caso ex-
emo, los e en os que suceden con ga an ´ıas no deben ene con enido de in o maci´on.
Los e en os menos p obables debe ´ıan ene un mayo con enido de in o maci´on.
Los e en os independien es deben ene in o maci´on adi i a.
El concep o de in o maci´on es demasiado amplio pa a se abo dado en una sola de inici´on,
es po ello que dada una dis ibuci´on de p obabilidad, de ini emos el concep o de en op´ıa,
el cual p esen a p opiedades que debe ´ıa ene una medida de in o maci´on, [[3], Cap´ı ulo 2].
De inici´on 6.2.0.1. De inimos la au oin o maci´on de un e en o X=xcomo
I(x) = −log P(x) (6.2.1)
donde log simboliza el loga i mo en base e.I(x)es medido en na s. Un na es la can idad de
in o maci´on ganada obse ando un suceso con p obabilidad 1
e. [[6], Secci´on 3.13]
CAP´
ITULO 6. ANEXOS 71
13
14 # Con e imos y_ es _p ed en un a ay (e a una lis a)
15 y_ es _p ed =np.asa ay(y_ es _p ed)
1# Posibles e ique as
2ca es =['0','1','2','3','4','5','6','7','8','9']
3# Visualizamos algunas imagenes del conjun o de alidacion con la e ique a
p edicha po el modelo en enado,→
4pl . igu e( igsize =(12,7))
5 o iin np.a ange(8):
6ind = andom. andin (0,len(X_ es ))
7img =X_ es [ind]
8img =img. eshape(1,32,32,1)
9img =img.as ype(' loa 32')
10 img =img/255.0
11 _p =y_ es _p ed[ind]
12 pl .subplo (240+1+i)
13 pl .imshow(X_ es [ind], cmap=pl .ge _cmap('g ay'))
14 pl . i le( _p)
15
16 pl .sa e ig('LeNe _MNIST_p ed.pd ')
6.3.2. Modelo ed neu onal o almen e conec ada
1!pip ins all ke as
2!pip ins all Tenso Flow
3pip ins all enso low-da ase s
4pip ins all enso low_da a_ alida ion
1impo ma plo lib.pyplo as pl
2impo numpy as np
3impo enso low as
4 om enso low impo ke as
5 om enso low.ke as impo da ase s, laye s, models
6impo enso low_da ase s as ds
1# Impo a el conjun o de da os
2d , in o = ds.load('pa ch_camelyon', wi h_in o =T ue,
3as_supe ised =T ue)
1# Sepa a el conjun o de en enamien o, alidacion y es
2 ain_da a =d [' ain']
3 alid_da a =d [' alida ion']
4 es _da a =d [' es ']

CAP´
ITULO 6. ANEXOS 72
1# P ocesamien o de los da os
2de p ep ocess(image, labels):
3image = .cas (image, . loa 32)
4image /= 255.
5image_ es= . eshape(image, [27648])
6 e u n image_ es, labels
1# Aplica el p ocesamien o g acias a la uncion map()
2 ain_da a = ain_da a.map(p ep ocess)
3 alid_da a = alid_da a.map(p ep ocess)
4 es _da a = es _da a.map(p ep ocess)
1# Ba ajamos las imagenes
2bu e _size = 1000
3 ain_da a = ain_da a.shu le(bu e _size)
1ba ch_size = 4096
2 ain_da a = ain_da a.ba ch(ba ch_size).p e e ch(1)
3 alid_da a = alid_da a.ba ch(ba ch_size).p e e ch(1)
4 es _da a = es _da a.ba ch(ba ch_size).p e e ch(1)
1# Sepa amos la imagen de la e ique a en a iables di e en es
2 ain_images, ain_labels =nex (i e ( ain_da a))
3 alid_images, alid_labels =nex (i e ( alid_da a))
4 es _images, es _labels =nex (i e ( es _da a))
5#Check
6 alid_labels.shape
7#Chec
8 ain_images.shape
1 om enso low.ke as impo Sequen ial
2 om enso low.ke as.laye s impo Con 2D,
3MaxPooling2D, Dense, Fla en, Ba chNo maliza ion, D opou
4 om enso low.ke as impo laye s
5 om enso low.ke as impo op imize s
6 om enso low.ke as impo egula ize s
1inpu _size = 27648
2ba ch_size = 128
3hidden1 = 864
4hidden2 = 432
5hidden3 = 54
6hidden4 = 27
7classes = 1
CAP´
ITULO 6. ANEXOS 73
1# Modelo de ap endizaje au oma ico
2FCN =Sequen ial()
3FCN.add(Dense(hidden1, inpu _dim=inpu _size, ac i a ion=' elu'))
4FCN.add(Dense(hidden1, ac i a ion=' elu'))
5FCN.add(Dense(hidden2, ac i a ion=' elu'))
6FCN.add(Dense(hidden3, ac i a ion=' elu'))
7FCN.add(Dense(hidden4, ac i a ion=' elu'))
8FCN.add(Dense(classes, ac i a ion='sigmoid'))
9
10 FCN.summa y()
1# Compila el modelo con el op imizado descenso del g adien e es ocas ico
2FCN.compile(op imize ='sgd',
3loss='bina y_c ossen opy', me ics=['bina y_accu acy'])
1# En enamien o
2his o y =FCN. i ( ain_images, ain_labels, ba ch_size = 4096, epochs=30,
3 alida ion_da a =( alid_images, alid_labels), e bose=2)
1# Resul ados
2FCN.e alua e( es _images, es _labels)
6.3.3. Modelo Red Neu onal Con olucional Le-Ne -5 pa a el con-
jun o de da os de in e ´es
1impo ma plo lib.pyplo as pl
2impo numpy as np
3impo enso low as
4 om enso low impo ke as
5 om enso low.ke as impo da ase s, laye s, models
6impo enso low_da ase s as ds
1d , in o = ds.load('pa ch_camelyon', wi h_in o =T ue, as_supe ised =
T ue),→
1 ain_da a =d [' ain']
2 alid_da a =d [' alida ion']
3 es _da a =d [' es ']
1de p ep ocess(image, labels):
2image = .cas (image, . loa 32)
3image /= 255.
4 e u n image, labels
CAP´
ITULO 6. ANEXOS 74
1 ain_da a = ain_da a.map(p ep ocess)
2 alid_da a = alid_da a.map(p ep ocess)
3 es _da a = es _da a.map(p ep ocess)
1bu e _size = 1000
2 ain_da a = ain_da a.shu le(bu e _size)
1ba ch_size = 128
2 ain_da a = ain_da a.ba ch(ba ch_size).p e e ch(1)
3 alid_da a = alid_da a.ba ch(ba ch_size).p e e ch(1)
4 es _da a = es _da a.ba ch(ba ch_size).p e e ch(1)
1 ain_images, ain_labels =nex (i e ( ain_da a))
2 alid_images, alid_labels =nex (i e ( alid_da a))
3 es _images, es _labels =nex (i e ( es _da a))
1 om enso low.ke as impo Sequen ial
2 om enso low.ke as.laye s impo Con 2D, MaxPooling2D, Dense, Fla en,
Ba chNo maliza ion, D opou ,→
3 om enso low.ke as impo laye s
4 om enso low.ke as impo op imize s
5 om enso low.ke as impo egula ize s
1LeNe =Sequen ial()
2
3# Capa con olucional
4LeNe .add(Con 2D(inpu _shape=(96,96,3), il e s = 6, ke nel_size =(5,5),
ac i a ion =' anh', name='C1')),→
5
6# Capa Max-pooing con ama~no 2x2
7LeNe .add(A e agePooling2D(pool_size =(2,2), name='S2'))
8
9# Capa con olucional
10 LeNe .add(Con 2D( il e s = 16, ke nel_size =(5,5), ac i a ion =' anh', name
='C3')),→
11
12 # Capa Max-pooling
13 LeNe .add(A e agePooling2D(pool_size =(2,2), name='S4'))
14
15 # An es de a~nadi capas o almen e conec adas debemos ans o ma la ul ima
salida en un ec o ,→
16 LeNe .add(Fla en())
17
18 # P ime a capa o alemen e conec ada
19 LeNe .add(Dense(120, ac i a ion =' anh', name='FC5'))
20
CAP´
ITULO 6. ANEXOS 75
21 # Segunda capa o alemen e conec ada
22 LeNe .add(Dense(84, ac i a ion =' anh', name='F6'))
23
24 # Ul ima capa
25 LeNe .add(Dense(1, ac i a ion ='sigmoid', name='Ou pu '))
26
27 LeNe .summa y()
1LeNe .compile(op imize ='adam', loss='bina y_c ossen opy', me ics=['acc'])
2
3his o y =LeNe . i ( ain_images, ain_labels, ba ch_size=32, epochs = 30,
alida ion_da a =( alid_images, alid_labels), e bose=2),→
1LeNe .e alua e( es _images, es _labels)
1acc =his o y.his o y['acc']
2 al_acc =his o y.his o y[' al_acc']
3loss =his o y.his o y['loss']
4 al_loss =his o y.his o y[' al_loss']
5epochs = ange(1,len(acc) + 1)
6pl .plo (epochs, acc, 'co al', label='T aining accu acy')
7pl .plo (epochs, al_acc, 'blue iole ', label='Valida ion accu acy')
8pl .xlabel("I e aciones")
9pl .ylabel("P ecision")
10 pl . i le('Modelo LeNe -5')
11 pl .legend()
12 pl .sa e ig('LeNe _30ep_acc.pd ')
13 pl .show()
1pl . igu e()
2pl .plo (epochs, loss, 'mediumaquama ine', label='T aining loss')
3pl .plo (epochs, al_loss, ' oyalblue', label='Valida ion loss')
4pl .xlabel("I e aciones")
5pl .ylabel("Pe dida")
6pl . i le('Modelo LeNe -5')
7pl .legend()
8pl .sa e ig('LeNe _30ep_loss.pd ')
9pl .show()
6.3.4. Modelo Red Neu onal Con olucional pa a el conjun o de
da os de in e ´es
1# Impo acion de lib e ias necesa ias
2impo ma plo lib.pyplo as pl
3impo numpy as np
4impo enso low as
CAP´
ITULO 6. ANEXOS 76
5 om enso low impo ke as
6 om enso low.ke as impo da ase s, laye s, models
7impo enso low_da ase s as ds
1ds, in o = ds.load('pa ch_camelyon', spli =' ain', wi h_in o=T ue)
2in o
1# Ca ga el da ase desde Tenso low da ase s
2d , in o = ds.load('pa ch_camelyon', wi h_in o =T ue, as_supe ised =
T ue),→
1# Di idi el conjun o de da os en en enamien o, es y alidacion
2 ain_da a =d [' ain']
3 alid_da a =d [' alida ion']
4 es _da a =d [' es ']
1# P ocesamien o de los da os
2de p ep ocess(image, labels):
3image = .cas (image, . loa 32)
4image /= 255.
5 e u n image, labels
1# Se hace uso de map() pa a aplica la uncion an e io a cada elemen o del
conjun o de da os,→
2 ain_da a = ain_da a.map(p ep ocess)
3 alid_da a = alid_da a.map(p ep ocess)
4 es _da a = es _da a.map(p ep ocess)
1# Ba ajamos el conjun o de en enamien o
2bu e _size = 1000
3 ain_da a = ain_da a.shu le(bu e _size)
1ba ch_size = 128
2 ain_da a = ain_da a.ba ch(ba ch_size).p e e ch(1)
3 alid_da a = alid_da a.ba ch(ba ch_size).p e e ch(1)
4 es _da a = es _da a.ba ch(ba ch_size).p e e ch(1)
1# Sepa amos las imagenes y e ique as en dos a iables
2 ain_images, ain_labels =nex (i e ( ain_da a))
3 alid_images, alid_labels =nex (i e ( alid_da a))
4 es _images, es _labels =nex (i e ( es _da a))
5
6# Comp obacion de las dimensiones
7p in ( alid_labels.shape)
8p in ( ain_images.shape)

CAP´
ITULO 6. ANEXOS 77
1 om enso low.ke as impo Sequen ial
2 om enso low.ke as.laye s impo Con 2D, MaxPooling2D, Dense, Fla en,
Ba chNo maliza ion, D opou ,→
3 om enso low.ke as impo laye s
4 om enso low.ke as impo op imize s
5 om enso low.ke as impo egula ize s
1# De inimos el modelo de ap endizaje
2model =Sequen ial([
3Con 2D(120,5,padding='same', ac i a ion=' elu', inpu _shape =[96,
96,3]),,→
4MaxPooling2D(2),
5Con 2D(256,3,padding='same',ac i a ion=' elu',),
6MaxPooling2D(2),
7Con 2D(412,3,padding='same',ac i a ion=' elu',),
8MaxPooling2D(2),
9Con 2D(412,3,padding='same',ac i a ion=' elu',),
10 MaxPooling2D(2),
11
12 Fla en(),
13 Dense(412,ac i a ion =' elu'),
14 Dense(256,ac i a ion =' elu'),
15 Dense(128, ac i a ion =' elu'),
16 Dense(1, ac i a ion ='sigmoid'),
17 ])
18 model.summa y()
1# Ca ga el modelo
2model.compile(op imize =op imize s.Adam(1e-4), loss='bina y_c ossen opy',
me ics=['acc']),→
3
4ea ly_s opping_cb =ke as.callbacks.Ea lyS opping(moni o =' al_loss',
pa ience=5),→
5
6# En enamien o
7his o y =model. i ( ain_images, ain_labels, ba ch_size=128, epochs = 50,
callbacks=[ea ly_s opping_cb], alida ion_da a =( alid_images,
alid_labels), e bose=2)
,→
,→
1# E alua el modelo en el conjun o de es
2model.e alua e( es _images, es _labels)
1# E alua el modelo en el conjun o de en enamien o
2model.e alua e( ain_images, ain_labels)
CAP´
ITULO 6. ANEXOS 78
1acc =his o y.his o y['acc']
2 al_acc =his o y.his o y[' al_acc']
3loss =his o y.his o y['loss']
4 al_loss =his o y.his o y[' al_loss']
5epochs = ange(1,len(acc) + 1)
6pl .plo (epochs, acc, 'co al', label='P ecision conj. en enamien o')
7pl .plo (epochs, al_acc, 'blue iole ', label='P ecision conj. alidacion')
8pl .xlabel("I e aciones")
9pl .ylabel("P ecision")
10 pl . i le('P ecision pa a el conjun o de en enamien o y alidacion')
11 pl .legend()
12 pl .sa e ig(' esul s/Modelo_Final_acc.pd ')
13 pl .show()
1pl . igu e()
2pl .plo (epochs, loss, 'mediumaquama ine', label='Pe dida conj.
en enamien o'),→
3pl .plo (epochs, al_loss, ' oyalblue', label='Pe dida conj. alidacion')
4pl .xlabel("I e aciones")
5pl .ylabel("Pe dida")
6pl . i le('Pe dida pa a el conjun o de en enamien o y alidacion')
7pl .legend()
8pl .sa e ig(' esul s/Modelo_Final_loss.pd ')
9pl .show()
1model.sa e(" esul s/pa chcamelyon.h 5")
6.3.5. C´odigo pa a la isualizaci´on del conjun o de da os
Enlace
1!pip ins all Tenso Flow
2!pip ins all ke as
1pip ins all enso low-da ase s
1impo ma plo lib.pyplo as pl
2impo numpy as np
3impo enso low as
4 om enso low impo ke as
5impo enso low_da ase s as ds
1 ds.lis _builde s()
1ds = ds.load('pa ch_camelyon', spli =' ain', shu le_ iles=T ue)
2asse isins ance(ds, .da a.Da ase )
CAP´
ITULO 6. ANEXOS 79
3p in (ds)
1ds, in o = ds.load('pa ch_camelyon', spli =' ain', wi h_in o=T ue)
2
3 ds.as_da a ame(ds. ake(20), in o)
1ds, in o = ds.load('pa ch_camelyon', spli =' ain', wi h_in o=T ue)
2
3 ig = ds.show_examples(ds, in o)
Bibliog a ´ıa
[1] Bha , R.:G adien Descen Wi h Momen um - Towa ds Da a Science, Oc ub e, 3,
2020,Enlace.
[2] Bushae , V.:Unde s anding RMSp op - as e neu al ne wo k lea ning - Towa ds Da a
Science, Sep iemb e, 2, 2018,Enlace.
[3] Co e , T.M. yThomas, J.A:Elemen s o In o ma ion Theo y, Segunda edici´on,
Wiley, ISBN-13 978-0-471-24195-9 .
[4] De oye L., Gy¨o i L. yLugosi G. :A p obabilis ic heo y o pa e n ecogni ion,
1996, Sp inge . ISBN 0-3879-4618-7.
[5] Godoy, D.:Unde s anding bina y c oss-en opy / log loss: a isual explana ion- To-
wa ds Da a Science, No iemb e, 21, 2018,Enlace.
[6] Good ellow, I. , Bengio, Y. yCou ille, A.:Deep Lea ning. MIT P ess, 2016,
h p://www.deeplea ningbook.o g.
[7] He, K. Zhang, X. Ren, S. ySun, J.:Iden i y Mappings in Deep Residual Ne wo ks.
Mic oso Resea ch, 2016,h ps://a xi .o g/abs/1603.05027.
[8] Huang, G. , Liu, Z. , Weinbe ge , K.Q. yVan de Maa en, L.:Densely Con-
nec ed Con olu ional Ne wo ks. 2018,h ps://a xi .o g/abs/1608.06993.
[9] LeCun, Y. , Bose , B., Denke , J.S., Hende son, D., Howa d, R.E., Hub-
ba d, W. yJackel, L.D.:Backp opaga ion Applied o Handw i en Zip Code Recog-
ni ion. AT&T Bell Labo a o ies Holmdel, NY 07733 USA.
[10] LeCun, Y. , Bo ou, L., Bengio, Y. yHa ne , P.:G adien - Based Lea ning
Applied o Documen Recogni ion. P oc. o he IEEE, No iemb e 1998.
[11] Liu, Y., Gadepalli, K., No ouzi, M., Dahl, G.E., Kohlbe ge , T., Boyko,
A., Venugopalan, S., Timo ee , A., Nelson, P.Q., Co ado, G.S., Hipp,
J.D, Peng, L. yS umpe, M.C.:De ec ing Cance Me as ases on Gigapixel Pa hology
80