He amien as pa a la cons ucción de
na aciones con apoyo g áco
Tools o he cons uc ion o na a ions wi h
isual suppo
T abajo de Fin de G ado
Cu so 20232024
Au o
Se gio Llo en e He nando
Isabella Romano Ramos
Di ec o
Gonzalo Mendez Pozo
Pablo Gé as Gómez-Na a o
Doble G ado en Ingenie ía In o má ica y ADE
Facul ad de In o má ica
Uni e sidad Complu ense de Mad id
He amien as pa a la cons ucción de
na aciones con apoyo g áco
Tools o he cons uc ion o na a ions
wi h isual suppo
T abajo de Fin de G ado en Ingenie ía In o má ica
Au o
Se gio Llo en e He nando
Isabella Romano Ramos
Di ec o
Gonzalo Mendez Pozo
Pablo Gé as Gómez-Na a o
Con oca o ia:
Junio 2024
Doble G ado en Ingenie ía In o má ica y ADE
Facul ad de In o má ica
Uni e sidad Complu ense de Mad id
14 de mayo de 2024
Dedica o ia
A odas aquellas pe sonas que han is o como
sus ecue dos o los de un se que ido se
des anecían.

Ag adecimien os
A odas las pe sonas que han apoyado es e p oyec o y du an e nues a e apa
uni e si a ia.
ii
Resumen
El mundo al y como lo conocemos es á a anzando cada ez más y en odos los
aspec os que conocemos, en e es os a ances podemos des aca la espe anza de ida
y el uso de las nue as ecnologías. Aunque en p incipio no eamos mucha elación
en e ambos concep os, es án mucho más unidos de lo que pensamos. El aumen o
de la espe anza de ida se debe a las mejo as de los p ocesos y condiciones médi-
cas y sani a ias que han sido de e olución en los úl imos 100 años, g acias a ello
podemos i i mucho más iempo y dis u a de la ida unos años más. Sin emba -
go, hay consecuencias que su en las pe sonas que alcanzan los años más a anzados
de edad, en e an as, las más impo an es son el de e io o de algunas capacidades
senso iales, como lo pueden se la is a o el oído; y capacidades cogni i as como la
o ien ación o la memo ia. En es a úl ima es en la que se basa la p incipal en e medad
que a ec a a las pe sonas de mayo edad, el Alzheime , que a aca di ec amen e a
la memo ia des uyendo len amen e su capacidad has a llega a las unciones más
básicas. Aquí es cuando en an las úl imas inno aciones ecnológicas ealizadas, en
dónde in oducimos el concep o de In eligencia A icial pa a la ealización de es e
abajo. En conc e o, la gene ación de imágenes a a és de es a. Nues o obje i-
o es c ea ecue dos ep esen ados po imágenes gene adas au omá icamen e y al
momen o, a a és de palab as del p opio a ec ado po el Alzheime , pa a pode
cons ui un lib o de ida, que le ayuda á a a és de e apias de eminiscencia que
a o ecen que la en e medad a ance paula inamen e.
Palab as cla e
In eligencia a icial, gene ación de imágenes, p omp , Alzheime , S able Diusion,
edes neu onales.
ix

Índice de gu as
1.1. Obs ucción de neu onas po la i amina au (Ex emadu a, 2020) . . 2
2.1. Es uc u a del pe cep ón (Pa i h a, 2023) . . . . . . . . . . . . . . . 12
2.2. Red neu onal eed o wa d (Be zal, 2019b) . . . . . . . . . . . . . . . 13
2.3. Red neu onal ecu en e (Sensio, 2020) . . . . . . . . . . . . . . . . . 14
2.4. Función ma emá ica del g adien e (He nández, 2020) . . . . . . . . . 15
2.5. Red neu onal Long Sho Te m Memo y (Fe o e al., 2020) . . . . . 16
2.6. Red neu onal con olucional (And ade e al., 2021) . . . . . . . . . . . 18
2.7. Red neu onal gene a i a an agónica (F anco, 2014) . . . . . . . . . . 20
2.8. Red neu onal T ans o me (So oqui á, 2020) . . . . . . . . . . . . . . 22
2.9. di usión di ec a de una imagen de un cacho o de Shiba Inu comiendo 23
2.10. di usión in e sa de una imagen de un cacho o de Shiba Inu comiendo 24
2.11. Rep esen ación g áca del p oceso de con e sión al espacio la en e
(Rombache al.,2022).......................... 24
2.12. A qui ec u a de una ed U-Ne (Zhang, 2019) . . . . . . . . . . . . . 26
2.13. Rep esen ación g áca del uncionamien o de S able Diusion (Pa il
e al.,2022)................................ 27
3.1.
Da ase
seleccionado pa a el en enamien o de pe sonas con Lo a . . 35
3.2. P ocedimien o del en enamien o median e D eamboo h . . . . . . . . 36
3.3. Resul ados de en enamien o de una pe sona con aplicación NMKD
GUI .................................... 37
3.4. Resul ados de en enamien o de una pe sona con di e en es es ilos . . 38
3.5.
Da ase
seleccionado pa a el en enamien o con luga es . . . . . . . . 38
x ii
3.6.
Da ase
seleccionado pa a el en enamien o con animales . . . . . . . 39
3.7. Pa áme os ele an es del en enamien o con LoRA . . . . . . . . . . 41
3.8. Mismo p omp con 1000, 2000 y 10.000 pasos de en enamien o . . . 41
3.9. Mismo
p omp
y pasos pa a la gene ación de un pe o con las écnicas
deD eamboo hyLORA......................... 43
3.10. Aplicación SDGUI, u ilizada pa a p oba odos los modelos gene a-
do esdeimágenes ............................ 45
3.11. La basílica en p ima e a, en un día nublado y llu ioso . . . . . . . . . 55
3.12. La basílica jun o con á boles y pe sonas . . . . . . . . . . . . . . . . 55
3.13. Resul ados de imagenes del luga en enado al es ilo Van Gogh y iñe a 56
3.14. Una o og a ía de Hachiko con un go o . . . . . . . . . . . . . . . . . 57
3.15. Una o og a ía de hachiko con una pe sona . . . . . . . . . . . . . . . 57
3.16.
Da ase
del en enamien o con el salón de F iends ( ndsli o) . . . . 58
3.17. Resul ados de la gene ación de imágenes con el modelo  ndsli o . 59
3.18. Mismo
p omp
con 20, 40 y 50
s eps
al mezcla dos elemen os: pe sona
yluga ................................... 59
3.19. Duplicidad de elemen os . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.20. Congu ación de los pa áme os en la écnica de inpain ing . . . . . . 63
3.21. Ven ana de la WEBUI implemen ada pa a ealiza el pain ing . . . . 64
3.22. E olución de una imagen con la écnica de inpain ing aplicada . . . . 65
4.1. P o o ipo de la aplicación en Py hon . . . . . . . . . . . . . . . . . . 68
4.2. Aplicación gene ado a de imágenes . . . . . . . . . . . . . . . . . . . 70
4.3. Ejecucióndelaapp............................ 71
4.4. Po ada de la aplicación . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.1. Resul ados ob enidos bajo un mismo p omp en las 3 ases . . . . . . 74
5.2. Da ase seleccionado pa a el en enamien o con Juan de jo en . . . . 75
5.3. Da ase seleccionado pa a el en enamien o con Juan de adul o . . . . 77
5.4. Da ase seleccionado pa a el en enamien o con Juan de anciano . . . 79
5.5. Po ada isual del lib o de ida en la aplicación . . . . . . . . . . . . 81
5.6. Capí ulo 1 del lib o de ida en la aplicación . . . . . . . . . . . . . . 82
5.7. Capí ulos 2 y 3 del lib o de ida en la aplicación . . . . . . . . . . . . 82
6.1. Clogging o neu ons by i amin au (Ex emadu a, 2020) . . . . . . . 88
Índice de ablas
3.1. Tabla compa a i a de en enamien os median e D eamboo h. . . . . . 48
3.2. Tabla compa a i a de en enamien os median e D eamboo h. . . . . . 50
3.3. Tabla compa a i a CFG Scale . . . . . . . . . . . . . . . . . . . . . . 53
5.1. Tabla de esul ados ob enidos del Capí ulo 1 de ju en ud del pacien e 76
5.2. Tabla de esul ados ob enidos del Capí ulo 2 de adul ez del pacien e . 78
5.3. Tabla de esul ados ob enidos del Capí ulo 3 de ejez del pacien e . . 80
xxi

Cap´
ı ulo 1
In oducción
Todo se hunde en la niebla del ol ido pe o cuando la niebla
se despeja, el ol ido es á lleno de memo ia
 Ma io Benede i
1.1. Mo i ación
Nues a exis encia se compone esencialmen e de i encias, momen os únicos y
pe sonales que ma can el eco ido en la ida de cada uno. Nues a iden idad se
o ma con el conjun o de los e en os que amos expe imen ando en el camino y
pa a p ese a los, el ce eb o los a almacenando en o ma de ecue dos a lo la go
de oda nues a ida. Desde nues o p ime ecue do, que no malmen e es á com-
p endido en e los 2 y 4 años, debido a que la o mación de nue as neu onas impide
que el hipocampo almacene ecue dos has a esa edad, enómeno que se conoce co-
mo amnesia in an il (F eud, 1895). Has a el úl imo, el cual puede da se el caso de
se dis o sionado o bo ado comple amen e debido al de e io o de nues o ce eb o
y la imposibilidad de nues as neu onas a ealiza las conexiones posibles pa a ello.
Es e úl imo caso incluye a una en e medad degene a i a comúnmen e conocida co-
mo Alzheime , que ac ualmen e a ec a a más de 55 millones de pe sonas en odo el
mundo. Sin emba go, no son sólo es as pe sonas quiénes la su en, sino odos sus
allegados ambién.
1.2. ¾Qué es el Alzheime ?
El Alzheime es una en e medad que des uye len amen e la memo ia y que,
además, ambién a de e io ando los pensamien os y la conduc a, has a que poco a
poco se en a ec adas las unciones más básicas. El Alzheime es la p incipal causa
de la demencia (on Aging, 2023).
1
2
Capí ulo 1.
In oducción
El ce eb o en ía es ímulos químicos a a és de las neu onas c eando conexiones
ce eb ales, y median e miles de millones de es as conexiones, se ob ienen nues os
ecue dos, sen imien os, pensamien os y capacidades locomo o as. Aunque oda ía
no se sabe con ce eza el mo i o que causa es a en e medad en el ce eb o, se ha
in es igado que hay dos p o eínas en el ce eb o que con el iempo se uel en ó-
xicas, au y be a-amiloide, que se acumulan has a obs ui la conexión en e las
neu onas y p o oca que es as mue an, como se puede e en 6.1. Con la des ucción
de las neu onas, el ce eb o se a encogiendo y con él ambién se e amen e, el hipo-
campo, que es una pa e cla e undamen al en nues o ce eb o a la ho a de o ma
nue os ecue dos y pa a el ap endizaje, lo que causa que nues a memo ia, nues a
capacidad pa a oma decisiones y el habla, allen. Pa a ayuda a comba i es a en-
e medad exis en mé odos a macológicos y no a macológicos. En es e p oyec o nos
cen a emos en el segundo g upo, más conc e amen e, en la e apia de eminiscencia.
Figu a 1.1: Obs ucción de neu onas po la i amina au (Ex emadu a, 2020)
1.3. La e apia de eminiscencia
A o unadamen e, exis en e apias que ayudan a mejo a la calidad de ida de
las pe sonas que padecen es a en e medad. En e ellas la es imulación cogni i a,
o ien ación a la ealidad, eje cicio e apéu ico, musico e apia, y es imulación mul i-
senso ial, en e o as (And eu, 2020).
Nues o p oyec o es á ligado a la e apia de eminiscencia, que es un p oceso
que ayuda a la pe sona a e oca momen os y expe iencias emocionales e in eg a los
en el p esen e, lo cual puede mejo a la au oes ima y la calidad de ida (González-
1.3. La e apia de eminiscencia 3
A é alo, 2015).
En conc e o, la écnica consis e en mos a a la pe sona una he amien a o ma-
e ial isual, musical o incluso, ol a i o, inculado a su p opia expe iencia o hechos
his ó icos. De es a mane a se p omo e á una e isión de la ida de la pe sona, de
modo que se consiga una conexión con sus i encias, con el n de econs ui un
lib o de ida y e o za su iden idad como pe sona. Es a e apia se puede clasica
como un ipo de ensoñación que los lle a a su pasado, lo que les pe mi e en a en
un es ado de concen ación con el n de pode e o za su memo ia gene al, lo cual
o alece al ce eb o y desa olla sus capacidades sociales, es imula ecue dos a a és
de ó ganos senso iales y ac i a su sen ido de la iden idad.
Algunos de los benecios de la c eación del lib o de ida y la e apia ocupacional
de eminiscencia, en e muchos o os, son:
Bienes a emocional: Se pe mi e que las pe sonas puedan eco da expe ien-
cias posi i as y signica i as de sus idas, lo cual puede gene a sensaciones
sa is ac o ias, de aleg ía y elicidad.
Au oconocimien o: Cuando una pe sona e isa y eexiona sob e e en os pasa-
dos y log os pe sonales, puede ob ene una comp ensión de sí misma. Median e
la in e acción de sus ecue dos, ayudado de la guía de cuidado es y e apeu-
as, puede e oca aspec os de sus alo es, o alezas y debilidades que de o a
mane a no se ían accesibles.
Sen ido y p opósi o pe sonal: Median e la ememo ación de escenas signica i-
as, las pe sonas pueden encon a una guía emocional que pe mi e da sen ido
y di ección a sus idas, especialmen e en momen os de con usión o deso ien-
ación.
Reducción del es és: Al en oca se en ecue dos posi i os, las pe sonas expe i-
men an una sensación de calma, de anquilidad y de bienes a emocional, y
encuen an un espacio pa a escapa del es és y ensiones del p esen e.
Fa o ece las elaciones sociales: El hecho de compa i ecue dos y expe ien-
cias con o as pe sonas, puede o alece los lazos sociales y omen a una
mayo conexión con cuidado es, amilia y amigos, lo cual es al amen e sa is-
ac o io pa a el pacien e.
Aumen a el desa ollo del lenguaje y la pe sona: Al ela a expe iencias pa-
sadas, las pe sonas mejo an su capacidad pa a comunica se de mane a e ec-
i a, así como su exp esión e bal, lo cual impulsa un c ecimien o pe sonal
signica i o a ni el emocional e in elec ual.
10
Capí ulo 2.
Es ado de la Cues ión
a se a una amplia a iedad de a eas, con el n de pe cibi su en o no y aplicando
los conocimien os y da os almacenados, ene la capacidad de oma decisiones pa a
log a la consecución de obje i os p opo cionados.
Al habla sob e in eligencia a icial, es muy impo an e menciona los con-
cep os de ap endizaje au omá ico (
machine lea ning
) y ap endizaje p o undo (
deep
lea ning
), que son subconjun os de la in eligencia a icial que compa en la me a
común de pe mi i a las máquinas ap ende y mejo a su endimien o en a eas es-
pecícas sin in e ención humana.
El ap endizaje au omá ico es un en oque que aba ca di e en es écnicas en las
que se c ean modelos de en enamien o a pa i de da os pa a aplica los conoci-
mien os adqui idos con el n de ealiza p edicciones o oma decisiones en unción
de nue os da os. Es deci , se u iliza pa a mejo a el endimien o de la in eligencia
a icial en a eas especícas a medida que se expone a mayo can idad de da os,
que en gene al equie e in e ención humana de o ma manual (Mic oso , 2024).
Algunas ca ego ías den o del ap endizaje au omá ico son:
Ap endizaje supe isado: Un algo i mo se en ena con un conjun o de da os
e ique ado, donde se le p opo cionan ejemplos de en ada y la salida espe ada.
El modelo ap ende a ealiza p edicciones o oma decisiones basándose en
es os ejemplos.
Ap endizaje no supe isado: El algo i mo se en en a a da os no e ique ados
y debe encon a pa ones o es uc u as po sí mismo. Es o se u iliza común-
men e pa a la clasicación o ag upación de da os.
Ap endizaje po e ue zo: El modelo ap ende a a és de la in e acción con
un en o no. Recibe ecompensas o cas igos según las acciones que ealiza, lo
que le ayuda a ap ende qué compo amien os son más beneciosos.
El ap endizaje p o undo, a lo que espec a, es una disciplina den o del ap en-
dizaje au omá ico que u iliza edes neu onales p o undas con múl iples capas, que
con ienen da os de en ada y salida, de mane a que cada capa puede ap ende de
la an e io a pa i de los da os ans o mados pa a ealiza p edicciones y ap ende
de mane a au oma izada, educiendo g an pa e de la in e ención humana y pe -
mi iendo aumen a el conjun o de los da os a a a (Mic oso , 2024).

2.2. Redes neu onales 11
2.2. Redes neu onales
Las edes neu onales ue on c eadas con el obje i o de simula el compo amien o
del ce eb o humano pa a que las máquinas pudie an se capaces de ap ende a eas
compu acionales de o ma simila a las neu onas de nues o sis ema ne ioso (Gon-
zález y He nando, 1995). La o ma más básica de una neu ona a icial se puede
deni a a és del concep o de pe cep ón. El concep o de pe cep ón ue is o po
p ime a ez en 1956 po F ank Rosenbla , psicólogo es adounidense. Un pe cep ón
es una unidad de ed neu onal que unciona a a és de un algo i mo de clasicación
que ealiza de e minados cálculos en el que se ponde an las en adas, sumándolas y
gene ando así una salida bina ia, de mane a que pe mi e sepa a los da os en dos
ca ego ías (Rosenbla , 1958). Pa a ello, cada en ada iene asignada un peso que
de e mina la ele ancia de es a pa a su cálculo pos e io en la suma ponde ada, es
deci , cada en ada se mul iplica po su peso co espondien e pa a de e mina su
impo ancia ela i a. La salida, además, se calcula aplicando una unción de ac i a-
ción al esul ado de la suma ponde ada p e iamen e calculada pa a así dic amina
la salida nal (Be zal, 2019b). Es deci , la unción de ac i ación es un mé odo me-
dian e el cual se decide la salida de la neu ona eniendo en cuen a sus en adas.
El pe cep ón puede cons a de una sola capa, que se compone de en ada y
salida, o puede cons a de múl iples capas, más conocidos como MLP (
Mul ilaye
Pe cep ons
). A di e encia de los pe cep ones simples, los MLP cons an de unas
capas ocul as adicionales, componiéndose así de múl iples neu onas conec adas que
se di iden ípicamen e en es capas: capa de en ada, capa ocul a y capa de salida.
En esumidas cuen as, los pe cep ones son la o ma más simple de una ed neu onal.
La p ime a imagen gene ada po In eligencia A icial ue en 1957, po el p opio
c eado del pe cep ón, F ank Rosenbla , quien en enó al p opio pe cep ón con
una se ie de imágenes de os os humanos pa a que és e ap endie a e iden ica a un
pa ón y ep oduje a una nue a imagen. La imagen ue gene ada a a és de una
ma iz de pun os de luz que aunque no se asemeja a a lo que ealmen e e a una
o og a ía de una pe sona eal, hizo que es e enómeno ma ca un an es y un después
en el desa ollo de la in eligencia a icial gene a i a.
¾Qué ipos de edes neu onales exis en?
La a iedad de edes neu onales es conside ablemen e g ande, y cada una de
ellas se han ido desa ollando y diseñando pa a elabo a a eas especícas. De es a
mane a, las di e en es edes neu onales han ido adop ando di e en es a qui ec u as
pa a a a di e en es ipos de da os.
En e ellas, menciona emos las más ele an es hoy en día y, analiza emos el uncio-
namien o de cada una pa a ene cla o cuál es la más adecuada pa a el modelo de
in eligencia a icial gene a i a de imágenes, haciendo una compa ación en e unas
12
Capí ulo 2.
Es ado de la Cues ión
Figu a 2.1: Es uc u a del pe cep ón (Pa i h a, 2023)
y o as.
2.2.1. Redes Neu onales Feed o wa d (FNN)
Son un ipo de edes mul icapa, que como hemos is o, es án o madas po con-
jun os de neu onas ag upadas en a ios ni eles o capas, en los que cada neu ona
es á conec ada y ecibe señales de o as neu onas pe enecien es a la capa an e io ,
que a su ez, se enca gan de ansmi i in o mación po señales a las neu onas de la
capa pos e io , en di ección a la salida de la ed. De es a o ma, las salidas de cada
capa cons i uyen la en ada a la capa inmedia amen e pos e io (Russell y No ig,
2016). En odo caso, las conexiones de la ed uyen exclusi amen e en una sola y
única di ección, de ahí el nomb e eed o wa d, que aducido es hacia delan e. Po
no ma gene al, la a qui ec u a ípica que sigue una ed neu onal mul icapa cons a
de es capas: capa de en ada, capa ocul a y capa de salida (Be zal, 2019b).
Sin emba go, cabe la posibilidad de que haya más de una capa de cada ipo, y
cuando se da el caso de que la ed cons a de más de una capa ocul a, la ed se calica
como p o unda, aducida al inglés como
deep neu al ne wo k
. Conc e amen e, aña-
di más de una capa ocul a a la ed pe mi e c ea un modelo in e no que econoce
pa ones y p opo ciona un mayo endimien o en la in e p e ación y es uc u ación
de di e en es p opiedades de obje os. Po ello, es as edes ue on diseñadas especí-
2.2. Redes neu onales 13
camen e pa a esol e p oblemas de clasicación, eg esión y po supues o, como
hemos is o, ealiza econocimien o de pa ones.
Figu a 2.2: Red neu onal eed o wa d (Be zal, 2019b)
2.2.2. Redes Neu onales Recu en es (RNN)
Como hemos is o, las edes neu onales
eed o wa d
es án habili adas pa a que
la in o mación uya en una sola di ección. Sin emba go, cuando se les p opo ciona
una memo ia, el esul ado que se ob iene son las edes neu onales ecu en es, o
Recu en Neu al Ne wo ks
(RNN) en inglés. El o igen de es as edes se popula izó
en 1982 po el ísico ame icano John Hopeld, en las que se des acan po su com-
po amien o dinámico y es able (Be zal, 2019b).
¾Y cómo es posible añadi memo ia a las p opias conexiones? Simplemen e gene-
alizando sus conexiones, es deci , alimen a a sus p opias en adas o inpu s con las
salidas o ou pu s gene ados p e iamen e po las conexiones an e io es p o ocando
que el modo en el que uyen las conexiones sea bidi eccional. Es deci , incluyendo
conexiones hacia a ás con las que se abaja en una se ie de pasos de iempo, co-
nocidos como
imes eps
, donde se p ocesan los elemen os de la secuencia uno po
uno, man eniendo una memo ia de los es ados an e io es a medida que a anzan en
la secuencia.
El en enamien o de edes neu onales de es as ca ac e ís icas se ealiza con ando
con di e en es algo i mos y écnicas, la más básica y conocida en es e ipo de ed
neu onal es el algo i mo de p opagación de e o es (
back-p opaga ion
en inglés) o -
malizado en 1986 po Rumelha , Hin on y Williams (Be zal, 2019b). Es e mé odo,
en conc e o, consis e en aplica un pa ón a la p ime a capa de la ed, el cual se a
14
Capí ulo 2.
Es ado de la Cues ión
p opagando hacia las capas supe io es con el obje i o de gene a una salida que se
pueda compa a con la salida deseada y así pode calcula el e o pa a cada neu o-
na de la salida ob enida en unción de los di e en es pa áme os de la ed. En o as
palab as, cómo a ía el e o en elación con la a iación de los pa áme os de la ed
neu onal. Si a es e enómeno le sumamos la a iable del iempo, se ob iene la écnica
de e op opagación a a és del iempo (
backp opaga io
n h ough ime, BPTT), en
la que después de analiza se la secuencia comple a, calcula el e o y cambia los
pa áme os pa a minimiza el mismo, se p opaga el e o a a és del iempo desde
la úl ima capa has a la supe io en cada paso de iempo con el n de que la ed
ap enda de las secuencias y mejo e su p edicción u u a. Es e mé odo combinado
con la écnica del g adien e descenden e (en inglés
g adien descen
) enca gada de
la op imización del e o buscando los pa áme os adecuados pa a pode educi lo
al mínimo es el modo de ap endizaje supe isado más popula que exis e. Aunque,
como hemos is o an e io men e, no es el único, ya que coexis e con écnicas de
en enamien o como el ap endizaje no supe isado y el ap endizaje po e ue zo.
Así que podemos conclui en que las edes neu onales son idóneas pa a a eas
de modelado de da os secuenciales y con dependencias empo ales, como lo pueden
se el p ocesamien o de lenguaje na u al, la gene ación de ex o o la aducción
au omá ica, en e muchas o as.
Figu a 2.3: Red neu onal ecu en e (Sensio, 2020)
2.2.3. Redes Neu onales LSTM
Las edes neu onales Long Sho -Te m Memo y su gen a pa i de las edes neu-
onales ecu en es cuyo p incipal obje i o y p opósi o es a ica el p oblema del
2.2. Redes neu onales 15
des anecimien o del g adien e o conocido en inglés como
anishing g adien p oblem
(Hoch ei e y Schmidhube , 1997).
En p ime luga y pa a en ende en qué consis e es e p oblema, es necesa io
sabe qué es exac amen e un g adien e y a qué nos e e imos cuando hablamos del
des anecimien o del mismo. Un g adien e es una medida que de e mina la a iación
de una unción con espec o al cambio que se p oduce en sus a iables, ya sea en
é minos de op imización, apidez o maximización de la unción obje i o (Sande -
son, 2017).
Ma emá icamen e, se puede en ende como un ec o mul i a iable cuyas a ia-
bles son las de i adas pa ciales de dicha unción. Se puede e en el ejemplo de la
gu a 2.4. Geomé icamen e hablando, el g adien e indica la di ección en la que la
unción c ece a mayo elocidad y, de es a mane a, podemos conclui que el uso de
algo i mo del g adien e descenden e (
g adien descen
) se hace con el n de ajus a
los pa áme os pa a educi al mínimo la di e encia en e los alo es ob enidos y los
deseados. Un cla o ejemplo de ello son los modelos de p edicción, en los que se busca
educi dichas p edicciones con espec o a los alo es eales.
Figu a 2.4: Función ma emá ica del g adien e (He nández, 2020)
Aho a bien, cuando hablamos del des anecimien o del g adien e (
anishing g a-
dien p oblem
) nos e e imos al enómeno que ocu e en la p opagación hacia a ás,
cuando a medida que se a p oduciendo la p opagación en capas cada ez más p o-
undas, el g adien e a disminuyendo has a llega a se an pequeño que las capas
supe io es sean incapaces de ap ende de mane a e ec i a. Es e ipo de p oblema es
común en edes con o madas po una g an can idad de capas, dado que se disminu-
ye exponencialmen e a medida que a eco iendo cada capa has a impedi que los
pesos se ac ualicen de mane a co ec a y que puedan ene un ap endizaje lo su-
cien emen e ecien e pa a se capaces de esol e pa ones complejos. La solución
a es e p oblema se abo dó in oduciendo nue os componen es a la ed que ayudan
y con olan el ujo de in o mación de la ed, consiguiendo aumen a la memo ia
del conjun o de la ed al almacena la in o mación du an e pe iodos más la gos de
iempo. Los componen es p incipales son los siguien es:
Memo y cells o celdas de memo ia: con ienen la in o mación ele an e y ac-
ualizada a lo la go del iempo.
Inpu ga es o pue as de en ada: son las enca gadas de con ola la can idad

16
Capí ulo 2.
Es ado de la Cues ión
de in o mación que en a a las celdas de memo ia.
Fo ge ga es o pue as de ol ido: seleccionan la in o mación que debe se eli-
minada de la celda, al no se de u ilidad.
Ou pu ga es o pue as de salida: su a ea adica en selecciona la in o mación
de la celda que a a pasa a la siguien e capa de la ed, basándose en el es ado
ocul o ac ual.
De es e modo, se consigue e adica el p oblema del des anecimien o del g adien-
e (
anishing g adien p oblem
) y se consigue p ocesa g andes secuencias de da os
du an e la gos pe iodos de iempo. Es especialmen e ú il en a eas que equie en
cap u a g andes dependencias de da os empo ales, ejemplo de ello son el p oce-
sado y/o econocimien o de lenguaje na u al, en la aducción au omá ica y en la
gene ación de ex o.
Figu a 2.5: Red neu onal Long Sho Te m Memo y (Fe o e al., 2020)
2.2.4. Redes Neu onales Con olucionales (CNN)
Las edes neu onales con olucionales se in oduje on po p ime a ez en la dé-
cada de los 50 po Da id Hubel y To s en Wiesel cuando expe imen a on con las
2.2. Redes neu onales 17
neu onas biológicas, lo que le si ió de inspi ación a Kunihiko Fukushima en la dé-
cada de los 80 pa a desa olla el Neocogni on, una ed neu onal que se conoce
como la p ime a CNN. Es e concep o ue cob ando o ma con el paso de los años
y el modelo al y como lo conocemos hoy en día, ue ob a de Yann LeCun en 1998
al in oduci el ap endizaje a a és de la écnica de back o wa ding (Be zal, 2019b).
Las edes neu onales con olu i as es án o madas po una secuencia de capas
que podemos clasica en es ipos: capas con olu i as, capas de pooling y capas
comple amen e conec adas.
Capas con olu i as: suponen la capa p incipal de la ed, y el papel que desem-
peña en el p ocesamien o de imágenes, es ealiza la g an pa e de los cálculos
que se necesi an pa a ex ae ca ac e ís icas de las imágenes. Pa a ello, hace
al a la in e ención de es elemen os p incipales: da os de en ada, un l o
y un mapa de ca ac e ís icas. Los da os de en ada son el elemen o que se
a a de analiza , po ejemplo, en el caso de una imagen de colo que es u ie a
compues a po una ma iz de píxeles en 3D, las dimensiones se ían la al u a,
la anchu a y la p o undidad de la misma. Po o o lado, el l o o ke nel,
se a a de un de ec o de ca ac e ís icas, que a pasando po cada á ea de
la imagen pa a iden ica di e en es ca ac e ís icas, es e p oceso se denomina
con olución.
El siguien e paso es ep esen a median e una ma iz bidimensional de pesos,
que al aplica se en cada á ea calcula un p oduc o escala a pa i de los píxeles
de los da os de en ada y del l o. El p oduc o escala se u iliza como inpu
en la ma iz de salida pa a que el l o sea capaz de epe i el p oceso po oda
la imágen. La nalidad del l o es se capaz de dis ingui di e en es pa ones,
como lo pueden se ex u as, bo des o gu as.
Finalmen e, la suma de los di e en es p oduc os escala es y el o los l os u ili-
zados, da como esul ado nal lo que se conoce como mapa de ca ac e ís icas.
Después de cada capa de con olución, se aplica una unción de ac i ación no li-
neal al mapa de ca ac e ís icas, a a és de la ReLU (
Rec ied Linea Uni
). El
n de es a unción es in oduci no linealidad a la ed, lo que le pe mi e mejo-
a la complejidad en e las di e en es ca ac e ís icas (K izhe sky e al., 2017).
Capa de ag upación o pooling: son capas dedicadas a educi la dimensión del
mapa a a és de la disminución del núme o de pa áme os de en ada. Co-
múnmen e, se u ilizan dos écnicas conocidas como
max pooling
y
a e age
pooling
.
Max pooling
consis e en selecciona el pixel con mayo alo a medida
que el l o eco e la imagen pa a en ia el máximo a la ma iz de salida, en
cambio, a e age pooling lo que busca es calcula el alo medio del campo. El
incon enien e que p esen a es a capa es la g an pé dida de in o mación que
exis e, sin emba go, p esen a una g an en aja a la ho a de educi la comple-
jidad compu acional y concen a se en las ca ac e ís icas más impo an es, lo
18
Capí ulo 2.
Es ado de la Cues ión
que cla amen e, mejo a el endimien o del modelo y e i a el iesgo de que se
p oduzca un sob eajus e.
*explica sob eajus e
Capa o almen e conec ada: en las úl imas capas de la ed los nodos es án co-
nec ados con los de la capa an e io pa a p oduci la salida nal inco po ando
las ca ac e ís icas ex aídas y ap endidas de los p ocesos ealizados en las ca-
pas an e io es. Las capas o almen e conec adas se p eocupan de ealiza las
unciones de clasicación de la imagen y de eg esión pa a p oduci el esul a-
do deseado (K izhe sky e al., 2017).
Las p incipales unciones y a eas que aba can las edes neu onales con oluciona-
les son el econocimien o de imágenes iden icando y de ec ando obje os, pe sonas
o animales; análisis de imágenes pa a di e en es p opósi os, po ejemplo, médicos;
econocimien o acial; segmen ación semán ica; y po supues o, gene ación de imá-
genes.
Figu a 2.6: Red neu onal con olucional (And ade e al., 2021)
2.2.5. Redes Gene a i as Ad e sa ias (GAN)
Las edes GAN, del inglés, Gene a i e Ad e sa ial Ne wo ks son un ipo de edes
neu onales p o undas ela i amen e no edosas, ya que su gie on en el año 2014 po
p ime a ez po Ian Good ellow y sus compañe os en la Uni e sidad de Mon éal
(Good ellow e al., 2014).
El uncionamien o de es e ipo de edes in oluc a a dos edes neu onales di e-
en es, en las que cada una se enca ga de ealiza una a ea especíca y compe i 
con a la o a, pa a así, cada ez i mejo ando más los esul ados ob enidos.
2.2. Redes neu onales 19
La p ime a ed neu onal de es e sis ema se conoce como Gene ado  y se enca -
ga de p oduci y c ea da os o almen e nue os basándose en los da os apo ados
en el en enamien o de la ed. Se le asigna como en ada un ec o de uido y es
esponsable de c ea da os que se asimilen a los da os o iginales. El en enamien o
del Gene ado es cons an e y siemp e busca mejo a los esul ados a medida que los
a p oduciendo pa a alcanza el máximo ealismo posible.
La segunda ed neu onal de la que se compone es e sis ema es el Disc iminado ,
se dedica a analiza los esul ados p oducidos po el Gene ado e iden ica si son
los eales o los c eados po la ed. A medida que a a anzando su en enamien o,
la capacidad del disc iminado en dis ingui en e un esul ado eal o also dada
una cie a en ada a mejo ando cada ez más, haciendo que su p edicción sea más
ce e a. Un clásico ejemplo lle ado a la ida eal de es o puede se el caso de un
alsicado de bille es y un de ec i e, en el que el p ime o iene como mues a cie a
can idad de bille es e in en a eplica los pa a que más adelan e el segundo agen e
in en e de ec a la copia del o iginal. A medida que pasa el iempo, cada uno de los
dos indi iduos an mejo ando en su a ea llegando a un ni el de equilib io.
Ma emá icamen e, el disc iminado iene que gene a una salida, exp esada como
D(x), basándose en la p obabilidad de que la en ada sea sin é ica o eal, suponiendo
que en cuan o más ce cana a 1 sea, la en ada es o iginal. Y po el con a io y dada
una mues a alea o ia z en unción de cie a dis ibución de p obabilidad, el gene-
ado iene que p oduci una mues a, exp esada como G(z), que el disc iminado
iene que clasica como ce cana a 0, p oduciendo una salida del ipo D(G(z)) en
la que el gene ado iene que in en a que su p obabilidad se ap oxime a 1, jus o al
con a io que el disc iminado . Suponiendo que en e odas las mues as del modelo,
una mi ad son au én icas y la o a mi ad son alsas, se iene que alcanza el conocido
como equilib io de Nash en el que las mues as del modelo son igual a los da os y
en las que la p obabilidad del disc iminado es D(x) 0,5 pa a odo x ((Be zal, 2019a).
Po úl imo, cabe des aca que pa a el en enamien o de es e ipo de ed se u i-
lizan los mé odos del g adien e descenden e (
g adien descen
) y backp opaga ion,
is os en edes neu onales an e io es.
Es e ipo de edes son ideales pa a a eas que equie en c eación de da os ealis as
y a ís icos, como lo pueden se la gene ación de imágenes, de música o incluso,
sín esis de oz.
2.2.6. Redes Neu onales T ans o me
Las edes neu onales T ans o me son las más ac uales a adas en es e abajo,
su gie on en 2017 a a és del a ículo A en ion is all you need elabo ado po Vas-
wani e al.. El a ículo a a una mejo a de las edes ecu en es y con olucionales
26
Capí ulo 2.
Es ado de la Cues ión
Figu a 2.12: A qui ec u a de una ed U-Ne (Zhang, 2019)
Au ocodicado a iacional VAE: es un ipo de ed neu onal que al igual que
las edes U-Ne cons a de dos componen es: un codicado y un decodicado ,
sin emba go sus unciones dis an mucho las unas de las o as. El p ime compo-
nen e del au ocodicado a iacional se enca ga de uno de los p ime os pasos
que ealiza S able Diusion, que es con e i el espacio de píxeles de la imagen
en un enso den o del espacio la en e de meno es dimensiones sus ayendo
las ca ac e ís icas más ele an es de la imagen o iginal y comp imiéndolas en
el enso la en e. Y al nal del p oceso de di usión, se pa e del enso del
espacio la en e con el que se ha abajado, pa a ans o ma lo en la imagen
nal gene ada en una escala de 512x512 píxeles.
2.3.2. He amien as de In eligencia a icial gene ado as de
imágenes
El me cado de la gene ación de imágenes a a és de in eligencia a icial es
cada ez más amplio a medida que an su giendo nue as compañías y labo a o ios
independien es que a an de implemen a es a ecnología al mismo iempo que
a an de di e sica se en el sec o . Sin emba go, en e odas las exis en es hay 3
que han adqui ido g an impo ancia, p esen ando a su ez odas ellas ca ac e ís icas
di e en es: S able Diusion, DALL-E y Midjou ney.
2.3.2.1. DALL-E
DALL-E su ge del ac ónimo en e Dalí, po el amoso pin o español y WALL-E,
el obo de la película de Disney Pixa . La he amien a ue lanzada po la emp e-

2.3. S able Diusion 27
Figu a 2.13: Rep esen ación g áca del uncionamien o de S able Diusion (Pa il e
al., 2022)
sa OpenAI en 2021, y se c eó de mane a que ep esen a el uncionamien o de una
ed neu onal cuyo modelo de lenguaje sigue el compo amien o de un decodicado
T ans o me y una ed GAN, como hemos is o ecien emen e en el apa ado que
explica el uncionamien o de es e ipos de edes neu onales. DALL-E inco po a la
ecnología GPT pa a gene a imágenes aco de con el ex o pedido y es capaz de
in e p e a el ex o y c ea con enido jamás is o a pa i de es e. En e las habili-
dades que p esen a se incluyen la combinación de concep os y mezcla de odo ipo
28
Capí ulo 2.
Es ado de la Cues ión
de ex u as, o mas geomé icas, cualidades y ca ac e ís icas, además de inco po a
cie o conocimien o geog áco (Ramesh e al., 2021).
Ac ualmen e exis en ac ualizaciones sob e el sis ema de DALL-E, habiéndose al-
canzado la e sión 3 que incluye una mejo a en la in e p e ación y ep esen ación
de concep os, de o ma más de allada y p ecisa. En e los p incipales benecios que
p esen a el uso de DALL-E se incluye la apidez en la gene ación de las imágenes y
el al o ealismo que p esen an las mismas.
El modo de uso es median e una e sión Be a a a és de su página web u ilizando
lo que se conoce como "Playg ound", es deci , una web que unciona a a és de un
núme o limi ado de pe iciones, o median e el modo diseñado pa a los desa ollado es
que equie e la inco po ación de una API, es deci , agmen os de código en py hon
que pe mi en implemen a unciones de DALL-E que pe mi en gene a imágenes en
local. Ambas opciones son de pago en las que se cob a po cada gene ación y el
código uen e no es á disponible pa a los usua ios.
2.3.2.2. Midjou ney
Midjou ney es un labo a o io independien e que su ge cuando p o esionales de
éxi o pe enecien es a di e en es campos se unie on pa a c ea un se icio que p e en-
de po encia la c ea i idad a a és de écnicas de in eligencia a icial (Midjou ney,
2022).
A di e encia de o as, iene un modo pa icula de uso ya que unciona a a és
de la aplicación Disco d. Disco d es una aplicación de mensaje ía ins an ánea cuyo
come ido es conec a a las pe sonas a a és de con e saciones de ex o, oz o ídeo.
Además, exis en "se ido es"que son comunidades de a ias pe sonas pa a cualquie
p opósi o como g upos de abajo o de ideojuegos (Disco d, 2015). Disco d iene
la capacidad de añadi bo s a los cha s, un bo es un p og ama so wa e diseñado
pa a au oma iza la ejecución de de e minadas a eas de o ma epe i i a y ápida,
además iene la capacidad de adap a se a los cambios que puedan sucede en es as
en unción de lo que se necesi e.
Aho a bien, se dice que el modo de uncionamien o es di e en e al de o as pla a-
o mas gene a i as de imágenes po que u iliza e implemen a un bo en la aplicación
Disco d que es el enca gado de p ocesa las pe iciones de imágenes y gene a las a
pa i del comando
imagine
. Midjou ney, po de ec o, e mos a á 4 imágenes en la
salida que se co esponden con lo pedido po el
p omp
. Si se desea escoge una de
ellas pa a segui adap ándolo a lo que se quie e exac amen e, es posible. Además,
se puede elegi la escala de la imagen e incluso, selecciona únicamen e un á ea en
especíco de la misma pa a pode modica y moldea la según se desee.
2.4. Conclusiones del es ado de la cues ión 29
Lo que ca ac e iza a Midjou ney es la g an calidad y c ea i idad que p esen a el
con enido de sus imágenes, lo que si e de g an ayuda como he amien a de apoyo
pa a p o esiones como los diseñado es g ácos. Incluso, se ha llegado a a ma que
Midjou ney es la que más incluye al usua io en el p oceso de c eación de las imágenes
(Ja uga-Rozdolska, 2022). Los incon enien es que p esen a es el plan de pago al que
hay que susc ibi se en cualquie ipo de memb esía mensual pa a pode u iliza la
siendo la más básica de 10 dóla es mensuales y la más a anzada de 120 dóla es.
Adicionalmen e, al se de código ce ado, no se puede accede a su uncionamien o
in e no pa a ealiza en enamien os p opios, al igual que en el caso de DALL-E.
2.4. Conclusiones del es ado de la cues ión
Una ez expues os los ecu sos que eníamos a conside a pa a la elabo ación
más adecuada del p oyec o a endiendo al p opósi o del mismo. Hemos epa ado en
que la mejo opción nalmen e es el so wa e de S able Diusion que unciona a
a és de un conjun o sinc onizado de a ias edes neu onales. Hemos podido e
la e olución que ha lle ado a las edes neu onales a implemen a di e en es écnicas
pa a consegui los mejo es esul ados en una g an ampli ud y a iedad de a eas
como p edicción, p ocesamien o del lenguaje na u al y de imágenes, e incluso gene-
ación de con enido, que es en lo que se cen a es e p oyec o.
Desde los inicios de las edes neu onales a pa i del pe cep ón has a la ac ua-
lidad, con edes neu onales capaces de analiza ex o y con e i lo en una ep esen-
ación isual, hemos comp endido que los a ances que se es án p oduciendo en el
campo de la in eligencia a icial son cada ez más g andes, consiguiendo alcanza
esul ados que suponen que la ida pa a el se humano sea cada ez más sencilla
a a és de la au oma ización de p ocesos y simplicación de a eas. Es os a ances
pueden supone un an es y un después, no solo en el campo de la in o má ica, sino
en campos como la medicina, el de echo o en nues o caso, la e apia.
Con la elección de los ecu sos ya decidida, en el capí ulo 3 que iene a con inua-
ción, abo da emos como hemos explo ado las he amien as que disponíamos pa a
pode gene a los mejo es esul ados posibles y aco des con los obje i os que enía-
mos es ablecidos al inicio de es e p oyec o. Pa a ello, e emos aspec os ele an es
en el p oceso de gene ación de imágenes como los di e en es modelos de S able Di -
usion disponibles, in e aces y elemen os impo an es como la buena especicación
de un
p omp
o la co ec a jación de los pasos o la escala CFG.
Cap´
ı ulo 3
Gene ación de imágenes con S able
Diusion
3.1. Elección del modelo
Como hemos podido e , S able Diusion es una he amien a po en e y ecaz
con una buena es uc u a que cuen a con una g an base de da os en la que podemos
encon a una inmensa a iedad de imágenes. Es as ca ac e ís icas la con i ie on
en nues a elección nal, pe o eamos más en p o undidad el p oceso de elección de
es a In eligencia A icial gene a i a en compa ación con la amplia a iedad de las
que hay p esen es ac ualmen e en el me cado.
En p ime luga , pa a en ende nues a elección es necesa io pone en con ex o
el g an abanico de posibilidades de écnicas de in eligencia a icial gene a i a que
hay hoy en día, sus p es aciones, ca ac e ís icas, y sob e odo, su accesibilidad.
Los modelos gene ado es de imágenes más po en es del me cado y los que con-
side amos pa a desa olla la base de nues o abajo son Midjou ney, DALL-E,
Leona do AI y S able Diusion, odos ellos p oducen unos esul ados bas an e sa-
is ac o ios. Sin emba go, desca amos ápidamen e los dos p ime os: Midjou ney
p oducido po un labo a o io independien e y, DALL-E p oducido po la amosa
emp esa c eado a de Cha GPT, OpenAI. El mo i o ue que al se ambos de pago,
no podíamos ene acceso a su modelo de o ma an amplia como los demás, siendo
p ác icamen e imposible accede a ellos y mucho menos a pode en ena los.
Pa a accede a los modelos u ilizamos Hugging Face
1
, la pla a o ma que cuen a
con una amplia gama de
da ase s
odo ipo y de modelos de in eligencia a icial
gene a i a de ex o a imagen, imagen a imagen, imagen a ex o y un la go e cé e a.
In en amos busca modelos de DALL-E y Midjou ney en la pla a o ma sin éxi o ya
que lo máximo que encon amos e an imi aciones o pequeñas demos que no alcan-
zaban el ni el de calidad eque ido.
1
h ps://hugging ace.co
31

32
Capí ulo 3.
Gene ación de imágenes con S able Diusion
Leona do AI sí que es una opción algo más accesible ya que la pla a o ma sí
que cuen a con un plan g a ui o que e deja p oba el modelo con una limi ación
de 150 imágenes a gene a al día, lo cual es á muy bien. Además, la calidad es
bas an e buena y pe mi e ajus a g an a iedad de pa áme os, como po ejemplo,
el núme o de imágenes que deseamos que se gene en al mismo iempo, el es ilo, la
pale a de colo es que deseamos, amaño e incluso la esolución. El incon enien e e a
la accesibilidad al modelo y la in o mación sob e es e mismo, ya que e a escasa y
en Hugging Face no había acceso. En compa ación con S able Diusion, la ince -
idumb e e a mucho más al a y había muchísimas limi aciones a la ho a de u iliza lo.
Todo ello nos lle ó a elegi S able Diusion ápidamen e, una he amien a open
sou ce, es deci , de código abie o que nos acili a mucho el en enamien o de pe -
sonas pa a ob ene imágenes pe sonalizadas de o ma ápida y con al a calidad.
Además, sus di e en es e siones nos pe mi ían explo a aún más a ondo el modelo
y sabe cuál e a el que encajaba con las ca ac e ís icas que p esen aban las p es a-
ciones de nues os equipos. S able Diusion esul ó se la candida a ideal pa a que
la c eación de imágenes des inadas a los lib os de ida ue a lo más sencilla, amilia
y c ea i a posible.
Aho a expues os odos los mo i os de elección de S able Diusion, an o en com-
pa ación con o as edes neu onales is as en el Capi ulo 2 como en compa ación
con o os modelos de in eligencia a icial gene a i a, expond emos cómo implemen-
amos la he amien a a lo la go de odo el abajo y las dicul ades a las que nos
en en amos du an e el p oceso.
3.2. En enamien o con S able Diusion
3.2.1. Ve siones y mé odos de en enamien o
S able Diusion cuen a, has a el momen o, con 3 g andes e siones que, paula-
inamen e, han ido mejo ando la calidad en las imágenes gene adas. Todas ellas son
o almen e g a ui as y de lib e acceso. La p ime a e sión que se p esen ó ue S able
Diusion 1 (en sus a iaciones 1.4 y 1.5), seguida po S able Diusion 2 (con sus
espec i as a iaciones 2.0 y 2.1) y po úl imo, S able Diusion XL (que cuen a con
su a iación XL Tu bo).
La di e encia p incipal en e las dos p ime as e siones es el amaño de esolución
de las imágenes ya que las p ime as e siones abajaban en un espacio de 512x512
píxeles y en la e sión 2 dicho amaño aumen ó a 768x768. Además, se in oduje on
algunas co ecciones y mejo as como la écnica de inpain ing, que se a a de la
es au ación de algunas pa es de la imagen mejo ando la calidad y los de alles de
3.2. En enamien o con S able Diusion 33
la misma o incluso, eemplazando ese á ea po lo especicado po el usua io en el
p omp
.
Con la úl ima e sión S able Diusion XL, se gene an imágenes con una calidad
excepcional, lo que supuso una g an mejo a en el modelo al con a con un
da ase
mucho más ex enso. El incon enien e con la e sión XL, en nues o caso, e a la
limi ación de que equie e una a je a g áca demasiado po en e, con la que, po
desg acia, no con amos en nues o equipo.
Respec o a la e sión 2, si bien es e dad que no equie e an a GPU (memo ia
g áca) como la e sión XL, sí que equie e más que en la p ime a e sión, al se
las imágenes con mayo esolución y, iendo la compa ación en la calidad que p e-
sen aban los esul ados de ambas, op amos po u iliza la e sión 1.5 ya que e a la
que mejo se adecuaba a noso os en é minos de calidad y iempo.
Aho a bien, exis en a ios mé odos a a és de los cuales se puede u iliza es a
he amien a y hemos p obado sus uncionalidades de di e en es mane as. En p ime
luga , se puede u iliza median e código esc i o en Py hon a a és de Google Co-
lab, ya que la pla a o ma o ece cuade nos en los que se abaja de mane a online
y que además, p opo ciona una GPU en la nube a la que Google e da acceso. En
conc e o, es a GPU es la T4, que es la única opción que nos deja Google en e las
que hay (A100 GPU, L4 GPU, V100 GPU) ya que las demás son de pago. O a
al e na i a es median e la p opia página de S able Diusion, que o ece una demo
pa a u iliza es a a anzada e sión. Po úl imo, ejecu a el modelo en local, consi-
guiéndolo desca ga en la página Hugging Face, que incluye mul i ud de modelos de
odo ipo, bases de da os, lib e ías y licencias pa a desca ga y u iliza , po lo que
hemos podido comp oba ,p esen a muy buenos esul ados.
El hecho de p oba un modelo de in eligencia a icial en un se ido no es con-
co dan e con nues os obje i os del p oyec o, pues o que necesi amos en ena un
modelo e inclui lo en una aplicación, de mane a que el usua io pueda in e ac ua y
consegui imágenes pe sonalizadas en un iempo acep able, po ello desca amos la
opción de u iliza la
demo
que se encuen a en la página de S able Diusion.
Una ez que enemos el modelo de gene ación de imágenes elegido, se debe eje-
cu a en nues o o denado y e cuál es el endimien o eal. Es o quie e deci que la
imagen debe gene a se de mane a co ec a y sin de o maciones, y debe inclui odos
los elemen os solici ados en la desc ipción in oducida. Además, debe ealiza es a
gene ación en un iempo adecuado.
Pa a ello, el p oceso más ecaz y que nalmen e elegimos lle a a cabo as g an
can idad de p uebas es, en p ime luga , ealizando el en enamien o de imágenes
pe sonales a a és de la pla a o ma de Google Colab en in e ne y en segundo luga ,
pa a la gene ación de imágenes desde nues o o denado op amos po la ins alación
de una in e az, llamada NMKD S able Diusion GUI
2
. Es a he amien a nos pe -
2
h ps://nmkd.i ch.io/ 2i-gui
34
Capí ulo 3.
Gene ación de imágenes con S able Diusion
mi e ejecu a localmen e cualquie modelo de gene ación de imágenes a pa i de
ex o, e incluso pe mi e acep a imágenes como
inpu
, es deci , gene aciones de ipo
imagen a imagen.
El p incipal de los obje i os que es ablecimos en la ealización del p oyec o e a
gene a imágenes pe sonalizadas del pacien e en cues ión, y pa a ello es es ic amen e
necesa io en ena el modelo elegido.
Como se ha dicho an e io men e, el mé odo elegido ue un cuade no en Google
Colab median e D eamboo h
3
, un modelo de gene ación de ap endizaje p o undo, y
que ue desa ollado en 2022 po un g upo de in es igado es de Google Resea ch y la
Uni e sidad de Bos on. Es e modelo nos pe mi e añadi capas de en enamien o a la
in eligencia a icial pa a que econozca obje os conc e os. Es o es muy impo an e,
po que es el mecanismo que consigue mejo es esul ados y con una elocidad acep a-
ble, que e a la u ilización que que íamos o o ga le. Po consiguien e, podemos deci
que la misión de es a ecnología es la de pode en ena a modelos de in eligencia
a icial pa a pe sonaliza lo según us necesidades.
3.2.2. Requisi os en las imágenes de en enamien o
Pa a ealiza el en enamien o de una o ma co ec a, lo p ime o que enemos que
ene cla o es el elemen o o
oken
al que que emos da una iden idad. Po ejemplo,
si seleccionamos una pe sona, debemos elegi unas imágenes en las que apa ezca, de
al mane a que, as el en enamien o, el modelo pueda iden ica la.
Lo ideal es que se elija un núme o sucien e de o og a ías, un mínimo de 10,
las cuales ienen que cumpli cie as ca ac e ís icas. Deben se o og a ías de buena
calidad, bajo di e en es ángulos, escena ios y luces. Se ecomienda que, como mínimo
haya 1 o 2 o og a ías en las que la pe sona apa ezca de pe l, mos ando 3 cua os
de la ca a y de en e. Si es posible, se debe ía inclui alguna en la que es é son iendo
(pa a que la in eligencia a icial pueda econoce la exp esión), de cue po en e o,
de cin u a pa a a iba y del os o de ce ca. Además, es impo an e que la opa no
sea siemp e la misma. De se así, el modelo pod ía in e p e a que la opa o ma
pa e de la pe sona y siemp e se la gene a ía con la misma, lo cual no que emos que
ocu a. Idealmen e, las o og a ías debe ían al e na la luz y es a hechas an o en
in e io es como en ex e io es. Po úl imo, y es o es undamen al, es as debe án ene
un amaño igual o mayo a 512 x 512 píxeles, y debe án llama se exac amen e de
la misma mane a, con el iden icado del
oken
al que hagamos e e encia. Además,
es p e e ible que odas las imágenes engan la misma ex ensión, ya sea .jpg o .png.
3
h ps://colab. esea ch.google.com/gi hub/TheLas Ben/ as -s able-di usion/
blob/main/ as -D eamBoo h.ipynb#sc ollTo=A4Bae3VP6UsE
3.2. En enamien o con S able Diusion 35
3.2.3. En enamien o con la écnica de D eamboo h
En el ejemplo de la gu a 3.1 elegimos como pe sona de en enamien o una que
no uese econocida po nues o modelo (al con a con un
da ase
de 5 mil millones
de imágenes, ya de po sí econoce a a ias pe sonas amosas sin necesidad de en-
ena las). En es e caso, se a a de una ac iz co eana llamada Jung Hoyeon, y el
oken que le o o gamos, como se puede e , espondía bajo el nomb e de sqgkhoju.
Lo ideal es que la e ique a no sea nomb ada bajo una palab a que el modelo pueda
econoce , es deci , que el oken no enga signicado. Si po un casual llamasemos al
oken muje , segu amen e el modelo de in eligencia a icial no log e ni iden ica
ni asocia a la pe sona que hemos en enado, y p obablemen e acabe gene ando la
imagen de una muje que no exis e, que es jus amen e lo que que emos e i a .
Figu a 3.1:
Da ase
seleccionado pa a el en enamien o de pe sonas con Lo a
Una ez que las imágenes cumplan con odos los equisi os, debemos u iliza el
código abie o en la pla a o ma Google Colab
4
pa a ealiza el en enamien o.
El p oceso que sigue el cuade no es muy sencillo, en él sólo hace al a segui una
se ie de pasos pa a comple a lo. El p ime o es conec a el cuade no a una cuen a
de Google, pa a que se pueda gua da en el D i e asociado a esa cuen a una ca -
pe a llamada Fas -D eamboo h, en la que se gua da an odos los a chi os que se
gene en du an e el p oceso. El siguien e paso es ins ala las dependencias necesa ias
pa a ejecu a el código en Py hon, seguido de es ablece un nomb e a la sesión en
la que es amos abajando, pa a que en un u u o cuando se hagan en enamien os
di e en es, se puedan dis ingui unos de o os. En es e paso se c ea una ca pe a
llamada 
Sessions
 den o de la ca pe a mencionada ecien emen e. A su ez, es a
ca pe a con end á o a bajo el nomb e de la sesión que hayamos especicado en el
cuade no, y es ahí donde se gua da án odos los a chi os que se c een en la ejecución.
A con inuación, es u no de subi las imágenes p e ia y cuidadosamen e seleccio-
4
h ps://colab. esea ch.google.com/gi hub/hollows awbe y/kohya-colab/blob/
main/Lo a_T aine .ipynb#sc ollTo=OglZzI_ujZq-
42
Capí ulo 3.
Gene ación de imágenes con S able Diusion
D eamboo h y LORA. Po ello, quisimos analiza la di e encia que exis e en cuan o
a esul ados u ilizando ambas écnicas po sepa ado.
En la gu a 3.9 se puede e los di e en es esul ados que p oduce cada écnica
bajo las mismas ca ac e ís icas. Es deci , el
p omp
especicado ue "
a happy hachi-
ko in he woods, hd
", el núme o de pasos ue on 20 y la escala CFG ue jada a 8.
A la de echa de la gu a podemos e el esul ado que se gene ó con la écnica
de LORA. Como se puede e iene menos calidad y co espondencia al animal en-
enado a pa i de las o os p opo cionadas en el
da ase
de hachiko de la gu a
3.6, ya que el colo del pelaje del pe o en enado es di e en e al del pe o gene ado
en la o og a ía, la al a de de alle en la ca a del canino es no able e incluso, se puede
e la ausencia de la pa a ase a de echa y un ondo que no se sabe con exac i ud lo
que es. En cambio, en la imagen de la izquie da de la gu a 3.9, la cual ue gene ada
con la écnica de D eamboo h, esul a o almen e iden icable el animal con el es-
pecicado en el da ase . El pelaje es muy simila y con ex u as bas an e de alladas,
no se ap ecia ninguna de o midad y cumple exac amen e con odo lo especicado en
el p omp de en ada, ya que se puede ap ecia cla amen e cómo se encuen a en el
bosque con á boles de ondo, césped y sen ado sob e un ozo de made a con ozos
de musgo que se ap ecian a simple is a.
Po ello, y a la is a de los esul ados, la écnica de D eamboo h es no ablemen e
mejo en é minos de calidad y iempo. Es po es e mo i o po el que decidimos des-
ca a la écnica de LORA pa a la gene ación de odas las imágenes a c ea du an e
la e apa de p uebas del modelo de S able Diusion y con inua con D eamboo h
pa a c ea los ecue dos de o ma isual a a és de una desc ipción de los mismos.
Se ha demos ado que D eamboo h es capaz de gene a imágenes ep esen a i as a
la ealidad y con g an can idad de de alles a pa i de
p omp s
muy sencillos y es po
ello que con inuamos elabo ando imágenes con es a écnica du an e odo el p oyec o.
Aho a podemos deci que hemos log ado en ena un modelo de gene ación de
imágenes incluyendo o og a ías p opias, y eso es algo que puede se ealmen e ú il
pa a nues os siguien es p opósi os. Es o es po que podemos log a que cualquie
pe sona pueda inco po a las imágenes que conside e opo unas pa a se i de apoyo
al pacien e. Lo cual conside amos un éxi o en el desa ollo de nues o abajo.

3.3. In e az de S able Diusion 43
Figu a 3.9: Mismo
p omp
y pasos pa a la gene ación de un pe o con las écnicas
de D eamboo h y LORA
3.3. In e az de S able Diusion
3.3.1. Requisi os de ins alación
Respec o a los equisi os que debe cumpli un equipo pa a que pueda unciona
la aplicación NMKD S able Diusion GUI, es undamen al que enga un mínimo de
8 GB de memo ia RAM, siendo lo más ecomendable que sea de 16 GB. También es
muy impo an e el almacenamien o, donde además de ene un mínimo de 10 GB
de espacio disponible, es con enien e que haya 5 GB ex as, debido a que se an
a gua da mul i ud de a chi os empo ales a medida que se u iliza la aplicación.
Adicionalmen e, pa a nues o caso, que hemos u ilizado la aplicación pa a compa a
di e en es modelos, es necesa io conoce que cada uno de ellos iene un amaño de
al ededo de 5 GB, y los modelos en enados de i ados de S able Diusion ocupan
2 GB de almacenamien o cada uno. Po lo an o, el espacio es algo que hay que
ene muy en cuen a p e iamen e a la ins alación de es e p og ama, ya que puede
comp ome e se iamen e el uncionamien o del equipo.
La ca ac e ís ica p incipal que debe cumpli un equipo y sin la cual no se ía
álido pa a u iliza la aplicación es el hecho de ene una a je a g áca. Además,
no si e cualquie GPU, dado que el mínimo de memo ia VRAM que debe ene
el equipo es 4 GB, siendo la a je a de N idia. Más allá de que es e sea el mínimo
pa a que la aplicación uncione, a medida de que la a je a g áca sea de mayo
calidad y espacio, el endimien o mejo a exponencialmen e. Pa a con ex ualiza , la
a je a g áca de nues o equipo, una N idia GeFo ce GTX 1050, con una memo ia
de ídeo dedicada de 3072 MB y una memo ia i ual disponible de 8 GB, a da
al ededo de a ios minu os en gene a una o og a ía con cie a calidad. Mien as
44
Capí ulo 3.
Gene ación de imágenes con S able Diusion
an o, a je as g ácas como la RTX 4090, gene a las imágenes en 1 segundo, lo cual
es bas an e signica i o. No obs an e, es a a je a iene un p ecio en el me cado
de al ededo de 2000 eu os, po lo que en nues o ni el, mejo a el endimien o es
algo que se an oja complicado, y que la du ación que a a ene nues o p oceso de
gene ación de imágenes se á siemp e de a ios minu os.
3.3.2. Funcionamien o y de alles de la in e az
Respec o al uncionamien o de SDGUI, es a pla a o ma iene una in e az muy
sencilla pa a el usua io, a pesa de que hay que ene conocimien os p e ios ace ca
de cie os pa áme os pa a pode lle a a cabo la gene ación de de imágenes, ade-
más de ealiza múl iples p uebas pa a sabe qué unción cumple cada elemen o.
La aplicación se p esen a al y como apa ece en la gu a 3.10, y pe mi e gene a
imágenes con modelos de S able Diusion, con modelos ob enidos de Hugging Face,
con modelos en enados y con LoRA. Es o o ece una g an en aja pa a nues o
abajo, ya que ha sido el p og ama que nos ha pe mi ido p oba qué modelo e a
el más adecuado pa a nues o es udio, y pos e io men e es a los en enamien os
ealizados. Ha sido undamen al, po que han sido mul i ud de p uebas, ajus ando
odos los pa áme os de múl iples mane as di e en es, y sin es a aplicación, a anza
y ob ene esul ados hab ía sido ealmen e complicado. Respec o a la es uc u a del
p og ama, cuen a con una pa e de echa de la pan alla, donde apa ecen las imágenes
gene adas en un g an ecuad o, se puede accede a un his o ial de desc ipciones in-
oducidas y se puede accede a una ca pe a que incluye odas las imágenes que han
sido gene adas po es a aplicación. Además, en la pa e supe io , se puede accede
a ajus es, donde es posible ins ala nue as e siones del p og ama u ob ene nue os
modelos que pode u iliza pa a la gene ación de imágenes.
En la pa e izquie da de la pan alla, podemos encon a los pa áme os ealmen-
e impo an es que condicionan la mane a en la que se c ea á la siguien e o og a ía.
En p ime luga , la écnica de in eligencia a icial u ilizada. Es o es ealmen e ele-
an e po que hace una dis inción de cua o ipos de écnicas de in eligencia a icial
gene a i a: dos son e siones es ánda de S able Diusion (una pa a los sis emas que
u ilicen CUDA o N idia, y o a pa a los que u ilicen AMD como a je a g áca),
la e ce a es la e sión XL de S able Diusion, que como eco da o io, equie e una
a je a g áca muy supe io a la que dispone nues o equipo, y po úl imo, un mode-
lo imagen a imagen. Resul a muy ele an e habla sob e es a écnica de in eligencia
a icial, dado que a pa i de una imagen de a chi o, y una desc ipción, se puede
gene a una nue a imagen adap ada a es a pe ición. A pesa de que nues o obje o
de es udio aba ca la in eligencia a icial gene a i a de imágenes a pa i de ex o,
hemos ealizado p uebas sob e el ipo de esul ado ob enido, pe o la calidad de la
imagen de es e modelo en conc e o, esul a in e io a la que nos han o o gado mo-
delos de ex o a imagen. Cen ándonos en el modelo básico de S able Diusion, en
el apa ado de
model
/
a chi ec u e
, se debe inclui el modelo, que puede se uno
p e en enado o uno pe sonalizado en o ma o
checkpoin
. En es e segundo, cabe
3.3. In e az de S able Diusion 45
Figu a 3.10: Aplicación SDGUI, u ilizada pa a p oba odos los modelos gene ado es
de imágenes
des aca que a da medio minu o más en gene a la o og a ía debido a la ca ga,
pe o no a ec a de ninguna mane a a la calidad de la imagen.
A con inuación, se debe indica la desc ipción, que se di ide en dos pa es en es e
caso. La p ime a es el
p omp
, que guía a la in eligencia a icial pa a que incluya
los elemen os que se deseen. Un apun e ele an e es que si se quie e hace e e encia
a un elemen o en enado, se debe menciona el nomb e exac o del í em pa a que
se pueda ealiza la gene ación de mane a co ec a. Po ejemplo si que emos gene-
a una imagen del animal en enado en el campo se end ía que especica en el
p omp
hachiko co iendo eliz en el campo . En segundo luga , exis e un
nega i e
p omp
, donde se deben indica aquellos elemen os que, a pe ición del usua io, se
desee que no se ean eejados en la c eación de la o og a ía. Cuando se desee es a
un en enamien o de LoRA, se debe hace click en el a chi o deseado, e in oduci
ese nomb e en el
p omp
. Po úl imo, se deben ajus a unos pa áme os explica-
dos con an e io idad, como son los
s eps
o pasos de gene ación, la escala CFG y la
seed
. Una ez conocidos es os pasos a segui y cumplidos los equisi os mencionados,
cualquie usua io debe ía ene la capacidad de gene a imágenes con es e p og ama.
La escala CFG, o
Classie F ee Guidance
, es un pa áme o de S able Diusion
que con ola la medida en la que la gene ación de imágenes se ciñe a la desc ipción
in oducida po el usua io. Es o signica que, si se es ablece un CFG más bajo, la
in eligencia a icial iene una mayo libe ad pa a se más c ea i a, mien as que
un ni el más al o obliga a segui en mayo medida las indicaciones (Sanz, 2024). A
46
Capí ulo 3.
Gene ación de imágenes con S able Diusion
ni el de calidad de imagen puede ene di e sos e ec os. Es e ni el debe ajus a se en
unción del
p omp
indicado. Pa a indicaciones b e es es p e e ible elegi un CFG
más bajo, de en e 2 y 6, mien as que en el caso en el que se p e enda una desc ip-
ción muy p ecisa, se necesi a á un ni el algo más al o, de en e 10 y 15. No obs an e,
lo más ecomendable es ajus a es e ni el en e 7 y 10, pues o que se encon a á un
equilib io en e c ea i idad y p ecisión.
3.4. Resul ados de gene ación de imágenes
Vis o el uncionamien o de la aplicación, amos a analiza los esul ados ob e-
nidos en compa ación con los
p omp s
especicados y bajo las posibles di e en es
écnicas y pa áme os que se han con emplado.
3.4.1. Maximización del endimien o con D eamboo h
Una buena mane a de mos a el mejo esul ado posible de una gene ación de
imágenes pe sonalizadas es es udia cuál es el mé odo que gene a mejo es o og a-
ías. Pa a ello, hemos ealizado un análisis compa a i o de esul ados con di e en es
pasos de en enamien o.
El obje i o es comp oba cuál es el núme o de pasos del en enamien o median e
D eamboo h que gene a las imágenes con mayo calidad y p ecisión posible. Pa a
ello, hemos ealizado cua o en enamien os del mismo elemen o, con el mismo
da-
ase
de 10 o og a ías, pe o con un núme o de pasos di e en e. Es e núme o ha sido
de 1600, 2000, 2400 y 3000
s eps
. El iempo de gene ación ap oximada es de 1,38
i e aciones po segundo, lo cual conlle a una du ación o al de en enamien o de 19,
24, 29 y 35 minu os ap oximadamen e, y es algo a ene en cuen a pa a selecciona
un modelo u o o.
Pa a pode llega a esul ados concluyen es, se han de ja odas las a iables de
la gene ación de imágenes en la aplicación SDGUI. Es as a iables son la desc ipción
de la o og a ía, los pasos de gene ación, la escala CFG y la semilla de alea o iedad.
De es a mane a, se iene la capacidad de ealiza una compa ación p ecisa y de
elegi el núme o más adecuado de pasos de en enamien o. En es e caso, dada nues-
a expe iencia al gene a imágenes con S able Diusion, es ablecimos el núme o de
pasos en 20 y la escala CFG en 7. Respec o a la semilla de alea o iedad, as la
p ime a o og a ía gene ada se ja ía pa a el es o, pa a que pe manezca cons an e
en nues o análisis.
Hemos op ado po u iliza a ios ipos de o og a ía di e en e pa a pode amplia
3.4. Resul ados de gene ación de imágenes 47
la calidad de la conclusión. La p ime a desc ipción de imagen a aba de gene a un
e a o de la pe sona lo más de allado posible, de mane a que se pudie a compa a
con qué pasos la capacidad de iden ica al elemen o en enado e a mayo . Con el
segundo
p omp
, se p e endía analiza la gene ación de las imágenes de la pe sona
haciendo una acción de e minada. En es e caso, se op ó po la lec u a de un lib o.
De es e modo, se pod ía a ma cuál de los modelos end ía la capacidad de gene a
o og a ías pe sonalizadas de múl iples elemen os, lo cual es algo bas an e ele an e
pa a nues o abajo. Po an o, en la siguien e abla se eeja la imagen gene ada
con cada núme o de pasos de en enamien o, con las dos desc ipciones mencionadas.
T as gene a odas las o og a ías, en p ime luga , se ap ecia al a de en ena-
mien o en las dos imágenes con 1600
s eps
, debido a que no se iden ica bien a
la pe sona, ni en el e a o, ni en la imagen con el lib o. En la p ime a o og a ía
se puede obse a una g an calidad, con mucho de alle y un lige o pa ecido con la
pe sona en enada, pe o no es el ni el de simila idad que es amos buscando. En la
imagen con el lib o, la pe sona gene ada no se puede iden ica con la eal, y, ade-
más de eso, se ap ecia de o midad en las manos, po lo que la o og a ía gene ada
no iene el ni el de calidad deseado.
En segundo luga , al inc emen a los
s eps
de en enamien o a 2000, se puede
ap ecia una cla a mejo ía. En el e a o, exis e un g an pa ecido con la imagen
gene ada con 1600 pasos, pe o se ap ecia como la o ma de la ca a se asemeja más
a la pe sona eal. Respec o a la o og a ía con el lib o, en es a ocasión se han so-
lucionado los e o es de de o midad, y se ha gene ado a una pe sona de la edad
co espondien e, aunque no se puede iden ica a la pe sona eal.
Con 2400 pasos de en enamien o, se puede deci que los esul ados mues an
calidad. En la p ime a o og a ía, se puede iden ica un g an pa ecido con la pe -
sona eal. La imagen mues a un g an de alle y una denición muy buena, po lo
que mejo a en g an medida a los núme os de pasos meno es. En la segunda o og a-
ía, exis e cie o pa ecido con la pe sona, pe o se puede mejo a , debido a que al a
de alle y denición y se mues a a alguien mucho más jo en. A pesa de es o, sí que
la o ma de la cabeza y de la ca a pa ecen se co ec as, po lo que lo único que
al a ía pa a que la gene ación ue a adecuada es la edad, lo cual se pod ía a egla
con una desc ipción más p ecisa.
Al inc emen a los
s eps
a 3000, se puede ap ecia sob een enamien o, debido
a que en ambas imágenes se ha pe dido el pa ecido con la pe sona eal y se puede
pe cibi algo de de o midad, sob e odo en la segunda o og a ía. Respec o al e a o,
ha a iado la o ma y el colo de los ojos, y han apa ecido más ma cas que empeo an
la calidad. En la imagen con el lib o, se ha gene ado a una pe sona aún más jo en
que con 2400 pasos, y ha cambiado po comple o la o ma de la ca a, po lo que la
simili ud con la pe sona eal se ha des anecido po comple o. Además, si se amplía
en de alle se puede ap ecia de o midad en los ojos, po lo que se hace e iden e el

48
Capí ulo 3.
Gene ación de imágenes con S able Diusion
Pasos de en enamien o
a po ai o 80alp,
highly de ailed, happy,
old
a pic u e o 80alp
eading a book, se ious,
high deni ion
1600
2000
2400
3000
Tabla 3.1: Tabla compa a i a de en enamien os median e D eamboo h.
3.4. Resul ados de gene ación de imágenes 49
sob een enamien o.
En conclusión, podemos deci que el en enamien o que ha p oducido mejo es
esul ados es el de 2400 pasos, que con menos se ap ecia al a de en enamien o y
que con más
s eps
se pe cibe sob een enamien o y no se pe mi e iden ica a la
pe sona eal. En es e es udio ambién se ha podido ap ende que el
p omp
ha de
se lo más p eciso posible pa a pode ob ene imágenes de g an calidad, sob e odo
cuando se a a de inclui más elemen os. En es e caso, la escala CFG debe ía se
mayo , pa a da algo menos de libe ad al modelo y que se cen e más en lo que se
pide en la desc ipción.
3.4.2. Compa a i a de esul ados
Di e en es
s eps
Una ez se ha demos ado que la mejo o ma de ealiza un en enamien o con
D eamboo h es con 2400 pasos, el siguien e es udio consis ió en alo a los esul ados
de imágenes gene adas a iando los
s eps
y la
CFG Scale
. El obje i o e a iden ica
una combinación de es os alo es que ga an izase buenos esul ados, de mane a que
cualquie usua io pueda gene a las mejo es imágenes posibles pa a u iliza las en
el lib o de ida. Las o og a ías han sido ob enidas a pa i de nues a aplicación,
éase en el Capí ulo 4, lo cual ambién es una mane a de mos a los esul ados en
cuan o a calidad y iempo que el p og ama puede o ece .
Pa a el análisis compa a i o, se han gene ado dos o og a ías di e en es. La p i-
me a es un e a o donde únicamen e se ha gene ado la pe sona como elemen o,
siendo el
p omp
el siguien e:
a close up po ai o sqgkhoju, highly de ailed, beau i-
ul, an as ic
. La segunda es una imagen en la que apa ecía la pe sona con múl iples
elemen os, con el obje i o de de e mina si el hecho de que se solici e una imagen
más di e sa equie e un mayo núme o de pasos. El
p omp
u ilizado pa a es a ima-
gen es el siguien e:
a happy sqgkhoju playing ennis, sunny day, hd, ull de ails
. La
pe sona u ilizada pa a es e es udio ha sido en enada median e D eamboo h, siendo
el
da ase
el que se mues a en la gu a 3.1.
En p ime luga , se jó la escala CFG pa a pode es udia cómo el aumen o y la
disminución de pasos modica la calidad y el iempo de gene ación. Según la eo ía,
un alo de CFG es ánda que gene a esul ados de mane a co ec a es el 7, po lo
que es el alo elegido pa a la p ime a o og a ía. De o o modo, al aumen a los
elemen os de la imagen, ambién se debe aumen a es e alo , po lo que hemos op-
ado po un alo de 10 pa a el segundo g upo de o og a ías. No obs an e, después
se ja ía el núme o de pasos pa a pode analiza la a iación de la calidad de la
imagen con la escala.
50
Capí ulo 3.
Gene ación de imágenes con S able Diusion
Pasos de
gene ación
a close up po ai
o sqgkhoju, highly
de ailed, beau i ul,
an as ic
a happy sqgkhoju
playing ennis, sunny
day, hd, ull de ails
Tiempo
28 7 minu os y 3
segundos
24 5 minu os y 29
segundos
20 4 minu os y 18
segundos
16 3 minu os y 34
segundos
12 2 minu os y 27
segundos
Tabla 3.2: Tabla compa a i a de en enamien os median e D eamboo h.
3.4. Resul ados de gene ación de imágenes 51
En es a abla, pa a 12, 16, 20, 24 y 28
s eps
, se mues an los dos ipos de imá-
genes gene adas y la du ación que ha enido cada p oceso. Podemos ap ecia cómo,
gene almen e, la calidad y el de alle aumen a en la medida en que lo hacen los pasos,
pe o ambién lo hace el iempo de gene ación. Es o hace que no se pueda deni
un esul ado como mejo o peo , dado que la calidad es algo más subje i o que el
iempo. Po lo an o, lo que se pod ía ealiza se ía una alo ación de has a qué
pun o un aumen o de pasos jus ica el co espondien e aumen o de iempo.
Comenzando po el e a o, se puede e un aumen o de la calidad y del pa ecido
con la pe sona eal desde los 12 pasos has a los 24. No obs an e, en es e caso, desde
los 24 has a los 28, el sal o de calidad no es an signica i o como sí lo es el iempo
de un minu o y medio que aumen a la gene ación. Con 12
s eps
, la imagen es poco
de allada y an solo se puede ap ecia un lige o pa ecido con la ealidad. Cuando
los pasos aumen an a 16, la mejo a es signica i a, y an o la calidad de la imagen
como la simili ud se hacen e iden es. La imagen con 20
s eps
mues a un pa ecido
aún mayo con la pe sona eal, y el iempo solo ha aumen ado en ap oximadamen e
45 segundos, po lo que es un buen esul ado. Con 24 pasos de gene ación, la calidad
de la imagen es bas an e buena, siendo la imagen que mues a una mayo simili ud
con la pe sona eal. En es e caso, el iempo de espe a se ía el único incon enien e
pa a que el usua io decida no lle a a cabo es a opción.
Habiendo analizado odas es os esul ados pa a el e a o, y de mane a comple-
amen e subje i a, nues a elección pa a gene a una imagen de es as ca ac e ís icas
se ía de en e 20 y 24 pasos. Es o se debe a que po debajo de es a anja, conside-
amos que el pa ecido con la pe sona eal no es el que debe ía, y es o es lo que se
busca con es e ipo de o og a ías. Po encima de es a anja, no podemos e idencia
un aumen o de calidad que jus ique el ele ado iempo de espe a. Po an o, se
pod ía deci que eniendo en cuen a la calidad y la du ación, el núme o de
s eps
se
ecomienda ajus a en e 20 y 24, lo cual da ía como esul ado una imagen de al a
calidad en e 4 y 5 minu os de iempo es imado.
Respec o a la o og a ía con múl iples elemen os, se puede ap ecia que la calidad
de la imagen aumen a con o me lo hacen los pasos de gene ación desde los 12 has a
los 28. En es e caso, a di e encia de lo que ocu e con los e a os, se equie e algo
más de es ue zo pa a pode gene a buenas o og a ías, p ecisas, de calidad y sin
e o es ni de o midades. Los esul ados con 16 y 20
s eps
p oducen imágenes con la
ca a poco desa ollada, y se hace e iden e la al a de pasos, po lo que pa a imágenes
que equie en más p ecisión en un núme o mayo de elemen os, ecomenda íamos
un aumen o en el núme o de
s eps
, a pesa de que el iempo se inc emen e. A pa i
de 24 pasos, se gene an imágenes de buena calidad, en las que se iden ica mucho
mejo a la pe sona y apa ece lo que se ha pedido en el
p omp
con cie a cla idad.
Po an o, se puede deci que el aumen o de iempo se e jus icado en es e caso
pa a aumen a la calidad y educi la de o midad. Es o se explica po que, con la
desc ipción, se es á pidiendo de alle an o en la ca a de la pe sona como en su en-
o no, lo cual supone una doble a ea pa a S able Diusion en la gene ación de la
58
Capí ulo 3.
Gene ación de imágenes con S able Diusion
3.4.4. Resul ados con múl iples capas de en enamien o
Una pa e muy impo an e de nues o abajo es gene a imágenes que puedan
con ene di e en es elemen os de mane a simul ánea, pues o que conside amos que
pa a c ea un lib o de ida de calidad, se debe ían inclui o og a ías de una pe sona
en un de e minado luga , o que combinen a ias pe sonas di e en es. Du an e la
mayo pa e del iempo en la que ealizamos es e p oyec o, eníamos la idea de
que es o no se ía posible, po que siemp e que ealizábamos p uebas, ob eníamos
esul ados en los que se de o maban los elemen os, o simplemen e solo incluía uno
de los dos elemen os, o ninguno de los dos.
A pesa de es o, decidimos esis i nos a acep a que no podía se posible una
gene ación de imágenes en la que se combinasen a ios elemen os. Como hemos
a mado en apa ados an e io es, nues o modelo de en enamien o D eamboo h
pe mi e ealiza un en enamien o sob e o o p e io, po lo que decidimos hace la
p ueba y añadi una capa. Pa a el en enamien o, u ilizamos como base el a chi o
sqgkhoju.ckp , el cual en enó a la ac iz Jung Hoyeon, y se en enó con el salón de
la se ie
F iends
. Como en el es o de p uebas con las que ob u imos un esul ado
sa is ac o io, incluimos un conjun o de 10 imágenes y ealizamos el en enamien o
con 2400 pasos.
Figu a 3.16:
Da ase
del en enamien o con el salón de F iends ( ndsli o)
Una ez ealizado el en enamien o, en p ime luga , se comp obó que se podían
gene a buenas o og a ías que incluyesen únicamen e el salón, an es de c ea imá-
genes con ambos elemen os.
Como se puede ap ecia , las imágenes gene adas son de calidad, es án c eadas
con 20 pasos de gene ación, 8 de
CFG scale
y con di e en es es ilos. Viendo que el
modelo gene a las o og a ías de mane a exi osa, es el momen o de c ea imágenes de
la pe sona en el salón. Siguiendo la endencia de 20 pasos y 8 de CFG, se p oducían
e o es en la gene ación, c eándose imágenes en las que apa ecía la pe sona duplica-
da y no apa ecía el luga . A eniéndonos a la denición de
CFG scale
, subimos es e
alo , de 8 a 14, pa a que la in eligencia a icial se guiase en mayo medida po el

3.4. Resul ados de gene ación de imágenes 59
Figu a 3.17: Resul ados de la gene ación de imágenes con el modelo  ndsli o
p omp
. Con solo subi es e alo no ue sucien e, pues gene aba o og a ías en las
que la pe sona apa ecía en e 3 y 4 eces. Po an o, ambién decidimos aumen a
los pasos de gene ación, de mane a sucesi a has a que la gene ación p oduje a un
esul ado sa is ac o io. La combinación pe ec a ue de 40 pasos y 14,5 de
CFG scale
.
Con un núme o meno de
s eps
, la imagen apa ecía con múl iples pe sonas, y con
un núme o mayo , no gene aba ninguna pe sona. La desc ipción de la imagen e a la
siguien e: a 
sqgkhoju in he ndsli o, hd, high quali y
.
Figu a 3.18: Mismo
p omp
con 20, 40 y 50
s eps
al mezcla dos elemen os: pe sona
y luga
3.4.5. Log os y allos en esul ados
A lo la go de la a iedad de en enamien os ealizados hemos hecho p uebas
exhaus i as sob e la gene ación de las imágenes en compa ación con los
p omp s
especicados y hemos sacado en cla o que hay 3 aspec os undamen ales que hay
60
Capí ulo 3.
Gene ación de imágenes con S able Diusion
que ene en cuen a pa a la gene ación óp ima de es as: el núme o de pasos ealizados
en el en enamien o, en el núme o de pasos pa a la gene ación de la o o y la escala
CFG.
En los es aspec os, hemos iden icado dos posibles si uaciones que se pueden
da y que p esen an allos en cuan o a la calidad de los esul ados: exceso y al a de
pasos en el en enamien o.
Pelig os con el sob een enamien o: Se p oduce cuando el modelo no se puede
gene aliza y se ajus a demasiado al conjun o de da os en enados. Se debe
p incipalmen e a que el amaño de los da os es demasiado pequeño y no con-
iene sucien es mues as de da os pa a pode ep esen a con p ecisión la
o alidad de da os de en ada posibles. O a azón es que el modelo se en ena
du an e demasiado iempo en un solo conjun o de da os de mues a. En nues-
o modelo, encon amos sob een enamien o cuando elegimos un núme o de
s eps
muy ele ado pa a un núme o de o og a ías que no es lo sucien emen-
e al o. Una mane a de de ec a que nues o modelo es á sob een enado es
cuando no gene a bien la ca a de la pe sona, y se ap ecian allos en de e mi-
nadas acciones, como en los ojos y la boca, en los cuales se ap ecia de o midad.
Fal a de pasos en el en enamien o: En es e caso, se p oduce cuando el modelo
de da os no iene la capacidad de cap u a de o ma p ecisa la elación en e
las a iables de en ada y de salida, de mane a que exis e un ele ado índice de
e o es en el conjun o de da os de en enamien o y en los da os no is os. Se
debe a que el modelo es demasiado simple, po que el amaño de los da os es
demasiado pequeño, o bien po que se necesi a más iempo de en enamien o.
En es e caso, cuando gene amos las imágenes, se e idencia que el modelo aún
no ha ap endido lo sucien e ace ca del elemen o o
oken
del que se ha eali-
zado el en enamien o, pues el esul ado de la gene ación eeja una pe sona
que no mues a ningún pa ecido con la ealidad.
Mezcla de pe sonas: Pa a amplia los ho izon es de nues o en enamien o, he-
mos en enado a una pe sona, asociando un
oken
a ella pa a su iden icación,
sob e un modelo que p e iamen e ya había sido en enado con una pe sona y
su
oken
asociado, pa a comp oba si e ec i amen e se podía gene a en una
sola imagen una ep esen ación de las dos pe sonas en enadas, una jun o a la
o a. Es aquí donde se ha de ec ado una peculia idad, ya que, a pesa de que
un modelo gene e buenos esul ados de cada una de las dos pe sonas, en el
mismo momen o que se solici a en un de e minado
p omp
o desc ipción que
se ean eejados una o a ias pe sonas en enadas en la misma o og a ía,
ningún modelo de los que se haya p obado, ha gene ado buenos esul ados
de es a mane a. Lo que nalmen e se ap ecia en la imagen gene ada como
se puede e en la gu a 3.19, es que apa ecen dos pe sonas pe o sus os os
son una mezcla de las ca ac e ís icas aciales y siológicas de ambas, p odu-
ciéndose una de o midad en muchos de los casos y que los os os apa ezcan
3.4. Resul ados de gene ación de imágenes 61
p ác icamen e duplicados.
Figu a 3.19: Duplicidad de elemen os
3.4.6. Soluciones: Técnica
Inpain ing
Debido a la impo ancia que conside amos que iene en el desa ollo de unas
adecuadas his o ias de ida la mezcla de elemen os pe sonales con la p opia pe so-
na, conside amos mé odos pa a a egla la poca ce eza que nos o o ga el modelo
de S able Diusion con múl iples capas de en enamien o, ya que a la luz de los
esul ados, el modelo es, po el momen o, in álido en es e aspec o.
Po ello, decidimos p o undiza en las opciones que o ece la in e az de S able
Diusion y dimos con la opción img2img, es deci , imagen a imagen. Es o es, como
su nomb e indica, un mé odo en el que la en ada, en ez de se ex o como lo enía
siendo has a aho a, es una p opia imagen. Sin emba go, el
p omp
sigue siendo un
elemen o undamen al que sigue o mando pa e del modelo, ya que de es a mane a,
se le especica a la écnica de in eligencia a icial lo que se desea en la imagen u-
u a y el modelo se enca ga á de c ea lo, eniendo en cuen a la es uc u a y obje os
ya dispues os en la imagen o iginal.
Incluso, el p opio modelo de S able Diusion con el mé odo de img2img iene
sus p opias écnicas, de las cuales, una pa icula men e llamó nues a a ención: la
écnica
Inpain ing
.
En e los p oblemas que se encon aban en el con enido nal de las imágenes pe-
didas bajo un
p omp
que in eg aba dos elemen os en enados, podíamos dis ingui
62
Capí ulo 3.
Gene ación de imágenes con S able Diusion
3 casos p incipales: con enido alea o io no especicado, al a comple a de uno de
los dos elemen os o un elemen o y el concep o del segundo elemen o sin llega a se
el especicado. Es deci , si pedimos que gene e en una imagen a la ac iz co eana
sqgkhoju y el salón de la se ie F iends, puede pasa que gene e con enido alea o io,
que gene e solamen e a la ac iz co eana o que gene e a la ac iz co eana en un salón
que no es el de la se ie de F iends que se ha especicado. Ejemplo de ello, se puede
e en la gu a 3.18.
Po an o, podemos llega a a ma que el úl imo caso es el que más se asemejaba
a lo que que íamos llega a consegui . Po ejemplo, si en el
p omp
especicábamos
que apa ecie a el
oken
que se asocia a una pe sona en enada jun o al
oken
asocia-
do a un animal en enado, la g an mayo ía de los esul ados e a el pe o en enado
a la pe ección jun o a una pe sona que no se asemejaba de ninguna mane a a la
en enada.
Lo que nos lle ó a pensa que ealmen e la imagen gene ada de po sí, no e a
del odo e ónea, ya que an solo necesi ábamos cambia una pequeña po ción de la
misma: la pe sona de la imagen po la en enada po noso os en el modelo. Y es
p ecisamen e lo que log a la écnica de
inpain ing
.
Es a no edosa écnica debe su nomb e a que el p o agonis a es un pincel i ual.
Pa a ejecu a la, necesi amos como en ada una imagen, en nues o caso, la imagen
ecién gene ada po el modelo que p esen a una ca encia. Con el pincel, dibujamos el
á ea de la imagen que deseamos sus i ui po o o elemen o. Y a a és del
p omp
,
especicamos aquello que solamen e que emos que apa ezca en el á ea azada, en
es e caso, el
oken
que ep esen a a la pe sona en enada.
De es a mane a, el modelo de in eligencia a icial gene a lo especicado en el
p omp
solamen e en el á ea indicada sus i uyéndolo po lo que había an e io men e.
En es e ejemplo, el á ea que dibuja íamos co esponde ía a la pe sona de la o o y el
esul ado nal se ían los dos elemen os di e en es in eg ados a la pe ección en una
sola imagen.
Debido a la no edad de la écnica, los pa áme os que es ábamos acos umb ados
a cambia , ambién se han ampliado pa a pode emplea la écnica con los mejo es
esul ados posibles y de la mane a más ecien e.
En e ellos, los más impo an es y que se pueden e en la gu a 3.20 señalados,
son 5, con los cuales dos ya es amos amilia izados, que son los
s eps
y
c g scale
. Po
lo an o, nos cen a emos más en los 3 es an es.
El p ime pa áme o es 
Mask Mode
 y an es de con inua , es impo an e espe-
3.4. Resul ados de gene ación de imágenes 63
Figu a 3.20: Congu ación de los pa áme os en la écnica de inpain ing
cica que en
Inpain ing
, cuando se habla de 
mask
 se ee e únicamen e al á ea
que hemos ma cado con el pincel pa a su pos e io modicación. Como podemos
e en la gu a 3.20, en es e pa áme o se encuen an dos opciones:
inpain masked
e
inpain no masked
. A lo que se ee e es al á ea que se a a e sus uida po el
p omp
, ya que hab á casos en los que se quie a conse a la imagen en su o alidad a
excepción de una pa e y casos que po el con a io, se desea ía modica la imagen
en su o alidad, a excepción de una po ción, como lo puede se en el caso de un
cambio de ondo.
El segundo pa áme o es 
Masked con en
 y las opciones que p esen a son un
poco más ex ensas que en el pa áme o an e io , siendo es as
ll
,
o iginal
,
la en
noise
y
la en no hing
. Lo in e esan e de es as opciones es el uncionamien o que
lle a a cabo S able Diusion en la gene ación de con enido en el á ea especicada.
Como ya hemos podido e en el Capí ulo 2, S able Diusion necesi a o bien ui-
do o bien nue os da os pa a gene a una imagen, y al ene la opción a o iginal,
se abaja á a pa i del con enido de la o o o iginal, es deci , se coge de e e en-
cia la o ma y colo es o iginales pa a la gene ación. En gene al, se ecomienda no
cambia es as opciones y siemp e man ene la que es á po de ec o, es deci , o iginal.
Po úl imo, el e ce pa áme o Denoising S eng h es un alo en e 0 y 1 que
explica la ue za en la que cambia á el á ea seleccionada en compa ación la imagen
o iginal, siendo el 0 que no cambie nada y el 1 algo comple amen e di e en e.
Cabe des aca que la écnica de
inpain ing
implemen ada a a és del mé odo de
imagen a imagen no es á inco po ada en la aplicación NMKD SD GUI y po ello,
se han enido que busca al e na i as pa a accede a ella. En conc e o, hablamos

64
Capí ulo 3.
Gene ación de imágenes con S able Diusion
de un cuade no de abajo hecho en Google Colab en el que se ha impo ado códi-
go de Gi Hub de Au oma ic1111
5
, una conocida in e az g áca des inada a usa
he amien as a anzadas de S able Diusion. La p incipal en aja que p esen a es e
cuade no es que pe mi e ca ga un modelo p opio ya en enado, como se puede e
en la gu a 3.21 que el modelo ca gado es el a chi o ndsli o.ckp is o en es e
mismo capí ulo an e io men e. Lo cual es pe ec o pa a el obje i o que que emos
consegui .
Figu a 3.21: Ven ana de la WEBUI implemen ada pa a ealiza el pain ing
En la gu a 3.21 se puede e a la de echa la imagen o iginal, la cual p e ia-
men e ya había sido pasada po es a écnica pa a pone la ca a de 80alp en la
pe sona an e io men e gene ada. En la misma gu a se puede e el á ea
masked
seleccionada con el pincel y el pa áme o 
Mask mode
 es ablecido a 
Inpain no
masked
. Finalmen e, podemos e en el
p omp
que solamen e se especica el
oken
 dsli o debido a que lo que se quie e consegui es que sus i uya lo que no es á
seleccionado po la b ocha en la imagen, po el salón en enado del modelo. El e-
sul ado puede e se en la pa e de echa de la imagen, el cual podemos a ma que
es odo un éxi o, al habe conseguido inco po a 3
okens
en enados di e en es, la
pe sona, el animal y el luga .
En el siguien e ejemplo de la gu a 3.22 podemos e la e olución que sigue una
misma imagen bajo di e en es pe iciones de
p omp
en la ase de
inpain ing
. En la
p ime a imagen que se e en la gu a, el
p omp
especicado ue 
a happy 80alp wal-
king wi h his dog hachi 80alp in he o es nex o he moun ains, day ligh , ull hd,
high quali y
 y podemos e como gene ó odo a la pe ección excep o a la pe sona
en enada. En la segunda o o, se pa ió de la p ime a imagen y azando el á ea
del os o de la pe sona, se puso como
p omp

a close up pic u e o 80alp ace, hd
.
Finalmen e, pa a que el cue po de la pe sona gene ada al p incipio encaja a con el
5
h ps://colab. esea ch.google.com/gi hub/TheLas Ben/ as -s able-di usion/
blob/main/ as _s able_di usion_AUTOMATIC1111.ipynb#sc ollTo=p4wj_ xjP3TC
3.5. E olución de los modelos del p oyec o 65
de una pe sona de la edad de la o o, se seleccionó la opa como á ea y nalmen e
el
p omp
ue 
old man clo hes
 y el esul ado nal ue excepcional.
Figu a 3.22: E olución de una imagen con la écnica de inpain ing aplicada
3.5. E olución de los modelos del p oyec o
Es e apa ado mues a los pasos que se han lle ado a cabo du an e la ealización
del p oyec o. Resul a signica i o po que el con as e de lo que se podía hace al
p incipio con lo que se puede hace aho a es muy ele ado, y pone en alo el abajo
ealizado.
1. No se podían gene a imágenes en local. No es aba ins alado CUDA en el
equipo, además de o as he amien as necesa ias como Diuse s.
2. Gene ación de imágenes en local po consola en Anaconda median e el modelo
de S able Diusion 1.5. Resul ado gene ado en un a chi o. Ejecución len a y de poca
calidad.
3. Gene ación de imágenes en SDGUI. Buena in e az que pe mi e la ejecución
de imágenes con S able Diusion 1.5. Mejo iempo y calidad. Ya sabemos el modelo
más óp imo pa a desa olla nues o p oyec o.
4. Se descub e que se pueden u iliza más modelos p o enien es de Hugging Face
en SDGUI. Se u iliza el Lykon D eamshape , basado en LCM, que p opo ciona al a
calidad con muchos menos pasos. No obs an e, iene la limi ación de que no se puede
pe sonaliza y desa olla .
5. In en o de gene a imágenes pe sonalizadas. Se p oba án en SDGUI. Resul a-
dos acep ables con LORA. Se puede iden ica al elemen o en enado, pe o se puede
mejo a .
6. Nue as ías de en enamien o de modelos. En enamien o de S able Diusion
con D eamboo h. Se iden ica el elemen o pe o se ap ecia de o midad.
66
Capí ulo 3.
Gene ación de imágenes con S able Diusion
7. A base de p ueba y e o , se llega a la conclusión de que el mejo endimien o
se consigue con 2400 pasos de en enamien o y un
da ase
de 10 imágenes. Buena
calidad en las pe sonas en enadas, sin de o midad.
8. Se consiguen buenos esul ados ambién en luga es y animales, además de en
pe sonas. Se llega a la conclusión de que se puede en ena cualquie elemen o.
9. Se quie e c ea una aplicación que u ilice es a écnica de in eligencia a icial
gene a i a. Al p incipio se llega a una app con una in e az poco isual, pe o que
gene a buenas o og a ías con el modelo S able Diusion 1.5.
10. Ve sión mejo ada de la aplicación, con un backend en Py hon y un on end
en HTML. Buena in e az y buenos esul ados con modelos p e en enados, pe o no
con modelos pe sonalizados.
11. La aplicación ya puede u iliza cualquie modelo en enado po noso os
mismos. Buenos esul ados, con calidad y iempo compa ables a SDGUI.
12. C eación de un lib o de ida pa a la aplicación. Si e de conexión en e la
écnica de in eligencia a icial gene a i a de imágenes desa ollada po noso os y
la c eación de his o ias na a i as con apoyo isual pa a la e apia de eminiscencia.
3.6. Conclusiones espec o a la gene ación de imá-
genes
Una ez comp obada la u ilización de los dis in os pa áme os pa a la gene a-
ción de imágenes, cabe esal a que an o la escala CFG como el núme o de pasos
deben aumen a con o me la imagen gene ada sea más compleja, es deci , que enga
un mayo núme o de elemen os. Con es os pa áme os, podemos deci que hemos
ob enido imágenes de al a calidad.
Después de habe u ilizado a ias écnicas de en enamien o del modelo de S a-
ble Diusion, el que ha dado mejo es esul ados y el que amos a u iliza en los
siguien es apa ados es el de D eamboo h. Den o de es e modelo de en enamien o,
se ecomienda que siemp e se indiquen mínimo 2400 pasos, y que se apo e un con-
jun o de 10 imágenes, en los que se puedan ap ecia odos los elemen os impo an es
de la pe sona, animal o luga , desde odos los ángulos posibles.
Es impo an e menciona que en ocasiones la gene ación de una imagen con
a ios elemen os p incipales se puede e dicul ada, po lo que puede p oduci du-
plicidad, de o midades o ausencia de elemen os. No obs an e, es algo que se le puede
encon a solución con la écnica Inpain ing.
Cap´
ı ulo 4
Aplicación gene a i a de imágenes
4.1. Back-end
El código de la aplicación en su o alidad se encuen a en el enlace a pie de
página
1
.
Una pa e muy impo an e de nues o abajo es c ea una aplicación con la
que cualquie usua io enga la capacidad de u iliza nues os modelos en enados, es
deci que pueda gene a imágenes pe sonalizadas de cualquie elemen o que desee.
El obje i o es apo a un alo añadido a nues o abajo, pa a que los des ina a-
ios puedan no solo ob ene la mejo mane a de c ea imágenes pe sonalizadas, sino
que dispongan de una pla a o ma donde pode ob ene odos los esul ados deseados.
Pa a la c eación de la aplicación op amos po ealiza el código de di e en es o -
mas, la p ime a de ellas siendo odo en lenguaje Py hon. Con es o se log ó un buen
esul ado a ni el de uncionalidad, pues gene aba las imágenes deseadas en el mismo
iempo en el que se gene an en la aplicación SDGUI. No obs an e, no log amos que
la aplicación u iese una in e az a ac i a e in ui i a pa a el usua io.
De es e modo, decidimos u iliza una ía mejo pa a pode cen a nos po un
lado en el es ilo, y po o o lado en la uncionalidad. Pa a la lógica o uncionamien o
de la gene ación de imágenes, ealizamos un
sc ip
en Py hon (app.py), lo que se ía
el
backend
del p og ama. Po o o lado, pa a el diseño y pa a solici a al usua io los
da os de en ada, c eamos un
sc ip
en h ml (index.py). En es a pa e del código,
se hizo un diseño de la in e az de la aplicación, es deci , de qué mane a que íamos
que el usua io gene e las imágenes y ob u iese los esul ados. Como hemos mencio-
nado con an e io idad, exis en una se ie de pa áme os que son undamen ales pa a
gene a una imagen, que son: la desc ipción (qué que emos que se mues e en la
1
h ps://gi hub.com/NILG oup/TFG-2324-ImagenesHis o iasVida
67
74
Capí ulo 5.
Lib o de ida
El p omp es cues ión ue 
Close up s udio pho o o jo enalp/adul alp/80alp,
de ail, s udio ligh ing.

Figu a 5.1: Resul ados ob enidos bajo un mismo p omp en las 3 ases
El obje i o p incipal de es a a ea es simula una gene ación de imágenes pa a
un lib o de ida de un pacien e. Po lo an o, no solo necesi amos gene a o og a ías
de la p opia pe sona, si no con di e sos elemen os pa a cada e apa, pa a comp oba
cómo puede unciona en la e apia de eminiscencia, cuando se incluyan imágenes
pe sonales del pacien e, de luga es, pe sonas y o os elemen os impo an es de su
ida.
Pa a la elabo ación del lib o de ida se necesi a una can idad conside able de
ecue dos y momen os en añables que con o man la ida de una pe sona en di e-
en es e apas y épocas. Noso os quisimos elabo a un ejemplo de lo que pod ía se
el lib o de ida de un pacien e, sin emba go, al no pode con a de p ime a mano
con una pe sona que padecie a es a en e medad que nos pudie a ela a es os ecue -
dos, decidimos cons ui un ela o de una pe sona c icia a modo de ejemplica el
esul ado nal de la gene ación de un lib o de ida comple o gene ado a pa i de
In eligencia A icial gene a i a, de modo que ep esen a a el abajo que hemos
ealizado du an e odo el p oyec o.
En cues ión, la pe sona del ejemplo se a a de Juan Pacheco, un homb e nacido
en Mad id en 1944 y que ac ualmen e iene 80 años. Pa a con a su his o ia, hemos
decidido p opo ciona de alles que explican su pe sonalidad, en o no y el umbo que
omó su ida con el paso de los años, como sus in e eses, es udios, abajo y luga
de esidencia. Pa a asegu a una con inuidad empo al y pode ubica los acon eci-
mien os i idos po Juan en una línea de iempo, hemos di e enciado 3 ca ego ías,
como ya se ha mencionado an es.

5.1. Fase de la ida 1: Ju en ud 75
5.1. Fase de la ida 1: Ju en ud
Juan nació en Mad id, en 1944 y sus pad es esidían en una localidad si uada
al no e de la comunidad mad ileña, llamada Colmena Viejo. Juan ue hijo único y
sus pad es e an Ana, una p o eso a de Química en la uni e sidad Complu ense de
Mad id y Al edo, un agen e inmobilia io. Juan c eció en Colmena y de pequeño
p esen ó un g an in e és po el a e, más en conc e o po la pin u a. E a un jo en
aleg e que le gus aba pasa el a o con sus amigos y juga con ellos en el pun o cén i-
co del pueblo donde se encon aba la Basílica de Colmena Viejo, su luga a o i o.
Además, Juan siemp e ue un aman e del depo e y e a pa ida io de lle a hábi os
saludables. Fue en onces cuando empezó a co e y su ambición le lle ó a apun a se
a un equipo de a le ismo, lo cual dis u aba bas an e p ac icando. Finalmen e, su
mad e hizo que se in e esa a en su campo de es udio y siguiendo sus pasos, Juan
decidió especializa se en ello es udiando la ca e a de Química, al igual que ella, en
la Uni e sidad Complu ense de Mad id.
Cabe des aca que el
oken
o o gado pa a la p ime a e apa esponde bajo el
nomb e de jo enalp y es el que po an o usamos en odos los
p omp s
de es a
p ime a ase. En la gu a, se mues a el
da ase
seleccionado pa a ep esen a la
e apa inicial de la ida de Juan, quien es ep esen ado en la ida eal po el ac o
de cine an e io men e mencionado.
Figu a 5.2: Da ase seleccionado pa a el en enamien o con Juan de jo en
Tal y como lo hemos dispues o, el capí ulo 1 del lib o de ida es á compues o
po una se ie de ecue dos que ep esen an los acon ecimien os más céleb es pa a
Juan en sus p ime os años. En la abla 5.1, especicamos los
p omp s
seleccionados
a modo de desc ipción de sus ecue dos con sus espec i as imágenes como esul ado.
76
Capí ulo 5.
Lib o de ida
Recue do P omp Resul ado nal
Recue do de Juan de niño
y su mad e po p ime a ez
en su labo a o io pe sonal
jo enalp as a child wi h his
mo he in a chemical labo-
a o y wi h a whi e coa , ull
de ail, high quali y, hd
Au o e a o que se hizo
Juan de sí mismo
a dumb and sad jo enalp,
wi h sad ace. posing 7/11,
wea ing a lea he ench.
g eyscale s yle, ealis ic,
pencil ske ch
La basílica del pueblo
donde c eció Juan de niño,
Colmena Viejo en na idad
a pic u e o c basil wi h
snow and ch is mas deco a-
ion, high quali y, hd
Juan en el ja din de su casa
es ido de aje pa a su
p ime a en e is a de
abajo
jo enalp gen leman in ligh
b own pins ipe double
b eas ed sui , s anding in a
pa k
Tabla 5.1: Tabla de esul ados ob enidos del Capí ulo 1 de ju en ud del pacien e
5.2. Fase de la ida 2: Adul ez 77
5.2. Fase de la ida 2: Adul ez
Con inuando con la ida de Juan en su e apa adul a, consiguió un abajo como
químico en un labo a o io de in es igación en la capi al. Po ello, decidió muda se
a la capi al ya que siemp e le gus ó la ida en la ciudad. Finalmen e, e minó com-
p ándose un piso en el Paseo de la Cas ellana, conc e amen e, a 7 minu os andando
de las To es Kio, un elemen o de la a qui ec u a mad ileña que le gus aba espe-
cialmen e. A pesa de que sus años en el equipo de a le ismo llega on a su n, Juan
sigue dis u ando del depo e, aunque de una mane a menos in ensa y ap o echa
sus iempos lib es y de ocio pa a hace sende ismo po la mon aña y pode es a
en con ac o con la na u aleza. Además, su ación a la pin u a nunca la pe dió e
incluso, ue mejo ando su écnica. 
En es a e apa, y pa a que el lib o de ida cob a á más sen ido, decimos añadi
elemen os nue os pa a ep esen a los cambios que ocu en en la ida de una pe so-
na al cabo de los años. En conc e o, hemos en enado el modelo con las o es Kio
de Mad id.
En especíco, el
oken
que se le o o gó a es a e apa se llama adul alp y el
da ase
seleccionado son 10 o os comp endidas en e los 40 y 55 años del ac o . En
la gu a 5.3 se pueden ap ecia la a iedad de las mismas.
Figu a 5.3: Da ase seleccionado pa a el en enamien o con Juan de adul o
Po o o lado, en la abla 5.1 es án ecogidos los esul ados de los ecue dos que
ep esen amos bajo es e nomb e y en es a e apa en conc e o.
5.3. Fase de la ida 3: Vejez
T as 36 años la gos de p o esión, Juan decide jubila se. Debido a su soledad y
el deseo que siemp e le acompañó de adop a un el compañe o, decidió adop a
78
Capí ulo 5.
Lib o de ida
Recue do P omp Resul ado nal
Recue do de Juan en su
p ime a con e encia como
doc o en la acul ad de
Química
a close up pic u e o concen-
a ed adul alp, blu y back-
g ound, hd
Au o e a o que se hizo
Juan de sí mismo en su
edad adul a
a ealis ic pain ing o adul-
alp, ib an colo s, ull de-
ails, hd
Juan muy con en o
haciendo sende ismo en la
mon aña
happy ace o adul alp in
he moun ains doing hiking
wea ing a acksui , high
quali y, hd
Juan en el labo a o io de
su abajo
se ious adul alp in a che-
mis y labo a o y, wi h a
whi e coa , de ailed ace, h
d
Tabla 5.2: Tabla de esul ados ob enidos del Capí ulo 2 de adul ez del pacien e
5.3. Fase de la ida 3: Vejez 79
un pe o pa a hace sus días más en e enidos y que le pudiese acompaña siemp e.
En e o as aciones, Juan omó la inicia i a de ealiza iajes con el imse so y
pode descub i luga es que no conocía. En sus úl imos años, Juan ue op ando po
ac i idades algo más seden a ias como lee y juga al ajed ez has a que el Alzheime
es u o an a anzado que necesi aba es a en un cen o a endido po p o esionales. En
el cen o empezó a ealiza e apias de eminiscencia jun o a su amilia y cuidado es
y de es a mane a, e minó cob ando o ma es e lib o de ida.
El úl imo conjun o de da os que escogimos comp endía las edades en e los 70 y
84 del ac o , más comúnmen e conocido como Al Pacino. En la gu a 5.4 se puede
ap ecia más de alladamen e las ca ac e ís icas de las imágenes elegidas. Finalmen-
e, el
oken
asignado ue80alp.
Figu a 5.4: Da ase seleccionado pa a el en enamien o con Juan de anciano
En la abla 5.3 podemos ap ecia los esul ados ob enidos a pa i de los úl imos
ecue dos de Juan, dis u ando de las cosas co idianas que hace en su día a día a su
ez que ealizando eje cicios que le o alecen men almen e, y po supues o, en los
que se incluyen momen os signica i os pa a él en es a e apa.
Es o mues a cómo esponde nues o modelo a en ena a una misma pe sona
du an e di e en es ases de su ida. Resul a muy ú il dados nues os obje i os ini-
ciales del p oyec o, dado que son imágenes que se pueden gene a con los elemen os
que se desee pa a un lib o de ida. Al igual que pa a el es o de p uebas ealizadas,
únicamen e son necesa ias 10 o og a ías y se puede ap ecia que los esul ados son
muy buenos y de allados, y lo más impo an e, se demues a que el modelo es capaz
de gene a imágenes comple amen e di e en es a las que ya exis ía p e iamen e sob e
la pe sona. Es o es i al, po que de no se así, el modelo no se ía necesa io, po que
no apo a ía ningún alo añadido.

80
Capí ulo 5.
Lib o de ida
Recue do P omp Resul ado nal
Juan en la playa
dis u ando uno de los
iajes o ganizados po el
Imse so
a happy 80alp in he beach,
hd
El pe o que adop ó Juan
jugando con una pelo a de
enis
hachiko playing wi h a en-
nis ball, hd
Juan leyendo su lib o
a o i o en la esidencia
se ious 80alp eading a
book, de ailed ace, long
hai , old, hd
Juan dis u ando de una
pa ida de ajed ez
se ious 80alp playing chess,
de ailed ace, long hai , old,
hd
Tabla 5.3: Tabla de esul ados ob enidos del Capí ulo 3 de ejez del pacien e
5.4. Visualización del lib o de ida en la aplicación 81
5.4. Visualización del lib o de ida en la aplicación
Tal y como es á dispues a la aplicación, se han c eado dos apa ados en los que
po un lado se pueden gene a imágenes nue as a pa i de ecue dos, y po o a
se pueden isualiza odos los ecue dos gene ados has a el momen o y o ganizados
po e apas. Es e úl imo aspec o es el enca gado de mos a el lib o de ida ac ual,
pa a ello se ha hecho uso de un ca usel de imágenes con deslizamien o in e ac i o
que se ejecu a de una o ma isualmen e a ac i a pa a el usua io. Pa a ello, se ha
hecho uso de código en css, h ml y ja asc ip que se puede consul a en el eposi o io
adjun ado jun o a es e mismo abajo.
En p ime luga , según se accede al apa ado e e en e al lib o de ida, apa ece
una po ada, seguida de odas las o og a ías que simbolizan una his o ia o momen o
signica i o pa a la ida del pacien e, según se puede e en la o og a ía de la gu a
5.5. Todas las imágenes que es án in eg adas en el lib o de ida han sido gene adas
po noso os median e modelos en enados con la écnica de D eamboo h. Po lo
an o, es e apa ado ambién es ú il pa a comp oba cómo nues o abajo se puede
u iliza pa a c ea his o ias y lib os de ida.
Figu a 5.5: Po ada isual del lib o de ida en la aplicación
El lib o de ida que hemos ealizado cuen a con es ases, que al igual que en el
apa ado e e en e al lib o de ida son la ju en ud, la edad adul a y la ejez. Como
se ha mencionado en el ci ado apa ado, es un lib o i ual, con una his o ia c icia
edac ada po noso os que ep esen a algunos de los momen os que puede i i una
pe sona y que me ecen se eco dados. Cada ase cuen a con una po ada, seguida
de los espec i os momen os de su ida. El p og ama cuen a con echas pa a pode
a anza o e ocede de o og a ía y pode consul a el lib o de ida. En cada imagen
gene ada apa ece eejado un cuad o con un í ulo y una desc ipción, de mane a que
82
Capí ulo 5.
Lib o de ida
quien consul e el lib o de ida pueda obse a qué signica ealmen e el momen o
pa a la pe sona.
Figu a 5.6: Capí ulo 1 del lib o de ida en la aplicación
Po lo an o, es e apa ado de la aplicación es un p o o ipo que mues a la
u ilidad eal de gene a imágenes median e in eligencia a icial, y la idea es que
cualquie pe sona pudie a ag ega o og a ías e his o ias ácilmen e pa a cons ui
un lib o de ida del pacien e.
Figu a 5.7: Capí ulos 2 y 3 del lib o de ida en la aplicación
Cap´
ı ulo 6
Conclusiones y T abajo Fu u o
6.1. Conclusiones
En p ime luga , podemos a ma que, median e la ayuda de la in eligencia
a icial, se puede b inda un ma e ial o og áco pe sonalizado que si a pa a co-
labo a con e apias ocupacionales, de mane a que un pacien e enga la posibilidad
de e oca momen os signica i os, que de o a mane a no end ía la capacidad de
isualiza .
Con espec o a la gene ación de imágenes, se ha conseguido el obje i o de en e-
na un modelo de in eligencia a icial de con e i ex o a imagen, incluyendo a la
pe sona que se conside e. Es e hecho signica que, en una e apia de eminiscencia,
si se nos o o ga un núme o conside able de imágenes en las que apa ezca una pe -
sona conc e a (a pa i de diez), se puede abaja en base a un modelo en enado
que econozca a esa pe sona, y gene a a pa i de él las imágenes deseadas.
Adicionalmen e, el modelo que se ha ob enido, puede se i de base pa a ealiza
un nue o en enamien o, lo cuál encaja a la pe ección con nues os obje i os, pues o
que pa a un de e minado pacien e, podemos desa olla un g an modelo que incluya
el núme o de pe sonas que se desee. No obs an e, S able Diusion y sus modelos
de i ados, ienen una limi ación, dado que una misma imagen es di ícil de gene a
con múl iples elemen os. Hemos log ado esul ados acep ables en algunas ocasiones
con un núme o conside able de pasos, pe o equie e mucha paciencia y no podemos
ga an iza el éxi o absolu o, como sí podemos hace lo en una gene ación con un
elemen o p incipal.
O o aspec o impo an e que debemos ene en cuen a y al que hemos llegado a
la conclusión después de oda la in es igación, es que pa a hace unciona nues o
modelo, al igual que cualquie o o de in eligencia a icial gene a i a de imágenes,
83
90
Capí ulo 6.
Conclusiones y T abajo Fu u o
6.6. Abou he p ojec
Gi en hese bene s, he ini ia i e o ca y ou his p ojec was bo n, as i is
a isual suppo ool o he na a ion o li e books. A li e book is a compila ion
o he mos impo an and cha ac e is ic e en s o a pe son h oughou hei li e,
adding isual suppo and usually being o ganized by s ages. The cha ac e is ic o
a li e book is o gi e a con ex o he inco po a ed images so ha wha has been
expe ienced can be unde s ood in a imeline, which helps o enhance he pe son's
memo y and hei sense o iden i y (
?
).
To c ea e i , we will use a icial in elligence echniques ha con e ex inpu s
o images and in his way, we will be able o ans o m memo ies na a ed by he
pa ien and con e hem in o images ha co espond o he memo y desc ibed. The
in e es ing hing is o be able o gi e he possibili y o making hese images mo e
pe sonal so ha a se ies o images o one's own, o amily membe s o o impo an
e en s in he pa ien 's li e can be added, o ain he gene a i e a icial in elligence
model in cha ge o ca ying ou he p ocess. o c ea ing he images, and ha he
nal esul is unique, special and o g ea help o he pe son who sue s om his
disease.
The wo k was bo n based on he CANTOR p ojec (Au oma ic Composi ion
o Pe sonal Na a i es o suppo Occupa ional The apy based on Reminiscence,
Na ional Resea ch Plan), an ini ia i e p oposed by esea che s om a g oup o
Spanish uni e si ies, including he Complu ense Uni e si y o Mad id.
The main mo i a ion o he c ea ion o his p ojec is o p o ide he possibil-
i y o pa ien s wi h demen ia caused by Alzheime 's o build a book made up o
hei happies memo ies, gi ing hem he oppo uni y o emembe hem. I has
been shown ha when pa ien s alk abou ce ain imes in hei li es and momen s
expe ienced in he pas , a posi i e impac is gene a ed on hem, inc easing hei
condence and iden i y (de Mad id, 2020).
The CANTOR p ojec is designed o be ca ied ou in wo s ages:
The  s would be he echnical pa in which a ool is de eloped o au oma e
he cons uc ion o he li e book using a icial in elligence.
The second s age consis s o aking he ool o he he apis s and people who
assis hose aec ed o check i s unc ionali y and eec i eness.
We will ocus on add essing he  s s age o he p ojec , making su e o imple-
men a ool capable o gene a ing images h ough an a icial in elligence echnique
specialized in his, in a way ha ensu es he maximum possible quali y in he e-
sul s and ensu ing a p ac ically o al esemblance o eali y. Tha is, ou objec i e
is o c ea e a ool ha is capable o helping in he p ocess o eminiscence he apy
o he c ea ion o a li e book o a ce ain pa ien , so ha isual ep esen a ions
can be c ea ed om desc ip ions ha he pe son con ibu ion o ce ain memo ies.

6.7. Goals 91
The use ulness and pu pose o c ea ing images om ex using a ained a icial
in elligence echnique is o ob ain pe sonal images o emembe momen s in you
li e ha a e no immo alized in a pho og aph o ha you do no ha e access o.
Fo i o be possible o gene a e pe sonal images h ough a icial in elligence
me hods, i is necessa y o amily membe s o p o ide a sucien ly la ge numbe
o pho og aphs o he pa ien a die en s ages o hei li e (minimum 10 o each),
o o people, places, animals o objec s ha may be meaning ul o him o he . The
pu pose is o each he a icial in elligence model designed o gene a e images o
iden i y he desi ed elemen . And hus, ob aining as a esul a pe sonalized image
o he pe son o se e as suppo in eminiscence he apy, o be included in he
pe son's li e book and o gene a e a posi i e impac on hei men al well-being
.
6.7. Goals
Fo he co ec comple ion o he p ojec and in o de o ob ain he bes possible
esul s, we ha e es ablished some objec i es o guide us du ing he p epa a ion o
he wo k and keep in mind a all imes he pa h we will ake o ca y i ou .
S udy he die en a icial in elligence echniques in o de o choose he mos
app op ia e one o gene a ing images.
Analyze he necessa y cha ac e is ics o he inpu da a se o eec i e aining
o he a icial in elligence model.
Use gene a i e a icial in elligence o c ea e pe sonal images ha help pa-
ien s e oke emo ional momen s and expe iences and in eg a e hem in o he
p esen .
Gene a e pho og aphs ha suppo pa ien s o ies o he c ea ion o a li e
book.
P o ide suppo ma e ial o eminiscence he apy.
De elop a p og am h ough which an assis an can inco po a e his o he own
images in o a li e book.
Fo example: a pa ien emembe s when she saw he sea o he  s ime, bu
does no know enough de ails o ha e a s o y in eg a ed in o he mind, no did he
ake any pho og aphs a ha ime. The model can gene a e a pho o o he pa ien
a sea, and he ac o e oking ha memo y causes well-being and happiness.
In his way, we can p o ide e y aluable ma e ial o eminiscence he apy,
since isual ma e ial is needed o c ea e a connec ion wi h he pa ien 's li e, and
his ma e ial can some imes be e y limi ed.
92
Capí ulo 6.
Conclusiones y T abajo Fu u o
6.8. Wo k plan
Once he objec i es ha e been dened, a me hod mus be es ablished o y o
achie e he expec ed esul s. Fi s o all, ex ensi e esea ch mus be ca ied ou
abou he die en a icial in elligence echniques ha exis and which o hem all
bes adap s o ou objec o s udy. Bu be o e del ing in o he die en echniques
and models, we mus be awa e o he eason why we do his wo k, ha is, who he
ecipien is and wha hey expec om he nal p oduc . The e o e, we need o
in es iga e he ocus o he p oblem and know how a icial in elligence can help
sol e i , o mi iga e i .
To ob ain he desi ed esul s we need o know wha he bes echniques a e a
ou disposal, and i we can use hem and wo k on hem. The e o e, an impo an
pa o ou p ojec consis s o es ing each o hem and assessing which one gene a es
images o highe quali y and in an accep able ime. I is necessa y o es each and
e e y one ha is a ailable, and know wha ou execu ion en i onmen is going o
be.
Once we ha e decided which model o models we will choose o de elop ou
p ojec , he ime will come o know how we a e going o deploy he die en ech-
nologies and wha we a e going o add o make i some hing use ul and comple ely
new o ou ecipien s. The idea is o c ea e a p og am ha con ains he chosen a i-
cial in elligence model and a simple and eec i e in e ace o use i in occupa ional
he apies. In addi ion, hese models mus ha e he possibili y o being cus omizable,
so ha images can be c ea ed wi h he elemen s o people you wan . To do his,
we will in es iga e he die en aining modes, and by ca ying ou mul iple es s
and analyzing he die en esul s, we will eason which will be he aining wi h
he bes ime and quali y wi hin ou possibili ies o he p ojec .
When we al eady ha e an image-gene a i e a icial in elligence model ha p o-
ides good esul s, we will simula e use cases ha exempli y how use s can ha e
a sa is ac o y expe ience. As a esul o his, we will be able o ob ain a se ies o
conclusions and no e whe he expec a ions ha e been me , in addi ion o e alua -
ing whe he he ini ia i e and he wo k ca ied ou could be use ul o imp o e he
quali y o li e o pa ien s.
Conclusions and Fu u e Wo k
6.8.1. Conclusions
Fi s o all, we can a m ha , h ough he help o a icial in elligence, pe son-
alized pho og aphic ma e ial can be p o ided ha can be used o collabo a e wi h
occupa ional he apies, so ha a pa ien has he possibili y o e oking signican
momen s, which hey would no o he wise ha e. he abili y o isualize.
Wi h espec o image gene a ion, he objec i e o aining an a icial in el-
ligence model o con e ex o image has been achie ed, including he pe son
conside ed. This ac means ha , in eminiscence he apy, i we a e gi en a con-
side able numbe o images in which a specic pe son appea s ( om en), we can
wo k based on a ained model ha ecognizes ha pe son, and gene a e he desi ed
images om i .
Addi ionally, he model ha has been ob ained can se e as a basis o ca ying
ou new aining, which  s pe ec ly wi h ou objec i es, since o a ce ain pa ien ,
we can de elop a la ge model ha includes he desi ed numbe o people. . Howe e ,
S able Diusion and i s de i ed models ha e a limi a ion, since he same image is
dicul o gene a e wi h mul iple elemen s. We ha e achie ed accep able esul s on
some occasions wi h a conside able numbe o s eps, bu i equi es a lo o pa ience
and we canno gua an ee absolu e success, as we can in a gene a ion wi h a main
elemen .
Ano he impo an aspec ha we mus ake in o accoun and ha we ha e
eached he conclusion a e all he esea ch, is ha o make ou model wo k, like
any o he image-gene a i e a icial in elligence, a la ge capaci y o g aphic memo y
is needed. . Wi h ou eam's GPU, he gene a ion will always las a ew minu es,
and he mo e quali y desi ed, he longe he ime will inc ease. This is a ac ha all
people who p o ide he se ice o gene a ing pe sonalized pho og aphs mus know.
Rega ding he aining o he models, we can conclude ha he numbe o s eps
93
94
Capí ulo 6.
Conclusiones y T abajo Fu u o
wi h which i is pe o med co ec ly is 2400 o a aining o 10 images, since mul-
iple es s ha e been ca ied ou wi h mo e s eps, in which o e aining is de ec ed,
and wi h ewe s eps, in which a lack o aining is de ec ed.
Based on he esul s ob ained, we can a m ha he aining ha maximizes
he quali y o he images is ha o D eamboo h, wi h a quali y highe han ha
achie ed wi h LoRA. Wi h his las model, i was much mo e dicul o ob ain pe -
sonalized images om he ained elemen , since gi en i s cha ac e is ics, i ocused
on displaying only he elemen , igno ing he complemen s ha we e eques ed in he
p omp . Th ough D eamboo h, he images showed supe io quali y and e e y hing
ha was eques ed in he desc ip ion o he pho og aph was eec ed. Wi h bo h
aining models, we can conclude ha all ypes o elemen s can be ained, whe he
people, animals o places, since co ec esul s ha e been ob ained wi h all o hem.
Rega ding he applica ion, we ha e managed o c ea e a p og am h ough which
pe sonalized pho og aphs can be gene a ed om ou ained models. This p o-
duces e y good esul s and also allows he isualiza ion o a li e book based on a
s o y c ea ed by us. The idea is ha a use can ha e a p og am wi h which hey can
gene a e pe sonalized images and de elop a e y a ac i e li e book in a simple way.
We can conclude ha we ha e me he objec i es we had p e iously a he be-
ginning o his p ojec , since we ha e buil a p og am h ough which a use could
ob ain pe sonalized images wi h a easonable quali y in an adequa e ime. The e
has been a cons an e olu ion in ecen mon hs in which we wen om no being
able o gene a e images locally, o being able o gene a e hem wi h ained models,
and hen being able o display hose pho og aphs in an applica ion de eloped by us.
6.8.2. Fu u e wo k
A e ca ying ou his p ojec , we would like people in cha ge o assis ing pa-
ien s wi h memo y loss o be able o ca y ou esea ch based on ou model, wi h
he aim o psychologically s udying o wha ex en he educ ion o s ess is being
p omo ed, is being enhanced. he pa ien 's cogni i e capaci y and people's sa is-
ac ion is being achie ed. This is he g ea es objec i e we ha e wi h his a icial
in elligence, o achie e pe sonal well-being, and he scope o his wo k does no allow
us o e i y i we ha e eally ob ained g ea esul s in he social aspec .
Addi ionally, i would be con enien ha i his p ojec we e used by he apis s,
hey should ha e a compu e wi h a la ge g aphics ca d, so ha as li le ime as
possible would be in es ed in gene a ing he images. A e ha ing used his same
model in he cloud, whe e hey use se e s wi h high-powe GPUs, ob aining esul s
was ins an aneous, which is why we highligh a la ge ma gin o imp o emen ha ,
6.8. Wo k plan 95
i educed, will g ea ly speed up he he apy. Fu he mo e, i should be no ed ha
in ou model, we ha e used e sion 1.5 o S able Diusion because i is he only
one ha could wo k locally wi h ou eam's g aphics ca d. Wi h an imp o emen
in his aspec , he XL e sion could be wo ked on and ained, which p o ides g ea
quali y o he images, and e en be e esul s would be achie ed by minimizing he
wai ing ime. In addi ion, S able Diusion has ecen ly eleased a new e sion 3
ha ensu es speed, eciency and quali y in he images gene a ed wi hou needing
o use as much space as he XL e sion, so i would be a e y a ac i e op ion o
wo k wi h. You could e en ake he wo k o li e books one s ep u he and gene a e
small ideo clips ha be e ep esen he la es de elopmen s ha la ge A icial
In elligence companies such as OpenAI h ough So a and S able Diusion a e in-
cluding. ia S able Diusion Video. They a e echnologies ha p oduce imp essi e
esul s bu ha a e no cu en ly a ailable o use s bu we hope ha hey will be
in he no oo dis an u u e.
Rega ding he aining o images wi h S able Diusion, as p oposals o imp o e-
men we would like o nd an op imal way o include se e al okens ha ep esen
ained elemen s in he same image and ha i is no necessa y o eso o he
inpain ing echnique. Me hods could be es ed such as aining mo e images o bo h
elemen s in he same aining s age and ha hey can be included unde he same o-
ken, al hough he beha io ha he model could ha e in e ms o esul s is unce ain,
mul ilaye s a e an in e es ing concep in e ms o gene a ion o images o li e books.
Based on ha ing made an applica ion ha es s he ained models and displays
a li e book wi h pe sonalized images, we would like o implemen a se e so ha
pe o mance depends exclusi ely on i and he in e ne connec ion, and no on he
compu e . o each use and hei g aphics ca d. In his way, s ong u iliza ion
equi emen s would be elimina ed. Fu he mo e, i would be con enien o con inue
de eloping his p og am, allowing use s o egis e and manage he li e book o
eminiscence he apy pa ien s. To ca y ou his p oposal, he p ojec would ha e
o be connec ed o a da abase ha con ains he use egis y, and wi hin each o
hem, a able wi h he pa ien 's li e book, which should ha e as a ibu es, mainly,
an image, a i le and a desc ip ion. We belie e ha i can be an a ac i e o ma
o he apy, whe e use s can e y easily pe sonalize a li e book, wi h eal images,
o hose c ea ed by a icial in elligence, in he e en ha he e a e no g aphic
documen s o a ele an ac , meaning ul and emo ional o he pa ien 's li e.

Con ibuciones Pe sonales
Es udian e 1: Se gio Llo en e He nando
Lo p ime o de odo ue eexiona sob e los obje i os del p oyec o, de mane a
que ealicé una in es igación sob e la e apia ocupacional, los lib os de ida y las
dis in as in eligencias a iciales, con el obje i o de sabe qué ecnología debemos
u iliza pa a sa is ace las necesidades de los usua ios.
Desde un p ime momen o hice una labo de búsqueda y p ueba de di e en es
modelos de in eligencia a icial gene a i a de imágenes. En p ime luga , la p ueba
e a con se ido es especializados y más adelan e, hice una desca ga de los modelos
que gene aban imágenes de calidad, con el obje i o de comp oba cuáles de los mo-
delos pod ían unciona mejo y o o ga unos esul ados sa is ac o ios.
El siguien e paso en el que me cen é ue en consegui hace unciona la in eli-
gencia a icial gene a i a en local. Pa a ello, en p ime luga op é po p oba los
modelos en anaconda, lo cual no e a una in e az cómoda pa a el usua io y la ge-
ne ación de imágenes e a len a. A con inuación empecé a abaja con SDGUI, una
aplicación con la que podía es a cualquie ipo de modelo, ya sea en enado o no,
y además de eso, ajus a odos los pa áme os necesa ios. Con es a aplicación sí que
se gene aban bien las imágenes. Es o si ió pa a diseña nues o p opio p og ama
que incluye a el modelo gene a i o.
Pa a c ea la aplicación, p ime o op é po c ea un sc ip de Py hon. Es o dio
buenos esul ados, po que mos aba la imagen al igual que en el p og ama de e-
e encia, pe o la in e az no e a buena pa a el usua io, y además haciendo p uebas
en cualquie o o o denado no ob u e esul ados. Es e hecho hizo que c ea a un
en o no i ual pa a sabe las dependencias que son necesa ias pa a que uncione
el modelo, y po o o lado, di idi el back y el on , con el obje i o de hace más
a ac i a la aplicación median e h ml, que es un lenguaje con el que ya es aba más
amilia izado. Es o dio un mejo esul ado, y se consiguió gene a imágenes en una
aplicación con una buena in e az y un buen diseño.
97
98
Capí ulo 6.
Conclusiones y T abajo Fu u o
La siguien e ase del abajo, ue la del en enamien o de los modelos, con el
obje i o de ene la capacidad de pe sonaliza la in eligencia a icial a pe ición de
cualquie usua io. Fue un abajo muy complejo en el que hice muchísimas p uebas
con di e en es ías, con el obje i o de ob ene los mejo es esul ados posibles. Fue on
múl iples p uebas debido a que, pa a o ece al usua io la expe iencia óp ima, necesi-
amos conoce cuán as imágenes y cuán os pasos de ap endizaje se equie en. T as la
ealización de es as p uebas se concluyó que la es a egia más óp ima e a u iliza un
conjun o de 10 imágenes y 2400 pasos de en enamien o. No obs an e, hicie on al a
múl iples en enamien os e óneos o pa cialmen e co ec os pa a conoce es e hecho.
La siguien e ase ue ealiza más en enamien os con di e en es elemen os y
analiza los esul ados. Además, aquí op é po examina si un esul ado de un en-
enamien o podía se i de base pa a un p óximo. La espues a ue a ma i a y eso
me lle ó a añadi múl iples capas a un mismo modelo, lo cual pod ía ayuda a un
usua io a ene un solo modelo pe sonalizado que incluya odos los elemen os que
desee.
Po úl imo, a é de log a que la aplicación gene ase imágenes median e modelos
en enados po noso os mismos. Fue una ase complicada, pe o nalmen e se log ó
un esul ado sa is ac o io. Además, al en o no de la aplicación le añadí una página
que ep esen a un ejemplo de lib o de ida desa ollado po noso os, con unas
imágenes gene adas po nues a aplicación. De es a mane a, enemos una aplicación
con dos páginas. Una que mues a el ipo de lib os de ida que pod íamos desa olla ,
y una que es un en o no de gene ación de imágenes con múl iples modelos y de
di e en es mane as.
Es udian e 2: Isabella Romano Ramos
Lo p ime o que ealicé ue la in oducción del ema de es udio sob e el abajo
después de la p ime a sesión de eunión con el u o en la que queda on cla os los
aspec os gene ales que se iban a abo da , los obje i os p incipales y las ecnologías
que se iban a u iliza .
Una ez denido es o, empezó la ase de in es igación sob e los emas p incipales
que abo daban el p oyec o: el Alzheime y la In eligencia A icial. Me emba qué
en un p oceso de ecopilación de in o mación pa a en ende lo que ocu e en el ce-
eb o que hace que se de e io e la memo ia y que cause es a en e medad que a ec a
a millones de pe sonas, y así pode eeja lo en la memo ia. En cuan o a la IA,
e a un concep o o almen e nue o pa a mí ya que no había is o nada sob e es e
campo en ninguna asigna u a de la ca e a. Po lo que op é empeza a en ende la
po el p incipio, desde un concep o an simple como el pe cep ón, has a examina
6.8. Wo k plan 99
las edes neu onales, pasando po odos los ipos de modelos undamen ales qué
exis en y sabe di e encia la unción de cada uno. Po ende, me enca gué de busca
la bibliog a ía que hablaba de la IA, más en conc e o sob e el Deep Lea ning y las
edes neu onales. De es a mane a, lo pude edac a de mane a que se en endie a lo
mejo posible en el Capí ulo 2 Es ado de la cues ión.
Como se ha podido e a lo la go de odo el p oyec o, nos hemos cen ado en
el campo conc e o de la In eligencia A icial gene a i a de imágenes y lo que hicé
ue in es iga las di e en es al e na i as de modelos ya implemen ados que pudié a-
mos u iliza pa a el en enamien o de pe sonas y la in eg ación en nues a u u a
aplicación. T as examina p o undamen e las p es aciones y disponibilidad de cada
uno, en e los es candida os nales, que se a aban de Midjou ney, Dall-e y S able
Diusion, se eligió usa el úl imo po las limi aciones que nos mos aban los o os
dos modelos. Una ez elegido, hice un análisis p o undo de cómo es á implemen ado
el modelo de di usión es able que u iliza la he amien a y lo edac é ex ensamen e
en el Capí ulo 2 Es ado de la cues ión. Además, du an e el p oceso su gie on con-
cep os in e esan es en elación con S able Diusion, como LORA y D eamboo h e
incluso, conside é impo an e añadi la impo ancia de la ingenie ía del p omp pa a
la c eación de imágenes a pa i de ex o.
Cuando pude comp ende los concep os eó icos que explicaban el uncionamien-
o de S able Diusion, se pasó a la pa e p ác ica, es deci , a pensa en la es uc u a
y usos de la aplicación que se iba a desa olla como apoyo al modelo de IA gene a i-
a seleccionado. Finalmen e, caímos en la cuen a de que las p es aciones que o ecen
mis dos equipos, an o mi po á il como el o denado de sob emesa, no cumplen los
equisi os mínimos pa a pode ejecu a la aplicación en local ni ealiza las p uebas
necesa ias sob e la gene ación de imágenes, al no con a con GPU en el po á il y
no se lo sucien emen e po en e la GPU en el o denado de sob emesa. Es deci ,
e a in iable que se pudie an gene a imágenes en mis equipos.
Po ello, solo me podía limi a a en ena el modelo que seleccionamos a a és
de la he amien a de Google Colab. Fue en onces cuando busqué en Hugging Face
el modelo de S able Diusion más adecuado, que esul ó se el 1.5, y ui p obando
el núme o de pasos y de imágenes que p oducían los mejo es esul ados.
Pa a soluciona los p oblemas p esen ados en el en enamien o mul icapa, in es-
igué la mane a de sol en a los e o es de gene ación espec o a una can idad de
okens mayo a 1 y di con la écnica de inpain ing. Pude p o undiza en es a écnica
y aplica la a odas las imágenes que p esen aban allos pa a pode pe ecciona las y
que pudie an se añadidas en el lib o de ida, dándole más sen ido y pe sonalidad
al mismo.
Una ez eníamos las imágenes gene adas median e el modelo y la pa e de la
aplicación gene ado a de imágenes in eg ada, ideé una mane a en la que se pudie a