Control mediante aprendizaje iterativo
Abstract
En este trabajo se presentan dos métodos de control en bucle abierto por aprendi-zaje iterativo centrados en procesos de optimización. Dada una trayectoria de referencia, el con-trol mejora en cada ejecución el desempeño del sistema mediante el uso de los datos recogidosen ejecuciones anteriores.Los sistemas de control utilizan métodos óptimos tanto en la estima-ción del error en las trayectorias como en el cálculo de las señales de entrada, e incluyen restric-ciones en las entradas y en las salidas para este segundo proceso. Se han implementado dosprocesos de obtención de modelos lineales a partir de sistemas reales, uno de ellos deducido ensu totalidad de las ecuaciones de equilibrio dinámico del sistema, y el otro basado en técnicas deidentificación de sistemas. Se han probado ambos algoritmos de control sobre el modelo simula-ble de un péndulo sobre un carro móvil, que es un sistema altamente no lineal y subactuado. Enambos casos el sistema de control aprende satisfactoriamente y consigue realizar el seguimientode trayectoria en bucle abierto. Por último, se ha realizado una comparación de los dos métodosde control.
Full text
Equa ion Chap e 1 Sec ion 1
T abajo Fin de Más e
Más e Uni e si a io en Ingenie ía en Elec ónica,
Robó ica y Au omá ica
Con ol Median e Ap endizaje I e a i o
Au o : An ón Casas Román
Tu o : José Ángel Acos a Rod íguez
Dp o. Ingenie ía de Sis emas y Au omá ica
Escuela Técnica Supe io de Ingenie ía
Uni e sidad de Se illa
Se illa, 2020
T abajo Fin de Más e
Más e Uni e si a io en Ingenie ía en Elec ónica, Robó ica y Au omá ica
Con ol Median e Ap endizaje I e a i o
Au o :
An ón Casas Román
Tu o :
José Ángel Acos a Rod íguez
P o eso i ula
Depa amen o de Ingenie ía de Sis emas y Au omá ica
Escuela Técnica Supe io de Ingenie ía
Uni e sidad de Se illa
Se illa, 2020
Resumen: En es e abajo se p esen an dos mé odos de con ol en bucle abie o po ap endi-
zaje i e a i o cen ados en p ocesos de op imización. Dada una ayec o ia de e e encia, el con-
ol mejo a en cada ejecución el desempeño del sis ema median e el uso de los da os ecogidos
en ejecuciones an e io es. Los sis emas de con ol u ilizan mé odos óp imos an o en la es ima-
ción del e o en las ayec o ias como en el cálculo de las señales de en ada, e incluyen es ic-
ciones en las en adas y en las salidas pa a es e segundo p oceso. Se han implemen ado dos
p ocesos de ob ención de modelos lineales a pa i de sis emas eales, uno de ellos deducido en
su o alidad de las ecuaciones de equilib io dinámico del sis ema, y el o o basado en écnicas de
iden i icación de sis emas. Se han p obado ambos algo i mos de con ol sob e el modelo simula-
ble de un péndulo sob e un ca o mó il, que es un sis ema al amen e no lineal y subac uado. En
ambos casos el sis ema de con ol ap ende sa is ac o iamen e y consigue ealiza el seguimien o
de ayec o ia en bucle abie o. Po úl imo, se ha ealizado una compa ación de los dos mé odos
de con ol.
Palab as cla e: Con ol median e ap endizaje i e a i o, seguimien o de ayec o ia, op imización
con exa, péndulo in e ido, il o de Kalman, linealización de sis emas, iden i icación de sis emas.
Abs ac : In his wo k we p esen wo me hods o open-loop op imiza ion-based i e a i e lea n-
ing con ol. Gi en a e e ence ajec o y, e e y execu ion he con ol algo i hm imp o es he pe -
o mance o he sys em by using he da a collec ed in p e ious execu ions. The con ol sys ems
use op imal me hods bo h in he es ima ion o e o in he ajec o ies and in he calcula ion o
inpu signals, and include es ic ions on inpu s and ou pu s o his la e p ocess. Two p ocesses
ha e been implemen ed o ob ain linea models om eal sys ems, one o hem deduced en i ely
om he dynamic equilib ium equa ions o he sys em, and he o he based on sys em iden i ica-
ion echniques. Bo h con ol algo i hms ha e been es ed on he simula ed model o a pendu-
lum on a mo ing ca , which is a highly nonlinea and unde ac ua ed sys em. In bo h cases he
con ol sys em lea ns success ully and manages o pe o m open-loop ajec o y acking. Finally,
a compa ison o he wo con ol me hods is made.
Keywo ds: I e a i e lea ning con ol, ajec o y acking, con ex op imiza ion, in e ed pendulum,
Kalman il e ing, sys em linea iza ion, sys em iden i ica ion.
Ag adecimien os
A C is ina, Ca los, Se gi, Samuel y oda la peñi a que hizo que la ida en Se illa ue a ma a illa.
A Ál a o Galán, po in e esa se an o po el abajo y ayuda me con sus co ecciones.
A Alexand a Elbakyan, po su labo hacia el mundo y la in es igación.
A la comunidad de desa ollo de so wa e lib e.
Al mo imien o an iespecis a.
A la gen e buena.
A Belén Oli a, po da me la idea de la siguien e sección.
Desag adecimien os
A Belén Oli a, po supues o.
A la gen e que p esiona con los es udios y el abajo como si ue a lo único impo an e.
A los que echan la culpa de odo a los jó enes™.
Al co ona i us, supongo.
A odos los case os.
Al capi alismo.
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
Índice
1 In oducción..............................................................................................................................................1
1.1 An eceden es y es ado ac ual de la ecnología.............................................................................2
1.1.1 Inicios de la ingenie ía de con ol..........................................................................................2
1.1.2 Las eo ías del con ol.............................................................................................................3
1.1.3 El con ol po compu ado ......................................................................................................3
1.1.4 El con ol p edic i o.................................................................................................................4
1.1.5 El con ol po ap endizaje i e a i o........................................................................................6
1.2 Obje i o del abajo..........................................................................................................................7
1.3 Es uc u a del documen o...............................................................................................................7
2 Sis ema de con ol....................................................................................................................................9
2.1 De inición del sis ema con olado................................................................................................11
2.1.1 Rep esen ación del modelo dinámico.................................................................................11
2.1.2 Implemen ación.....................................................................................................................12
2.2 Op imización...................................................................................................................................12
2.2.1 De iniciones............................................................................................................................13
2.2.2 Resolución del p oblema de op imización..........................................................................15
2.2.2.1 P ime a e apa.................................................................................................................17
2.2.2.2 E apas sucesi as.............................................................................................................18
2.3 Fil o de uido.................................................................................................................................23
2.3.1 Fil o de Kalman basado en el iempo.................................................................................23
2.3.2 Fil o de Kalman basado en i e aciones..............................................................................26
2.3.2.1 Aplicación del il o........................................................................................................29
2.3.2.2 Adición de odas las uen es de uido.........................................................................31
2.3.3 Fil ado de la señal de en ada.............................................................................................32
2.4 Ho izon e ex ensible......................................................................................................................34
3 Aplicación a un sis ema eal..................................................................................................................36
3.1 Implemen ación expe imen al.....................................................................................................36
3.1.1 Bloque del sis ema mecánico...............................................................................................37
3.1.2 Ruido de senso es..................................................................................................................38
3.1.3 Manejo de la señal de en ada.............................................................................................39
3.2 Modelo del sis ema........................................................................................................................40
3.2.1 Linealización de las ecuaciones dinámicas.........................................................................41
3.2.2 Iden i icación de sis emas.....................................................................................................45
4 Resul ados...............................................................................................................................................49
4.1 Con ol con e e encias absolu as...............................................................................................49
4.2 Con ol po anulación del e o ....................................................................................................54
4.3 Compa ación de ambos mé odos................................................................................................58
4.4 Conside aciones comunes............................................................................................................59
5 Conclusiones...........................................................................................................................................61
6 Re e encias..............................................................................................................................................63
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
Índice de igu as
Figu a 1: P incipio de uncionamien o gené ico de un MPC. Imagen de Ma in Beh end [9]. CC BY-
SA 3.0...................................................................................................................................................6
Figu a 2: Diag ama de bloques del sis ema de con ol. k hace e e encia al núme o de mues a a lo
la go de la simulación. j hace e e encia a la i e ación del bucle gene al................................10
Figu a 3: Salidas del sis ema en el caso ideal...........................................................................................18
Figu a 4: En adas u ilizadas en el caso ideal...........................................................................................18
Figu a 5: Salidas del sis ema con un modelo inexac o...........................................................................19
Figu a 6: Diag ama de bloques del sis ema sin es imado . Se ac ualiza el ec o d de mane a muy
simple................................................................................................................................................20
Figu a 7: Dos i e aciones de la salida del sis ema con un modelo inexac o.........................................21
Figu a 8: Salida del sis ema con un modelo inexac o y 5 i e aciones...................................................22
Figu a 9: En adas del sis ema a lo la go de 5 i e aciones.....................................................................22
Figu a 10: Es imaciones de la salida del sis ema median e un il o de Kalman a ian e en el
iempo...............................................................................................................................................26
Figu a 11: E olución del e o cuad á ico medio de las salidas pa a cada i e ación u ilizando un
il o de Kalman basado en i e aciones..........................................................................................29
Figu a 12: Salidas del sis ema a lo la go de diez i e aciones con uido y il o de Kalman basado en
i e aciones. A pa i de la cua a i e ación las ayec o ias se solapan, po lo que no se
incluyen en la leyenda.....................................................................................................................30
Figu a 13: En adas del sis ema a lo la go de diez i e aciones, con uido y il o de Kalman basado
en i e aciones. A pa i de la cua a i e ación las ayec o ias se solapan, po lo que no se
incluyen en la leyenda.....................................................................................................................30
Figu a 14: E olución del e o cuad á ico medio de las salidas a lo la go de diez i e aciones con
odas las uen es de uido y un il o de Kalman basado en i e aciones.................................31
Figu a 15: Salidas del sis ema a lo la go de diez i e aciones con odas las uen es de uido y el il o
de Kalman basado en i e aciones. Las en adas solapadas no se mues an en la leyenda....32
Figu a 16: Señal sin il a y il ada, sin dis o sión de ase, po el il o Bu e wo h paso bajo......33
Figu a 17: En adas del sis ema a lo la go de cinco i e aciones. A la izquie da las señales se han
il ado, a la de echa no..................................................................................................................34
Figu a 18: Esquemá ico del péndulo mó il..............................................................................................36
Figu a 19: Vis a idimensional del péndulo mó il en es ado de eposo.............................................37
Figu a 20: Vis a gene al del modelo de Simulink que implemen a la simulación del péndulo mó il.
...........................................................................................................................................................37
Figu a 21: Modelo de Simulink que implemen a el péndulo mó il con bloques de Simscape..........38
Figu a 22: Bloques del modelo de Simulink que implemen an la lec u a de los senso es................39
Figu a 23: Bloques del modelo de Simulink que a an la señal de en ada........................................40
Figu a 24: Diag ama con los pasos p incipales de cada mé odo pa a ob ene modelos lineales....40
Figu a 25: Di isión en sec o es de la ayec o ia del péndulo. La línea de aya y pun o indica la
posición en la que se ealiza la linealización. Las posiciones ep esen adas del péndulo
indican el lími e de cada sec o .....................................................................................................44
Figu a 26: En ada aplicada y salidas del sis ema u ilizadas pa a la iden i icación de sis emas.......46
Figu a 27: Respues a del sis ema eal y el modelo linealizado pa a una misma en ada..................48
Figu a 28: E olución del ángulo del péndulo a lo la go del iempo en diez i e aciones (exp. 1).......51
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
Figu a 29: E olución de las en adas a lo la go de las diez i e aciones (exp. 1)...................................52
Figu a 30: E olución del e o cuad á ico medio de las cua o salidas a lo la go de las i e aciones
(exp. 1)..............................................................................................................................................53
Figu a 31: E olución de las cua o salidas a lo la go del iempo en las diez i e aciones (exp. 1)......53
Figu a 32: E olución de las cua o salidas a lo la go del iempo en las diez i e aciones (exp. 2)......56
Figu a 33: E olución de las en adas a lo la go de las diez i e aciones (exp. 2)...................................57
Figu a 34: E olución del e o cuad á ico medio de las cua o salidas a lo la go de las i e aciones
(exp. 2)..............................................................................................................................................58
Figu a 35: Media del e o cuad á ico medio del ángulo pa a cada i e ación. Ob enida pa a los dos
mé odos con diez expe imen os de diez i e aciones cada uno................................................59
Índice de ablas
Tabla 1: E o cuad á ico medio de las dos salidas a lo la go de cinco i e aciones aplicando
sucesi amen e la op imización.......................................................................................................21
Tabla 2: E o cuad á ico medio de la salida medida y las es imaciones en e a la salida eal
u ilizando un il o de Kalman con encional.................................................................................25
Tabla 3: Pa áme os aplicados al modelo simulable de Simscape........................................................49
Tabla 4: Pa áme os aplicados al sis ema de con ol pa a el p ime expe imen o del péndulo......50
Tabla 5: Pa áme os aplicados al sis ema de con ol pa a el segundo expe imen o del péndulo.. .54
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
es as limi aciones se obse an especialmen e en los egímenes en los que la e oalimen ación
no es capaz de eacciona a iempo [12]. El ILC esuel e es e p oblema omando da os de expe-
iencias an e io es pa a adelan a se a pe u baciones epe i i as y e i a su e ec o.
1.2 Obje i o del abajo
El obje i o gene al de es e p oyec o in de más e es la aplicación de un esquema de con ol
median e ap endizaje i e a i o.
Se desglosa en los siguien es obje i os pa ciales:
1. En p ime luga , la implemen ación en una simulación el mé odo de con ol i e a i o des-
c i o en [10], [11] y [12]. Comp oba , simul áneamen e, que la o mulación desc i a en los
abajos es capaz de unciona , y consegui que lo haga.
2. En segundo luga , aplica la es a egia de con ol al modelo simulable de un péndulo
in e ido, incluyendo la iden i icación del modelo dinámico.
1.3 Es uc u a del documen o
El documen o se di ide en seis capí ulos:
1. En es e p ime capí ulo se hace una in oducción al p oblema de ingenie ía que se plan-
ea, se expone una b e e his o ia del con ol y de las écnicas elacionadas con la es a e-
gia desa ollada, se de ine el es ado ac ual de la écnica explo ada y se hace un es udio de
los abajos p eexis en es, se de ine el obje i o de es e abajo de in de más e , y se des-
c ibe, en es e mismo apa ado, la es uc u a del p esen e documen o.
2. En el segundo capí ulo se desa olla el sis ema de con ol, aplicado sob e un sis ema a bi-
a io, u ilizado como p ueba pa a la e ec i idad y el uncionamien o de la implemen a-
ción. El capí ulo se di ide en es apa ados: El p ime o a a la ep esen ación del sis ema
sob e el que se simula y al que se aplica la es a egia de con ol; el segundo explo a la
op imización cuad á ica, u ilizada pa a encon a la solución a los p oblemas ma emá icos
plan eados, así como el bucle sob e el que se ob ienen las mejo as del esquema i e a i o,
que cons i uye la pa e esencial del ap endizaje; y el e ce o analiza las écnicas aplicadas
pa a a a con el uido, necesa ias en cualquie en o no eal.
3. En el e ce capí ulo se es udia la aplicación del sis ema de con ol al péndulo sob e un
ca o mó il. Incluye la desc ipción e implemen ación del sis ema a con ola , y la ob en-
ción de un modelo lineal con la inalidad de pode aplica el sis ema de con ol. Se anali-
zan y aplican dos p ocesos di e en es de ob ención de modelos lineales.
7
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
4. En el cua o capí ulo se comen an los esul ados ob enidos al aplica el sis ema de con ol
al disposi i o eal desc i o en el capí ulo e ce o. Se ealizan dos expe imen os, con dos
mé odos de con ol con la misma base, pe o con algunas di e encias de concep o. Se
compa an los esul ados de ambos expe imen os.
5. En el quin o capí ulo se dan las conclusiones en base al abajo ealizado y a los esul a-
dos ob enidos en el capí ulo cua o.
6. En el sex o y úl imo capí ulo se p esen an las e e encias u ilizadas pa a el desa ollo y la
documen ación del abajo.
Jun o a es e documen o, se p esen a un anexo que incluye el código de las e siones inales de
los p og amas desa ollados.
8
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
2 Sis ema de con ol
Se ha implemen ado un con olado median e ap endizaje i e a i o basado en los abajos de
Angela Schöllig, Ra aello D'and ea, y Fabian L. Muelle . El sis ema de con ol apa ece desc i o po
p ime a ez en [10], y se u iliza y desa olla ambién en [11] y [12].
F en e a los mé odos de con ol habi uales, basados en la ealimen ación de medidas en iempo
eal, se ha desa ollado un sis ema de con ol que ac úa en bucle abie o en cada ejecución.
Cuando se aplica una señal de en ada en bucle abie o, es a no se modi ica en e al plan inicial
du an e la ejecución. Po an o, pa a ejecu a el con ol en bucle abie o, debe u iliza se una
señal de en ada, concebida a p io i, con la que se espe e consegui una de e minada salida
deseada. Debido a que exis en uido y e o es, causados po nume osas uen es, a menudo
imposibles o di íciles de ene en cuen a, se p oduce un e o en e la señal de e e encia y la de
salida.
El sis ema de con ol comple o se puede di idi en un o al de es bloques o subsis emas que
ealizan a eas dis in as. En la igu a 2 se incluye un diag ama que mues a los es bloques y sus
in e conexiones.
El bloque del sis ema es á cons i uido po el sis ema eal a con ola . En el ámbi o de es e abajo
se sus i uye po un modelo que pe mi e se simulado. Es e modelo puede se de cualquie ipo,
mien as se pueda simula y p opo cione una salida sa is ac o ia pa a el uso que se le es é dando
(e.g. modelo numé ico).
Además del sis ema eal (o, como ya se ha dicho, modelo simulable), es necesa ia una ep esen-
ación del mismo en o ma de ma ices de es ados, a ian es o in a ian es en el iempo, pa a
pode aplica la ase de op imización. Es a ep esen ación, debido a que di ícilmen e se á pe -
ec a, end á di e encias con el sis ema eal que gene a án cie o e o a la salida.
El bloque del es imado iene la unción de es ima el e o epe i i o en e i e aciones, p o o-
cado po las ince idumb es en el modelo, igno ando el uido alea o io. Toma la salida medida
di ec amen e del sis ema, que incluye uido alea o io, y a a de elimina lo u ilizando un modelo
del sis ema y la in o mación de la señal de en ada. Como salida p opo ciona una es imación de
la di e encia en e la salida y la e e encia, habiendo ali iado el e ec o del uido. Es e uido elimi-
nado po el es imado es el p oducido po e o es en la medida, las limi aciones de los senso es,
y o as uen es que habi ualmen e gene an uido alea o io. Es di e en e del e o epe i i o, nom-
b ado en el pá a o an e io , que p o oca án, p incipalmen e las di e encias en e el sis ema eal
y el modelo.
9
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
El bloque de con ol, median e una e e encia dada, y el modelo del sis ema, o mula y esuel e
un p oblema de op imización con el que se ob iene una señal de en ada, que al aplica se al sis-
ema, debe ía hace que es e se compo a a siguiendo la e e encia p opo cionada. En [10], [11]
y [12], la e e encia que se in oduce en el p oblema de op imización es el e o que se ha p odu-
cido en la úl ima i e ación. De es a o ma se ob iene una en ada que, es ada a la u ilizada en la
i e ación an e io , se i ía pa a neu aliza los e o es. En es e abajo se ha desa ollado adicio-
nalmen e o o en oque, en el que al p oblema de op imización se le in oduce la e e encia abso-
lu a que deben segui las salidas, modi icada median e el e o , pa a ob ene la señal de en ada
al sis ema de o ma absolu a, y no ela i a a la usada p e iamen e.
La señal de en ada ob enida se aplica al sis ema en bucle abie o. Se mide la espues a del sis-
ema, pe o es a no se usa pa a con ola el sis ema en iempo eal a a és de con ol po eali-
men ación, sino que se almacena pa a p ocesa se en los bloques de es imación y con ol.
El p oceso se epi e de o ma i e a i a: Se aplica una señal de en ada, se mide el e o , se ac ua-
liza el p oblema de op imización, y se epi en los cálculos pa a mejo a la señal de en ada. Así, es
posible elimina el e o p o ocado po odas las uen es de uido que no cambian en e ejecu-
ciones del expe imen o. Los e o es o almen e alea o ios, sin emba go, no se eliminan con es a
es a egia de con ol, ya que son dis in os en cada ejecución y es imposible p edeci los. Pa a
minimiza los, se pod ían u iliza con olado es de bucle ce ado den o del p opio sis ema, ya
que son compa ibles con el con ol i e a i o desc i o [12].
En los apa ados siguien es de es e capí ulo se desc ibe la implemen ación del sis ema de con-
ol, la cual se ha ealizado ín eg amen e en Ma lab. Po an o, de mane a ilus a i a se incluyen
agmen os de código en es e lenguaje.
10
Figu a 2: Diag ama de bloques del sis ema de con ol. k hace e e encia al núme o de mues a
a lo la go de la simulación. j hace e e encia a la i e ación del bucle gene al.
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
2.1 De inición del sis ema con olado
El sis ema eal no iene ningún eque imien o especí ico pa a pode se con olado median e
es e esquema ILC. A g andes asgos, cualquie sis ema sob e el que pudie a aplica se un con ol
p edic i o ipo MPC, pod ía con ola se ambién con es a es a egia; añadiendo al conjun o los
sis emas demasiado ápidos como pa a u iliza en ellos ealimen ación en iempo eal.
2.1.1 Rep esen ación del modelo dinámico
Es muy p obable que a pa i del sis ema se pueda deduci un modelo que cap u e la esencia del
compo amien o dinámico del sis ema con la o ma dada po las ecuaciones di e enciales, no
lineales, a ian es en el iempo:
˙x( )= (x( ),u( ), )
y( )=g(x( ), )
(1)
Donde x( ) deno a los es ados del sis ema, u( ) las en adas, e y( ) las salidas.
x( )∈ℝnx
u( )∈ℝnu
y( )∈ℝny
(2)
Dado que se p e ende con ola el sis ema a lo la go de una ayec o ia especí ica; a pa i de las
ecuaciones 1, el compo amien o del sis ema se puede ap oxima en o no a la susodicha ayec-
o ia median e se ies de Taylo de p ime o den, dando como esul ado un sis ema lineal
a ian e en el iempo [10]:
˙x( )=A( )x( )+B( )u( )
y( )=C( )x( )+D( )u( )
(3)
Donde las ma ices A, B, C y D son las ma ices jacobianas a ian es en el iempo que de inen el
sis ema.
Dado que an o el sis ema de con ol como el es imado uncionan en iempo disc e o, se debe
disc e iza ambién el modelo, pa a ene conco dancia y que odo uncione adecuadamen e. Así,
las ecuaciones 3 se ans o man en un sis ema lineal disc e o a ian e en el iempo:
x(k+1)=A(k)x(k)+B(k)u(k)
y(k)=C(k)x(k)+D(k)u(k)
(4)
Mien as que la deducción según las ecuaciones 1→3→4 es opcional, sí es absolu amen e indis-
pensable dispone de un sis ema según la o ma de las ecuaciones 4 pa a la aplicación del sis-
ema de con ol.
11
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
2.1.2 Implemen ación
Con la inalidad de implemen a y p oba el mé odo de con ol desc i o p e iamen e, se ha de i-
nido, a bi a iamen e, un sis ema de dos es ados, dos en adas, y dos salidas.
U ilizamos la ep esen ación disc e a en o ma de ma ices de es ados A, B, C, y D. En p ime a
ins ancia, las de inimos in a ian es en el iempo.
x(k+1)=Ax(k)+Bu(k)
y(k)=Cx (k)+Du(k)
(5)
Conside amos nula la ma iz D, de o ma que las en adas no engan in luencia di ec a sob e las
salidas; y u ilizamos como la ma iz C la iden idad, de o ma que las salidas sean di ec amen e los
es ados. Los alo es dados son:
A=
[
0,9 0,01
0,02 0,85
]
, B=
[
1 0,1
0 1
]
, C=
[
1 0
0 1
]
(6)
Se de inen es icciones pa a los alo es lími e de las en adas, y a los alo es lími e de las salidas:
−0,15≤u1(k)≤0,15
−0,2≤u2(k)≤0,2
−0,05≤y1(k)≤0,9
−0,05≤y2(k)≤1,05
(7)
Que se in oducen en Ma lab median e:
A = [0.9, 0.01; 0.02, 0.85];
B = [1, 0.1; 0, 1];
C = eye(2);
U_max = [0.15; 0.2];
U_min = -1*[0.15; 0.2];
y_max = [0.9; 1.05];
y_min = -1*[0.05; 0.05];
Las e e encias pa a las dos salidas se han de inido ambién de mane a a bi a ia, y se pueden
e en la igu a 3.
2.2 Op imización
El p oceso de op imización se compone de una se ie de de iniciones iniciales; y un bucle donde
odas las i e aciones ealizan exac amen e el mismo p oceso, modi icándose únicamen e los
alo es de algunas de las a iables. Pa a acili a la explicación, se ha di idido es e apa ado en
dos secciones: La p ime a e e en e a las de iniciones, y la segunda e e en e al p oceso i e a i o
12
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
de op imización. A lo la go de ambos apa ados se explican las di e encias de implemen ación
en e aplica el con ol sob e las e e encias absolu as o sob e el ec o de e o únicamen e.
2.2.1 De iniciones
En base a las ma ices de desc ipción del sis ema se calculan dos elemen os esenciales pa a el
p oceso de op imización: La ma iz F y el ec o d. La p ime a desc ibe la espues a o zada del
sis ema, mien as que la segunda desc ibe la espues a lib e del sis ema (an e en adas nulas). La
espues a o al del sis ema se desc ibi á median e la suma de la espues a lib e y de la espues a
o zada.
x=Fu+d
(8)
Dado que nos encon amos en el ins an e inicial (al comienzo del expe imen o), y el ec o d se
i á ac ualizando con o me se ealicen i e aciones, nomb amos el segundo é mino de la ecuación
8 con el supe índice 0. Si además asumimos que se desean con ola odos los es ados, pode-
mos, opcionalmen e, asumi que los es ados son di ec amen e las salidas, ob eniendo la ecua-
ción 9.
y=Fu+d0
(9)
La o mulación simpli icada de la ecuación 9 es la que encon amos en [12]. En [10] la o mula-
ción desc i a es simila , pe o consis e en dos ecuaciones:
x=Fu+d0
y=Gx+Hu
(10)
Donde la ma iz G de ine la elación en e los es ados y las salidas, y la ma iz H la elación di ec a
en e las en adas y las salidas. La ma iz G es análoga a la ma iz C de la ecuación 4, y la ma iz H
es análoga a la ma iz D de la misma ecuación.
En [11] ambién se o mula en dos ecuaciones, pe o con un g ado de simpli icación in e medio,
ya que se omi e el segundo é mino de la segunda ecuación de 10:
x=Fu+d0
y=Gx
(11)
En úl ima ins ancia, odas las o mas de es as ecuaciones aluden a la misma es uc u a de ep e-
sen ación, y se deben u iliza unas u o as dependiendo de la complejidad del sis ema, que ha á
necesa ios odos los é minos, o pe mi i á omi i algunos.
1. El ec o d desc ibe la espues a lib e del sis ema. Tiene an as columnas como es ados
iene la ma iz A, y a lo la go de las ilas se a desa ollando la e olución lib e p edicha. Su
alo inicial se de ine de la siguien e mane a:
13
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
d0=[~
x0, AD(0)~
x0, AD(1)AD(0)~
x0,…,∏
q=0
N−1
AD(q)~
x0]T
(12)
Donde N es el núme o de mues as pa a el cual se quie e ealiza el cálculo. Al mul ipli-
ca se sucesi amen e el ec o de es ados inicial po la ma iz A, se ob iene, en cada ila, el
ec o de es ados p edicho pa a cada ins an e de iempo q. Es a o ma es la dada po [10]
pa a el mismo ec o d0.
El ec o d se ac ualiza á cada ez que se ejecu e una i e ación del expe imen o, y se
enca ga á de e ene la in o mación que pe mi e al sis ema de con ol mejo a la e icacia
de las señales (desa ollado en los apa ados pos e io es 2.2.2.2 y 2.3.2).
2. La ma iz F desc ibe la espues a o zada del sis ema. Es una ma iz iangula in e io y
se de ine, como apa ece en [10], median e:
F(l,m)=
{
AD(l−1)…AD(m+1)BD(m)
BD(m)
0
si m <l−1
si m =l−1
si m >l−1
}
(13)
3. La ma iz G desc ibe la elación en e los es ados y las salidas del sis ema. Es una ma iz
diagonal po bloques y se de ine, como apa ece en [10], median e:
G(l,m)=
{
CD(l)
0
si l=m
encualquie o ocaso
}
(14)
4. La ma iz H desc ibe la elación di ec a en e las en adas y las salidas del sis ema. Es una
ma iz diagonal po bloques y se de ine, como apa ece en [10], median e:
H(l,m)=
{
DD(l)
0
si l=m
encualquie o o caso
}
(15)
Con es os elemen os de inidos, podemos de ini el p oblema de op imización de la siguien e
mane a:
min
uj+1
‖Fuj+1+dj− e ‖l
(16)
Donde j indica el índice de i e ación, l (el subíndice al inal de la ecuación) indica el o den de la
no ma, y e ep esen a el ec o de e e encias. Si se p e ie e, es posible calcula únicamen e la
a iación en la en ada pa a con a es a el e o , y deja apa e el seguimien o de las e e en-
cias, desembocando en la o ma dada po [10]:
min
uj+1
‖Fuj+1+dj‖l
(17)
14
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
La no ma escogida a ec a a la con e gencia y al esul ado [10], siendo las más comunes las no -
mas 1, 2 e ∞. Elegimos la no ma 2 o no ma Eúclidea debido a que es la más na u al, y a que pe -
mi e o mula la ecuación 16 (o 17) como un p oblema de op imización con exo. La no ma Euclí-
dea se minimiza con la siguien e ecuación [10]:
min
uj+1
(Fuj+1+dj)T(Fu j+1+dj)
(18)
2.2.2 Resolución del p oblema de op imización
Pa a esol e el p oblema de op imización se ha u ilizado el comando quadp og de Ma lab, que
u iliza la sin axis desc i a a con inuación:
u = quadp og(Fqp,dqp,Rc,b)
Que minimiza
1
2uTFqp u+dqp
Tu
suje o a las es icciones
Rc⋅u≤b
.
Po an o, se deben ans o ma la ecuación 18 y las es icciones de inidas en el apa ado 2.1
pa a adap a se a la o ma eque ida. Pa a ello se ealizan las siguien es ans o maciones de la
ecuación 18:
min
uj+1
(Fuj+1+dj)T(Fuj+1+dj)
min
uj+1
(uj+1
TFT+dj
T)(Fu j+1+dj)
min
uj+1
uj+1
TFTF uj+1+uj+1
TFTdj+dj
TFu j+1+dj
Tdj
(19)
De donde deducimos, sepa ando los é minos según el exponen e del ec o u que:
Fqp=2FTF
dqp =2djF
(20)
La ans o mación de las es icciones es mucho más di ec a ya que las ecuaciones 21 implemen-
an los lími es supe io e in e io pa a el ec o de en adas; y las ecuaciones 22 implemen an los
lími es supe io e in e io pa a las salidas. Pa a aplica odas al mismo iempo bas a con conca e-
na e icalmen e las ma ices y los ec o es.
I⋅u≤umax
−I⋅u≤−umin
(21)
F⋅u≤ymax−dj
−F⋅u≤−ymin+dj
(22)
Donde umax es un ec o columna con los alo es máximos pe mi idos pa a cada en ada e ins-
an e empo al, y donde el es o de cons an es uncionan análogamen e. En el caso de calcula
15
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
solamen e la a iación en la en ada pa a con a es a el e o , debe modi ica se la o mulación
de las ecuaciones 21 y 22, esul ando en las ecuaciones 23 y 24. Así, las es icciones siguen e i-
iéndose a los alo es absolu os de las señales, y no a la a iación.
I⋅u≤umax−uj−1
−I⋅u≤−umin+uj−1
(23)
F⋅u≤ymax−yj−1
−F⋅u≤−ymin+yj−1
(24)
Se incluyen ambién dos ma ices de pesos R y Q. Ambas son ma ices diagonales cuyo amaño
depende espec i amen e del núme o de en adas y el núme o de salidas, y ambas de la longi ud
del expe imen o.
•La ma iz R se u iliza pa a da más p io idad a algunas pa es de la ayec o ia, o a algunas
salidas sob e o as. Un núme o mayo indica mayo impo ancia sob e los demás, mien-
as que un ce o indica que no se iene en cuen a.
•La ma iz Q si e pa a penaliza los alo es al os en las en adas: Núme os mayo es en Q
esul a án en señales con alo es más pequeños, mien as que una ma iz Q de ce os no
ponde a ía las en adas.
A con inuación se mues a el código de Ma lab pa a el p oceso explicado.
= [1; 1]; % Cuán o impo a cada salida espec o de la o a
R_ = epma ( , long, 1);
R_ = diag(R_);
q = [1; 1]; % Penalización a las en adas
Q_ = epma (q, long, 1);
Q_ = diag(Q_);
% ans o ma pa a quadp og
Fqp = 2*((F'*R_*F)+Q_);
Fqp = (Fqp+Fqp')/2; % o za sime ía
Y se e o mulan las es icciones pa a da les la o ma eque ida po quadp og.
Rc = [];
b = [];
i u lag == 1
Rc = [Rc; eye(nu*long); -1*eye(nu*long)];
b = [b; epma (u_max, long, 1); -1* epma (u_min, long, 1)];
end
i y lag == 1
Rc = [Rc; G*F; -1*G*F];
b = [b; epma (y_max, long, 1) - G*d(:,i e a ion); -1* epma (y_min,
long, 1) + G*d(:,i e a ion)];
16
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
En elec ónica, el uido es una pe u bación no deseada en una señal eléc ica [13], es gene ado
po muy di e sas azones e innume ables uen es, y suele es a siemp e p esen e. Pod íamos
deci que un caso eal en ingenie ía de con ol no es á comple o si no enemos en cuen a el
uido.
Pa a minimiza lo, u ilizamos un il o de Kalman, capaz de p opo ciona una salida óp ima e in e-
g a se jun o al p oceso de op imización [10][11][12].
“El il ado de Kalman es un p oceso de es imación de es ados óp imo aplicado a un
sis ema dinámico que incluye pe u baciones alea o ias. Más p ecisamen e, el il o
de Kalman p opo ciona un algo i mo ecu si o lineal, no sesgado y con mínima
a iación de e o pa a es ima óp imamen e el es ado desconocido de un sis ema
dinámico a pa i de da os uidosos omados en iempo eal disc e o.” [14]
Pa a hace el sis ema más ealis a en e al apa ado 2.2.2.2, aplica emos uido adi i o sob e la
señal de en ada al sis ema y sob e la señal de salida. Ambas señales de uido se ajus a án a una
dis ibución no mal y end án media ce o, la des iación es ánda se explo a á p obando a ios
alo es pa a obse a la a iación en el compo amien o y los limi es de uncionamien o. La asun-
ción de que el uido es Gaussiano (se ajus a a una dis ibución no mal) es habi ual, unciona bien
en la mayo ía de los casos, y, de hecho, es necesa ia pa a que las ecuaciones p incipales del il o
de Kalman se puedan deduci (pa a el uncionamien o óp imo) [15].
Se han elabo ado y pues o a p ueba dos en oques pa a el il o de Kalman: Uno clásico, basado
en mues as empo ales, y es imaciones y p edicciones ealizadas pa a cada ins an e; y uno
adap ado a la es uc u a del sis ema de con ol, basado en i e aciones, que ealiza a pos e io i
es imaciones pa a odos los ins an es empo ales po los que ha pasado cada a iable.
2.3.1 Fil o de Kalman basado en el iempo
El en oque clásico del il o de Kalman supone que el sis ema se ejecu a en iempo eal, y a a de
ob ene una es imación del es ado del sis ema, en un momen o p eciso, en base a los da os
ob enidos has a ese momen o. Es o p opo ciona una solución muy adecuada pa a la mayo ía de
si uaciones, ya que con ola sis emas en iempo eal a a és de un bucle ce ado de ealimen a-
ción es lo más habi ual en ingenie ía de con ol. Sin emba go, es a es a egia no se ajus a a la
es uc u a del p oblema p esen e.
Po una pa e, al ejecu a el expe imen o comple o y ecoge odas las medidas an es de aplica
el il ado, se pod ían u iliza odas las mues as (incluidas las de mues as pos e io es) pa a eali-
za la p edicción de odos los ins an es; algo que un il o diseñado pa a unciona en iempo eal
23
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
no con empla ya que es a ía en ando en el dominio de la no causalidad. En consecuencia, no
es a íamos ap o echando las posibilidades de abaja con las medidas de odo el expe imen o.
Po o a pa e, pa imos de que exis en di e encias conside ables en e el modelo del sis ema
eal y es imado. Si es as di e encias son g andes, el il o de Kalman clásico no es capaz de da
buenos esul ados, ya que el ajus e de la ganancia no puede cub i adecuadamen e el comp o-
miso en e la iabilidad del modelo y la de las medidas. Pa a demos a es o, se ha implemen ado
un il o de Kalman a ian e en el iempo con ac ualización au omá ica de la ganancia sob e un
sis ema simila al desc i o en el apa ado 2.2.2.2. Se de inen en el lis ado a con inuación las ecua-
ciones que de inen el il o [16]:
1. Conside amos una plan a disc e a con uido Gaussiano adi i o en la en ada w[n] y en la
salida [n].
x[x+1]=Ax [n]+Bu[n]+Gw[n]
y[n]=Cx [n]+ [n]
(26)
2. El il o de Kalman cons a á de las ecuaciones de medida y ac ualización:
^
x[n∣n]=^
x[n∣n−1]+M[n]( y[n]−C^
x[n∣n−1])
M[n]=P[n∣n−1]CT(R[n]+CP[n∣n−1]CT)−1
P[n∣n]=(I−M[n]C)P[n∣n−1]
(27)
^x[n+1∣n]=A^x[n∣n]+Bu [n]
P[n+1∣n]=A P[n∣n]AT+GQ[n]GT
(28)
Donde R y Q son las ma ices de co a ianza de uido y se de inen:
Q[n]=E(w[n]w[n]T)
R[n]=E( [n] [n]T)
(29)
Siendo E la unción que indica el alo espe ado.
A con inuación se mues a el código de Ma lab que implemen a las ecuaciones 27, 28 y 29 pa a
un expe imen o ya ejecu ado del que se ienen los ec o es comple os de la salida medida y de la
en ada aplicada:
P = B*Q*B'; % Ini ial e o co a iance
xe = x(:,1); % Es ados iniciales
ye = ze os( _ inal,ny); % Salida es imada
o i = 1: _ inal
% Ac ualización de las medidas
Mn = P*C'/(C*P*C'+R);
xe = xe + Mn*(y (i,:)'-C*xe); % x[n|n]
P = (eye(nx)-Mn*C)*P; % P[n|n]
24
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
ye(i,:) = C*xe; % Salida es imada
% Ac ualización de iempo
xe = A*xe + B*u(i,:,1)'; % x[n+1|n]
P = A*P*A' + B*Q*B'; % P[n+1|n]
end
Si pa a simpli ica se elimina el e o en la en ada y se u iliza el il o de Kalman pa a educi úni-
camen e el e o en la salida, podemos comp oba en las ecuaciones 27, 28 y 29 que el il o con-
ía ín eg amen e en el modelo e igno a las medidas. Es o no es mues a de un mal unciona-
mien o po pa e del il o, ya que pa a su u ilización se p esupone que se iene un modelo ela i-
amen e bueno de la plan a. Sin emba go, en nues o sis ema, donde se busca obus ez en e a
modelos “malos”, nos encon amos con una limi ación.
Se ha pues o a p ueba la e icacia del il o pa a una plan a y un modelo lige amen e di e en es
(simila a los modelos desc i os en el apa ado 2.2.2.2), uido Gaussiano únicamen e en la salida,
y ma ices de co a ianza Q y R no nulas. De es a o ma el il ado en o no al uido de en ada
colabo a á a educi el e o debido a la di e encia de modelos. En la igu a 10 podemos obse a
como pa a alo es pequeños de Q la salida se aleja mucho an o de la eal como de la medida,
mien as que pa a alo es g andes de Q la salida se ace ca mucho a la señal uidosa, sin elimina
apenas el uido. En la abla 2 podemos e como el e o cuad á ico medio de las es imaciones
iene su mínimo con alo es pequeños de Q, donde coincide con el de la medida. Concluimos po
an o que es e ipo de il o no unciona adecuadamen e pa a es e p oblema.
Tabla 2: E o cuad á ico medio de la salida medida y las es imaciones en e a la salida eal u ilizando un il o
de Kalman con encional.
Salida 1 Salida 2
Salida medida 0,0009 0,0010
Es imación Q = 0,0001 0,0260 0,0125
Es imación Q = 0,001 0,0020 0,0024
Es imación Q = 0,01 0,0009 0,0010
25
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
2.3.2 Fil o de Kalman basado en i e aciones
El il o de Kalman p opues o pa a es e p oceso de con ol es á cons uido sob e el dominio de
las i e aciones, y e iene oda la in o mación disponible de las ejecuciones p e ias del expe i-
men o [10][11][12]. La es uc u a, a g andes asgos, es la misma que la del il o clásico, pe o los
da os que a a son más amplios, las a iables que u iliza son ambién mayo es y, además, se
ajus an a un o igen del uido di e en e al del en oque clásico.
El obje i o del il o de Kalman en el dominio de las i e aciones es es ima el ec o
^
dj
de inido
en el apa ado 2.2.1. Es e ec o cambia de una i e ación a o a, y es os cambios se deben, p inci-
palmen e, a las di e encias en e el modelo y el sis ema eal. Es la ac ualización de es e ec o , y
la consiguien e ac ualización de la en ada uj( ), la que pe mi e compensa po esos e o es. Pa a
un caso en el que exis a una solución ac ible, y la en ada uj( ) con e ja, la secuencia dj con e -
26
Figu a 10: Es imaciones de la salida del sis ema median e un il o de Kalman a ian e en el
iempo.
0 20 40 60 80 100 120 140 160 180 200
Mues as
0
0.5
1
1.5
Salida 1
Respues a del il o de Kalman a ian e en el iempo
Salida eal
Salida con uido
Es imación Q = 0.0001
Es imación Q = 0.001
Es imación Q = 0.01
0 20 40 60 80 100 120 140 160 180 200
Mues as
-0.1
-0.05
0
0.05
0.1
0.15
0.2
0.25
0.3
E o en la salida 1
Salida con uido
Es imación Q = 0.0001
Es imación Q = 0.001
Es imación Q = 0.01
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
ge á ambién [10]. Du an e la es imación, el il o end á en cuen a, como es lógico, las uen es de
e o en el sis ema.
Se desa olla el il o a a és de la siguien e se ie de ecuaciones y pasos [10][12]:
1. La dinámica de la a iable dj a a és de las i e aciones se de ine:
dj=dj−1+
ω
j−1
(30)
Donde podemos asumi que ωj es una secuencia de uido Gaussiano no co elacionada
en e i e aciones.
ω
j∼N(0,Ωj)
(31)
Donde Ωj es un pa áme o de diseño que indica cuan o se espe a que cambie dj en e
una i e ación y la siguien e. Una posible de inición es
Ωj=
ϵ
jI
, donde
ϵ
j<
ϵ
j−1
, ya
que que emos que el sis ema con e ja.
Cada alo de la ma iz Ω indica cuán o se quie e ene en cuen a el e o en un ins an e
de iempo de ca a al p oceso de ap endizaje. Un ce o indica que el e o en ese ins an e
no se iene en cuen a, como si no hubie a ocu ido. Po el con a io, un e o g ande p o-
oca una g an espues a al e o ocu ido en ese momen o.
Los alo es de la diagonal más ce canos a la esquina supe io izquie da de la ma iz
hacen e e encia a los ins an es de iempo más ce canos al inicio, mien as que los alo-
es ce canos a la esquina in e io de echa hacen e e encia a los ins an e de iempo más
ce canos al inal. Los alo es ue a de la diagonal hacen e e encia al e o co elacionado
en e dis in as salidas o ins an es de iempo.
2. Uniendo es o a las ecuaciones 10 de de inición del sis ema, ob enemos las ecuaciones del
il o:
dj=dj−1+
ω
j−1
yj=Gd j+(GF+H)uj+
μ
j
(32)
Donde μj es una secuencia de uido Gaussiano, o almen e independien e de ωj, ca ac e i-
zada po :
μ
j∼N(0,Μj)
(33)
Al igual que Ωj, Μj es un pa áme o de diseño que debe ía coincidi con la co a ianza de
los e o es del uido del sis ema y de los senso es u ilizados. Sin emba go, no necesi a se
muy p eciso, y
Μj=
η
jI
suele se su icien e [12].
27
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
El a io en e Ωj y Μj se á lo que especi ique la elación en e la con ianza el modelo del
sis ema y la con ianza en las medidas. Debido a su de inición, Μj no cambia mucho a lo
la go de las i e aciones, po lo que puede pe manece cons an e. Al comienzo, es p oba-
ble que pa amos de un modelo malo, y con iene con ia más en las medidas. Con o me
se ejecu an i e aciones y se ac ualiza el ec o d, podemos aumen a la con ianza en el
modelo eno ado, y educi la ma iz de co a ianza Ωj.
3. De iniendo ambién la a ianza del e o :
Pj∣j=E[(dj−^
dj∣j)(dj−^
dj∣j)T]
(34)
Pa a ob ene el alo inicial de la ma iz P u ilizamos el cálculo de d0 con la ecuación 12,
pe o necesi amos da una es imación inicial del ec o
^
dj∣j
. Una es imación inicial azo-
nable suele se
^
dj∣j=0
.
4. Ob enemos las ecuaciones del il o de Kalman que calculan la ganancia óp ima pa a
nues o plan eamien o:
Pj∣j−1=Pj−1∣j−1+Ωj−1
Θj=GP j∣j−1GT+Mj
Kj=Pj∣j−1GTΘj
−1
Pj∣j=(I−KjG )Pj∣j−1
(35)
5. Una ez calculada la ganancia Kj, el ec o dj|j se calcula median e:
^
dj∣j=^
dj−1∣j−1+Kj(yj−G^
dj−1∣j−1−(GF+H)uj)
(36)
A con inuación se incluye el código de Ma lab que implemen a las ecuaciones 34, 35 y 36. Nó ese
que la ac ualización del ec o d es di e en e de la empleada en el apa ado 2.2.2.2, aunque las
dos ienen la misma inalidad.
Omega = diag(epsilon*ones(396,1));
...
P = d(:,1)*d(:,1)'; % P ime a es imación de la ma iz P ( il o de uido)
...
% Ac ualización de la ganancia K
P = P + Omega;
The a = G*P*G' + M_;
K = P*G'/The a; % P*G'*in (The a)
P = ( eye(nx*(long)) - K*G )*P; % (I-KG)*P
Omega = Omega/10;
% Ac ualización del ec o d
y_aux = y(:,:,i e a ion);
e_ = (y_aux(1:long*ny)' - G*F* emp);
d(:, i e a ion + 1) = d(:, i e a ion) + K*(e_ -G*d(:, i e a ion)); % d = d
+ K(y -G*d -(GF+H)*u
28
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
2.3.2.1 Aplicación del il o
Se ha pues o a p ueba el il o pa a un sis ema simila al u ilizado en el apa ado an e io (2.3.1),
con uido Gaussiano aplicado únicamen e en la salida. De inimos inicialmen e Ω como una ma iz
diagonal
Ω0=
ϵ
0I
con
ϵ
0=0,02
, y en las i e aciones pos e io es ac ualizamos de acue do
con
ϵ
j=
ϵ
j−1/10
. La ma iz Μj se ha de inido con la a ianza del uido Gaussiano aplicado y no
se ha modi icado. Se ha ejecu ado el expe imen o con diez i e aciones pa a obse a el ap endi-
zaje.
En la igu a 12 podemos e cómo el sis ema con e ge ápidamen e, y a pa i de la cua a i e a-
ción los cambios en las salidas son casi impe cep ibles. En la igu a 13 podemos e cómo las
en adas ambién con e gen adecuadamen e. P esen an bas an e izado debido al uido Gaus-
siano adi i o en la salida. Dependiendo de los ac uado es y de las condiciones eales de la imple-
men ación, es o pod ía supone un incon enien e. Pa a e i a lo, pod ía il a se la salida an es de
aplica la. En la igu a 11 comp obamos, a a és del e o cuad á ico medio, que el sis ema de
con ol con e ge comple amen e al ededo de la sex a i e ación, y que a pa i de allí los cambios
son muy pequeños, debiéndose p obablemen e al uido alea o io. Po an o, p obamos que es e
il o unciona muy bien con es a es uc u a de con ol, y que además se complemen a pe ec a-
men e con la esolución del p oblema de op imización, con e giendo an ápidamen e como en
el caso sin uido (apa ado 2.2.2.2).
29
Figu a 11: E olución del e o cuad á ico medio de las salidas pa a cada i e ación u ilizando un
il o de Kalman basado en i e aciones.
12345678910
I e ación
10-4
10-3
10-2
10-1
100
E o cuad á ico medio
Salida 1
Salida 2
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
30
Figu a 12: Salidas del sis ema a lo la go de diez i e aciones con uido y il o de Kalman basado en i e aciones.
A pa i de la cua a i e ación las ayec o ias se solapan, po lo que no se incluyen en la leyenda.
0 50 100 150 200
Mues as
-1
-0.5
0
0.5
1
1.5
2
Salida 1 del sis ema
Re . 1
j=1
j=2
j=3
0 50 100 150 200
Mues as
-0.2
0
0.2
0.4
0.6
0.8
1
1.2
1.4
Salida 2 del sis ema
Re . 2
j=1
j=2
j=3
Figu a 13: En adas del sis ema a lo la go de diez i e aciones, con uido y il o de Kalman basado en
i e aciones. A pa i de la cua a i e ación las ayec o ias se solapan, po lo que no se incluyen en la
leyenda.
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
2.3.2.2 Adición de odas las uen es de uido
Pa a comple a el escena io añadimos uido adi i o a la en ada (además de a la salida), y es ima-
mos de o ma inexac a la co a ianza del uido adi i o.
Simulamos un sis ema simila al de los casos an e io es y obse amos en la igu a 15 que a pesa
de la g an can idad de uido el sis ema con e ge ápidamen e. Comp obamos además en la
igu a 14, a a és del e o cuad á ico medio, que con e ge en apenas es i e aciones, y, a pa i
de en onces, el e o oscila debido a la g an can idad de uido.
31
Figu a 14: E olución del e o cuad á ico medio de las salidas a lo la go de diez
i e aciones con odas las uen es de uido y un il o de Kalman basado en i e aciones.
12345678910
I e ación
10-3
10-2
10-1
E o cuad á ico medio
Salida 1
Salida 2
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
2.3.3 Fil ado de la señal de en ada
En si uaciones muy uidosas, como la simulada en el apa ado an e io (2.3.2.2), puede se con e-
nien e hace un il ado de la señal de en ada pa a elimina los cambios muy ápidos. Es os cam-
bios muy ápidos, que pod íamos llama i ones o sacudidas, son a i icios de al a ecuencia p o-
ocados po el uido Gaussiano que se ansmi e de las medidas a las en adas a a és del p o-
ceso de op imización. Si bien en un en o no de simulación es os i ones son o almen e inocuos,
pueden p o oca daños al aplica se a disposi i os eales como mo o es eléc icos.
El obje i o de es e il ado es el sua izado de la señal de en ada. Pa a ello exis en nume osas
écnicas, como la media mó il [17], la media de las en ol en es [18], los il os paso bajo o los il-
os Sa i zky-Golay [18]. Pa a es e p oyec o se ha implemen ado un il o de paso bajo ipo Bu e-
wo h, ya que es un il o muy elemen al, ácil de aplica , y su icien emen e bueno.
Un eque imien o impo an e a ene en cuen a es que el il o debe no gene a des ase en nin-
guna ecuencia. Pa a ello se ha ealizado un il ado digi al de ase ce o median e la unción il il
de Ma lab. Es a unción, después de il a los da os en la di ección na u al, in ie e la secuencia
il ada y la uel e a pasa po el il o. El esul ado iene dis o sión de ase ce o, y un o den de il-
ado que es el doble del o den del il o especi icado [19]. En la igu a 16, donde se supe ponen
32
Figu a 15: Salidas del sis ema a lo la go de diez i e aciones con odas las uen es de uido y el il o de Kalman
basado en i e aciones. Las en adas solapadas no se mues an en la leyenda.
0 50 100 150 200
Mues as
0
0.2
0.4
0.6
0.8
1
1.2
1.4
Salida 1 del sis ema
Re . 1
j=1
j=2
j=3
0 50 100 150 200
Mues as
-0.2
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
Salida 2 del sis ema
Re . 2
j=1
j=2
j=3
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
En segundo luga , las medidas se mul iplexan en un solo ec o de medidas, pa a maneja las más
cómodamen e.
En e ce luga , se aplica uido Gaussiano adi i o a las cua o medidas. Todas las señales de uido
ienen media ce o e igual a ianza, y se implemen an con el bloque de Simulink Random Numbe .
Dado que es e bloque u iliza semillas pa a pode ob ene epe ibilidad, y se busca que el uido
no es é co elacionado en e señales ni en e i e aciones, u ilizamos como semillas núme os
alea o ios en e 1 y 10⁹. En la igu a 22 se pueden e los bloques empleados y las conexiones
en e ellos.
3.1.3 Manejo de la señal de en ada
La señal de en ada se calcula comple amen e en bucle abie o, po lo que se in oduce un ec o
comple o al modelo de Simulink. Lógicamen e, al sis ema mecánico hay que in oduci le los da os
de en ada uno a uno, po lo que es necesa io secuencia el ec o de en ada. Pa a ello se ha
u ilizado un con ado disc e o y una unción de código de Ma lab. El con ado iene el mismo
iempo de mues eo que la señal de en ada, y la unción u iliza el núme o dado po el con ado
pa a accede al da o del ec o con el mismo índice. El código de la unción se esume po an o
en una sola línea, que se incluye a con inuación.
u_s = u( 2+1);
Pos e io men e, se suma a la señal un uido Gaussiano de media ce o, y a ianza in e io a la que
se añade a las señales de salida, u ilizando el mismo mé odo que con es as. Po úl imo, se u iliza
un hold de p ime o den, ya que una señal disc e a se a a in oduci en un modelo con inuo. En
la igu a 23 se pueden e odos los bloques empleados y las conexiones en e ellos.
39
Figu a 22: Bloques del modelo de Simulink que implemen an la lec u a de los
senso es.
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
3.2 Modelo del sis ema
Pa a aplica el sis ema de con ol es necesa io un modelo del sis ema lineal, de inido en ma ices
de espacio de es ados, que pe mi a la cons ucción de las ma ices is as en el capí ulo 2. Debido
a que el péndulo es un sis ema no lineal, es necesa io linealiza lo.
Pa a ello se p oponen dos opciones: La linealización de las ecuaciones dinámicas del sis ema en
o no a la ayec o ia, y la iden i icación de sis emas.
En la igu a 24 se mues an los pasos p incipales de los dos p ocesos p opues os de ob ención
de modelos lineales.
40
Figu a 23: Bloques del modelo de Simulink que a an la señal de en ada.
Figu a 24: Diag ama con los pasos p incipales de cada mé odo pa a ob ene modelos lineales.
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
El p oceso de la pa e supe io del diag ama consis e en la deducción de las ecuaciones de es a-
dos no lineales a pa i de las ecuaciones de equilib io dinámico, la linealización de dichas ecua-
ciones de es ados a lo la go de las ayec o ias de e e encia, y la disc e ización de los sis emas
lineales ob eniendo un sis ema lineal a ian e en el iempo (LTV). Se desc ibe en de alle en el
apa ado 3.2.1.
El p oceso de la pa e in e io del diag ama consis e en la ejecución de un expe imen o con una
en ada p econcebida que lle e al sis ema medianamen e ce ca de las ayec o ias deseadas.
Con las medidas de ese expe imen o se ealiza una iden i icación del sis ema a a és de écnicas
de al o ni el que ienen como esul ado, en es e caso, un sis ema lineal in a ian e en el iempo
(LTI). Se explica en de alle en el apa ado 3.2.2.
3.2.1 Linealización de las ecuaciones dinámicas
En base a un esquema como el de la igu a 18 se pueden deduci las ecuaciones de equilib io
dinámico del sis ema. En las ecuaciones 41 se igno a el peso del b azo del péndulo mb, ya que es
pequeño en elación al del péndulo mp, simpli ica las ecuaciones, y con amos con que el ap endi-
zaje i e a i o co egi á es e ipo de e o es.
{
(mc+mp)¨
x+mplp¨
φ
cos(
φ
)−mplp˙
φ
sin2(
φ
)=F
mplp¨
xcos(
φ
)+mplp
2¨
φ
−mpglpsin (
φ
)=0
}
(41)
Desde el pun o de is a ma emá ico, la no linealidad se debe p incipalmen e a las unciones igo-
nomé icas que pueden obse a se en las ecuaciones 41. La ayec o ia que que emos que desa-
olle el péndulo aba ca desde la pa e baja donde
φ
=
π
±2
π
n
, has a la pa e al a donde
φ
=0±2
π
n
, es deci , la mi ad del ango de las unciones igonomé icas como mínimo. Po
an o, la linealización de es e sis ema no es i ial. Pa a compensa lo, es posible u iliza , en caso
de necesidad, un modelo a ian e en el iempo, en el que cada ins an e empo al co esponda
con la linealización del modelo en el pun o de la ayec o ia en el que se espe a que es é.
En base a las ecuaciones 41, despejando
¨
φ
y
¨
x
ob enemos las ecuaciones 42.
{
¨
φ
=
(mc+mp
mp
g−lp˙
φ
2cos(
φ
))sin(
φ
)
lp(mc
mp
+sin2(
φ
))
−cos(
φ
)F
mplp(mc
mp
+sin2(
φ
))
¨
x=−gsin(
φ
)cos(
φ
)+lp˙
φ
2sin (
φ
)
mc
mp
+sin2(
φ
)
+F
mc+mpsin2(
φ
)
}
(42)
41
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
De iniendo el ec o de es ados
[
φ
,˙
φ
,x , ˙x]
, se puede esc ibi la ecuación de las de i adas de
los es ados 43.
[
˙
φ
¨
φ
˙
x
¨
x
]
=
[
˙
φ
(mc+mp
mp
g−lp˙
φ
2cos(
φ
))sin(
φ
)
lp(mc
mp
+sin2(
φ
))
˙
x
−gsin(
φ
)cos(
φ
)+lp˙
φ
2sin (
φ
)
mc
mp
+sin2(
φ
)
]
+
[
0
−cos(
φ
)
mplp(mc
mp
+sin2(
φ
))
0
1
mc+mpsin2(
φ
)
]
F
(43)
De i ando pa cialmen e espec o a los cua o es ados ob enemos las ma ices jacobianas A y B.
A=
[
0 1 0 0
˙
φ
2sin2
φ
sin2
φ
+mc
mp
−
cos
φ
(lpcos
φ
˙
φ
2−g(mc+mp)
mp
)
lp(sin2
φ
+mc
mp
)
+
2 cos
φ
sin2
φ
(lpcos
φ
˙
φ
2−g(mc+mp)
mp
)
lp(sin2
φ
+mc
mp
)
2
−2˙
φ
cos
φ
sin
φ
sin2
φ
+mc
mp
0 0
0 0 0 1
lp˙
φ
2cos
φ
−gcos2
φ
+gsin2
φ
sin2
φ
+mc/mp
+2cos
φ
sin
φ
(−lpsin
φ
˙
φ
2+gcos
φ
sin
φ
)
(sin2
φ
+mc
mp
)
2
2lp˙
φ
sin
φ
sin2
φ
+mc
mp
0 0
]
(44)
B=
[
0
−cos
φ
lpmp(sin2
φ
+mc
mp
)
0
1
mp(sin2
φ
+mc
mp
)
]
(45)
Sus i uyendo en las ma ices jacobianas (44 y 45) las cons an es po sus alo es, y las a iables
po el alo cen al del ango en el que se quie e linealiza , se ob iene un sis ema lineal con inuo
de inido en espacio de es ados po las ma ices A y B. Es os sis emas linealizados es án cen a-
dos siemp e en ce o, pa a odos los es ados. Po an o, si se oma un pun o en el que los es ados
no son ce o, el alo de los es ados debe ía suma se a la salida del sis ema pa a que coincidan el
alo de los sis emas eal y linealizado. Po ejemplo, en la pa e baja del péndulo, y pa a cie o
alo de las cons an es, se sus i uyen los siguien es alo es en las ma ices:
42
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
% Cons an es
lp = 0.30;
mp = 0.150;
mc = 1.5;
g = -9.81;
% Pa e baja del péndulo
phi0 = -pi;
phi1 = 0;
x0 = 0;
x1 = 0;
Con lo que se ob ienen las ma ices A0 y B0:
A0=
[
0 1 0 0
35,97 0 0 0
0 0 0 1
0,981 0 0 0
]
, B0=
[
0
2,222
0
0,667
]
(46)
Pa a que el modelo emule co ec amen e el compo amien o del péndulo mó il, an o el ángulo
φ como la elocidad angula deben encon a se ce ca de −π y 0 espec i amen e. Sin emba go,
en el sis ema de inido po A0 y B0 odos los es ados se mue en al ededo del 0, po lo que, pa a
hace coincidi los c i e ios, se suma ía pos e io men e −π al ángulo φ.
Si se desea modela el compo amien o del péndulo, desde la pa e baja (
φ
=−
π
) has a la
pa e al a (
φ
=0
), pa a pode cumpli la hipó esis de ángulos pequeños, es necesa io c ea un
modelo a ian e en el iempo di idiendo la ayec o ia en e sis emas linealizados que expliquen
el compo amien o en cada zona. En la igu a 25 se esboza una posible di isión de la ayec o ia
del péndulo en sec o es, cada uno ep esen ado po un sis ema linealizado dis in o, con sendas
ma ices A y B.
43
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
Es a es a egia p esen a un p oblema: Al cambia de una zona de linealización a o a, el alo de
los es ados debe ía cambia consecuen emen e pa a cen a el ce o en el pun o de equilib io. La
o mación del ec o d (12) y la ma iz F (13) equie e las ma ices A( ) y B( ) en odo el ango em-
po al, y no pe mi e el ajus e del alo de los es ados en ins an es in e medios.
Pa a soluciona lo se cambia el sis ema de e e encia sob e el que abaja el sis ema de con ol:
En el caso de que e calcula solamen e la a iación de la en ada pa a con a es a el e o
almacenado en el ec o d, la e e encia que se in oduce en el p oblema de op imización es nula
pa a odas las ayec o ias. Es o se debe a que una señal de en ada p e ia se enca ga de guia al
sis ema en una ayec o ia mínimamen e ce cana a la e e encia, lo que pe mi e que la a ea del
con ol sea calcula un inc emen o en la en ada que lle a á el e o a una e e encia ce o. Así, en
ez de in oduci las e e encias en el p oblema de op imización y pedi le una en ada que se
ajus e a ellas, se in oduce solamen e el e o medido p e iamen e en el p oblema de op imiza-
ción, y se pide una en ada que anule el e o . Si conside amos que los e o es en la ayec o ia
son ela i amen e pequeños, abaja emos siemp e con des iaciones pequeñas y ce ca del ce o,
con lo que cumplimos las condiciones de u ilización de los sis emas linealizados.
44
Figu a 25: Di isión en sec o es de la ayec o ia del péndulo. La
línea de aya y pun o indica la posición en la que se ealiza la
linealización. Las posiciones ep esen adas del péndulo indican
el lími e de cada sec o .
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
Cuando el sis ema se aleja de los alo es cen ales de la linealización, la p ecisión de es a dismi-
nuye. Pa a mejo a la idelidad del modelo lineal, es posible educi el amaño de los sec o es
linealizados. En la igu a 25, cuan o menos a co cub a cada sis ema de ma ices lineales, más iel
al sis ema eal se á la ap oximación. Dado que el sis ema esul an e es lineal a ian e en el
iempo, el lími e de amaño pa a los sec o es se á una mues a empo al. Es e amaño es el esco-
gido pa a la cons ucción del modelo linealizado.
El p oceso comple o cons a de los siguien es pasos:
1. De inición de las e e encias a lo la go del iempo.
2. Linealización del sis ema en las posiciones de inidas pa a cada ins an e.
3. Disc e ización de odos los sis emas linealizados, con el mismo mé odo y iempo de mues-
eo.
4. Conca enación de las dis in as ma ices A, B y C en la dimensión empo al.
A con inuación se incluye el código de Ma lab median e el que se linealiza el sis ema en o no a
odos los pun os de las e e encias.
o i = 1: _ inal
% Sus i ución de alo es en cada ins an e de la ayec o ia de
e e encia
% Valo de los es ados en el ins an e empo al i
phi0 = e (1, i);
phi1 = e (2, i);
x0 = e (3, i);
x1 = e (4, i);
% Sus i ución en las ma ices simbólicas A y B
A0 = double( pa(subs(A)));
B0 = double( pa(subs(B)));
C0 = C; % La ma iz C es in a ian e en el iempo
[A_ (:,:,i), B_ (:,:,i), C_ (:,:,i), ~, ~] =
ssda a(c2d( ss(A0,B0,C0,[]), 0.01)); % Disc e ización
end
3.2.2 Iden i icación de sis emas
Con el in de encon a un único sis ema lineal que explique el compo amien o del péndulo
mó il a lo la go de la ayec o ia se ha u ilizado una écnica de iden i icación de sis emas: el
comando de Ma lab sses , que c ea un modelo lineal en espacio de es ados con una espues a
simila a la de los da os in oducidos.
“sses inicializa las es imaciones de los pa áme os u ilizando un en oque subespacial
no i e a i o o un en oque i e a i o de es imación de unciones acionales. Luego
45
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
e ina los alo es de los pa áme os u ilizando el en oque de minimización del e o
de p edicción.” [20]
Se u ilizan los da os de en ada y salida de un expe imen o medianamen e ce cano a la ayec o-
ia deseada. Se u ilizan las medidas de odas las en adas y odas las salidas, que, en es e caso,
son odos los es ados. Se mues an las señales de en ada y salida en la igu a 26.
T as p oba nume osas con igu aciones, el mejo esul ado lo p opo ciona la siguien e combina-
ción:
•Modelo disc e o, con iempo de mues eo 0,01 segundos, que es el que se u iliza á pos e-
io men e con el con ol.
•Fo ma canónica obse able. Es deci , que la ma iz C es una ma iz iden idad. Es o si e
pa a que los es ados engan el mismo signi icado ísico que en el modelo eal, y es con e-
nien e po si se quisiese combina el modelo esul an e con o o pa a c ea un modelo
a ian e en el iempo.
•Mé odo de es imación: P edic ion E o Minimiza ion, jun o a esquema de pesos CVA
(Canonical Va ia e Algo i hm), en oque en simulación ( en e a p edicción), y es ados inicia-
les es imados median e backcas (u ilizando el mejo ajus e de mínimos cuad ados).
Lo cual se ejecu a con el siguien e código:
% S a e space model es ima ion
Op ions = sses Op ions;
Op ions.Display = 'on';
Op ions.Es ima eCo a iance = alse;
46
Figu a 26: En ada aplicada y salidas del sis ema u ilizadas pa a la iden i icación de sis emas.
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
Op ions.Focus = 'simula ion';
Op ions.En o ceS abili y = 1;
Op ions.Ini ialS a e = 'backcas ';
ss = sses (4_pend_s, 4, 'Fo m', 'canonical', 'Dis u banceModel', 'none',
'Ts', 0.01, Op ions)
Y p opo ciona el siguien e esul ado:
A=
[
1,007 0,0283 0,1745 0,103
−0,2371 0,5613 −2,5834 −2,138
−0,0038 −0,0078 0,9457 −0,0296
0,03 0,005 0,025 1,0203
]
, B=
[
0,0044
−0,0776
−0,0013
0,0065
]
(47)
En la igu a 27 se ep esen a la e olución de los es ados del modelo lineal ob enido jun o a las
medidas del sis ema eal an e una misma en ada. Obse amos que la espues a no es muy p e-
cisa, y en algunas pa es de la ayec o ia la ap oximación es bas an e medioc e. Sin emba go, sí
se puede ap ecia cómo cap a el uncionamien o a g andes asgos del sis ema.
La ob ención de un sis ema lineal con es e mé odo es mucho más simple, ápido y ácil que con
el p esen ado en el apa ado 3.2.1; el sis ema esul an e ambién es más simple, y, además, no
equie e la modi icación de las e e encias. Si es e modelo es su icien e pa a aplica el sis ema de
con ol a un sis ema an no lineal como el péndulo mó il, es azonable conside a que es e
mé odo de linealización se á el más adecuado pa a la mayo ía de casos y sis emas.
47
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
48
Figu a 27: Respues a del sis ema eal y el modelo linealizado pa a una misma en ada.
0 20 40 60 80 100 120
Mues as
-4
-3.5
-3
-2.5
-2
-1.5
-1
-0.5
0
Salida 1 del sis ema ( ad)
Sis ema eal
Modelo
0 20 40 60 80 100 120
Mues as
-10
-5
0
5
10
15
Salida 2 del sis ema ( ad/s)
0 20 40 60 80 100 120
Mues as
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
Salida 3 del sis ema (m)
0 20 40 60 80 100 120
Mues as
-3
-2
-1
0
1
2
Salida 4 del sis ema (m/s)
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
En la igu a 32 se p esen an las cua o salidas del sis ema y sus e e encias. Se puede obse a
un compo amien o simila al del expe imen o an e io de la igu a 31:
•En cuan o al ángulo, odas las i e aciones se ciñen a la e e encia du an e el p ime e cio
de la ayec o ia. A pa i del segundo 0,8, se obse a cómo las p ime as i e aciones se
alejan más ápidamen e de la e e encia, y con o me a anza el núme o de i e ación se an
ajus ando más iempo a ella. En es e caso la sex a i e ación es la mejo , y pe manece
ce ca de 0,6 segundos en posición e ical. En gene al, obse ando el conjun o de odas
las i e aciones, el esul ado es bas an e pa ecido al obse ado en la igu a 28.
•Las elocidades angula y lineal se compo an de mane a simila a las de la igu a 31: Se
ajus an muy bien la p ime a mi ad de la ayec o ia, y después se alejan de mane a dis-
in a en cada i e ación.
•La posición lineal se compo a de mane a un poco dis in a. En p ime luga , el uido es
in e io en el segundo expe imen o, y po an o se pueden obse a mejo las señales. En
segundo luga , odas las ayec o ias son in e io es a la e e encia. Es o se debe a que
es a salida iene meno impo ancia que las demás, y el con ol comp ome e pa e del
desempeño de es a en ada pa a mejo a las demás.
55
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
En la igu a 33 se ep esen an las en adas u ilizadas que esul an en la e olución de las en adas
de la igu a 32. La en ada inicial se ha ep esen ado con un g oso de línea mayo . Obse amos
que la mayo ía de los cambios se p oducen a pa i del segundo 0,6. Al igual que en el expe i-
men o an e io , las en adas se aplican es ic amen e en bucle abie o.
En elación a las en adas del p ime expe imen o ( igu a 29), obse amos que es as concen an
los cambios en zonas conc e as de la ayec o ia, c eando picos más p onunciados. Es p obable
que es o se deba a que la en ada inicial, diseñada a mano, es ambién más ag esi a y menos
edondeada que las que el con ol encuen a con el mé odo de seguimien o de e e encias abso-
lu as. En cualquie caso, a pesa de e oluciona y con e ge de mane a di e en e, las salidas ob e-
nidas median e las en adas cumplen con el compo amien o espe ado en ambos casos.
56
Figu a 32: E olución de las cua o salidas a lo la go del iempo en las diez i e aciones (exp. 2).
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
Tiempo (s)
-4
-2
0
2
4
6
8
10
Salida 1 ( ad)
Re
j=1
j=2
j=3
j=4
j=5
j=6
j=7
j=8
j=9
j=10
0 0.5 1 1.5 2
Tiempo (s)
-15
-10
-5
0
5
10
15
Salida 2 ( ad/s)
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
Tiempo (s)
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
Salida 3 (m)
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8
Tiempo (s)
-3
-2
-1
0
1
2
Salida 4 (m/s)
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
En la igu a 34 se mues a la e olución del e o cuad á ico medio en e las e e encias y las sali-
das a lo la go de las i e aciones. La escala del eje de o denadas es loga í mica. Se obse a una
endencia descenden e a lo la go de las i e aciones pa a los e o es del ángulo y la elocidad
angula , a pesa de que las dos úl imas ienen un pico local. Sin emba go, la posición y elocidad
longi udinales aumen an lige amen e de p incipio a in. En las i e aciones cen ales se p oducen
los mejo es esul ados pa a el ángulo y la elocidad angula , con e o es in e io es po más de un
o den de magni ud a las i e aciones con mayo e o .
En compa ación con el e o cuad á ico medio del p ime expe imen o ( igu a 30), la e olución
del ap endizaje es di e en e, ya que los mínimos se encuen an en i e aciones dis in as. Sin
emba go, es as di e encias se encuen an ambién en e di e en es ejecuciones del expe imen o
con un mismo mé odo. Po o o lado, los alo es de las i e aciones con mayo e o son bas an e
simila es en magni ud en ambos expe imen os, y análogamen e los alo es de las i e aciones con
meno e o son ambién del mismo o den.
57
Figu a 33: E olución de las en adas a lo la go de las diez i e aciones (exp. 2).
0 20 40 60 80 100 120 140 160 180 200
Tiempo (s)
-30
-20
-10
0
10
20
30
Señal de con ol (N)
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
4.3 Compa ación de ambos mé odos
Con el in de compa a la e ec i idad de ambos mé odos de ap endizaje, se ha lle ado a cabo el
siguien e p oceso:
1. Se han ejecu ado los dos algo i mos de ap endizaje diez eces con diez i e aciones en
cada ocasión.
2. De cada i e ación se ha almacenado el e o cuad á ico medio en e la e e encia y la a-
yec o ia del ángulo del péndulo. Solo se ha enido en cuen a la posición angula , y se
desechan el es o de es ados, ya que el obje i o inal del con ol es coloca el péndulo en
posición e ical.
Dado que la pa e inal de la ayec o ia desc ibe un compo amien o caó ico, se suele
des ia de la ayec o ia y aumen a mucho el e o . Es o hace que el e o acumulado a lo
la go del es o de la ayec o ia se diluya y enga muy poco peso sob e el esul ado inal.
Po an o, conside amos las ejecuciones e minadas en el ins an e 1,5 segundos. Es o
ayuda ambién a iguala los esul ados en el caso de ealiza los expe imen os con dis in a
du ación pa a cada mé odo de ap endizaje. En cualquie caso, si el péndulo pe manece
en posición e ical has a ese ins an e, podemos conside a el esul ado como muy sa is-
ac o io.
58
Figu a 34: E olución del e o cuad á ico medio de las cua o salidas a lo la go
de las i e aciones (exp. 2).
12345678910
I e ación
10-3
10-2
10-1
100
101
102
E o cuad á ico medio
Ángulo
V. Angula
Posición
V. Longi udinal
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
3. T a ando los dos mé odos de con ol po sepa ado, se ha calculado la media del e o
pa a odas las ejecuciones de una misma i e ación. Es deci , se ha calculado la media del
e o pa a las p ime as i e aciones , segundas i e aciones, e ce as i e aciones, e cé e a.
4. Se han ep esen ado, en la igu a 35, los esul ados pa a los dos mé odos. Ambos con e -
gen en pocas i e aciones a ni eles simila es de e o , si bien el seguimien o de e e encias
absolu as p opo ciona un ap endizaje un poco más ápido y alo es de e o en las úl i-
mas i e aciones lige amen e in e io es.
La p ecisión ob enida en el seguimien o de ayec o ia es bas an e buena con ambos mé odos, y
se encuen an señales de en ada muy ce ca del compo amien o óp imo, siemp e eniendo en
cuen a la p esencia de uido y que cada i e ación se ejecu a pu amen e bucle abie o.
El algo i mo de con ol po anulación de e o ap ende adecuadamen e aunque con e ge un
poco más len amen e. Si bien es o pod ía debe se a que no se han encon ado unos pa áme os
de ap endizaje an adecuados como los que se han u ilizado con el o o algo i mo.
4.4 Conside aciones comunes
Los esul ados ob enidos son muy sensibles a los pa áme os aplicados al sis ema de con ol:
Cambia uno de los alo es puede hace que el sis ema deje de unciona po comple o, po lo
que es os deben elegi se cuidadosamen e.
59
Figu a 35: Media del e o cuad á ico medio del ángulo pa a cada i e ación.
Ob enida pa a los dos mé odos con diez expe imen os de diez i e aciones cada uno.
1 2 3 4 5 6 7 8 9 10
I e ación
0
0.5
1
1.5
2
2.5
E o cuad á ico medio
Seguimien o de e . absolu as
Anulación del e o
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
Po o a pa e, las es icciones no si en solo pa a implemen a limi aciones de los sis emas ea-
les sino que en ocasiones mejo an la e icacia del ap endizaje.
Debido a la na u aleza alea o ia del uido in oducido, la epe ición del expe imen o con los mis-
mos pa áme os no siemp e da los mismos esul ados. Al espec o cabe menciona que la i e a-
ción que mejo es esul ados p opo ciona no siemp e es la úl ima, y que hay ocasiones en las que
el sis ema a da unas pocas i e aciones de más o de menos en da esul ados buenos.
También se ha comp obado que una misma señal de en ada suele da esul ados di e en es po
el uido adi i o que se aplica an es de in oduci se en el sis ema. Es as di e encias debidas al
uido llegan has a el pun o de que con una misma en ada el péndulo puede acaba cayendo al
inal del expe imen o hacia cualquie a de los dos lados.
Po o a pa e, las e e encias de las cua o salidas se han diseñado a mano, y debido a la co ela-
ción en e algunos de los es ados, es muy p obable que no se puedan cumpli odas a la pe ec-
ción, po lo que el con ol iene que comp ome e alguna y un esul ado pe ec o, aún sin uido,
nunca se ía posible.
U ilizando únicamen e Ma lab en un po á il de p es aciones es ánda (4 núcleos @ 2.60 GHz; 8
GB RAM), ejecu ando el p og ama con diez i e aciones, y odas las es icciones ac i adas:
•El p og ama de con ol con e e encias absolu as (4.1) emplea un o al de 31 segundos en
los p ocesos de op imización pa a calcula las nue as en adas con ayec o ias de 200
mues as (2 segundos de du ación con 0,01 segundos de iempo de mues eo), lo que
implica que cada p oceso de op imización a da 3,1 segundos de media. El p oceso de
o mación de las ma ices, que se ejecu a al comienzo una sola ez, a da ap oximada-
men e 4,8 segundos.
•El p og ama de con ol po anulación del e o (4.2), g acias a habe aplicado la es a egia
de ho izon e ex ensible, emplea un o al de 15,6 segundos en los p ocesos de op imiza-
ción pa a calcula las en adas con 200 mues as, dado que pa a diez i e aciones esuel e
an solo nue e p oblemas de op imización, es os a dan 1,7 segundos de media. La o -
mación de ma ices p e ia a da unos 4 segundos pa a 200 mues as, y odo el p oceso
de linealización 7,6 segundos.
60
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
5 Conclusiones
Se han cons uido dos mé odos de con ol po ap endizaje i e a i o basados en p ocesos de
op imización omando como e e encia los abajos [10], [11] y [12]. Ambos sis emas de con ol
u ilizan mé odos óp imos an o en la es imación del e o en las ayec o ias como en el cálculo
de las señales de en ada. Es e segundo cálculo se de i a de la eo ía de op imización ma emá-
ica y se implemen a median e écnicas de op imización con exa de úl ima gene ación que pe -
mi en de inición de lími es en las en adas y las salidas, y ponde ación de salidas y pa es de las
ayec o ias. La es imación del e o se ealiza median e un il o de Kalman modi icado pa a
adap a se a las necesidades del p oblema.
El p ime o de los mé odos es una ep oducción di ec a del abajo p esen ado en [10]. Mien as
que el segundo mé odo u iliza una o ma dis in a de linealización del sis ema, y a a de o a
o ma las señales de en ada y las e e encias de las ayec o ias.
Se han esc i o desde ce o dos p og amas que implemen an los sis emas de con ol al comple o.
Las modi icaciones necesa ias pa a abaja con sis emas con olados dis in os con di e en e
núme o de es ados, en adas o salidas son mínimas.
Se ha cons uido un modelo simulable de un péndulo sob e un ca o mó il, sob e el que se han
aplicado y p obado los sis emas de con ol.
Se ha es udiado la linealización de sis emas en espacio de es ados. Se han desa ollado dos p o-
cesos de linealización sob e el péndulo mó il, que es un sis ema al amen e no lineal. Uno de ellos
deducido en su o alidad de las ecuaciones de equilib io dinámico del sis ema, el cual se ha u ili-
zado exi osamen e con uno de los mé odos de con ol. Y el o o basado en écnicas de iden i ica-
ción de sis emas, aplicadas sob e la ayec o ia deseada, que ambién se ha u ilizado, con el o o
mé odo de con ol.
Además de es as dos opciones, exis e un algo i mo p opues o en [11], ela i amen e complicado,
que es udia las a iaciones en las salidas p o ocadas po pequeñas a iaciones en las en adas
al ededo de una en ada nominal, odo es o a a és de un bucle que puede eque i cien os o
miles de simulaciones. Los dos mé odos de linealización u ilizados son más simples y ápidos que
es e.
El algo i mo de con ol po anulación de e o , que se ha omado de [10], pa e de una en ada
ap oximada p eexis en e, y el p oblema de op imización abaja únicamen e sob e el e o , y con
e e encias nulas, pa a a a de elimina lo. Po su pa e, el algo i mo de con ol con e e encias
absolu as (p opio, si bien basado en [10], [11] y [12]) u iliza un modelo ap oximado del sis ema
pa a calcula , de o ma absolu a, las en adas que, aplicadas a sis ema eal, p o ocan que es e se
61
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
compo e siguiendo las e e encias. En las i e aciones pos e io es, ambos algo i mos u ilizan el
e o es imado de las medidas de ejecuciones p e ias pa a mejo a la p ecisión.
Se han ejecu ado sa is ac o iamen e ambos algo i mos de con ol sob e el modelo simulable del
péndulo mó il: Ambos sis emas de con ol ap enden sa is ac o iamen e y consiguen ealiza el
seguimien o de ayec o ia en bucle abie o.
Las di e encias en e ambos mé odos aen además una se ie de consecuencias:
•El con ol p opio desa ollado en es e abajo (con ol con e e encias absolu as) puede
unciona con una linealización del sis ema más simple y ápida de ob ene que la usada
con el con ol po anulación de e o . Si bien pa a sis emas ex emadamen e no lineales
con ayec o ias la gas, el con ol p opio desa ollado en es e abajo pod ía complica la
ob ención de una linealización u ilizable.
•En sis emas donde una ap oximación lineal buena puede se ob enida analí icamen e, el
con ol p opio ambién puede u iliza la, sin necesidad de ecu i a iden i icación de sis e-
mas.
•Con el con ol p opio desa ollado no necesa io p opo ciona una en ada inicial ap oxi-
mada al obje i o.
•En un sis ema an no lineal como el péndulo, si se modi ica mucho el sis ema eal, po
ejemplo, iplicando el peso del péndulo, es necesa io ob ene un nue o sis ema lineal
pa a el con ol p opio (con ol con e e encias absolu as). Mien as an o, el con ol po
anulación de e o es capaz de ap ende la ayec o ia adecuadamen e, con el único
incon enien e de necesi a más i e aciones pa a ello.
•El con ol con e e encias absolu as esponde bas an e bien an e ayec o ias la gas,
como po ejemplo los dos segundos del apa ado 4.1. Po el con a io, el con ol po anu-
lación de e o , con ayec o ias demasiado la gas, equie e la u ilización de la es a egia
de ho izon e ex ensible pa a con e ge .
Al espec o de la es a egia de con ol se han p obado su aplicabilidad y iabilidad al domina con
éxi o el balanceo del péndulo mó il, sis ema no lineal y subac uado, usando únicamen e con ol
de bucle abie o. Se ha comp obado ambién que con la capacidad compu acional ac ual, la eso-
lución de los p oblemas de op imización es ela i amen e ápida, po lo que u iliza la es una posi-
bilidad eal, iable y ba a a en el aspec o ma e ial.
En é minos gene ales se han cumplido los obje i os del abajo.
62
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
6 Re e encias
[1] UNIZAR. His o ia de la Ingenie ía de Con ol. au oma a.cps.uniza .es [online]. 2020. [Con-
sul ado el 14 de oc ub e de 2020]. Disponible en: h p://au oma a.cps.uniza .es/
His o ia/Webs/p ime os_ejemplos_his o icos_de_.h m
[2] AUSLANDER, D. M. E olu ions In au oma ic con ol. 1971.
[3] BELLMAN, Richa d. Dynamic p og amming. RAND CORP SANTA MONICA CA, 1956. p. 83
[4] YANES LUIS, Samuel; CASAS ROMÁN, An ón; ARIAS SÁNCHEZ, Isid o. Diseño e Implemen a-
ción de un ACC median e MPC y usión senso ial.
[5] VARGAS LARA, José M. Con ol p edic i o mul i a iable: e olución his ó ica y concep os.
[6] CAMACHO, E.F. Come cial MPC. 2009.
[7] CAMACHO, E.F. Academic MPC. 2009.
[8] FERNANDEZ-CAMACHO, Edua do; BORDONS-ALBA, Ca los. Model p edic i e con ol in he
p ocess indus y. Sp inge London, 1995.
[9] BEHRENDT, Ma in. A basic wo king p inciple o Model P edic i e Con ol [Imagen]. Wiki-
media. 2009. Disponible en h ps://commons.wikimedia.o g/wiki/File:MPC_scheme_basi-
c.s g
[10] SCHÖLLIG, Angela; D'ANDREA, Ra aello. Op imiza ion-based i e a i e lea ning con ol o
ajec o y acking. En 2009 Eu opean Con ol Con e ence (ECC). IEEE, 2009. p. 1505-1510.
[11] SCHOELLIG, Angela P.; MUELLER, Fabian L.; D’ANDREA, Ra aello. Op imiza ion-based i e a-
i e lea ning o p ecise quad ocop e ajec o y acking. Au onomous Robo s, 2012, ol.
33, no 1-2, p. 103-127.
[12] MUELLER, Fabian L.; SCHOELLIG, Angela P.; D'ANDREA, Ra aello. I e a i e lea ning o eed-
o wa d co ec ions o high-pe o mance acking. En 2012 IEEE/RSJ In e na ional Con e-
ence on In elligen Robo s and Sys ems. IEEE, 2012. p. 3276-3281.
[13] MOTCHENBACHER, Cu is D.; CONNELLY, Joseph Al in. Low noise elec onic sys em
design. Wiley, 1993.
[14] CHUI, Cha les K.; CHEN, Guan ong. Kalman il e ing. Sp inge In e na ional Publishing,
2017.
63
ANTÓN CASAS ROMÁN
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
[15] HUMPHERYS, Je ey; REDD, P es on; WEST, Je emy. A esh look a he Kalman il e . SIAM
e iew, 2012, ol. 54, no 4, p. 801-823.
[16] MATHWORKS ESPAÑA. Kalman Fil e ing. es.ma hwo ks.com [online]. 2020. [Consul ado el
2 de oc ub e de 2020]. Disponible en: h ps://es.ma hwo ks.com/help/con ol/ug/kalman-
il e ing.h ml
[17] HYNDMAN, Rob J. Mo ing a e ages. 2009.
[18] MATHWORKS ESPAÑA. Sua izado de señales. es.ma hwo ks.com [online]. 2020. [Consul-
ado el 8 de oc ub e de 2020]. Disponible en: h ps://es.ma hwo ks.com/help/signal/exam-
ples/signal-smoo hing.h ml
[19] MATHWORKS ESPAÑA. Fil ado digi al de ase ce o. es.ma hwo ks.com [online]. 2020.
[Consul ado el 8 de oc ub e de 2020]. Disponible en: h ps://es.ma hwo ks.com/help/sig-
nal/ e / il il .h ml
[20] MATHWORKS ESPAÑA. Es ima e s a e-space model using ime-domain o equency-
domain da a - MATLAB sses . es.ma hwo ks.com [online]. 2020. [Consul ado el 11 de
no iemb e de 2020]. Disponible en: h ps://es.ma hwo ks.com/help/iden / e /sses .h ml
64
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
% disminui los a i icios c eados po el uido.
o i = 1:nu
u(i,:,i e a ion) = il il (num,den,u(i,:,i e a ion)); % Fil ado de
ase 0 (o den 2*1)
end
%% SIMULACIÓN
o = 2: _ inal
x(:, ) = A *x(:, -1) + B *( u(:, -1,i e a ion) + M* andn(2,1) );
y(:, ,i e a ion) = C *x(:, ) + M* andn(2,1);
end
%% E o es
% Medición de e o es
o i = 1:ny
% Cálculo del e o en las ayec o ias
e(i,:) = (y(i,:,i e a ion) - e (i,1: _ inal));
% Cálculo del e o cuad á ico medio
ecm(i e a ion,i) = e(i,:)*e(i,:)'/ _ inal;
end
% Ac ualización de la ganancia K
P = P + Omega;
The a = G*P*G' + M_;
K = P*G'/The a; % P*G'*in (The a)
P = ( eye(nx*(long)) - K*G )*P; % (I-KG)*P
Omega = Omega/10;
% Ac ualización del ec o d
y_aux = y(:,:,i e a ion);
e_ = (y_aux(1:long*ny)' - G*F* emp);
d(:, i e a ion + 1) = d(:, i e a ion) + K*(e_ -G*d(:, i e a ion)); % d = d +
K(y -G*d -(GF+H)*u
end
% T asposición de las ma ices de en adas y salidas pa a los comandos plo
u = pe mu e(u, [2 1 3]);
y = pe mu e(y, [2 1 3]);
%% RESULTADOS
%Salida
igu e(1)
subplo (1,2,1), hold on
plo ( e (1,:),'LineWid h',2);
o i e a ion = 1:n_i e
plo (y(:,1,i e a ion),'LineWid h',1);
end
legend('Re 1','j=1','j=2','j=3');
xlabel('Mues as'); ylabel('Salida 1 del sis ema');
g id mino ; xlim([0 _ inal]);
hold o ;
68
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
subplo (1,2,2);
plo ( e (2,:),'LineWid h',2); hold on
o i e a ion = 1:n_i e
plo (y(:,2,i e a ion),'LineWid h',1);
end
legend('Re 2','j=1','j=2','j=3');
xlabel('Mues as'); ylabel('Salida 2 del sis ema');
g id mino ; xlim([0 _ inal]);
hold o ;
%Señales de con ol
igu e(2)
subplo (1,2,1)
hold on
o i e a ion = 1:n_i e
plo (u(:,1,i e a ion));
end
legend('j=1','j=2','j=3')
xlabel('Mues as'); ylabel('Señal de con ol 1');
g id mino ;
subplo (1,2,2)
hold on
o i e a ion = 1:n_i e
plo (u(:,2,i e a ion));
end
legend('j=1','j=2','j=3')
xlabel('Mues as'); ylabel('Señal de con ol 2');
g id mino ;
69
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
2 ILC pa a el péndulo mó il con seguimien o de
e e encias absolu as
%% ILC median e op imización cuad á ica pa a péndulo mó il
%
% Desa ollado po An ón Casas Román.
%
% El sis ema de con ol po ap endizaje i e a i o calcula una en ada
% óp ima en bucle abie o pa a que un sis ema siga de e minadas
% e e encias. En base al e o ob enido se ac ualiza la señal de en ada
% median e op imización o line pa a la siguien e i e ación.
%
% Con es icciones en las en adas y las salidas.
% Hay uido adi i o a la salida y a la en ada, y se incluye un il o de
% Kalman basado en i e aciones pa a educi lo.
% Incluye ambién un il o paso bajo sob e la señal de en ada.
%
% Pa a el péndulo implemen ado en Simscape 'pendulo_sm2.slx'
% Se ha linealizado el sis ema a lo la go de la ayec o ia.
% Ap ende sob e las ayec o ias de odos los es ados.
load('da os_iniciales_c.ma ') % Incluye el modelo linealizado y las e e encias.
n_i e = 7; % Núme o de i e aciones de op imización
_ inal = 200; % Longi ud del expe imen o (en nº de mues as). maximo dado po
la e e encia
epsilon = 1e3; % Con ianza inicial en las medidas en e al modelo
x_ini = [-pi; 0; 0; 0]; % Es ados iniciales
%% Sis ema es imado
A(:,:,1: _ inal) = epma (ss3.A,1,1, _ inal);
B(:,:,1: _ inal) = epma (ss3.B,1,1, _ inal);
C(:,:,1: _ inal) = epma (ss3.C,1,1, _ inal);
nx = size(A,1); %Núme o de es ados
nu = size(B,2); %Núme o de en adas
ny = size(C,1); %Núme o de salidas
%% Re e encias
long = _ inal - ny;
% e e encias
w = e (1:nx*long)';
%% Res icciones
u lag = 1; % En adas
y lag = 1; % Salidas
u_max = 100;
u_min = -100;
70
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
y_max = 1*[4*pi; 80; 0.5; 20];
y_min = -1*[8*pi; 80; 0.5; 20];
%% Ruido
m = 0.03; % Des iación ípica
M = m*eye(ny); % Adi i o a la salida
M_ = 1.8*m*eye(ny*long); % Mul iplicamos po 1.8 pa a hace una es imación
inexac a de la co a ianza del uido a la en ada + a la salida
Omega = diag(epsilon*ones(nx*long,1));
%% O line pa
x = ze os(nx, _ inal);
u = ze os(nu, _ inal, n_i e );
y = ze os(ny, _ inal, n_i e );
e = ze os(ny, _ inal);
ecm = ze os(n_i e , ny);
x(:,1) = x_ini ; %Es ados iniciales
% cons uc d
d = ze os(nx*( _ inal - ny), n_i e );
d_ = ze os(nx,long);
d_(:,1) = x(:,1);
o i = 1:long-1
d_(:,1+i) = A(:,:,i)*d_(:,i);
end
d(:,1) = d_(1:end); % P ime a es imación del ec o d
P = d(:,1)*d(:,1)'; % P ime a es imación de la ma iz P ( il o de uido)
% cons uc F
F = ze os(long*nx, long*nu);
o i = 1:long
o j = 1:long
i i > j
F( (i-1)*nx+1:i*nx, (j-1)*nu+1:j*nu ) = B(:,:,j);
o k = j+1:i-1
F( (i-1)*nx+1:i*nx, (j-1)*nu+1:j*nu ) = A(:,:,k)*F( (i-
1)*nx+1:i*nx, (j-1)*nu+1:j*nu );
end
end
end
end
% cons uc G
G = ze os(long*ny, long*nx);
o i = 1:long
o j = 1:long
i i == j
G( (i-1)*ny+1:i*ny, (j-1)*nx+1:j*nx ) = C(:,:,i);
end
end
end
71
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
% weigh ing ma ices
= [1; 1; 1; 100]; % Cuán o impo a cada salida espec o de la o a
R_ = epma ( , long- loo (long/8), 1);
R_ = [R_; epma (1* , loo (long/8), 1)]; % Damos más impo ancia al inal
R_ = diag(R_);
q = 0; % Cuán o se con ía en el modelo en e a las medidas
Q_ = epma (q, long, 1);
Q_ = diag(Q_);
% T ans o ma pa a quadp og
Fqp = 2*((F'*R_*F)+Q_);
Fqp = (Fqp+Fqp')/2;
[num,den] = bu e (1,0.3); % Fil o bu e wo h de paso bajo de o den 1
%% Bucle de i e aciones
o i e a ion = 1:n_i e
% OPTIMIZACIÓN %
% Res icciones
Rc = [];
b = [];
i u lag == 1
Rc = [Rc; eye(nu*long); -1*eye(nu*long)];
b = [b; epma (u_max, long, 1); -1* epma (u_min, long, 1)];
end
i y lag == 1
Rc = [Rc; G*F; -1*G*F];
b = [b; epma (y_max, long, 1) - G*d(:,i e a ion); -1* epma (y_min,
long, 1) + G*d(:,i e a ion)];
end
dqp = (2*(d(:,i e a ion) - w)'*R_*F)';
% Calcula señal de con ol:
emp = quadp og(Fqp, dqp, Rc, b);
% O dena la señal en el ec o u:
o = 1:long
u(:, +1,i e a ion) = emp( nu* -nu+1 : nu* )';
end
% Fil ado de la señal de en ada pa a da le un poco de sua idad y
% disminui los a i icios c eados po el uido.
o i = 1:nu
u(i,:,i e a ion) = il il (num,den,u(i,:,i e a ion)); % Fil ado de
ase 0 (o den 2*1)
end
72
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
%% SIMULACIÓN
ou _sim = sim('pendulo_sm2');
y(:,:,i e a ion) = ou _sim.salida';
%% E o es
% Medición de e o es
o i = 1:ny
% Cálculo del e o en las ayec o ias
e(i,:) = (y(i,:,i e a ion) - e (i,1: _ inal));
% Cálculo del e o cuad á ico medio
ecm(i e a ion,i) = e(i,:)*e(i,:)'/ _ inal;
end
% Ac ualización de la ganancia K
P = P + Omega;
The a = G*P*G' + M_;
K = P*G'/The a; % P*G'*in (The a)
P = ( eye(nx*(long)) - K*G )*P; % (I-KG)*P
Omega = Omega/10;
% Ac ualización del ec o d
y_aux = y(:,:,i e a ion);
e_ = ( y_aux(1+ny:end-12)' - G*F* emp );
d(:, i e a ion + 1) = d(:, i e a ion) + K*(e_ -G*d(:, i e a ion)); % d = d +
K(y -G*d -(GF+H)*u
pause(3) % Pausa pa a e la animación
end
% T asposición de las ma ices de en adas y salidas pa a los comandos plo
u = pe mu e(u, [2 1 3]);
y = pe mu e(y, [2 1 3]);
%% RESULTADOS
%Salida
ime_ ec o = 0:0.01:( _ inal-1)*0.01;
igu e(1)
subplo (2,2,1)
hold on
plo ( ime_ ec o , e (1,1: _ inal),'LineWid h',2);
o i e a ion = 1:n_i e
plo ( ime_ ec o , y(:,1,i e a ion),'LineWid h',1);
end
legend('Re 1','j=1','j=2','j=3');
xlabel('Tiempo (s)'); ylabel('Salida 1 ( ad)');
g id mino ; xlim([0 _ inal*0.01]);
hold o ;
subplo (2,2,2);
plo ( ime_ ec o , e (2,1: _ inal),'LineWid h',2); hold on
73
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
o i e a ion = 1:n_i e
plo ( ime_ ec o , y(:,2,i e a ion),'LineWid h',1);
end
legend('Re 2','j=1','j=2','j=3');
xlabel('Tiempo (s)'); ylabel('Salida 2 ( ad/s)');
g id mino ; xlim([0 _ inal*0.01]);
hold o ;
subplo (2,2,3)
hold on
plo ( ime_ ec o , e (3,1: _ inal),'LineWid h',2);
o i e a ion = 1:n_i e
plo ( ime_ ec o , y(:,3,i e a ion),'LineWid h',1);
end
legend('Re 1','j=1','j=2','j=3');
xlabel('Tiempo (s)'); ylabel('Salida 3 (m)');
g id mino ; xlim([0 _ inal*0.01]);
hold o ;
subplo (2,2,4);
plo ( ime_ ec o , e (4,1: _ inal),'LineWid h',2); hold on
o i e a ion = 1:n_i e
plo ( ime_ ec o , y(:,4,i e a ion),'LineWid h',1);
end
legend('Re 2','j=1','j=2','j=3');
xlabel('Tiempo (s)'); ylabel('Salida 4 (m/s)');
g id mino ; xlim([0 _ inal*0.01]);
hold o ;
%Señal de con ol
igu e(2)
hold on
o i e a ion = 1:n_i e
plo (u(:,1,i e a ion));
end
legend('j=1','j=2','j=3')
xlabel('Tiempo (s)'); ylabel('Señal de con ol (N)');
g id mino ;
74
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
3 Linealización a lo la go de la ayec o ia
%% Cálculo de las ma ices linealizadas A y B del péndulo
% en dis in as pa es de la ayec o ia. Como esul ado se ob iene un
% sis ema lineal a ian e en el iempo que explica el compo amien o a lo
% la go de la ayec o ia p ede inida. El sis ema a ado es un péndulo
% unido a un ca o mó il a lo la go de un eje sob e el que se eje ce una
% ue za.
%% Decla ación de a iables y de inición de las ecuaciones
nx = 4; nu = 1;
syms phi0 phi1 x0 x1
syms F mp mc lp g
phi0A = phi1;
phi1A = ( ((mc+mp)*g/mp - lp*phi1^2*cos(phi0))*sin(phi0) ) / ( lp*(mc/mp +
(sin(phi0))^2) );
x0A = x1;
x1A = ( - g*sin(phi0)*cos(phi0) + lp*phi1^2*sin(phi0) ) / ( mc/mp +
(sin(phi0))^2 );
phi0B = 0;
phi1B = ( -cos(phi0)*F/mp ) / ( lp*(mc/mp + (sin(phi0))^2) );
x0B = 0;
x1B = (F/mp) / ( mc/mp + (sin(phi0))^2 );
%% Cálculo de las ma ices jacobianas
A = jacobian([ phi0A phi1A x0A x1A ], [phi0 phi1 x0 x1]);
B = jacobian([ phi0B phi1B x0B x1B ], [F]);
C = eye(nx);
%% Sus i ución de alo es
A_ = ze os(nx, nx, _ inal);
B_ = ze os(nx, nu, _ inal);
C_ = ze os(nx, nx, _ inal);
% Cons an es
lp = 0.30;
mp = 0.200;
mc = 1.5;
g = -9.81;
o i = 1: _ inal
% Sus i ución de alo es en cada ins an e de la ayec o ia de e e encia
phi0 = e (1, i);
phi1 = e (2, i);
x0 = e (3, i);
x1 = e (4, i);
A0 = double( pa(subs(A))); % Sus i ución
75
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
B0 = double( pa(subs(B)));
C0 = C;
[A_ (:,:,i), B_ (:,:,i), C_ (:,:,i), ~, ~] = ssda a(c2d( ss(A0,B0,C0,[]),
0.01)); % Disc e ización
end
A = A_ ;
B = B_ ;
C = C_ ;
76
ANTÓN CASAS ROMÁN
ANEXO A: CÓDIGOS
CONTROL MEDIANTE
APRENDIZAJE ITERATIVO
4 ILC pa a el péndulo mó il median e anulación del
e o y ho izon e ex ensible
%% ILC median e op imización cuad á ica pa a péndulo mó il con es a egia de
anulación del e o
%
% Desa ollado po An ón Casas Román.
%
% El sis ema de con ol po ap endizaje i e a i o u iliza una en ada
% inicial conocida en bucle abie o pa a que un sis ema siga de e minadas
% e e encias. En base al e o ob enido se ac ualiza la señal de en ada
% median e op imización o line pa a la siguien e i e ación.
% La op imización ac úa únicamen e sob e el ec o de e o . El esul ado
% es la a iación adi i a a aplica sob e la señal de en ada.
%
% Con es icciones en las en adas y las salidas.
% Hay uido adi i o a la salida y a la en ada, y se incluye un il o de
% Kalman basado en i e aciones pa a educi lo.
% Incluye ambién un il o paso bajo sob e la señal de en ada.
% U iliza la es a egia de ho izon e ex ensible.
%
% Pa a el péndulo implemen ado en Simscape 'pendulo_sm3.slx'
% Se u iliza un sis ema a ian e en el iempo o mado con linealizaciones
% po pun os de la ayec o ia, odas cen adas en ce o, ya que el obje i o
% es que el e o acabe cen ado en ce o.
% Ap ende sob e las ayec o ias de odos los es ados.
load('da os_iniciales_ .ma ') % Incluye las e e encias y la en ada inicial
n_i e = 10; % Núme o de i e aciones de op imización
_ inal = 200; % Longi ud del expe imen o (en nº de mues as). maximo dado po
la e e encia
epsilon = 1e-2; % Con ianza inicial en las medidas en e al modelo
x_ini = [0; 0; 0; 0]; % Es ados iniciales
%% Sis ema es imado
jacobiano2 %Sc ip en el que se ealiza la linealización
nx = size(A,1); %Núme o de es ados
nu = size(B,2); %Núme o de en adas
ny = size(C,1); %Núme o de salidas
%% Re e encias
long = _ inal - ny;
w = e (1:nx*long)';
%% Res icciones
u lag = 1; % En adas
y lag = 1; % Salidas
77