Ac as de las XV Jo nadas
de Ingenie ía Telemá ica
(JITEL 2021),
A Co uña (España),
27-29 de oc ub e de 2021.
This wo k is licensed unde a C ea i e Commons 4.0 In e na ional License (CC BY-NC-ND 4.0)
Mejo ando la calidad de se icio en SDN
median e el ajus e din´
amico del idle imeou con
Deep Rein o cemen Lea ning
Manuel Jim´
enez-L´
aza o, Ja ie Be ocal, Jaime Gal´
an-Jim´
enez
Escuela Poli ´
ecnica de C´
ace es,
Uni e sidad de Ex emadu a
A da. de la Uni e sidad, S/N, C´
ace es, Espa˜
na
{manueljimenez, jbe olm, jaime}@unex.es
Las memo ias TCAM (Te na y con en -
add essable memo y) de las ablas de lujo de
los nodos SDN (So wa e De ined Ne wo king)
son muy ´
apidas y pe mi en ealiza b´
usquedas en
pa alelo en muy poco iempo. Sin emba go, p esen an
un al o consumo de ene g´
ıa y un ele ado cos e, lo
que hace que su ama˜
no sea limi ado. Es a limi aci´
on
de ama˜
no impac a sob e el n´
ume o de eglas que se
pueden ins ala , po lo que una ges i´
on ine icien e de
las mismas puede supone una deg adaci´
on de la QoS
(Quali y o Se ice) de la ed. Es e abajo p opone
una soluci´
on basada en DRL (Deep Rein o cemen
Lea ning) que pe mi e ajus a din´
amicamen e el idle
imeou de las eglas de lujo pa a maximiza el
n´
ume o de lujos que pueden se encaminados en la
ed, lo que de i a en una mejo a de la QoS.
Palab as Cla e—SDN, DRL, idle imeou , TCAM.
I. INTRODUCCI ´
ON
El nue o pa adigma de ed SDN (So wa e De ined
Ne wo king) sepa a el plano de da os del plano de con ol,
es ando ges ionado po un elemen o cen alizado que iene
una isi´
on global de la ed. Es e elemen o cen alizado,
denominado con olado , es quien se enca ga ´
a, en e o as
cosas, de es ablece el encaminamien o en e nodos. Eso
lo ha ´
a gua dando las eglas de encaminamien o en las
ablas de odos los nodos del lujo. Cuando llega un
paque e a un swi ch SDN, iene que encamina se en
unci´
on de las eglas almacenadas en la abla de lujo
de ese nodo. Si el paque e (con sus di e en es campos
de las dis in as cabece as) hace ma ch con una de las
eglas de la abla, pod ´
a en ia se al siguien e nodo en
el camino, ace c´
andose a su des ino. Si no exis e egla
elacionada, el paque e no pod ´
a se encaminado inmedi-
a amen e (lo que se conoce como able-miss), y el swi ch,
end ´
a que p egun a al con olado qu´
e hace con dicho
paque e (mensaje PACKET IN) pa a ins ala el lujo. El
con olado le indica ´
a qu´
e eglas debe ins ala y en qu´
e
swi ches de o ma que pe mi a a los da os llega a su
des ino. Es o, l´
ogicamen e, supone una penalizaci´
on de
iempo, al aumen a el RTT (Round- ip ime) del p ime
paque e del lujo. Adem´
as, debido a que el n´
ume o de
eglas que se pueden ins ala en los swi ches SDN es
limi ado [1], [2], se puede da la si uaci´
on en la que no
exis e egla que haga ma ch con el paque e pe o ampoco
hay espacio disponible en la abla de lujo pa a pode
ins ala la, po lo que es e lujo no pod ´
a se encaminado y
se pe de ´
an los da os en iados. Po lo an o, se aduci ´
ıa
en una educci´
on de la QoS (Quali y o Se ice) de la ed.
Adicionalmen e, es impo an e comen a que el ma ch
que hace un paque e en an e con una egla en un en o no
SDN no solo iene en cuen a los campos di ecci´
on IP
o igen y di ecci´
on IP des ino como se mues a en es e
abajo. SDN es capaz de ene en cuen a, adem´
as, a ios
campos de las di e en es cabece as (pue os, p o ocolo,
e c). Las ablas de lujo se implemen an median e la
u ilizaci´
on de memo ias TCAM. Es as memo ias TCAM
son muy ´
apidas, pues u ilizan un sis ema de b´
usqueda
pa alela. Es o es algo muy impo an e cuando que emos
encamina paque es lo an es posible. Sin emba go, hacen
uso de mucha ene g´
ıa [3], ienen un cos e muy al o [4]
y, como consecuencia, disponen de un espacio bas an e
limi ado [5], [6], algo que epe cu i ´
a nega i amen e a
la ho a de encamina los paque es, pudiendo almacena
menos eglas al mismo iempo.
Adem´
as, exis en los concep os de idle imeou yha d
imeou . Pa a e i a que una egla se quede almacenada
en una TCAM du an e demasiado iempo sin se u i-
lizada, cada egla incluye es os dos alo es. Si la egla
se man iene en la abla sin se usada po una du aci´
on
igual al idle imeou , la egla se ´
a bo ada ya que no se
conside a ´
a lo su icien e ac i a, dejando espacio a o as
posibles eglas. El alo del idle imeou no malmen e se
es ablece de o ma es ´
a ica pa a cada egla. Es deci , una
217
Jim´
enez-L´
aza o, Be ocal, Gal´
an-Jim´
enez, 2021.
ez que se a˜
nade ese alo , se man end ´
a as´
ı du an e oda
la es ancia de la egla en la TCAM. El ha d imeou es
simila , solo que bo a ´
a la egla cuando iguala la du aci´
on
del ha d imeou , empezando a con a desde el momen o
en el que se ins al´
o la egla y sin einicia se al se u ilizada
como en el caso del idle imeou .
En los ´
ul imos a˜
nos, exis e un in e ´
es c ecien e en
ap o echa las capacidades de las edes SDN pa a mejo a
la QoS o ecida. T abajos como los de [2], [7] p oponen
soluciones pa a mejo a la e iciencia ene g´
e ica de las
edes SDN conside ando las es icciones impues as po el
ama˜
no limi ado de las memo ias TCAM de las ablas de
lujo. Es a limi aci´
on ambi´
en impac a sob e el endimien o
de las edes SDN/NFV en las que se u iliza el pa adigma
SFC (Se ice Func ion Chaining), ya que los nodos que
ac ´
uan como clasi icado es pueden e se es ingidos en
el n´
ume o de solici udes SFC que pueden acep a . Pa a
ello, abajos como los de [6], [8], [9] p oponen ealiza
una desca ga en el p oceso de clasi icaci´
on. Dicha acci´
on
pod ´
a se ealizada po cualquie a de los nodos del camino
desde el nodo o igen (clasi icado inicial) has a el nodo
des ino.
En es e abajo, nues o obje i o es ajus a
din´
amicamen e el idle imeou pa a mejo a la QoS
de las edes SDN. Si ins alamos en cada egla idle
imeou s al os, es amos p o ocando que haya menos
in e cambio de in o maci´
on con el con olado po el
simple hecho de que las eglas no se bo a ´
an a menudo,
lo que implica que no end ´
an que eins ala se demasiadas
eces. Pe o es o supond ´
a que las TCAM se llena ´
an
p on o, po causa de que las eglas a da ´
an en bo a se,
no pudiendo sa is ace nue os lujos.
Si hacemos lo con a io e ins alamos idle imeou s bajos,
el in e cambio de mensajes de con ol de ipo OpenFlow
con el con olado aumen a ´
a eno memen e, suponiendo
e asos en la ed, mas pod emos sa is ace un mayo
n´
ume o de lujos po que no hab ´
a eglas que acapa en las
TCAM du an e un g an espacio de iempo.
El obje i o de es e abajo es encon a una mane a
e icien e de a a los idle imeou s de cada egla de la ed
de o ma din´
amica. As´
ı, que emos op imiza los alo es
que se le adjudican a cada idle imeou pa a consegui un
mejo uncionamien o global de nues a ed, es ableciendo
una mejo adminis aci´
on del espacio de las TCAM, y po
an o, maximizando la can idad de lujos que se pueden
sa is ace . Pa a ello, se p opone un algo i mo basado en
DRL que eco e ´
a las eglas ins aladas e i ´
a ajus ado
sus idle imeou s en unci´
on del es ado de la ed, pa a
as´
ı consegui que es os idle engan alo es aco des a las
necesidades de la ed.
Los esul ados ob enidos as la ejecuci´
on de simula-
ciones sob e edes sin ´
e icas y eales indican que nues o
algo i mo mejo a, po no ma gene al, el desempe˜
no de
la ed en cuan o a la can idad de paque es que pueden
sa is ace se, consiguiendo una mejo QoS.
El es o del a ´
ıculo se o ganiza de la siguien e mane a:
el algo i mo DRL p opues o se desc ibe en la Secci´
on
II, la Secci´
on III desc ibe los esul ados ob enidos as la
Fig. 1: Esquema del uncionamien o del algo i mo DRL
simulaciones ealizadas y las compa aciones con la o ma
es ´
a ica adicional de usa los idle imeou , y po ´
ul imo, la
Secci´
on IV hace un epaso de las conclusiones ob enidas.
II. ALGORITMO DIDLE DRL
Rein o cemen Lea ning es un subcampo de ML (Ma-
chine Lea ning), que se di e encia de los m´
e odos m´
as
cl´
asicos como los supe isados [10] y los no supe isados
[11]. Los supe isados se cen an en clasi ica un conjun o
de da os de en ada, y los no supe isados en ag upa ese
conjun o de en ada. Sin emba go, Rein o cemen Lea ning
[12] se basa en en ena a un agen e pa a que ome
cie as acciones sob e un en o no conc e o en unci´
on de
las ecompensas que se le de uel en, pudiendo encon a
soluciones a p oblemas conc e os.
DRL es pa e de Rein o cemen Lea ning, pe o incluye
la palab a Deep, pues hace uso de una ed neu onal,
cuyo obje i o ´
ul imo se ´
a ap ende c´
omo maximiza las
ecompensas que ob iene [13].
DRL es ´
a compues o po a ios concep os. Uno de ellos
es el en o no, que se e ie e a aquello que el algo i mo
u iliza en su p oceso de p edicci´
on, sob e el que ealiza
las acciones y sob e el que ob iene las ecompensas. En
nues o caso, el en o no es la con igu aci´
on de la opolog´
ıa
de la ed con el es ado y con enido de las ablas de lujo
de los nodos SDN.
El agen e es el en e que oma las decisiones (la ed
neu onal) y que p e ende ap ende pa a op imiza dichas
decisiones de o ma que se maximice la ecompensa que
se le de uel e as la oma de una acci´
on. Po ello, el
siguien e concep o es la acci´
on, que es cada modi icaci´
on
que el agen e ealiza sob e el en o no. La ecompensa que
se le o ece a la ed neu onal as cada acci´
on depende de
una e aluaci´
on que se hace sob e el en o no, iden i icando
en es e si la si uaci´
on en la que se encuen a as la
acci´
on es posi i a o nega i a, lo que de ol e ´
a una e-
compensa aco de a dicha si uaci´
on. En nues o algo i mo,
una si uaci´
on posi i a se ´
a aquella en la que se pueden
cumpli la mayo can idad de lujos posibles de ca a al
siguien e ins an e de iempo, a la ez que las TCAM se
encuen an con una ocupaci´
on baja. Si las TCAM es ´
an
llenas, y no se pueden sa is ace las siguien es eglas, la
ecompensa se ´
a nega i a.
This wo k is licensed unde a C ea i e Commons 4.0 In e na ional License (CC BY-NC-ND 4.0)
218
A con inuaci´
on, se p ocede a explica con mayo p o-
undidad el uncionamien o pa icula de nues o algo i mo
DIdle DRL (Dynamic Idle DRL).
A. Espacio de es ados
El es ado es el conjun o de da os ep esen a i os de la
si uaci´
on ac ual de la ed que la ed neu onal ecibe como
en ada, y el cual usa ´
a pa a oma unas acciones u o as.
En la Figu a 1 podemos e ep esen ado el es ado po un
ec o , el cual es ´
a compues o po :
•MT: La ma iz de ´
a ico del ins an e siguien e. Se
a a de una ma iz con o mada po unos y ce os,
indicando un 1que hay ac i idad en e el nodo o igen,
ep esen ado po el n´
ume o de la ila, y el nodo
des ino, ep esen ado po el n´
ume o de la columna.
Un 0indica que no hay ac i idad, que no se quie e
in e cambia in o maci´
on en e ambos nodos.
•R: El conjun o de odas las eglas ins aladas
en odos los nodos. Cada egla con su
nodo o igen, su nodo des ino, su siguien e
sal o, sus con ado es y su idle imeou . =
[s c node, ds node, nex hop, coun e s, idle imeou ]
Es e espacio de es ados lo ecibi ´
a la ed neu onal,
que como salida de ol e ´
a una acci´
on, como se obse a
en la Figu a 1, en unci´
on que lo que haya ap endido
a a´
ız de las ecompensas o o gadas du an e su ase de
en enamien o.
B. Acciones
A la ho a de ins ala una egla en una abla de lujo,
se inclui ´
a con un de e minado idle imeou y DRL no
in e end ´
a en ello, po que el algo i mo solo modi ica
los idle imeou de eglas ya ins aladas. Una ez inaliza
un ins an e de iempo, habi´
endose incluido las nue as
eglas que ese ins an e de iempo eque ´
ıa y habi´
endose
ealizado el en ´
ıo de los da os que co esponden, se hace
una llamada al Algo i mo DIdle DRL. El pseudoc´
odigo de
DIdle DRL iene desc i o en Alg. 1, donde se obse a que
se le pasa como en ada el es ado ac ual de la ed y se le
de uel e una de las cua o acciones posibles. Las acciones
se lle a ´
an a cabo pa a cada egla de cada TCAM, es
deci , el algo i mo end ´
a que eco e odas y cada una de
las eglas que es ´
an ins aladas en nues a ed y ac ualiza
sus espec i os idle. Como esul ado, se ob iene un nue o
es ado de la ed.
Las dis in as acciones que puede oma pa a cada egla
son:
•Bo a la egla di ec amen e. Si DRL conside a que
una de e minada egla no es ´
a siendo ´
u il y es ´
a
ocupando espacio, puede bo a la.
•Disminui en una unidad el idle imeou de la egla.
•Man ene el idle imeou de la egla.
•Aumen a en una unidad el idle imeou de la egla.
C. Recompensas
Las ecompensas con las que se e oalimen a DRL son
esenciales pa a un buen uncionamien o del algo i mo. En
nues o caso se ha omado la decisi´
on de es ablece una
Algo i hm 1 Pseudoc´
odigo del ajus e de los idle imeou s.
Requi e: Un ec o que ep esen a el es ado de la ed, o mado
po la ma iz de ´
a ico del siguien e ins an e: MT , y po el
conjun o de eglas ins aladas en cada TCAM: R.
1: o all ∈ R do
2: Toma acci´
on A . La acci´
on la oma en unci´
on del
es ado ecibido
3: Ac ualiza con la acci´
on A
4: end o
5: e u n Es ado con las eglas ac ualizadas po las acciones
ecompensa que e al´
ue el es ado de la ed una ez se
han lle ado a cabo las acciones sob e odas las eglas. El
obje i o ´
ul imo de DRL se ´
a maximiza el alo de esa
ecompensa, po lo que una ecompensa al a e o za ´
a los
pesos de la ed neu onal pa a a o ece ese esul ado m´
as
a menudo.
Es e alo de ecompensa ( ec) se calcula de acue do a
la ecuaci´
on 1:
ec =TamT CAM −MaxT CAM −XAc i oN O (1)
Po un lado, se calcula el m´
aximo de ocupaci´
on que
iene una TCAM as ealiza las acciones (MaxT CAM
en la ecuaci´
on 1). Al ama˜
no que iene una TCAM
(TamT CAM en la ecuaci´
on 1) de la ed se le es a ese
alo calculado, y esa se ´
a la ecompensa que end emos
has a el momen o. Con es o conseguimos minimiza la
ocupaci´
on de las TCAM pa a a a de que exis a espacio
su icien e pa a nue as eglas.
Po o o lado, se analiza la ma iz de ´
a ico del ins an e
que a a comenza a con inuaci´
on, y se hace un suma o io
de odos los lujos que ienen que se inse ados como e-
glas en las dis in as TCAM como consecuencia de que en
el ins an e ac ual no se encuen an ins alados (Ac i oN O
en la ecuaci´
on 1). Es o se lo es amos a la ecompensa
que en´
ıamos del pun o an e io . Res a es e n´
ume o ayuda
a DRL a no bo a eglas que an a se u ilizadas a
con inuaci´
on, po que ene que ins ala las nue amen e
p oduce una p´
e dida de iempo po los in e cambios de
in o maci´
on con el con olado SDN, lo que epe cu e
nega i amen e en el uncionamien o de la ed.
As´
ı, equilib a ´
ıamos el hecho de que e minimiza la
ocupaci´
on de las ablas con el hecho de sa is ace la
mayo can idad de lujos sin que se engan que eins ala
nue amen e.
D. C´
alculo del idle din´
amico
Con el obje i o de ealiza un a amien o comple a-
men e din´
amico de los idle imeou , p oponemos una
´
o mula pa a es ablece lo a la ho a de inse a las eglas
en las TCAM, eniendo en cuen a el uso his ´
o ico del lujo
y la ocupaci´
on de las TCAM.
idle imeou = ( Px
100 +k)∗Ndis
N o
∗ max
2(2)
A con inuaci´
on se explican cada uno de los ´
e minos de
la ecuaci´
on 2:
This wo k is licensed unde a C ea i e Commons 4.0 In e na ional License (CC BY-NC-ND 4.0)
219
Jim´
enez-L´
aza o, Be ocal, Gal´
an-Jim´
enez, 2021.
•Px: Po cen aje de uso del lujo de la egla a ins ala
en los ´
ul imos xins an es de iempo.
•k: Valo cons an e que se encuen a en e -1 y 1.
Si e pa a ajus a el idle imeou en unci´
on de
c´
omo que emos que se compo e la ´
o mula. Si el
alo es posi i o, los alo es de los idle imeou
se ´
an mayo es. Si lo si uamos nega i o, se ´
an m´
as
peque˜
nos.
•Ndis: N´
ume o de espacios disponibles en la abla de
encaminamien o m´
as ocupada del lujo a inse a .
•N o : N´
ume o de espacios o ales que posee una abla
de encaminamien o (lo conside amos el mismo pa a
odas las ablas de la ed).
• max: N´
ume o de ins an es de iempo o ales en la
simulaci´
on. El m´
ınimo idle imeou que se puede
asocia a una egla es de 1, y el m´
aximo consid-
e a emos que es la mi ad de odos los ins an es de
iempo que es amos eco iendo en la simulaci´
on. De
o ma que el idle imeou esul an e debe es a en e
0 y el ins an e de iempo m´
aximo di idido en e dos.
Pa a un co ec o uncionamien o del algo i mo, pa a el
alo esul an e de la ecuaci´
on 2 debe aplica se la unci´
on
echo. Es deci , si ob enemos un idle imeou de 2,1,
debemos edondea lo a 3. Po supues o, si la kes posi i a,
puede da se el caso de que el idle imeou esul an e sea
supe io al alo m´
aximo que hemos pues o como l´
ımi e
( max/2). En ese caso, podemos limi a que odo alo
que supe e el l´
ımi e se eduzca a es e, o podemos deja
que el imeou lo supe e, depende ´
a de nues os in e eses.
Si la kes nega i a, se p oduci ´
a el e ec o con a io. En
caso de que se ob enga un alo nega i o, el idle imeou
se es ablece ´
a a 0, lo que signi ica que se usa ´
a la egla e
inmedia amen e se bo a ´
a.
III. RESULTADOS EXPERIMENTALES
Pa a las ases de en enamien o de nues o algo i mo
DIdle DRL, se han gene ado los es ados que ecibe la ed
de una o ma pseudoalea o ia, de o ma que ep esen en
es ados eales que se pod ´
ıa encon a a la ho a de en-
en a se al p oblema eal. Pa a es e en enamien o se han
u ilizado 50000 pasos.
T as las ases de en enamien o del algo i mo DRL,
se ejecu a on una se ie de p uebas que nos indica on el
uncionamien o de es e con espec o al uncionamien o
es ´
anda . El uncionamien o es ´
anda es el que end ´
ıa la
ed en caso de que los idle imeou se man u ie an de
mane a es ´
a ica du an e oda la es ancia de la egla en la
TCAM.
Las p uebas se ealiza on sob e dos opolog´
ıas de ed
di e en es. Una opolog´
ıa sin ´
e ica de 5 nodos y 8 enlaces
bidi eccionales que puede e se en la Figu a 2(a) y una
opolog´
ıa eal ob enida de la lib e ´
ıa SNDLib, denominada
Nobel-Ge many (17 nodos y 25 enlaces) ep esen ada en
la Figu a 2(b).
Con espec o al ´
a ico gene ado, conside amos dinami-
cidad en el mismo, in e calando in e alos de ac i idad con
in e alos de inac i idad. Pa a ello nos amos en DTMP
(Disc e e Time Ma ko P ocess), que gene a ´
a la ac i idad
((a)) Topolog´
ıa sin ´
e ica
((b)) Nobel-Ge many
Fig. 2: Topolog´
ıas de ed conside adas.
en unci´
on de las p obabilidades que o o gan los alo es
de αyβ, siendo β= 1 −α. Pa a cada opolog´
ıa ha emos
es p uebas di e en es, una pa a una ca ga de ´
a ico del
25%, que co esponde ´
ıa con un α= 0.25, o a pa a el
50%, siendo α= 0.5y o a pa a el 75%, con α= 0.75.
Vol iendo a las p uebas, la simulaci´
on que ealizamos
pa a isualiza si el algo i mo DRL es exi oso ha sido p o-
g amada a a ´
es del lenguaje Py hon, donde gene amos
la ma iz de ´
a ico median e DTMP pa a un n´
ume o X
de ins an es de iempo. En nues o caso, las p uebas las
hemos ealizado pa a 10 ins an es de iempo, pa a un alo
de k= 0.1yx= 3 en la ´
o mula que calcula el idle
imeou inicial de una egla.
En cada ins an e se inse a ´
an odas las eglas de los
lujos ac i os seg´
un la ma iz de ´
a ico, a excepci´
on
de aquellos lujos en los que alguna de las TCAM de
los nodos po los que pasa se encuen e comple amen e
ocupada. Una ez inse adas odas las eglas posibles, se
en ´
ıa la in o maci´
on y se llama a DIdle DRL pa a que lle e
a cabo las acciones que conside e con enien es, ajus ando
los idle imeou s o bo ando eglas. T as es o, se eliminan
las eglas cuyo iempo de inac i idad haya llegado al idle
imeou y se epi e el bucle.
Pa a ob ene los esul ados de cada g ´
a ica, ha emos
a ias i e aciones de la simulaci´
on pa a as´
ı pode hace
una media en e odas y e i a casos ex a˜
nos o ex emos.
En el caso de la opolog´
ıa sin ´
e ica de la Figu a 2(a) hemos
This wo k is licensed unde a C ea i e Commons 4.0 In e na ional License (CC BY-NC-ND 4.0)
220
((a)) α= 0.25 ((b)) α= 0.5((c)) α= 0.75
Fig. 3: Po cen aje de lujos ins alados co ec amen e en la opolog´
ıa sin ´
e ica.
((a)) α= 0.25 ((b)) α= 0.5((c)) α= 0.75
Fig. 4: Po cen aje de lujos ins alados co ec amen e en Nobel.
((a)) Tama˜
no de TCAM = 2 ((b)) Tama˜
no de TCAM = 4
Fig. 5: Compa aci´
on del n´
ume o de eces que ha de ins ala se un lujo en DRL y en es ´
a ico pa a α= 0.25 en la
opolog´
ıa sin ´
e ica.
hecho 100 i e aciones y hemos calculado la media de sus
esul ados. En la opolog´
ıa nobel de la Figu a 2(b) han
sido 10 i e aciones po su mayo complejidad.
Las p ime as g ´
a icas que nos in e esan conoce son las
que podemos e en la Figu a 3 pa a la opolog´
ıa sin ´
e ica
y en la Figu a 4 pa a la opolog´
ıa Nobel. Podemos e
como es as seis g ´
a icas mues an el esul ado pa a el uso
de DRL con el idle din´
amico, pa a un idle es ´
a ico igual
a 3 y pa a un idle es ´
a ico igual a 5. Idle es ´
a ico es la
o ma adicional de a a con es os alo es, iniciando una
egla con un idle imeou de e minado, sin posibilidad de
cambio has a que las eglas de ese lujo se eliminen de
sus TCAM.
Hemos es ablecido esos alo es es ´
a icos en endiendo
que un idle imeou de 3 es lo m´
ınimo acep able, ya que
un idle de 1 sabemos que unciona ´
a muy bien po el hecho
de que siemp e es a ´
a bo ando eglas y hab ´
a espacio pa a
nue as, po lo que es muy di ´
ıcil que pueda se supe ado
po DRL en cuan o a lujos sa is echos. Po o a pa e,
ampoco iene sen ido e alua pa a un idle de 1 po que es
algo que a ni el p ´
ac ico no se u iliza al se un alo muy
peque˜
no.
Es as g ´
a icas nos indican el po cen aje de lujos que se
This wo k is licensed unde a C ea i e Commons 4.0 In e na ional License (CC BY-NC-ND 4.0)
221
Jim´
enez-L´
aza o, Be ocal, Gal´
an-Jim´
enez, 2021.
sa is acen del o al de lujos que quie en en ia se, en en-
diendo como lujo el conjun o de eglas que pe mi en a
un paque e llega desde un nodo o igen a su nodo des ino.
Pa a e lo de una mane a m´
as explica i a, imaginemos
que el nodo 1 quie e en ia in o maci´
on al nodo 3, y
el nodo 4 quie e en ia in o maci´
on al nodo 2. Si los
dos lujos se sa is acen pues hay espacio en las TCAM
co espondien es, end ´
ıamos un po cen aje del 100% de
sa is echas. Si uno de los dos no pudie a cumpli se, se ´
ıa
del 50%.
Comp obamos que en las g ´
a icas de la Figu a 3 de
la opolog´
ıa sin ´
e ica, DRL unciona mejo que de la
o ma es ´
a ica en odos los casos, aunque es a di e encia
se educe cuan o m´
as g ande es el ama˜
no de la TCAM.
Podemos deduci en onces que nues o algo i mo unciona
mejo cuando se en en a a ama˜
nos de TCAM in e io es,
lo que es un esul ado posi i o pues nues o p oblema se
basa en TCAM de ama˜
nos limi ados. A˜
nadiendo a lo
an e io , cuan o m´
as g ande es la TCAM emos que los
idle es ´
a icos se ace can al 100%, sa is aciendo odos los
lujos en la ed.
Como ampliaci´
on de lo an e io , ambi´
en se encuen an
di e encias en e las g ´
a icas con un alo de αin e io ,
como la Figu a 3(a), con espec o a las que ienen mayo
ca ga de ´
a ico, como la Figu a 3(c). La di e encia eside
en que cuan a meno ca ga, m´
as libe ad iene el algo i mo
de juga con las eglas ins aladas, pudiendo aumen a
con m´
as ´
exi o el n´
ume o de lujos sa is echos. Es o se
complica en una p ueba con m´
as ca ga de ´
a ico, pues es
muy posible que la TCAM se encuen e eple a de eglas
que an a u iliza se, a la ez que hay paque es a en ia
que necesi an eglas que no ienen espacio disponible.
En onces, se complica la capacidad que iene el algo i mo
de juga con esas eglas, educiendo la di e encia an e la
simulaci´
on es ´
a ica.
Pa a la igu a 4 con las g ´
a icas de Nobel, emos una
mejo a meno , siendo los esul ados m´
as ajus ados que
en la opolog´
ıa sin ´
e ica, llegando a es a igualados en
si uaciones de baja ac i idad de ´
a ico (Figu a 4(a)).
Viendo que el esul ado gene al de las g ´
a icas que
compa an el g ado de lujos sa is echos es posi i o, se
a a obse a median e la Figu a 5 c´
omo epe cu e en el
n´
ume o de lujos ins alados el hecho de que el n´
ume o de
lujos sa is echos sea mayo .
En es as g ´
a icas se a a analiza cu´
an as eces se ins ala
cada egla de media, es ando ep esen ada cada egla po
un id. El esul ado ideal se ´
ıa que es e n´
ume o de eces
que se ins ala cada egla ue a igual o meno espec o a los
idle es ´
a icos, pe o emos en las dos g ´
a icas que no es as´
ı,
que las eces que hay que ins ala cada egla es, po no ma
gene al, mayo en DIdle DRL. A´
un as´
ı, se obse a que, al
elaja el ama˜
no de la TCAM (Figu a 5(b)) con espec o a
un ama˜
no meno (Figu a 5(b)), el n´
ume o de ins alaciones
baja en DRL, ace c´
andose al n´
ume o de ins alaciones del
a amien o es ´
a ico del idle.
En es e aspec o, no cumplimos con la imagen ideal que
en´
ıamos, pe o se puede en ende que es una penalizaci´
on
que enemos que paga , po que el obje i o p incipal es
pode ins ala las eglas en las ablas de lujos pa a que el
´
a ico se pueda encamina , aunque engamos que ealiza
un mayo n´
ume o de comunicaciones con el con olado .
IV. CONCLUSIONES
El obje i o de es e abajo e a encon a una mane a
e icien e de a a los idle imeou s de cada egla de
la ed de una o ma din´
amica, es ableciendo una mejo
adminis aci´
on del espacio de las TCAM, y en onces,
maximizando la can idad de lujos que se pueden sa is-
ace . Con es o en men e, se p opuso un algo i mo DRL,
denominado DIdle DRL, que eco ´
ıa las eglas ins aladas
e i ´
ıa ajus ando los idle imeou s en unci´
on del es ado de
la ed en ese momen o.
T as las pe inen es p uebas, comp obamos que los
esul ados ob enidos e an posi i os, y que DIdle DRL
mejo aba no malmen e el n´
ume o de paque es que pod´
ıan
llega a su des ino.
En con aposici´
on, se encon aba un aumen o de eglas
a ins ala se. Ello supon´
ıa un aumen o de in e cambio de
mensajes con el con olado , pe o se ha en endido como
un mal meno a cambio de consegui que la in o maci´
on
consiga llega al des ino en unos espacios de TCAM an
limi ados.
En de ini i a, se ha log ado el obje i o de mejo a la
QoS de la ed median e el algo i mo DIdle DRL.
AGRADECIMIENTOS
Es e abajo ha sido inanciado, en pa e, po el
p oyec o RTI2018-094591-B-I00 (MCI/AEI/FEDER,UE),
el p oyec o 4IE+ (0499-4IE-PLUS-4-E) inanciado po el
p og ama In e eg V-A Espana-Po ugal (POCTEP) 2014-
2020, po la Conseje ´
ıa de Econom´
ıa, Ciencia y Agenda
Digi al de la Jun a de Ex emadu a (GR18112, IB18030) y
po el Fondo Eu opeo de Desa ollo Regional (FEDER).
REFERENCIAS
[1] A. R. Cu is, J. C. Mogul, J. Tou ilhes, P. Yalagandula, P. Sha ma,
and S. Bane jee, “De o low: Scaling low managemen o
high-pe o mance ne wo ks,” SIGCOMM Compu . Commun. Re .,
ol. 41, no. 4, pp. 254–265, aug 2011.
[2] J. Gal´
an-Jim´
enez, J. Be ocal, J. L. He e a, and M. Pol e ini,
“Mul i-objec i e gene ic algo i hm o he join op imiza ion o
ene gy e iciency and ule educ ion in so wa e-de ined ne wo ks,”
in 2020 11 h In e na ional Con e ence on Ne wo k o he Fu u e
(NoF), 2020, pp. 33–37.
[3] C. R. Meine s, A. X. Liu, and E. To ng, “Bi wea ing: A non-p e ix
app oach o comp essing packe classi ie s in cams,” IEEE/ACM
T ansac ions on Ne wo king, ol. 20, no. 2, pp. 488–500, Ap il
2012.
[4] P. C. Lekkas, Ne wo k P ocesso s: A chi ec u es, P o ocols, and
Pla o ms. New Yo k, NY, USA: McG aw-Hill, 2003.
[5] M. Ku´
znia , P. Pe eˇ
s´
ıni, D. Kos i´
c, and M. Canini, “Me hodology,
measu emen and analysis o low able upda e cha ac e is ics in
ha dwa e open low swi ches,” Compu e Ne wo ks, ol. 136, pp.
22–36, 2018.
[6] M. Pol e ini, J. Gal´
an-Jim´
enez, F. G. La acca, A. Cian ani, and
V. E amo, “A scalable and o loading-based a ic classi ica ion
solu ion in n /sdn ne wo k a chi ec u es,” IEEE T ansac ions on
Ne wo k and Se ice Managemen , ol. 18, no. 2, pp. 1445–1460,
2021.
[7] J. Gal´
an-Jim´
enez, J. Be ocal, M. Linaje, and C. G´
omez, “Mini-
mizaci´
on del consumo de ene g´
ıa en edes sdn bajo es icciones
cam,” in Ac as de las XIV Jo nadas de Ingenie ´
ıa Telem´
a ica
(JITEL 2019), 2019, pp. 1–6.
This wo k is licensed unde a C ea i e Commons 4.0 In e na ional License (CC BY-NC-ND 4.0)
222
[8] M. Pol e ini, J. Gal´
an-Jim´
enez, F. G. La acca, A. Cian ani, and
V. E amo, “Dynamic in-ne wo k classi ica ion o se ice unc ion
chaining eady sdn ne wo ks,” in 2019 10 h In e na ional Con e -
ence on Ne wo ks o he Fu u e (NoF), 2019, pp. 74–81.
[9] ——, “Imp o ing dynamic se ice unc ion chaining classi ica ion
in n /sdn ne wo ks h ough he o loading concep ,” Compu e
Ne wo ks, ol. 182, p. 107480, 2020.
[10] S. B. Ko sian is, I. Zaha akis, and P. Pin elas, “Supe ised machine
lea ning: A e iew o classi ica ion echniques,” Eme ging a i icial
in elligence applica ions in compu e enginee ing, ol. 160, no. 1,
pp. 3–24, 2007.
[11] A. Kassamba a, P ac ical guide o clus e analysis in R: Unsupe -
ised machine lea ning. S hda, 2017, ol. 1.
[12] R. S. Su on and A. G. Ba o, Rein o cemen lea ning: An in o-
duc ion. MIT p ess, 2018.
[13] N. C. Luong, D. T. Hoang, S. Gong, D. Niya o, P. Wang, Y.-
C. Liang, and D. I. Kim, “Applica ions o deep ein o cemen
lea ning in communica ions and ne wo king: A su ey,” IEEE
Communica ions Su eys Tu o ials, ol. 21, no. 4, pp. 3133–3174,
2019.
This wo k is licensed unde a C ea i e Commons 4.0 In e na ional License (CC BY-NC-ND 4.0)
223
