Ál a o Sánchez B a o
Li on Lanes Pilau Sob inho
(Di ec o es)
ESTUDIOS SOBRE ÉTICA
E INTELIGENCIA ARTIFICIAL
ESTUDIOS SOBRE ÉTICA E INTELIGENCIA ARTIFICIAL
VV. AA.
Edi ado po :
Edi o ial Alma Ma e
Paseo de las Delicias, 30, 2º. Mad id (España)
[email p o ec ed]
www.edi o ialalmama e .com
Imp eso en España
ISBN: 979-08-22884-48-3
Maque ación, diseño y p oducción: Edi o ial Alma Ma e
© 2025 Edi o ial Alma Ma e
Quedan igu osamen e p ohibidas, sin la au o ización po esc i o de los
i ula es del copy igh , bajo las sanciones es ablecidas po las leyes, la e-
p oducción pa cial o o al de es a ob a po cualquie medio o p ocedi-
mien o, comp endidos la ep og a ía y el a amien o in o má ico, y la dis-
ibución de ejempla es de es a edición median e alquile o p és amos
públicos.
ÍNDICE
ÉTICA(S) DE LA INTELIGENCIA ARTIFICIAL
Y DERECHO: CONSIDERACIONES A PROPÓSITO
DE LOS LÍMITES Y LA CONTENCIÓN
DEL DESARROLLO TECNOLÓGICO ................................................ 5
Fe nando H. Llano Alonso
ÉTICA Y DERECHO EN LA NORMATIVA
EUROPEA SOBRE INTELIGENCIA ARTIFICIAL ........................ 35
An onio En ique Pé ez Luño
INNOVACIÓN, ÉTICA Y DERECHO (REFERENCIA A
INTELIGENCIA ARTIFICIAL Y DATOS PERSONALES) .......... 53
Felipe Ro ondo
ÉTICA DE LA INTELIGENCIA ARTIFICIAL Y BIG DATA:
ALGUNAS IMPLICACIONES PARA LOS DERECHOS
FUNDAMENTALES ................................................................................... 73
Jesús Ignacio Delgado Rojas
NOVAS CONSIDERAÇÕES SOBRE A QUESTÃO SOCIAL
NA ERA DA REALIDADE VIRTUAL E DA INTELIGÊNCIA
ARTIFICIAL EM SOCIEDADES COMPLEXAS
E MULTICULTURAIS ............................................................................... 85
José Alcebiades de Oli ei a Junio
INTELIGENCIA ARTIFICIAL Y JUSTICIA
CONSTITUCIONAL. RIESGOS E IMPLICACIONES
HERMENÉUTICOS PARA LA SOCIEDAD PLURALISTA ......... 95
Fe nando Babi Ruiz
A DISSONÂNCIA COMUNICACIONAL DA
DEMOCRACIA NA ERA DIGITAL ...................................................... 111
Li on Lanes Pilau Sob inho
¿HACIA UN ORDEN MUNDIAL ARTIFICIAL? ................................... 141
Ma ía Es eban Moncho
ÉTICA, INTELIGENCIA ARTIFICIAL Y TRABAJO ........................... 171
Juan Raso Delgue
LA “TIERRA PROMETIDA” DE LA INTELIGENCIA
ARTIFICIAL: IGLESIA E INNOVACIÓN TECNOLÓGICA ..... 183
Nu ia Belloso Ma ín
MAGISTERIO DE LA IGLESIA E INTELIGENCIA ARTIFICIAL . 203
Ál a o Sánchez B a o
OBRA SEM AUTOR, BEM COM VALOR. FUNDAMENTOS
JURÍDICOS DA PROTEÇÃO DE IMAGENS CRIADAS
POR INTELIGÊNCIA ARTIFICIAL ................................................... 243
É en Paulo Po í io de Sá Lima
ESTUDIOS SOBRE ÉTICA
E INTELIGENCIA ARTIFICIAL
7
ÉTICA(S) DE LA INTELIGENCIA
ARTIFICIAL Y DERECHO:
CONSIDERACIONES A PROPÓSITO DE
LOS LÍMITES Y LA CONTENCIÓN DEL
DESARROLLO TECNOLÓGICO
Fe nando H. Llano Alonso
Uni e sidad de Se illa
A Ma ía Dolo es Ga cía Cossío (1938-2024)
In memo iam
INTRODUCCIÓN
A inales del mes de ma zo de 2023, más de medio milla de acadé-
micos, ingenie os expe os en in eligencia a i icial (en adelan e, IA)
y emp esa ios de compañías ecnológicas i ma on una ca a
abie a en la que ad e ían de los “p o undos iesgos pa a la socie-
dad y la humanidad” que plan ean los modelos a anzados; en con-
secuencia, p oponían a los labo a o ios de IA una pausa o impasse,
al menos du an e seis meses, en el en enamien o de sis emas de
IA más po en es que el modelo de lenguaje de OpenAI GPT41.
Es a ca a ue publicada po The Fu u e o Li e Ins i u e, un ins i u o
que se p esen a a sí mismo como una o ganización cuya p incipal
misión consis e en di igi la ecnología ans o mado a hacia el be-
ne icio de la ida y aleja la de los iesgos ex emos a g an escala: la
IA, la Bio ecnología y las a mas nuclea es. Según los au o es de es e
1 En e los signa a ios de es a ca a se encuen an: Elon Musk (CEO de
SpaceX, Tesla y Twi e ); S e e Wozniak (Co undado de Apple); Yu al
Noah Ha a i; E an Sha p (Co undado de Pin e es ); C aig Pee e s (Di ec-
o ejecu i o de Ge y Images); Emad Mos aque (Di ec o ejecu i o de
S abili y AI); o Vale ie Pisano (P esiden a y Di ec o a ejecu i a de MILA).
14
Desde un pun o de is a ju ídico, se han p oducido a ances signi i-
ca i os en la egulación de una IA al se icio de la humanidad, sob e
odo en el ámbi o de la Unión Eu opea, que cuen a con la p ime a
ley in eg al del mundo sob e IA y que, como pa e de su es a egia
digi al, ela po la segu idad, la anspa encia, la e icidad y el con-
ol humano de los sis emas de IA. Sin emba go, no puede sosla-
ya se el hecho de que, aunque el bienes a de la humanidad sea
uno de los p incipios que guían la no ma i a eu opea sob e la IA,
es u gen e e inaplazable el plan eamien o de un deba e é ico a p o-
pósi o del impac o y los e ec os nega i os p oducidos po los sis-
emas a i iciales, así como la al a de asunción de esponsabilida-
des po pa e de quienes come cian y se en iquecen con dichos
sis emas sin espe a códigos deon ológicos ni no mas de conduc a
que pe mi an di e encia lo bueno de lo malo, y que a o ezcan lo
p ime o y e i en lo segundo13.
LA IA FUERTE Y EL ALINEAMIENTO DE SUS
OBJETIVOS CON LOS VALORES HUMANOS
Las leyes de la obó ica de Isaac Asimo pa en de una p esunción:
si el código é ico de las máquinas y los alo es humanos no es u-
ie an co ec amen e alineados, una IAG acaba ía des uyendo, a-
cional y consecuen emen e, nues o ecosis ema y, con ello, la hu-
manidad en e a14. Po eso mismo, como ad i ie a No be Wiene
-conside ado el undado de la cibe né ica y un in luyen e de enso
de la au oma ización- si pa a log a nues os obje i os u ilizamos un
agen e mecánico (como un obo u o a máquina in eligen e)
13 A. BIRHANE-J. VAN DIJK, “Robo Righ s? Le ´s Talk abou Human Wel-
a e Ins ead”, P oceedings o he AAAI/ACM Con e ence on AI, E hics,
and Socie y (AIES ´20), Associa ion o Compu ing Machine y, New Yo k,
2020, pp. 207-213; S. DEGLI-ESPOSTI, La é ica de la in eligencia a i icial,
CSIC-Ca a a a, Mad id, 2023, p. 100.
14 S. DEGLI-ESPOSTI, La é ica de la in eligencia a i icial, ci ., pp. 74-75.
15
debe íamos asegu a nos an es de hace lo de que el obje i o que
pe seguimos con dicho agen e es el que de e dad deseamos15.
A es a hipó esis dis ópica, en la que una IAG no se encuen a ali-
neada con la humanidad, apun ó Isaac Asimo cuando enunció, en
1941, las es leyes de la obó ica, publicadas un año más a de en
un ela o co o i ulado: Runa ound, que ha inspi ado no solo a
o as gene aciones ul e io es de esc i o es de ciencia icción, sino
a cien í icos cogni i os: Minsky (2006), ingenie os in o má icos:
Ba ield (2015), y ju is as: Sa o (1993) y Pagallo (2013), en e o os.
Las es leyes clásicas de la obó ica p ohíben a los obo s causa
daño a los humanos, les obligan a obedece las ó denes dadas po
los se es humanos, y les o denan p ese a su p opia exis encia.
Es as es leyes es ablecen los siguien es p incipios:
1.Un obo no ha á daño a un se humano ni, po inacción,
pe mi i á que un se humano su a daño.
2.Un obo debe cumpli las ó denes dadas po los se es
humanos, a excepción de aquellas que en en en con lic o
con la p ime a ley.
3.Un obo debe p o ege su p opia exis encia en la me-
dida en que es a p o ección no en e en con lic o con la
p ime a o con la segunda ley.
Con pos e io idad es as leyes o iginales ue on modi icadas y
desa olladas po o os no elis as de ciencia icción, e incluso el
p opio Asimo añadi ía una cua a ley (ley ce o), en Robo s and Em-
pi e (1985), pa a un imagina io uni e so u u is a y dis ópico en el
que las máquinas han asumido el gobie no del plane a as despla-
za a los homb es. Es a cua a ley esponde al siguien e enunciado:
15 N. WIENER, Cybe ne ics o Con ol and Communica ion in he Animal
and he Machine, The Technology P ess-John Wiley and Sons-Inc. He -
mann e Cie Edi eu s, Camb idge (Massachuse s)-New Yo k, Pa is, 1948;
The Human Use o Human Beings: Cybe ne ics and Socie y, Doubleday &
Co., Ga den Ci y (New Yo k), 1950.
16
4.Un obo no puede daña a la humanidad o, po inac-
ción, pe mi i que la humanidad su a daños.
En cuan o a es a cua a ley, con empla la hipó esis de que un obo
pueda llega a incluso a ac ua con a un se humano pa a e i a
que haga daño a sus congéne es. Como señala Jacques Pi a , es a
ley ce o es una ley pensada pa a p o ege a la humanidad de su
peo enemigo: el homb e16. A es e espec o, en el ela o The E i a-
ble Con lic (1950) Asimo imagina un mundo con olado po las
máquinas, pues és as han llegado a la conclusión de que la única
mane a de sa is ace el manda o de la p ime a ley es conspi a con-
a los homb es pa a sal a les de sí mismos. El coo dinado de ese
gobie no plane a io en el que las máquinas egulan la economía
mundial se llama S ephen Bye ley, un obo humanoide do ado de
conciencia a i icial que ela po el bien de la humanidad.
La hipó esis del con lic o en e máquinas in eligen es y pe sonas,
an as eces lle ada a la no ela dis ópica y el cine de ciencia ic-
ción, en la que la IA pod ía oma decisiones con a ias al in e és
de los se es humanos, se plan ea el llamado “p oblema del aliena-
mien o”: ¿cómo consegui que las máquinas in eligen es no se e-
uel an con a sus c eado es? A es e espec o, como han ad ie -
ido Sigman y Bilinkis, ese po encial en en amien o no eque i ía
necesa iamen e una conciencia o maldad in ínseca po pa e de la
IA.
Es su icien e con que pe damos el con ol sob e algo suma-
men e pode oso, y capaz de ope a a g an escala sob e el
mundo, po un e o en la unción alo , po alguna omisión en
las limi aciones que se le impongan, po alguna p opiedad
eme gen e inespe ada o po l posibilidad que ienen de modi-
ica los obje i os que les damos17.
16 J. P I TR AT, A i icial Beings: The Concience o a Conscious Machine,
John Wiley & Sons Inc., Hoboken (New Je sey)-London, 2009, p. 184.
17 M. SIGMAN y S. BILINKIS, A i icial. La nue a in eligencia y el con o no
de lo humano, ci ., p. 177.
17
Como puede comp oba se as la lec u a de los dos ela os de Asi-
mo que hemos omado como ejemplo, Runa ound y The E i able
Con lic , la li e a u a de ciencia icción ha an icipado si uaciones e
hipó esis que han pasado a o ma pa e de la expe iencia ju ídica
de la e a cibe né ica y p ecisan una especí ica egulación: la é ica
de la IA, la au onomía de las máquinas y su impac o en el ámbi o
de los de echos humanos, la conciencia a i icial, la pe sonalidad
elec ónica o la esponsabilidad ci il y penal po los daños causa-
dos po la IA y la obó ica18.
A la is a de la complejidad de las leyes de la obó ica, de los dile-
mas é icos de di ícil solución que és as p esen an, de las conse-
cuencias de los sesgos implíci os en los da os de en enamien o de
los algo i mos y de los desa íos que en aña el p oblema del alinea-
mien o, se ía opo uno abo da es as cues iones den o de un
ma co é ico que limi e y o ien e las acciones y decisiones au oma-
izadas de las máquinas in eligen es al in e ac ua con las pe sonas.
Pe o, ¿cómo consensua un código é ico aplicable a las máquinas,
cuando ni siquie a hemos log ado pone nos de acue do en e las
pe sonas a la ho a de compa i un ma co é ico uni e sal, ni unos
mismos alo es mo ales que o ien en la conduc a de los indi i-
duos? Y po o a pa e, ¿con qué conjun o de alo es debe ía ali-
nea se la IA y qué es a us legal y é ico debe ía ene ?
La cues ión sob e el alineamien o de los alo es y compo amien-
os de los sis emas de IA con los alo es humanos se a ó, p ecisa-
men e, en la Con e encia de Asiloma sob e IA bene iciosa, cele-
b ada en ene o de 2017 en Cali o nia y o ganizada po el Fu u e o
Li e Ins i u e. Es e e en o é ico- ecnológico con ó con la p esencia
de más de un cen ena de expe os e in es igado es que se eunie-
on pa a deba i y consensua p incipios de IA. Es a con e encia
concluyó con la o mulación de ein i és p incipios que suponen,
pa a algunos, un alioso pun o de e e encia pa a los deba es sob e
é ica de la IA, mien as que, pa a o os, ca ecen de una o ien ación
18 U. PAGALLO, The Laws o Robo s. C imes, Con ac s, and To s,
Sp inge , Do d ech -Heidelbe g-New Yo k-London, 2013, p. 23.
18
especí ica sob e cómo aplica los a la p ác ica. En odo caso, aun-
que no sean su icien es, se pueden conside a como p incipios ne-
cesa ios pa a inicia abo da los complejos e os é icos que su gen
en o no a la IA.
El décimo p incipio de la Con e encia de Asiloma e sa sob e la
alineación de alo es y eza así:
Los sis emas de IA al amen e au ónomos deben se dise-
ñados de mane a que sus obje i os y compo amien os
puedan se asegu ados pa a alinea se con los alo es hu-
manos a lo la go de su ope ación.
Como emos, es e p incipio se e ie e undamen almen e a los sis-
emas de IA au ónomos, capaces de oma decisiones au oma iza-
das y lle a a cabo acciones sin in e ención humana. En o as pa-
lab as, con es e p incipio lo que se p e ende es ga an iza que los
obje i os y compo amien os de los sis emas de IA au ónomos es-
én diseñados de o ma que se alineen con alo es humanos, pa a
que no ac úen al ma gen de las no mas es ablecidas, ni p oduzcan
daños o lesiones a los se es humanos, al y como p esc ibe la p i-
me a egla de Asimo .
Pe o, ¿cómo conseguimos que los sis emas de IAG supe in eligen-
es es én alineados con los alo es humanos y sigan la in ención
humana sin ebela se? En julio de 2023 OpenAI publicó un docu-
men o de in es igación, i mado po Ilya Su ske e y Jan Leyke, co-
di ec o es del equipo Supe alignmen , en el que explicaban los e-
sul ados de su in es igación sob e un modelo de supe isión au o-
ma izado que sea capaz de guia el compo amien o de o o mucho
más in eligen e (es e p oceso es el que se u iliza, po ejemplo, po
OpenAI pa a ajus a su modelo del lenguaje es ella en 2023: Cha
GPT-4)19.
El ajus e algo í mico a GPT-4 que es á p obando el equipo Su-
pe alignmen pe mi i ía,a la pos e, que el modelo más po en e e
19 www.wi ed.com/s o y/openai-ilya-su ske e -ai-sa e y/
19
in eligen e siga la guía del modelo más débil y menos in eligen e,
pe o sin educi po ello su endimien o. En odo caso, los in es i-
gado es de OpenAI admi en que es e no edoso mé odo de su-
pe alineamien o no ga an iza aún que el modelo más ue e se
compo e a la pe ección, aunque puede se i como un pun o de
e e encia del que pa i án u u as in es igaciones sob e el con ol
de la IAG20.
LA ÉTICA DE LA IA Y LA AMPLIACIÓN
DE LOS PRINCIPIOS DE LA BIOÉTICA
En el an e io epíg a e nos ocupamos del alineamien o de los alo-
es y compo amien os de los sis emas de IA con los alo es huma-
nos. Es a ope ación de alineación es con enien e ealiza la desde
el momen o en que, a a és de la IA, ha sido posible au oma iza
a eas y delega al so wa e o a máquinas in eligen es el desa ollo
de de e minadas unciones.
La IA es á an inse a en nues a ida co idiana y en el con ex o
social que esul a necesa io oma en conside ación desde un
pun o de is a é ico los e ec os y las consecuencias que es a ec-
nología p oduce sob e el géne o humano en plena e a de la au o-
ma ización. En de ini i a, es a es la azón po la que esul a opo -
una una in es igación c í ica en cla e é ica que no solo se ocupe
de la e icacia y el endimien o de las nue as ecnologías, sino am-
bién del bienes a de la humanidad an e el ho izon e de la singula-
idad ecnológica21.
El obje i o de es e en oque é ico es doble: po un lado, p omo e
la conco dancia o alineamien o en e las in enciones de las dis in-
as pa es y los alo es é icos pe inen es pa a el uso p e is o; po
o o lado, Iden i ica , co egi o denuncia las aplicaciones que
20 R. GÓMEZ PÉREZ, El dilema de la IA, Rialp, Mad id, 2023, p. 92.
21 J. SCHAICH BORG-W. SINNOTT-ARMSTRONG-V. CONITZER, Mo al
AI and How We Ge The e, Penguin Random House, Mil on Keyes-Dublin,
2024, pp. 190-191.
20
si en a ines é icamen e inacep ables que igno an, o iolan, alo-
es decisi os en elación con su ámbi o de ac uación. Es e segundo
obje i o (el de la igilancia con a el uso indebido de los sis emas
de IA) iene una g an ele ancia, po que si se e i ica un uso desa-
lineado de los sis emas, en onces la denuncia del p oblema y la
pues a en ma cha de acciones di igidas a su eliminación cons i uye
un ac o obliga o io y absolu amen e necesa io.
En ealidad, la é ica es un ing edien e básico pa a que la in es iga-
ción ecnológica pueda a anza anquilamen e, explo a sus p o-
pias posibilidades y se bene iciosa pa a la humanidad, en la me-
dida que p opicia el man enimien o de un al o ni el de con ianza
en e los ac o es implicados en el p oceso de la IA. En úl ima ins-
ancia, como sos iene S e ano Quin a elli, azona sob e el posible
impac o mo al de la IA, y asegu a se de que enga e ec os bene i-
ciosos sob e la exis encia de la humanidad, no iene po qué supo-
ne un eno al pleno desa ollo de la ecnología sino, al con a io,
es la ece a pa a su pa a su éxi o a la go plazo y pa a cosecha o-
dos los bene icios que p ome e22.
Sin emba go, pa a que haya una alineación en e las ecnologías y
las expec a i as é icas, és as deben es a cla amen e de inidas. Es-
ablece un ma co de alo es lo más cohe en e y cla o posible es,
en e ec o, c ucial pa a que la in es igación y el desa ollo ecnoló-
gicos sean é icamen e conscien es y se p ac iquen a la luz de es a
conciencia. A p opósi o de la de inición de es e ma co axiológico
ela i o a la IA, cabe menciona la g an labo é ico-ju ídica ealizada
a a és de las decla aciones in e nacionales sob e los p incipios
é icos de la IA. En es e sen ido, Luciano Flo idi23 ha des acado al-
gunas que, a su juicio, se ían las más in luyen es has a aho a en la
de inición del ma co é ico-ju ídico de la IA; es as se ían las es
p incipales:
22 S. QUINTARELLI, In elligenza A i iciale. Cos´è da e o, come un-
ciona, che e e i a à, Bolla i Bo inghie i, Milano, 2020, p. 84.
23 L. FLORIDI, E ica dell´in elligenza a i iciale. S iluppi, oppo uni à,
s ide, Ra aelo Co ina Edi o e, Milano, 2022, pp. 94-95.
21
Los P incipios de Asiloma , un conjun o de 23 p incipios
desa ollados bajo los auspicios del Fu u e Li e Ins i u e,
en colabo ación con los pa icipan es en la Con e encia
Asiloma que se celeb ó en Paci ic G o e (Cali o nia) en
ene o de 2017. Es os p incipios hacen e e encia, en e
o as cues iones, a la segu idad y la p o ección, la anspa-
encia y la esponsabilidad, el desa ollo y uso de las ec-
nologías de IA de o ma jus a y equi a i a, y po supues o,
ambién a la ga an ía de que los sis emas de IA se diseñen
y ope en sin daño ni disc iminación de ningún indi iduo o
g upo (es deci , que odos engan acceso al uso y el bene-
icio de la IA).
La Decla ación de Mon eal pa a un desa ollo esponsable
de la In eligencia A i icial (2018) en la que se enuncian una
se ie de diez p incipios que sien an las bases pa a omen-
a la con ianza de la sociedad en los sis emas de IA. El
sex o p incipio que se p oclama en es a decla ación es el
de equidad, que p ecisamen e en su p ime apa ado ex-
ho a al diseño y el en enamien o de los sis emas de IA de
mane a al que “no c een, e ue cen ni ep oduzcan pa o-
nes de disc iminación basados en di e encias sexuales, é -
nicas, cul u ales o eligiosas, en e o as”.
La Decla ación sob e In eligencia A i icial, obó ica y sis-
emas “au ónomos”, publicada en ma zo de 2018 po el
G upo Eu opeo sob e É ica de la Ciencia y las Nue as Tec-
nologías de la Comisión Eu opea (en adelan e, EGE), en el
que se p oponen un conjun o de p incipios é icos unda-
men ales y p e equisi os democ á icos, basados en los a-
lo es es ablecidos en los T a ados y en la Ca a de de e-
chos undamen ales UE: a) dignidad humana; b) au onomía;
c) esponsabilidad; d) jus icia, equidad y solida idad; e) de-
moc acia; ) Es ado de De echo y endición de cuen as; g)
segu idad, p o ección, e in eg idad ísica y men al; h) p o-
ección de da os y p i acidad; i) sos enibilidad.
A di e encia de los P incipios de Asiloma y de la Decla ación de
Mon eal, en la Decla ación de la EGE se hace e e encia exp esa
22
en el apa ado d) a los sesgos disc imina o ios y se mani ies a que
la IA debe ía con ibui a la jus icia global y acili a la igualdad de
acceso a los bene icios y en ajas de la IA, la obó ica y los sis emas
“au ónomos”. De ahí que al inal del p ime pá a o de es e cua o
pa ág a o se p oclame que:
los sesgos disc imina o ios en los conjun os de da os u ili-
zados pa a en ena y ejecu a los sis emas de IA, deben
e i a se. De no se posible, es os sesgos deben se de ec-
ados, no i icados y neu alizados en la e apa más em-
p ana del p oceso.
Conscien e de la necesidad de econoce y egula el impac o de
la IA en el sis ema de de echos undamen ales, la Unión Eu opea
se ha si uado a la angua dia en la c eación de un ma co ju ídico
especí ico sob e IA. En es e sen ido, el Pa lamen o Eu opeo
ap obó una esolución, el 14 de ma zo de 2017, sob e las implicacio-
nes de los mac oda os en los de echos undamen ales: p i acidad,
p o ección de da os, no disc iminación, segu idad y aplicación de
la ley. En dicha esolución, que ma có un hi o en el comienzo de la
no ma i a de la Unión Eu opea sob e IA, se insis e p ecisamen e
en el hecho de que:
los ciudadanos, los sec o es público y p i ado, el mundo
académico y la comunidad cien í ica solo pod án ap o e-
cha plenamen e las pe spec i as y opo unidades que
b indan los mac oda os si la con ianza pública en esas ec-
nologías se ga an iza median e la es ic a obse ancia de
los de echos undamen ales y el cumplimien o de la legis-
lación igen e de la Unión en ma e ia de p o ección de da-
os, así como la segu idad ju ídica en elación con odas las
pa es in e esadas.
A su ez, en el pa ág a o 20 de es a misma esolución, el Pa la-
men o ins a a la Comisión, a los Es ados miemb os y a las au o ida-
des enca gadas de la p o ección de da os a que:
23
de inan y adop en las medidas que se impongan pa a mini-
miza la disc iminación y el sesgo algo í micos y a que desa-
ollen un ma co é ico común sólido pa a el a amien o
anspa en e de los da os pe sonales y la oma de decisio-
nes au oma izada que si a de guía pa a la u ilización de los
da os y la aplicación en cu so del De echo de la Unión24.
A p opósi o de las decla aciones de p incipios de la IA, Flo idi ha
ad e ido que exis e una sue e de hipe o ia de p incipios é icos
que se suceden cada ez que una o ganización ap ueba una decla-
ación aún a iesgo de incu i en innecesa ias epe iciones o su-
pe posiciones de p incipios p oclamados en o as decla aciones
p eceden es, lo cual ambién conduce a la con usión y la ambigüe-
dad.
F en e a es a p o usión de p incipios é icos, Flo idi nos p opone
una idea de IA que no debe se en endida como un nue o ipo de
in eligencia, sino como una o ma de ac ua sin p eceden es. Po
eso, de odas las á eas de la é ica aplicada, la bioé ica es la que más
se pa ece a la é ica digi al en el a amien o que és a hace de nue-
as o mas de agen es, pacien es y en o nos25. Sin emba go, aun-
que los p incipios bioé icos se adap an pe ec amen e a los nue os
e os é icos plan eados po la IA, no es ácil explica los. A es e es-
pec o, Flo idi añade a los cua o p incipios clásicos de la bioé ica
(bene icencia, no male icencia, au onomía y jus icia) un quin o
p incipio: la explicabilidad, en endida como un p incipio que in-
cluye an o el sen ido epis emológico de in eligibilidad (como es-
pues a a la p egun a: “¿Cómo unciona?”), como el sen ido é ico de
24 Resolución del Pa lamen o Eu opeo, de 14 de ma zo de 2017, sob e las
implicaciones de los mac oda os en los de echos undamen ales: p i aci-
dad, p o ección de da os, no disc iminación, segu idad y aplicación de la
ley (2016/2225(INI)), pa ág a os 1 y 20.
25 L. FLORIDI, The E hics o In o ma ion, Ox o d Uni e si y P ess, Ox o d,
2013.
30
PRIVACIDAD
Exis e una compleja in e sección en e la p i acidad, la p o ección
de da os y la é ica de la IA. En su ecien e lib o The E hics o P i-
acy and Su eillance, Ca issa Véliz p opone una de inición mix a
de p i acidad en la que se hib idan las dos eo ías p incipales en-
o no a es e concep o: de un lado, la eo ía del acceso, según la
cual, la cues ión de la p i acidad consis e undamen almen e, bien
en la accesibilidad limi ada, o bien en la inaccesibilidad a la in o -
mación sensible (en es e sen ido, se en iende que pe demos p i a-
cidad cuando la in o mación que a ec a a nues os da os pe sona-
les es accesible pa a los demás; po o o lado, la eo ía del con ol
de p i acidad cen a su a ención en la p o ección de nues os da-
os pe sonales an e la in omisión o inje encia de ac o es ex e -
nos36.
A p opósi o de la p o ección de da os, den o del ma co egula o-
io eu opeo, en el a ículo 5 del Reglamen o Gene al de P o ección
de Da os (RGPD)37 se es ablecen los p incipios ela i os al a a-
mien o de los da os pe sonales, en e los que cabe esal a los e-
quisi os de lici ud, leal ad y anspa encia en el a amien o de da-
os (a . 5.1 a), además de los p incipios de inalidad (a . 5.1 b) y
minimización de da os (a . 5.1 c)38.
en M. MARTÍN CASALS-D. M. PAPAYANNIS, Unce ain Causa ion in To
Law, Camb idge Uni e si y P ess, Camb idge, 2016, pp. 43-66.
36 C. VÉLIZ, The E hics o P i acy and Su eillance, Ox o d Uni e si y
P ess, Ox o d, 2024, pp. 74-75.
37 Reglamen o (UE) 2016/679 del Pa lamen o Eu opeo y del Consejo, de
27 de ab il de 2016.
38 El a amien o de da os se en ende á líci o si se cumple al menos al-
guna de las siguien es condiciones p e is as en el a . 6 RGPD: a) Cuando
el in e esado ha dado su consen imien o pa a el a amien o de sus da os
pe sonales pa a uno o a ios ines especí icos; b) cuando el a amien o
es necesa io pa a la ejecución de un con a o en el que el in e esado es
pa e o pa a la aplicación a pe ición de es e de medidas p econ ac uales;
c) cuando el a amien o es necesa io pa a el cumplimien o de una obli-
gación legal aplicable al esponsable del a amien o; d) cuando el
31
SEGURIDAD
Al igual que sucede con la in e elación en e el p incipio de es-
ponsabilidad y la p o ección de da os, ambién exis e una in e ac-
ción en e el p incipio de segu idad y la solidez de los sis emas de
IA.
En e ec o, an o en el apa ado 1.4 de la lis a de p incipios de la IA
de la OCDE, como en el a ículo 15 del Reglamen o de In eligencia
A i icial, “solidez” es sinónimo de capacidad de esis i o supe a
condiciones ad e sas, incluidos los iesgos de la segu idad digi al.
Es e p incipio es ablece además que los sis emas de IA no deben
plan ea iesgos que no sean azonables pa a la segu idad, incluida
la segu idad ísica, en condiciones de uso no mal o p e isible o de
uso indebido a lo la go de su ciclo de ida39.
Hay dos mane as de man ene sis emas de IA sólidos, segu os y
p o egidos: en p ime luga , median e su azabilidad y pos e io
a amien o es necesa io pa a p o ege in e eses i ales del in e esado o
de o a pe sona ísica; e) cuando el a amien o es necesa io pa a el cum-
plimien o de una misión ealizada en in e és público o en el eje cicio de
pode es públicos con e idos al esponsable del a amien o; ) cuando el
a amien o es necesa io pa a la sa is acción de in e eses legí imos pe -
seguidos po el esponsable del a amien o o po un e ce o, siemp e
que sob e dichos in e eses no p e alezcan los in e eses o los de echos y
libe ades undamen ales del in e esado que equie an la p o ección de
da os pe sonales, en pa icula cuando el in e esado sea un niño.
Con espec o a los p incipios de limi ación de inalidad y minimización de
da os: el p ime o implica que los da os pe sonales han de se ecogidos
con ines de e minados, explíci os y legí imos, y que no se án a ados ul-
e io men e de mane a incompa ible con dichos ines (a excepción de los
ines de a chi o en in e és público, de in es igación cien í ica e his ó ica
o es adís icos que, de con o midad con lo es ablecido en el a . 89. 1
RGPD, no se conside a án incompa ibles con los ines iniciales); el se-
gundo p incipio exige que los da os pe sonales sean adecuados, pe inen-
es y limi ados a lo necesa io en elación con los ines pa a los que son
a ados.
39 h ps://oecd.ai/en/dashboa ds/ai-p inciples/P8
32
análisis e indagación; y, en segundo luga , aplicando un en oque de
ges ión de iesgos.
La azabilidad puede se ú il pa a ealiza el análisis y la in es iga-
ción de los esul ados de un sis ema de IA y es una o ma de p o-
mo e la endición de cuen as; además, puede ayuda ambién a
p e eni u u os e o es y a mejo a la iabilidad del sis ema de IA.
En elación con el en oque de ges ión de iesgos, aplicado a lo la go
de odo el ciclo de ida del sis ema de IA, és e puede se de g an
u ilidad pa a iden i ica , e alua , p io iza y mi iga los iesgos po-
enciales que pueden a ec a nega i amen e al compo amien o y
los esul ados de un sis ema.
A MODO DE CONCLUSIÓN: HACIA UNA
METAÉTICA DE LA IA
Como se ha podido comp oba , la é ica de la IA es un ipo de é ica
aplicada a los negocios y la ecnología, pe o no deja de se un sub-
conjun o de la É ica (con mayúsculas). La é ica de la IA se ocupa de
iden i ica y da espues a a las p oblemá icas mo ales que se de-
i an de la implan ación y el uso de soluciones de IA. La au onomía,
la jus icia, la explicabilidad, la anspa encia de los algo i mos, la
equidad, la esponsabilidad, la p i acidad, la segu idad…, son algu-
nas de las p incipales á eas de in e és y p eocupación po pa e de
expe os ecnólogos, ilóso os y ju is as, en e o os especialis as
en la ma e ia.
Pa adójicamen e, a pesa de la impo ancia y la necesidad de la
é ica de la IA, és a puede se u ilizada a eces de o ma i espon-
sable o poco é ica po algunas g andes emp esas o compañías ec-
nológicas (un caso pa adigmá ico es el de Timni Geb u, a quien
Google con a ó en 2020 como codi ec o a de un g upo de in es-
igación cen ado en la IA é ica, pe o a la que despidió meses des-
pués po habe c i icado los iesgos é icos de los modelos del len-
guaje de la compañía pa a la que abajaba).
33
En gene al, la endencia ac ual de los gigan es ecnológicos (que
esponden al ac ónimo GAFAM: Google, Amazon, Facebook, Ap-
ple y Mic oso ) es la de i educiendo plan illa de sus equipos de
é ica de la IA (Elon Musk, po ejemplo, despidió a la mi ad de los
abajado es de Twi e cuando, en oc ub e de 2022, adqui ió es a
ed social, incluido su pequeño equipo de IA é ica; o o caso e e-
lado ue el de Mic oso , compañía ecnológica que, en ma zo de
2023, ce ó el equipo de “é ica y sociedad” de su di isión de IA,
en e o os mo i os po que, según John Mon gome y, uno de los
icep esiden es de la di isión de IA, el obje i o de la compañía e a
que los modelos con e sacionales de OpenAI llegasen a los clien-
es a la mayo elocidad posible, sin eglas ni es icciones é icas
que e asasen su en ega).
F en e a es os in en os de en abiliza la é ica pa a blanquea es-
a egias de me cado (e hics washing) con un apa en e comp o-
miso de buena p axis y espe o a los p incipios y las eglas é icas
de la IA, pe o que en ealidad solo si en pa a ocul a la in ención
de di igi dichas es a egias al aumen o de la compe i i idad de la
emp esa y a una mejo a en su cuen a de esul ados, se ía opo uno
ecu i a una é ica de la é ica de la IA (es deci , a una me aé ica de
la IA que se cen e en la undamen ación de los juicios no ma i os
o de alo )40. Po eso, más que de una sola é ica de la IA, al ez lo
ap opiado sea habla en plu al, es o es, de é icas de la IA (la me-
aé ica de la IA y la é ica aplicada al mundo de las emp esas ecno-
lógicas).
En e las p incipales eo ías é icas en las que se basan los códigos
mo ales que si en pa a el diseño y el desa ollo de la IA y la obó-
ica pod ían des aca se, en e o as, el u ili a ismo (Ben ham, Mill),
el deon ologismo (Kan ), la é ica de la i ud (A is ó eles, Tomás de
Aquino), la é ica del con a o social (Locke, Rousseau, Rawls). Es a
me a ísica de la IA se á obje o de es udio especializado en un a-
bajo pos e io .
40 I. G. R. GALVILÁN, Robo s en la somb a: RPA, obo s con e sacionales
y o as o mas de au oma ización cogni i a, Anaya, Mad id, 2021.
35
ÉTICA Y DERECHO EN LA NORMATIVA
EUROPEA SOBRE INTELIGENCIA
ARTIFICIAL
An onio En ique Pé ez Luño
P o eso Emé i o de la Uni e sidad de Se illa
EL IMPACTO DE LA IA EN LA CULTURA ÉTICA Y
JURÍDICA ACTUAL
La exp esión In eligencia A i icial en adelan e (IA), es u ilizada asi-
duamen e en los más di e sos escena ios de la ciencia, la econo-
mía, la polí ica la mo al, la cul u a y la expe iencia ju ídica del p e-
sen e. Su signi icado no es siemp e an p eciso como cuan o e-
quie e la ex ensión de su uso. La noción de IA se halla acogida, en
e ec o, en los más di e sos ámbi os de la in es igación cien í ica y
ecnológica y o ma pa e de la opinión común de nues o iempo.
Con iene, no obs an e, eco da que la cul u a clásica g iega sos-
enía que, en e a la opinión común ep esen ada po la doxa, el
ilóso o debía halla se dispues o a indaga la pa adoxa. Con ello, se
p e endía aludi a la necesidad de p o undiza en el signi icado de
los é minos, más allá de sus sen idos apa en es.
Se en iende po IA aquel conjun o de ac i idades ealizadas po
los sis emas ecnológicos, que si ue an ealizados po se es huma-
nos se a ibui ían a su in eligencia. Se a a de aquellos enómenos
en los que las máquinas e ec úan la emulación de ac i idades hu-
manas inculadas con el eje cicio de la in eligencia, ales como ju-
ga al ajed ez, conduci un ae oplano o un au omó il, o p esc ibi
un dic amen médico.
En el Reglamen o (UE) 2024/1689, de 13 de junio. Que es ablece
no mas a monizadas en ma e ia de in eligencia a i icial se la de-
ine: “como un sis ema basado en una máquina que es á diseñado
pa a unciona con dis in os ni eles de au onomía y que puede
36
mos a capacidad de adap ación as el despliegue, y que, pa a
obje i os explíci os o implíci os, in ie e de la in o mación de en-
ada que ecibe la mane a de gene a esul ados de salida, como
p edicciones, con enidos, ecomendaciones o decisiones, que pue-
den in lui en en o nos ísicos o i uales” (A . 3.)
La exp esión “In eligencia A i icial”, susci ó en sus inicios, algunas
ese as, po que se es imaba que no enía p ecisión ni ue za de-
nomina i a pa a hace e e encia a la ealidad que p e endía alu-
di se con esa e minología. Desde esas pe spec i as c í icas, se es-
imaba que la in eligencia e a una cualidad an consus ancialmen e
humana, que p edica la de las máquinas, aunque se adje i a a con
el ocablo “a i icial”, esul aba inadecuada y p ocli e a c ea con-
usión. En poco iempo, es a denominación ha adqui ido al ue za
expansi a, que aho a ca ece de alo p ác ico cualquie en a i a
di igida a sus i ui la o c i ica la, sin que ello implique que de e mi-
nadas ese as sob e su signi icación no se hallen jus i icadas.
Un e en o que puede conside a se iniciado de la e lexión sob e
la denominación y las epe cusiones ju ídicas de la IA ue, en el año
1989, se celeb ó en la Uni e sidad de Bolonia y consis ió en el Con-
g eso Mundial de Filoso ía del De echo, que enía po obje o el es-
udio de las p oyecciones de los Sis emas Expe os (SE) y la IA al
De echo. En los abajos de quienes pa icipamos en dicho e en o
se puso de elie e la dispa idad de g i e íos en e quienes se mos-
aban pa ida ios de que la p oyección de las NT y las TIC al De-
echo se ealiza a bajo la denominación de los SE y quienes, po el
con a io, es imaban p e e ible op a po la exp esión IA.
En años sucesi os se ha impues o es a úl ima denominación que,
sin duda, ep esen a una ape u a más ambiciosa hacia las p oyec-
ciones ecnológicas en el De echo. Los SE se limi aban a p opicia
la acumulación de da os ju ídicos y a acili a su ecupe ación o -
denada y exhaus i a, median e los adecuados sis emas de a a-
mien o au oma izado de la in o mación. La IA no solo se limi a al
almacenamien o y ecupe ación de da os, sino que pe mi e amplia
cuan o conocemos de la ealidad, acili a las o mas de
37
comunicación, de abaja en ed y de compa i in o mación. En
un u u o, cada ez más inmedia o se á capaz de ans o ma los
conocimien os y es a egia que u ilizamos pa a las más di e sas ac-
i idades y, en conc e o, pa a las di e sas o mas de la ealidad ju-
ídica.
Debe ene se p esen e que la expe iencia humana consis e en un
acopio de da os e in o maciones, en la memo ización de los mismos
y en el uso de ese ace o documen al en los dis in os ámbi os de
la expe iencia, es deci , en dis in os momen os de la ac i idad i al
de la pe sona. Esas ope aciones, po analogía, se pueden p edica
de los SE. Un sis ema in o má ico puede acumula una in o mación
y documen ación muy supe io a la capacidad de los se es huma-
nos. Puede posee una capacidad de memo ia de dichos da os e
in o maciones pe ec amen e o ganizada y es uc u ada. Puede,
asimismo, con una adecuada p og amación, u iliza los da os e in-
o maciones a chi ados y memo izados en los más di e sos ámbi-
os del mundo y de la ida y, po an o, en dis in os sec o es de la
expe iencia ju ídica.
Esa p oyección ecnológica se complica no ablemen e cuando su
obje o es la in eligencia. Desde A is ó eles y, a pa i de su ense-
ñanza que i adia la en e a e olución de la cul u a occiden al, la
in eligencia en aña una doble dimensión: un aspec o lógico que se
halla ep esen ado po el conocimien o y un aspec o eleológico
que consis e en la di ección u o ien ación del conocimien o. La in-
eligencia humana es “consciencia”, conocimien o, pe o es ambién
“conciencia”, es deci , di ección hacia de e minados ines del cono-
cimien o. En odo caso, con end á ad e i que la p egun a sob e:
¿qué es la in eligencia? no admi e espues as simplis as o p ecipi-
adas. Exige, en p ime é mino, dilucida lo que se en iende po
“in eligencia”, concep o que, en modo alguno, es cons an e y uní-
oco; po lo que con iene e i a el iesgo de hipos asia lo y a a lo
como si uese una en idad e iden e
38
Desca ada cualquie p e ensión de exhaus i idad, se pueden ad-
e i en el seno de la cul u a occiden al es g andes acepciones
de la in eligencia:
1) Como in eligencia p ác ica:in ellec us p ac icus (A is ó eles, To-
más de Aquino), p ak ische Ve nun (Kan ), es deci , como i ud
pa a disce ni y ac ua acionalmen e que o ien a la acción, los jui-
cios de alo y la elección de las eglas de con i encia.
2) Como in eligencia o sabe eó ico, nous heo e ikós (A is ó eles),
a io specula i a (Tomás de Aquino), o acul ad cognosci i a E ke-
nn nis e mögen (Kan , Hegel), que pe mi e ap ehende y ep esen-
a o malmen e la ealidad, así como ealiza cálculos y deduccio-
nes lógicas.
3) Como in eligencia o acionalidad ins umen al, que alude a la
idoneidad (e icacia) de los medios eque idos pa a la ob ención de
de e minados ines, así como pa a di igi p ocesos de adap ación
y/o ap endizaje (Be gson, Köhle , Webe ), en una acepción “neu-
a”, di e en e de la noción peyo a i a que iden i ica la in eligencia
o azón ins umen al (ins umen elle Ve nun ) con los p ocesos dis-
cu si os di igidos a posibili a y legi ima el dominio de la na u a-
leza y la explo ación de los homb es (Ho kheime ).
Es as dimensiones de la in eligencia pe mi en comp oba que en
sus acepciones 2 y 3, o epis emológica y heu ís ica, la noción de
in eligencia puede se p edicable espec o a de e minados ipos
de so wa e que ep oducen p ocesos de conocimien o. Respec o
a la in eligencia eó ica o epis emológica los a ances de la IA han
pe mi ido e idencia la ca encia de undamen o de aquellas con-
cepciones lógicas y an opológicas basadas en la supues a ap i ud
humana inimi able de deducción e in e encia silogís ica, desde el
momen o en que al acul ad ha sido en ajosamen e supe ada po
los o denado es. Es o no implica que la in eligencia o el azona-
mien o humano hayan sido abso bidos o suplan ados en su in eg i-
dad po la IA, sino que la peculia idad de esas acul ades ya no
puede ci a se en su me a dimensión silogís ica. Más bien hab á
39
que e e i la a su capacidad pa a imagina , comp ende , u iliza y
alo a c í icamen e máquinas silogís icas.
De modo análogo, en el plano de la in eligencia ins umen al o heu-
ís ica se ha supe ado el p ejuicio que conside aba la acul ad de
ap endizaje como p i a i a de la especie humana, en la medida en
que desde que, con la máquina de Tu ing en 1950, se pudo comp o-
ba la capacidad de las máquinas pa a ealiza a eas de inidas y/o
simula juegos. Especial a ención me ece la capacidad de los p o-
g amas de la IA pa a o ien a (co egi o pe ecciona ) su p opio
uncionamien o, a pa i de la au o egulación o e oacción
( eedback), de in o maciones elabo adas en su p opio p oceso
ope a i o, lo que implica capacidad pa a au o calib a su ap oxima-
ción o alejamien o de los obje i os p og amados pa a su ac i idad.
La e olución de las posibilidades ope a i as de la IA es, en p inci-
pio, ilimi ada máxime cuando se es á expe imen ando con nue as
gene aciones de o denado es que: en el plano del ha dwa e, pu-
die an llega a sus i ui el chip de silicio po el de ca bono, lo que
auspicia odo ipo de conje u as sob e la ap oximación del sis ema
ope a i o de los ci cui os de la IA a los p ocesos de la men e hu-
mana; mien as que en el del so wa e se ab e paso la posibilidad
de u iliza lógicas poli alen es, p obabilis as o uzzy, es deci , bo-
osas, capaces de ope a con ablas de e dad agas e imp ecisas
y con eglas de in e encia cuya alidez es ap oximada en luga de
exac a, como ocu e en la lógica o mal.
Exis e un sec o de la in eligencia, el 1 o p ác ico, que es el que
a ec a a la conciencia, que no pueden se asumidas po la IA. Se
a a de ac i idades y modos de p e e encia ( alo aciones) y elec-
ciones de ines, que los se es humanos lle an a cabo a a és de su
es uc u a biológica y psicológica, pe o esa es uc u a no ope a en
abs ac o, sino en unción de expe iencias sociales y cul u ales.
De cuan o has a aquí se ha expues o se in ie e que la IA posee una
po encialidad incues ionable en los di e sos ámbi os del conoci-
mien o, ambién pa a el conocimien o del De echo (no mas, ju is-
p udencia y doc ina), pe o ca ece de conciencia. La IA ep esen a
46
siguien es: la búsqueda de íc imas de secues o a a de se es hu-
manos o explo ación sexual de se es humanos, así como la bús-
queda de pe sonas desapa ecidas, la p e ención de amenazas in-
minen es pa a la ida o la segu idad de las pe sonas o de una ame-
naza eal y p e isible de un a en ado e o is a, o la localización de
una pe sona sospechosa de habe come ido un deli o a in de lle a
a cabo una in es igación o un enjuiciamien o penal o de ejecu a
una sanción penal po deli os que en el Es ado miemb o de la UE
se cas igue con una pena supe io a cua o años.
Es a amplia elación de p ohibiciones sob e el empleo de la IA se
halla di ec amen e encaminada a ga an iza los de echos y libe a-
des de la ciudadanía y se hallan ecogidas en el mencionado a -
ículo 5.1.b-h, del Reglamen o.
En consonancia con la impo ancia que el nue o Reglamen o a i-
buye a la segu idad y a los de echos undamen ales, p ohibiendo
los usos con a ios a su plena igencia, dedica su Capí ulo III a la
ipi icación y egulación de los denominados “Sis emas de al o
iesgo”. (a s. 6-49). Dichos sis emas ienen de inidos como aque-
llos en los que se cumplen las dos condiciones siguien es:
a) Que el sis ema de IA es é des inado a se u ilizado
como componen e de segu idad de un p oduc o que en-
e en el ámbi o de aplicación de los ac os legisla i os de
a monización de la Unión.
b) Que el p oduc o del que el sis ema de IA sea compo-
nen e de segu idad o el p opio sis ema de IA como p o-
duc o, deba some e se a una e aluación de la con o mi-
dad de e ce os pa a su in oducción en el me cado o
pues a en se icio con a eglo a los ac os legisla i os de
a monización p e is os po la Unión
No se conside a á de al o iesgo cuando no plan ee un iesgo im-
po an e de causa un pe juicio a la salud, la segu idad o los de e-
chos undamen ales de las pe sonas ísicas, ambién al no in lui
sus ancialmen e en el esul ado de la oma de decisiones.
47
Los sis emas de IA siemp e se conside a án de al o iesgo cuando
elabo en pe iles de pe sonalidad. Pa a ga an iza un unciona-
mien o segu o de los sis emas de IA el p o eedo que conside e
que un sis ema de IA no es de al o iesgo documen a á su e alua-
ción an es de que dicho sis ema sea in oducido en el me cado o
pues o en se icio.
La Comisión, p e ia consul a al Consejo Eu opeo de In eligencia
A i icial (en lo sucesi o, Consejo de IA), p opo ciona á di ec ices
que especi iquen la aplicación p ác ica de esos a ículos, Jun o con
una lis a exhaus i a de ejemplos p ác icos de casos de uso de sis-
emas de IA que sean de al o iesgo y que no sean de al o iesgo.
En el ámbi o ecnológico y, en pa icula , en la in es igación y desa-
ollo de los sis emas de IA, esul a p ác icamen e inalcanzable la
p e ensión de exhaus i idad. Los ejemplos que en la ac ualidad
puedan elaciona se con p e ensiones de exhaus i idad pueden
esul a insu icien es en un plazo muy b e e. Po ello, el buen p o-
pósi o del Reglamen o no deja de pa ece una p e ensión iluso ia.
La Comisión es a á acul ada pa a adap a las condiciones a las
aquí eseñadas cuando exis an p uebas conc e as y iables de la
exis encia de sis emas de IA, que no plan een un iesgo impo an e
de causa un pe juicio a la salud, la segu idad o los de echos un-
damen ales de las pe sonas ísicas. (a . 6).
El p incipio e e en e a la ga an ía de la p i acidad y los da os pe -
sonales ha hallado especial a ención en la ac i idad no ma i a de
la UE. Deben eco da se, como p incipales ex os ela i os a la de-
ensa del de echo undamen al a la p o ección de los da os pe so-
nales es á ga an izado, en pa icula , po los Reglamen os (UE)
2016/679 y (UE) 2018/1725 del Pa lamen o Eu opeo y del Consejo y
la Di ec i a (UE) 2016/680 del Pa lamen o Eu opeo y del Consejo.
Además, la Di ec i a 2002/58/CE del Pa lamen o Eu opeo y del
Consejo p o ege la ida p i ada y la con idencialidad de las comu-
nicaciones. El ac ual Reglamen o sob e la IA no p e ende modi ica
el De echo igen e de la UE que egula el a amien o de da os
pe sonales, incluidas las unciones y compe encias de las
48
au o idades de supe isión independien es compe en es pa a igi-
la el cumplimien o de dichos ins umen os.
Po es e mo i o deben conside a se plenamen e igen es el con-
jun o de de echos y ga an ías ela i os a la in imidad y a los da os
pe sonales de acue do con cuan o se dispone en el o denamien o
ju ídico de la UE, incluidos los de echos elacionados con las deci-
siones indi iduales o almen e au oma izadas, como la elabo ación
de pe iles. En de ini i a, el nue o Reglamen o p e ende a moniza
el uso de los sis emas de IA con los de echos y o as ías de ecu so
de los in e esados ga an izados po el De echo de la Unión en ma-
e ia de p o ección de da os pe sonales, así como de o os de e-
chos undamen ales.
No huelga ad e i que pa a su e icaz y comple a ga an ía el de e-
cho a la in imidad y a la p o ección de da os pe sonales debe á ex-
ende se a lo la go de odo el ciclo de ida del sis ema de IA. A es e
espec o, los p incipios de minimización de da os y de p o ección
de da os desde el diseño y po de ec o, es ablecidos en el De echo
de la Unión en ma e ia de p o ección de da os, son aplicables
cuando se a a de da os pe sonales.
Re is e no able p o agonismo la ga an ía del p incipio de anspa-
encia, en el a iculado del nue o Reglamen o de la IA. Su e e en-
cia se halla diseminada a lo la go de dis in os momen os de su a i-
culado que, en cie o modo, desa ollan y conc e an el ex o del
a ículo 13, en el que se dispone:
“1. Los sis emas de IA de al o iesgo se diseña án y desa olla án de
un modo que se ga an ice que uncionan con un ni el de anspa-
encia su icien e pa a que los esponsables del despliegue in e -
p e en y usen co ec amen e sus esul ados de salida. Se ga an i-
za á un ipo y un ni el de anspa encia adecuados pa a que el p o-
eedo y el esponsable del despliegue cumplan las obligaciones
pe inen es”.
El p incipio de anspa encia iene especial ele ancia en dis in os
momen os de la ida ju ídica así, cuando los sis emas de IA no sean
49
lo su icien emen e anspa en es y explicables ni es én su icien e-
men e bien documen ados, pod ían impedi el eje cicio de impo -
an es de echos p ocesales undamen ales, como el de echo a la
u ela judicial e ec i a y a un juez impa cial, así como el de echo a
la de ensa y a la p esunción de inocencia. Po al mo i o, aunque él
uso de los sis emas de IA es é pe mi ido con o me al De echo de
la UE y nacional pe inen e, p ocede clasi ica como de al o iesgo
los sis emas de IA des inados a se u ilizados con ines de ga an ía
del cumplimien o del De echo cuando su p ecisión, iabilidad y
anspa encia sean especialmen e impo an es pa a e i a conse-
cuencias ad e sas, conse a la con ianza de la población y ga an-
iza unas ías de ecu so e ec i as.
Los p incipios undamen ales que deben inspi a y egula los dis-
in os usos de la IA, así como su desa ollo no ma i o en el Regla-
men o, suponen un ma co de e e encia de obligado cumplimien o
pa a las dis in as p oyecciones de es a nue a ecnología en los di-
e sos ámbi os económicos, cien í icos y, especialmen e ele an es
en odo lo que a añe a un uso de la IA que sea plenamen e espe-
uoso con la p o ección de los de echos undamen ales, del Es ado
de De echo y de la p ese ación del medio ambien e. El ejemplo
eu opeo cons i uye una pau a que debie a ene pun ual e lejo a
escala in e nacional. La sociedad global y digi al que habi amos im-
pone que no deban exis i g a es desigualdades y di e encias en la
aplicación uni e sal de es os p incipios y no mas undamen ales
pa a un uso co ec o de la IA.
Tiene especial impo ancia, pa a la p o ección de los de echos y
libe ades cí icos, el sis ema de ga an ías p ocesales es ablecidas
en el a ículo 13 del Reglamen o. En dicha no ma se es ablece que
a eno de la na u aleza de las ac i idades y de los iesgos conexos,
con el uso de los sis emas de IA de al o iesgo debe p es a se a en-
ción especial a aquellos sis emas de IA des inados a se u ilizados
po las au o idades ga an es del cumplimien o del De echo, o en
nomb e de es as, o po las ins i uciones, ó ganos u o ganismos de
la Unión en apoyo de las p ime as. Se a a, con ello, de e alua el
iesgo de que una pe sona ísica sea íc ima de deli os, como los
50
políg a os y o as he amien as simila es, pa a e alua la iabilidad
de las p uebas du an e la in es igación o el enjuiciamien o de deli-
os y, en la medida en que no es é p ohibido con o me al p esen e
Reglamen o, pa a e alua el iesgo de que una pe sona ísica co-
me a un deli o o eincida, no solo sob e la base de la elabo ación
de pe iles de pe sonas ísicas o la e aluación de asgos y ca ac e-
ís icas de la pe sonalidad o compo amien os delic i os pasados
de pe sonas ísicas o g upos de pe sonas, o pa a elabo a pe iles
du an e la de ección, la in es igación o el enjuiciamien o de deli os.
El uso de he amien as de IA po pa e de las au o idades ga an es
del cumplimien o del De echo y o as au o idades pe inen es no
debe con e i se en un ac o de desigualdad o exclusión. No debe
igno a se el impac o del uso de he amien as de IA en los de echos
de de ensa de los sospechosos, en pa icula la di icul ad pa a ob-
ene in o mación signi ica i a sob e el uncionamien o de dichos
sis emas y la consiguien e di icul ad pa a impugna sus esul ados
an e los ibunales, en pa icula po pa e de las pe sonas ísicas
in es igadas.
El Reglamen o de la UE pone especial én asis en ga an iza a los
ciudadanos eu opeos que la IA no pod á se u ilizada po las au o-
idades policiales de o ma que a ec e di ec amen e a sus ga an ías
p ocesales y penales, an e el iesgo de que los sis emas de IA in-
con olados puedan c ea p uebas alsas o a ec a a las condicio-
nes pa a el eje cicio de una legí ima de ensa po pa e de las pe -
sonas in es igadas.
CONCLUSIÓN: EL GARANTISMO JURÍDICO
EUROPEO ANTE LOS DESARROLLOS DE LA IA
A pa i del desa ollo de las Nue as Tecnologías (NT) y, en pa i-
cula de la IA, las sociedades a anzadas eu opeas expe imen a on
un cons an e a án de eno ación en su economía, así como en los
p incipales aspec os de su ida social y cul u al. Pa a la sociedad
digi al, no solo el conocimien o apa ece como una ealidad in ini a
pe o alcanzable, sino que es a c eencia se mani ies a en odos los
51
ó denes de la ealidad. Se ha di undido la con icción de que no
exis en on e as pa a el conocimien o. El deseo de un a ance pe -
manen e se ha aducido en un cie o clima de discon o midad con
lo ya conseguido, po que se p esume siemp e que se pueden con-
segui log os y a ances ecnológicos de mayo alcance.
La IA cons i uye hoy un signo ca ac e izado de las sociedades eu-
opeas a anzadas de nues o iempo, de modo que no es posible
abo da cualquie a de sus p oblemas sin que la economía, la é ica,
la cul u a y el De echo se ean a ec ados. La IA que apa ecía en
sus inicios como un ac o decisi o pa a la solución de los más di-
e sos p oblemas de las sociedades digi ales, se ha con e ido ella
misma en un p oblema. Se ha hecho p oblemá ica en la medida en
que muchas de sus aplicaciones pueden a ec a di ec amen e a la
ga an ía de los de echos y libe ades. La no ma i a eu opea sob e
IA iene como inalidad básica es ablece un equilib io esponsable
en e los a ances de la IA, que no pueden se in e umpidos o di i-
cul ados y la segu idad de que ales desa ollos no puedan se con-
seguidos a cos a de la limi ación o menos cabo de los de echos
undamen ales.
Es necesa io ei e a en es e pun o que la buena disposición del
legislado eu opeo po lle a a cabo un minucioso elenco de odas
aquellas ci cuns ancias que pueden a ec a a la libe ad se e con-
dicionado po los p opios a ances de la IA, al c ea con inuamen e
si uaciones nue as que no podían habe sido p e is as po el legis-
lado . En es e ámbi o la p olijidad no ma i a en la ipi icación de
si uaciones de iesgo no siemp e esul a la más adecuada y, en oca-
siones como sucede con la dinámica de la IA, en an os aspec os
imp e isible. Po ello, pa ece más adecuado op a po una legisla-
ción más lexible que pe mi a a la judica u a adap a las no mas a
las ci cuns ancias cambian es. De es e modo, a a és de una legis-
lación de ipos más abie os, se e i a que las lagunas legisla i as
puedan causa si uaciones de inde ensión pa a los ciudadanos
a ec ados en sus de echos y libe ades.
52
En cualquie caso, la azonable y necesa ia ac i ud de p e isión de
los iesgos que se de i an de una aplicación masi a de la IA no
debe con undi se con una posición abie amen e con a ia a su
desa ollo. En la ac ualidad cualquie a ance en la economía, la cul-
u a y el De echo p ecisa de los apo es ecnológicos que p opicia
la IA, la masa de da os que es necesa io maneja en cualquie a de
esas ac i idades, equie e de los co espondien es p og amas ec-
nológicos adecuados pa a su almacenamien o, o denación y ecu-
pe ación. El Big Da a y los algo i mos son hoy ins umen os nece-
sa ios pa a la consecución de las inalidades p ác icas de las más
di e sas ac i idades humanas. Po es e mo i o, no pa ece azona-
ble la pos u a de quienes se si úan on almen e con a cualquie
u ilización de la IA. Muchas de esas ac i udes incu en en la me a
aseología o en una bea e ía in elec ual que p e ende igno a que,
desde sus inicios odas las ci ilizaciones han enido que ecu i a
un de e minado ipo de a ances écnicos. Lo que es p eciso es sus-
ci a en la in eligencia humana, en la é ica y en el De echo una ca-
pacidad que se halle en condiciones de u iliza esponsablemen e
los a ances de la IA sin pone en pelig o la libe ad.
Al inal de la segunda pa e de Faus o Wol gang Goe he nos indica
cual es la úl ima palab a del sabe y la esponsabilidad humanas:
“que solo me ece la libe ad y la ida quien cada día se es ue za en
conquis a las”. Es a máxima debie a se enida en cuen a po el le-
gislado de la UE pa a una cons an e egulación no ma i a de los
a ances de la IA, a ín de que és a lejos de se un iesgo se con ie a
en un medio ecnológico al se icio de la libe ad y la ida en las
sociedades digi ales de Eu opa.
53
INNOVACIÓN, ÉTICA Y DERECHO
(REFERENCIA A INTELIGENCIA
ARTIFICIAL Y DATOS PERSONALES)
Felipe Ro ondo
P o eso de De echo Adminis a i o
en posg ado en las p incipales uni e sidades de U uguay
INNOVACIÓN: SU INCIDENCIA
La inno ación esul a de la c ea i idad humana, la ciencia y la ec-
nología, con el necesa io sus en o económico; da luga a nue as
écnicas, p ác icas e ins umen os, los que, a su ez, habili an con-
duc as dis up i as o que, al menos, al e an el s a u quo.
Así exis en las ecnologías ela i as a In e ne de los cue pos y ya
an es de las cosas, big da a, analí ica, senso es, usión de disposi i-
os mecánicos y digi ales, obo s in eligen es, d ones, e c. La apli-
cación de la in eligencia a i icial (IA) nos pe mi e ene asis en es
i uales en nues os celula es, algo i mos en las edes sociales que
mues an la in o mación, au os sin conduc o , p og amas que ap en-
den de nues as acciones pa a ecomenda nos música, películas o bie-
nes de consumo en ienda online, aduc o es en iempo eal, sis-
emas que de ec an de o ma emp ana en e medades o iesgos
sani a ios, e c.
La inno ación ha ans o mado nues a ida con una posible mayo
ce canía en e pe sonas la cual no siemp e implica una eal elación
in e pe sonal, la ob ención de in o maciones de odo ipo, el con-
a con nue as o mas de ac uación emp esa ial, una mejo a en-
ción de salud, e c.
También posee implicancias nega i as como habili a disc iminacio-
nes y manipulación de pe sonas lo que se ag a a po mo i os de
asime ía in o ma i a, sis emas que concen an in o mación, pode
54
e ing esos, basándose en el uso de g andes olúmenes de da os
pe sonales, con el iesgo esencial de que es os se a en como con-
jun o de bienes de capi al bajo una especie de impe a i o ecnoló-
gico.
Las edes sociales, po su pa e, habili an el desa ollo de la indi i-
dualidad y la uni e salidad, pe o ambién discu sos de odio, explo-
ación de se es humanos, e c.
Hoy odo es (o se nomina como) “in eligen e”, ciudades, edi icios,
elé onos, cualquie obje o en elación con sis emas de in o ma-
ción. Pe o la cues ión es que sean é ica y ju ídicamen e co ec os,
“in eligen es” socialmen e, que no si an o u ilicen pa a lesiona a
las pe sonas; además, al con igu a se una supe ación de on e as
geog á icas y de gobie nos, se hace di ícil la aplicación de la no -
ma i a ju ídica la cual, po o a pa e, suele apa ece a díamen e.
RELACIÓN CON LA ÉTICA Y EL DERECHO
La inno ación no puede sepa ase de la é ica y de los p incipios del
sis ema ju ídico que en ella se undamen an.
La cues ión es que “El desa ollo ecnológico puede alen a la idea
de la au osu iciencia de la écnica, cuando el homb e se p egun a
solo po el cómo, en ez de conside a los po qués que lo impulsan
a ac ua . Po eso, la écnica iene un os o ambiguo (…). La cla e
del desa ollo es á en una in eligencia capaz de en ende la écnica
y de cap a el signi icado plenamen e humano del quehace del
homb e, según el ho izon e de sen ido de la pe sona conside ada
en la globalidad de su se : necesidad de un uso é ico y esponsable
de la écnica”1.
En oda ma e ia la é ica dice elación con los sus en os básicos de
los debe es/de echos que igen la conduc a de las pe sonas; ella
iene po obje o la mo alidad como cualidad de los ac os humanos
1 Benedic o XVI. Ca a Encíclica Ca i as in e i a is. Paulinas. Buenos
Ai es 2009, Nº 70, págs.133-134.
55
lib es, elacionándose con las i udes, hábi os ope a i os buenos
con los cuales se ac úa esponsablemen e, se esponde a lo que se
debe.
Tales i udes son cla e en la é ica y en el p opio De echo; es así
que la Cons i ución u uguaya, a . 8º, es ablece que “Todas las pe -
sonas son iguales an e la ley no econociéndose o a dis inción sino
la de los alen os y las i udes”.
Po esencia la é ica no es un ema de moda aunque es é en el a-
pe e po los cambios de alo es y, en el caso de las ecnologías, po
los iesgos sob e la dignidad de las pe sonas.
Es a dignidad se debe a que la pe sona es una unidad y una o ali-
dad en sí misma, pun o de in e acción de lo ísico, psíquico y espi-
i ual que la hace un in en sí, pudiendo apa a se de lo sico ísico y
ascende , se p o unda y inalmen e esponsable2; su p oyección
en el o denamien o ju ídico es la de un “de echo undamen al y
p incipio gene al del De echo”, “ undamen o del o denamien o, y,
p ecisamen e po ello, in o mado de odas las no mas y o ien ado
de la lib e in e p e ación de odas y cada una de ellas (...). Es no ma
de conduc a y lími e de los de echos”3.
La dignidad humana y los de echos undamen ales que le son p o-
pios no los c ea la no ma i a ju ídica la cual los econoce y p e é
ins umen os pa a ga an iza su e ec i idad4.
2 C e. Vík o E. F ankl. La olun ad de sen ido. Con e encias escogidas
sob e logo e apia. 4a. Ed. He de -2002.
h ps://juliancas o .wo dp ess.com/wp-con en /uploads/2016/08/10-
esis-sob e-la-pe sona.pd
3 Jesús González Pé ez. La dignidad de la pe sona yel De echo
Adminis a i o. AB&C Re is a de Di ei o Adminis a i o&Cons i ucional.
Nº 29. Belo Ho izon e, B asil, 2011, pp. 11 y ss.
4 En ese sen ido la Cons i ución u uguaya es ablecen que “Los
habi an es de la República ienen de echo a se p o egidos en el goce de
su ida, hono , libe ad, segu idad, abajo y p opiedad. Nadie puede se
p i ado de es os de echos, sino con o me a las leyes que se es ablecie en
62
esponsabilidad p oac i a pa a asegu a el espe o e ec i o de de-
echos y el cumplimien o de obligaciones, cons i uyéndose en la
o ma de ac ua po de ec o, en una ac i ud p e en i a que p e-
se e el debido a amien o de los da os, la ealización de e alua-
ciones de impac o y con a con medios que pe mi an ac edi a el
cumplimien o.
Se sos iene así una pe spec i a que se insc ibe en la in e elación
con o os p incipios ( e acidad, inalidad, ese a, e c.). ponién-
dose en juego c i e ios de p opo cionalidad y, po an o, juicios de
idoneidad, necesidad y ponde ación, odo lo cual con ibuye a que
las pe sonas se empode en en el con ol de sus da os.
Es o impo a ya que los compo amien os é icos no a lo an ácil-
men e de modo espon áneo po lo que esul a menes e acudi a
la ins i ucionalización po di e sas ías, sea la he e o egulación
como la inco po ación a códigos de conduc a en e esponsables y
enca gados de a amien o, p opios de una au o egulación e ec-
i a y con olada a ni el social y, en lo que co esponda, po el sec-
o público como enca gado del bien común.
EN LA LÍNEA INDICADA PUEDEN VERSE
DOCUMENTOS DE DIVERSA NATURALEZA,
ENTRE ELLOS SE CITAN LOS SIGUIENTES:
ÁMBITO INTERNACIONAL
DICTAMEN 4/015 DE 11-10-2015 “HACIA UNA NUEVA
ÉTICA DIGITAL”, DEL SUPERVISOR EUROPEO DE
PROTECCIÓN DE DATOS.
Con base en la Ca a eu opea de los De echos Fundamen ales,
a i ma que “la ecnología no debe dic a los alo es y los de echos
ni la elación en e ambos debe ía educi se a una alsa dico omía”
así como que “en el en o no digi al ac ual, no bas a espe a la ley
sino que enemos que conside a la dimensión é ica del a amien o
de da os (..)”.
63
REGLAMENTO (UE) 2016/679 DEL PARLAMENTO
EUROPEO Y DEL CONSEJO ANTES CITADO
En su 2º “Conside ando” exp esa, en e o os aspec os que “los
p incipios y no mas” sob e p o ección de da os “deben” “ espe a
(las) libe ades y de echos undamen ales”, sin pe juicio de con i-
bui , a la ez, “a la plena ealización de un espacio de libe ad, se-
gu idad y jus icia y de una unión económica (…), así como al bienes-
a de las pe sonas ísicas”; en el 4º, que “El a amien o de da os
pe sonales debe es a concebido pa a se i a la humanidad. El de-
echo a la p o ección de los da os pe sonales no es un de echo ab-
solu o sino que debe conside a se en elación con su unción en la
sociedad y man ene el equilib io con o os de echos undamen a-
les, con a eglo al p incipio de p opo cionalidad”.
DECLARACIÓN DE LA 40ª CONFERENCIA
INTERNACIONAL DE AUTORIDADES DE PROTECCIÓN
DE DATOS, BRUSELAS 2018
A i ma que “cualquie c eación, desa ollo y uso de sis emas de IA
deben espe a los de echos humanos, pa icula men e los de e-
chos a la p o ección y p i acidad de los da os pe sonales, así como
a la dignidad humana, la no disc iminación, y los demás alo es
undamen ales. Es as c eaciones deben además p o ee soluciones
pa a pe mi i le a los indi iduos man ene con ol y en endimien o
sob e los sis emas de In eligencia A i icial”.
P ecisa que el de echo del i ula de los da os a obje a ecnologías
que in luyan en su desa ollo pe sonal equie e que se le asegu e
“no es a suje o a un modelo de oma de decisiones basado única y
exclusi amen e en p ocesamien o au omá ico de da os, en especial
si es e signi ica i amen e los a ec a, donde no sea aplicable, se
debe ga an iza los de echos del indi iduo a apela la decisión”.
64
RECOMENDACIONES GENERALES PARA EL
TRATAMIENTO DE DATOS EN LA INTELIGENCIA
ARTIFICIAL DE LA RED IBEROAMERICANA DE
PROTECCIÓN DE DATOS, JUNIO-2019
En e o as, se iene las siguien es: 1. cumpli la no ma i a local de
p o ección de da os pe sonales; 2. e ec ua es udios de impac o de
p i acidad, p e io al diseño y desa ollo de p oduc os de IA y si es
p obable que en añen un al o iesgo, e ec ua e aluación de im-
pac o pa a pone en unciones un sis ema de manejo de iesgos y
con oles in e nos; 3. inco po a la p i acidad, la é ica y la segu i-
dad desde el diseño y po de ec o, lo que “debe i adia el esquema,
desa ollo y uso de los p oduc os o p ocesos de in eligencia a i i-
cial. debiendo se pa e del ADN de cualquie aspec o elacionado
con la in eligencia a i icial”; 4. diseña esquemas ap opiados de
gobe nanza aco de a las unciones de la o ganización median e: a)
e aluaciones y manejo de iesgos; b) ijación de modelos de oma
de decisión; c) ac i idades de moni o eo; d) e isión de los canales
de comunicación con usua ios y consumido es; 5. adop a medidas
pa a ga an iza los p incipios sob e el a amien o de da os pe so-
nales y espe a los de echos de los i ula es de los da os; 6. ase-
gu a la calidad de los da os con acciones an e el iesgo de sesgos:
a) lle a un egis o de su p ocedencia; b) ealiza audi o ías de los
se s de da os u ilizados en la c eación de algo i mos que ayuden a
descub i y co egi e o es; c) o o ga pun ajes de e acidad a los
se s u ilizados pa a en ena la máquina; d) ac ualiza los da os e-
gula men e; e) ene se de da os sepa ados pa a en ena , p oba
y alida la oma de decisiones; 7. u iliza he amien as de anonimi-
zación; 8. inc emen a con ianza y anspa encia y, en onces, man-
ene canales abie os de comunicación y di ulgación del uso de
los da os pe sonales en los p ocesos o p oduc os de la in eligencia
a i icial, en é minos cla os y comple os; e ec ua p uebas pilo o
pa a e alua la oma de decisiones, es ablece ías de e isión hu-
mana pa a a i ica o ec i ica esas decisiones.
65
ORIENTACIONES ESPECÍFICAS DE LA RED
IBEROAMERICANA DE PROTECCIÓN DE DATOS
PERSONALES PARA EL CUMPLIMIENTO DE LOS
PRINCIPIOS Y DERECHOS QUE REGULA ESA
PROTECCIÓN EN LOS PROYECTOS DE
INTELIGENCIA ARTIFICIAL, 2019-2020
Exp esan, en e o os aspec os, que p ocede: “Es ablece un sis-
ema de moni o eo cons an e del modelo de IA con la inalidad de
iden i ica la exis encia de sesgos y en la medida de lo posible im-
plemen a una ges ión de iesgos. Como p oduc o inal del sis ema
de moni o eo se debe án gene a epo es y es adís icas que pe -
mi an al esponsable analiza los esul ados”; “ ene en cuen a que
la in e conexión de di e en es ipos de da os pe sonales puede e-
ela in o mación con idencial sob e los indi iduos”; “ educi y/o mi-
iga los p ejuicios o disc iminaciones que pudie an esul a de la
u ilización de da os en la IA, p io izando el espe o a los ins umen-
os in e nacionales de de echos humanos y no-disc iminación”.
Con o me al p incipio de anspa encia, co esponde hace sabe
al i ula de los da os, que se u iliza án p ocesos de au oma ización,
las ca ac e ís icas p incipales del a amien o, y “la o ma en cómo
las decisiones au oma izadas puede a ec a los y, en su caso, solici-
a in e ención humana, con el obje i o de que puedan oma una
decisión in o mada espec o a si consien e o no el a amien o”.
“El uso de IA e a a los esponsables a se an inno ado es en es a
á ea como lo son al usa análisis, y a encon a nue as o mas de
ansmi i in o mación de mane a concisa”. “Exis en a ios en o-
ques inno ado es pa a p opo ciona a isos de p i acidad, incluido
el uso de ideos, ca ica u as e íconos es anda izados. El uso de una
combinación de en oques puede ayuda a que la in o mación com-
pleja sob e IA sea más ácil de comp ende pa a los i ula es de los
da os pe sonales. Iden i ica y de ini los é minos comúnmen e u i-
lizados y c ea una base de da os pa a que puedan se eu ilizados
en di e en es con ex os, con iconos es ánda pa a da a conoce
in o mación(…)”.
66
PRINCIPIOS DE LA OEA EN MATERIA DE PROTECCIÓN
DE DATOS17
Al a a el de “Responsabilidad” a i man que “Los sis emas de p o-
ección de la p i acidad debe ían e leja un equilib io ap opiado
en e la eglamen ación gube namen al y la implemen ación é ica
y e ec i a po aquellos que ienen esponsabilidad di ec a po la
ecopilación, p ocesamien o, uso, e ención y di usión de Da os
Pe sonales”; denomina a dichos esponsables “ge en es de Da os”,
los que, dice, debe ían ac ua en calidad de “buen cus odio” de los
da os que se les p opo cione o con íe.
RECOMENDACIÓN SOBRE LA ÉTICA DE LA IA -
UNESCO (2021)
T a a la cues ión “como una e lexión no ma i a sis emá ica, ba-
sada en un ma co in eg al, global, mul icul u al y e olu i o de alo-
es, p incipios y acciones in e dependien es, que puede guia a las
sociedades a la ho a de a on a de mane a esponsable los e ec os
conocidos y desconocidos de las ecnologías de la IA en los se es
humanos, las sociedades y el medio ambien e y los ecosis emas, (...).
Conside a la é ica como una base dinámica pa a la e aluación y la
o ien ación no ma i as de las ecnologías de la IA, omando como
e e encia la dignidad humana, el bienes a y la p e ención de da-
ños y apoyándose en la é ica de la ciencia y la ecnología”.
CARTA IBEROAMERICANA DE PRINCIPIOS Y
DERECHOS EN LOS ENTORNOS DIGITALES-XXVIII
CUMBRE DE JEFES DE ESTADO Y DE GOBIERNO-2023
Pa e de la base de la cen alidad de la pe sona, la que debe “ e se
p o egida(s) en los en o nos digi ales como suje os de de echos y
debe es”, ijando el comp omiso de “ omen a condiciones es uc-
u ales, p ác icas, he amien as y ma cos ju ídicos que p omue an
17 Ap obada po la Asamblea Gene al en el 51 pe íodo o dina io de de
sesiones, 10-12 de no iemb e de 2021.
67
el acceso uni e sal, equi a i o y asequible a la in aes uc u a y los
se icios de las TIC, sin disc iminación de ipo alguno”. También a
“ aduci las nue as ealidades digi ales en una ampliación del
campo de los de echos de las pe sonas y el cumplimien o de sus
debe es en los en o nos digi ales” (ap.1).
Asimismo e ie e a la pe inencia de “es ue zos ele an es pa a ga-
an iza que la p i acidad de las pe sonas y el p ocesamien o de
sus da os pe sonales es én p o egidos en en o nos digi ales, espe-
ando las legislaciones nacionales en la ma e ia” (ap. 3).
DECLARACIÓN DE PRINCIPIOS Y DERECHOS
DIGITALES DE LA UE (2023/C 23/01)
Exp esa que la IA es un ins umen o al se icio de las pe sonas
cuyo in úl imo es inc emen a el bienes a humano, po lo que los
sis emas deben se segu os, é icos y iables, espe ando los de e-
chos undamen ales en odas las ases de su c eación, desa ollo e
implemen ación.
DIRECTRICES DE UNESCO PARA LA GOBERNANZA DE
LAS PLATAFORMAS DIGITALES-2023
Exp esa que odas los in e esados compa en la esponsabilidad
de man ene un “en o no p opicio” “pa a la libe ad de exp esión,
el acceso a la in o mación y o os de echos humanos, ga an izando
al mismo iempo que exis a un en o no abie o, segu o y p o egido
pa a las pe sonas usua ias y no usua ias de las pla a o mas digi a-
les”.
P ecisa que la c eación de ese en o no “no es simplemen e una
cues ión de ingenie ía” sino “un empeño que exige el comp omiso
de la sociedad en su conjun o (…)” (ap. 22 y 23). Po su pa e, en el
ap. 26 ‘g’, e ie e al debe de los Es ados de “ga an iza los de e-
chos de las pe sonas usua ias de pla a o mas digi ales a la libe ad
de exp esión, el acceso a la in o mación, la igualdad y la no disc i-
minación, así como p o ege los de echos de las pe sonas usua ias
68
a la p i acidad, p o ección de da os, asociación y pa icipación pú-
blica”.
REGLAMENTO EUROPEO DE INTELIGENCIA
ARTIFICIAL18
Se des acan los siguien es “Conside andos”:
a) 10: “el de echo undamen al a la p o ección de los da os pe so-
nales es á ga an izado” po la no ma i a especí ica y la conce -
nien e a la p o ección de la ida p i ada y la con idencialidad de
las comunicaciones. También que con el Reglamen o no se “a ec a
a las obligaciones de los p o eedo es y los esponsables del des-
pliegue de sis emas de IA en su papel de esponsables o enca ga-
dos del a amien o de da os de i adas del De echo de la Unión o
nacional en ma e ia de p o ección de da os pe sonales en la me-
dida en que el diseño, el desa ollo o el uso de sis emas de IA impli-
quen el a amien o de da os pe sonales”;
b) 27, señala que si bien el en oque basado en el iesgo es la base
de un conjun o p opo cionado y e icaz de no mas inculan es, es
impo an e eco da las Di ec ices é icas pa a una in eligencia a -
i icial iable de 2019, en las cuales des acan sie e p incipios: acción
y supe isión humanas; solidez écnica y segu idad; ges ión de la
p i acidad y de los da os; anspa encia; di e sidad, no disc imina-
ción y equidad; bienes a social y ambien al, y endición de cuen as.
b) 48, e ie e a que “La magni ud de las consecuencias ad e sas de
un sis ema de in eligencia a i icial pa a los de echos undamen a-
les p o egidos po la Ca a es especialmen e impo an e a la ho a
de clasi ica un sis ema de IA como de al o iesgo” y, que en e
18 Resolución legisla i a del Pa lamen o Eu opeo, de 13-III-2024 sob e
p opues a de Reglamen o del Pa lamen o Eu opeo y del Consejo po el
que se es ablecen no mas a monizadas en ma e ia de in eligencia
a i icial (Ley de In eligencia A i icial) y se modi ican de e minados ac os
legisla i os de la Unión COM(2021)0206 – C9-0146/2021 –2021/0106(COD)
69
dichos de echos, es án el de p o ección de da os de ca ác e pe -
sonal y a una buena adminis ación.
c) 58, según el cual el Reglamen o “no debe obs aculiza el desa o-
llo y el uso de en oques inno ado es en la Adminis ación, que po-
d ían bene icia se de una mayo u ilización de sis emas de IA con-
o mes y segu os, siemp e y cuando dichos sis emas no conlle en
un al o iesgo pa a las pe sonas ju ídicas y ísicas”19.
ÁMBITO NACIONAL URUGUAYO
DECRETO Nº 134/021 DE 4-V-2021 QUE APROBÓ LA
“AGENDA URUGUAY DIGITAL 2025”
Señala en su pa e exposi i a “la necesidad de da con inuidad a la
ans o mación digi al” “median e el o alecimien o de las polí i-
cas digi ales, la anspa encia pública, la e iciencia en la ges ión y
el uso en igualdad de opo unidades de las ecnologías de la in o -
mación (…)”.
Incluye doce obje i os con sus espec i as me as; así: VI (“Da os
como ac i o”): “Op imiza el uso in ensi o de da os e in o mación
como ac o cla e pa a una oma de decisiones e icaz y una ges ión
pública e icien e, con emplando aspec os de é ica, p i acidad, es-
ponsabilidad, anspa encia y no disc iminación”; XI (“Gobie no
como pla a o ma”), que consis e en “habili a la in eg ación, in e -
cambio y consumo op imizado de se icios y da os, po pa e del
sec o público y p i ado, en un en o no segu o y con olado”.
Comp ende las me as de adap a la no ma i a pa a acompasa los
a ances ecnológicos, “p io izando las mejo as en los p ocedimien-
os adminis a i os den o de las en idades públicas y en la in e -
acción con las pe sonas, los mecanismos pa a el in e cambio de in-
o mación (…) y la ges ión de emp endimien os en el ámbi o digi al”
19No se ing esa al examen de la pa e disposi i a, des acándose en ma e ia
de p o ección de da os pe sonales, en e o os, los a s. 10.5 y 59.
70
así como en a iza en aspec os como la p o ección de da os, la se-
gu idad, la anspa encia y lo ela i o a cibe deli os.
LEY Nº 20.212 DE 6-11-2023
Su a . 74 asigna a la Agencia pa a el Desa ollo del Gobie no de
Ges ión Elec ónica y la Sociedad de la In o mación y el Conoci-
mien o (AGESIC) el diseño y desa ollo de una Es a egia nacional
de da os e in eligencia a i icial, basada en es ánda es in e nacio-
nales, en los ámbi os público y p i ado, la cual “debe á unda se en
p incipios de equidad, no disc iminación, esponsabilidad, endi-
ción de cuen as, anspa encia, audi o ía e inno ación segu a, es-
pe ando la dignidad humana, el sis ema democ á ico y la o ma e-
publicana de gobie no.
Los p incipios de la p o ección de da os” incluidos en la de p o ec-
ción de da os pe sonales, “se án pa e de la ci ada Es a egia”.
ESTRATEGIA DE INTELIGENCIA ARTIFICIAL DE
URUGUAY- 2024
En e o os aspec os, señala que “La colabo ación con inua en e
el Es ado, la academia, la sociedad ci il y el sec o p i ado se á
c ucial pa a en en a los desa íos u u os y ap o echa las opo u-
nidades que la IA o ece, siemp e con un en oque é ico y espe-
uoso de los de echos humanos”. Po lo mismo, los ac o es de la IA
deben asegu a que, cuando sus sis emas se u ilicen pa a oma o
apoya la oma de decisiones, siemp e haya una supe isión hu-
mana sob e los esul ados, siendo pe inen e conside a las ca ac-
e es que debe ene esa supe isión undamen almen e en los sis-
emas de al o iesgo; es “un e o es ablece con oles sob e los da-
os y los sis emas, pe o al igual que con los p ocesos au oma izados
u ilizados an es del su gimien o de es a ecnología, es impe a i o
supe isa los esul ados y asegu a su iabilidad an es de oma
decisiones con base en ellos”.
71
La p o ección y el espe o po la p i acidad de los da os pe sona-
les deben asegu a se desde el diseño y en odas las ases del ciclo
de ida de los sis emas de IA.
ANOTACIONES FINALES
F en e a posiciones an agónicas, unas apocalíp icas y o as in eg a-
das de ca a a las nue as ecnologías, co esponde apela a la es-
ponsabilidad en endida como ac i ud e lexi a y c í ica de los nue-
os p oblemas que susci an la ciencia y la ecnología, y an e los que
ni la democ acia, ni la ciencia, ni el de echo ni las humanidades pue-
den pe manece impasibles, sob e odo po su epe cusión en el
alcance y eje cicio de los de echos humanos20.
Se es á, pues, en un campo é il pa a la au o egulación en línea
que complemen e y asegu e la egulación pública. En suma, nue as
ecnologías sí pe o ¿cómo? y ¿pa a qué?, espues as en la cual la
isión debe i del b azo de la no ma i a ju ídica y la é ica.
20 Pé ez Luño, An onio E. Los de echos humanos en la sociedad
ecnológica. Ed. Uni e si a ia. Mad id, 2012, pp. 42-43.
78
elegi lib emen e de las pe sonas de mane as de las que es as no
son ealmen e conscien es de dichas écnicas o, cuando lo son,
pueden segui siendo engañadas o no pueden con ola las u opo-
ne les esis encia».
Den o del con ex o español, en elación con el impac o de las nue-
as ecnologías en los de echos de las pe sonas, se ha egulado el
a amien o de mac oda os de ca ác e pe sonal en la Ley O gá-
nica 3/2018 de P o ección de Da os Pe sonales y ga an ía de los
de echos digi ales, en la que en su p eámbulo ya augu a que «una
deseable u u a e o ma de la Cons i ución debe ía inclui en e
sus p io idades la ac ualización de la Cons i ución a la e a digi al y,
especí icamen e, ele a a ango cons i ucional una nue a gene a-
ción de de echos digi ales». Po su pa e, la Ca a de De echos Di-
gi ales, den o de su apa ado XXV, hace e e encia exp esa al e-
conocimien o de una elación de de echos digi ales an e el en o no
de la IA, en el que es ablece que se debe asegu a «un en oque
cen ado en la pe sona y su inalienable dignidad».
Resul a, po an o, necesa io que en e a los usos pe niciosos de
la IA y el Big Da a deban a bi a se nue as y ac ualizadas di ec i-
ces, legislaciones y mecanismos su icien es pa a p o ege los de e-
chos undamen ales de las pe sonas, y de o ma especial, la p i a-
cidad, la au onomía y los posibles iesgos de disc iminación.
De ca a a la p o ección de los de echos undamen ales esul a im-
po an e dis ingui a los posibles i ula es o poseedo es de esos
da os: si la egulación se di ige al pode público, debe án en a en
juego p incipios como los de esponsabilidad de las adminis acio-
nes, el p incipio de legalidad o la p e alencia del in e és público; si,
en cambio, son las emp esas p i adas las des ina a ias de la egu-
lación, egi án, en e o os, el p incipio de libe ad de emp esa y
o os ipos de in e eses a ene en cuen a. En odo caso, lo que
pa ece ue a de oda duda es que la necesidad de una egulación
obus a se hace pe en o ia.
79
En es e sen ido, pa e de la doc ina de iende la idea de que esul-
a ía lógico busca , en base a la legislación ya exis en e, una egula-
ción especí ica pa a la p o ección de los de echos y debe es un-
damen ales aquí a ec ados. Pe o ambién se en iende, po o o
sec o doc inal, que los cambios sociales que conlle a la i upción
de la IA y el Big Da a pueden lle a a eplan ea algunos de es os
de echos pa a adap a los a es a nue a ealidad o incluso c ea nue-
as ca ego ías de de echos, los llamados neu o-de echos y los de-
echos digi ales.
Pa ece así eme ge una nue a gene ación de de echos cuyo obje-
i o p incipal consis i ía «en la co ección de los p oblemas y pe -
juicios causados a la ciudadanía debido a la al a de una egulación
ap opiada capaz de es ablece un ma co ju ídico especí ico pa a el
uso, el despliegue y el desa ollo de las ecnologías digi ales e In-
e ne , la IA, la obó ica y las ecnologías conexas» (Llano Alonso,
2024: 55); se a a de los de echos digi ales, unos de echos a icu-
lados sob e «un sopo e i ual, no analógico, donde el cue po se
ola iliza pa a da paso a una es uc u a dis in a de de echos que
han de busca la segu idad de la pe sona sob e el a amien o de
los da os y la a qui ec u a ma emá ica de los algo i mos» (Ba io
And és, 2021: 209).
La doc ina ius ilosó ica se halla di idida ace ca del econoci-
mien o de los de echos digi ales como una au én ica ca ego ía
nue a de de echos humanos. Los au o es y au o as a o ables al
econocimien o de la dimensión é ico-ju ídica de los de echos di-
gi ales y su inco po ación al in e io de los o denamien os ju ídicos,
cuen an a su a o con un incipien e ma co legal –so law egional,
en la mayo ía de las ocasiones– que «ya» ha abo dado y egulado la
cues ión de los de echos digi ales. Es o es un da o ác ico, empí-
ico. No me de engo en es as pos u as po que mi plan eamien o se
mue e, más bien, en el ámbi o no ma i o, en el debe se , y desde
él, c eo que me ece la pena segui e lexionando sob e el unda-
men o de ese econocimien o de de echos.
80
Mucho me emo que los de echos humanos, pa a se p o egidos
de o ma i me y sólida, han de se pocos. Me mues o p ocli e a
conside a que el sob edimensionamien o o la sob eca ga de de-
echos a en desmed o de las ga an ías de su p o ección. La ue za
no ma i a de los de echos humanos se banaliza cuando odo es
con e ible en un de echo humano. Desde luego que es amos an e
p eocupaciones muy jus i icadas que en uel en p oblemas, nece-
sidades y exigencias (de p i acidad, segu idad, p o ección…) muy
impo an es, ya que plan ean e os y desa íos que deben abo -
da se u gen emen e po la eo ía gene al del De echo. Pe o no es á
an cla o, a mi modo de e , que la espues a pase necesa iamen e
po ca ego iza ales de echos digi ales como de echos humanos.
Habla de de echos digi ales es u iliza un lenguaje igu ado, apli-
cable a o as nociones que, espondiendo a loables p e ensiones
é icas, son en cambio dis in as a los de echos humanos. Bien
apun ó Haa sche las consecuencias pelig osas que pueden de i-
a de la «banalización po in e sión» cuando se llega a inunda de
in ocaciones a los de echos humanos lo que no son más que a-
cuas p oclamas demagógicas: «al concede les inmedia amen e el
es a us de de echos humanos en sen ido ue e, se co e el iesgo
de p oduci el e ec o habi ual de la banalización po in e sión: en
luga de que los “nue os” de echos amplíen el alcance de los an i-
guos (en de ini i a, que los e ue cen), es la p eca iedad de su es-
a us lo que hace co e el iesgo de a ec a a los de echos de las
p ime as gene aciones; poco a poco nos acos umb a emos a que
los de echos humanos en gene al no sean más que una aga ei in-
dicación mo alizan e» (Haa sche , 1989: 44).
También aquí su gen con ue za algunas dudas que es as ecnolo-
gías plan ean po el iesgo que en añan pa a el eje cicio de los de-
echos undamen ales. Debemos des aca el pelig o de que se
c een b echas sociales, polí icas y económicas en e aquellos que
saben u iliza los da os y aquellos que no ienen acceso a ellos (po
ejemplo, pe sonas de a anzada edad) o no saben lle a a cabo la
81
e aluación y u ilización de los mismos. Además, pod ían queda se
excluidos del p og eso que o ece la IA un g upo conside able de
pe sonas que no apo an da os ele an es, lo que implica ía que
sus necesidades y ei indicaciones, al no ene capacidad de in-
luencia en las decisiones que se adop en, ni si quie a an a se
enidas en cuen a. Po an o, además de la p i acidad, hay un g a e
iesgo pa a el eje cicio de los de echos ela i os a la igualdad y la
no disc iminación.
En es e sen ido, y a anzando en las dudas que susci a que e p o-
ege los da os bajo la ó mula de los de echos digi ales as su p o-
cesamien o masi o, en los úl imos años es amos asis iendo a la p o-
li e ación de he amien as, en muchos casos esul ado de la com-
binación de la IA, la Neu ociencia y el Big Da a, que p o ocan, con
g a es iesgos pa a la a ec ación de los de echos, sesgos algo í mi-
cos en ma e ia de manipulación de nues a au onomía pe sonal
(Delgado Rojas, 2024: 81-104).
Ca hy O’Neil, doc o a en ma emá icas con ayec o ia en Ha a d
y en el MIT, p omue e el necesa io conocimien o sob e los iesgos
é icos de los mac oda os y a isa de que los algo i mos pueden se
«des uc i os e injus os pa a los indi iduos» po su po encial como
«a mas de des ucción ma emá ica» (O’Neil, 2016). Cabe an e ello
denuncia los sesgos implíci os en la c eación de los algo i mos, que
o denan y sepa an a la población en ganado es y pe dedo es; los
ganado es son aquellos que consiguen el abajo o el c édi o que
desean, mien as los pe dedo es quizás no engan ni siquie a op-
ción a se en e is ados o son los que e minan pagando la cuo a
más ele ada po su segu o médico.
Pa a palia es as si uaciones, deben ins au a se una se ie de p in-
cipios é icos en el uso de la IA, incluso pa a e i a daños que no
sean olun a ios. Po ello, los sis emas de IA deben se obus os,
no sólo desde el pun o de is a ecnológico, sino ambién desde
una pe spec i a social. Sin duda, la é ica aplicada a la IA puede
82
ayuda a o alece es a pe cepción de la con ianza que deposi a
la ciudadanía. Pa a gene a es a con ianza en e los usua ios deben
ga an iza se de e minados de echos como la igualdad (que no haya
sesgos algo í micos), la p i acidad (no igilancia) y la uni e saliza-
ción del p og eso cien í ico (no b echas digi ales), cues iones ne-
cesa ias pa a ela po la anspa encia y el buen uncionamien o
de los dis in os a ances ecnológicos.
CONCLUSIONES
La conexión en e la IA y la inmensa can idad de da os gene ada, a
a és de una g an a iedad de uen es, iene como esul ado un
enómeno sin p eceden es en odos los aspec os obse ables. La
inno ación del Big Da a ha con ibuido a acili a y mejo a in ini-
dad de p ocedimien os co idianos.
En e el ca as o ismo al que pa ecie a que inexo ablemen e nos
lle an la IA y el Big Da a y la con ianza exace bada en una idea de
p og eso ilimi ado, hay quienes apelamos más modes amen e a una
« esponsabilidad ecnológica», en endida como una ac i ud e le-
xi a, c í ica y p uden e an e los nue os p oblemas que susci an la
ciencia y la ecnología, y an e los que el De echo no puede pe ma-
nece ajeno, sob e odo po su impo an e incidencia en el eje ci-
cio de los de echos undamen ales. Una esponsabilidad que no
puede deja de se «humana», como ha ema cado Luciano Flo idi,
y que «es cla e, eniendo en cuen a qué ipo de IA desa ollamos,
cómo la u ilizamos y si compa imos con odos sus en ajas y bene-
icios» (Flo idi, 2024: 344).
La IA debe pone se al se icio de la sociedad, de los indi iduos,
que son los únicos que son ines en sí mismos, p o egiendo sus de-
echos como ciudadanos y ga an izando la p i acidad, au onomía e
igualdad que les son debidas como usua ios de pla a o mas ecno-
lógicas. De ahí la impo ancia de que la é ica y la esponsabilidad
es én p esen e en el desa ollo de la IA y el Big Da a, que debe án
a moniza se siemp e con los p incipios y alo es sob e los que se
cons uyen nues as democ acias con empo áneas.
83
BIBLIOGRAFÍA
Ba io And és, M., “Génesis y desa ollo de los de echos digi ales”, Re-
is a de las Co es Gene ales, 110, 2021, pp. 197-233.
Boyd, D. y C aw o d, K., “Six p o oca ions o big da a”, en A decade in
in e ne ime: Symposium on he dynamics o he in e ne and socie y,
Ox o d, 2011.
Chen, M., Mao, S. y Liu, Y., “Big da a: A su ey. Mobile ne wo ks and ap-
plica ions”, en Mobile ne wo ks and applica ions, 19(2), 2014, pp. 171-
209.
Delgado Rojas, J.I., “Pode ecnológico y polí icas pa e nalis as. La gobe -
nanza algo í mica a a és de hype nudges”, en Sánchez Rubio, D.,
Sánchez B a o, Á. y Delgado Rojas, J.I. (eds.), Pode es, Cons i ución y
De echo, Dykinson, Mad id, 2024.
Faini, F., Da a socie y. Go e no dei da i e u ela dei di i i nell’e a digi ale,
Giu è, Milano, 2019.
Flo idi, L., La qua a i oluzione. Come l’in os e a s a as o mando il
mondo, Ra aello Co ina Edi o e, Milano, 2017.
Flo idi, L., É ica de la in eligencia a i icial, He de , Ba celona, 2024.
Ga iga Domínguez, A., Nue os e os pa a la p o ección de da os pe so-
nales. En la E a del Big Da a y de la compu ación ubicua, Dykinson,
Mad id, 2016.
Haa sche , G., Philosophie des D oi s de l’homme, Edi ions de l'Uni e si é
de B uxelles, Belgique, 1989.
Llano Alonso, F.H., Homo Ex Machina. É ica de la in eligencia a i icial y
De echo digi al an e el ho izon e de la singula idad ecnológica, Ti an
lo Blanch, Valencia, 2024.
Maye -Schönbe ge , V. y Cukie , K., Big da a: la e olución de los da os
masi os, Tu ne , Ba celona, 2013.
O'Neil, C., Weapons o Ma h Des uc ion: How Big Da a Inc eases Inequal-
i y and Th ea ens Democ acy, Allen Lane, London, 2016.
Pé ez-Luño, A.E., “La in eligencia a i icial en iempo de pandemia”, en
Llano Alonso, F.H. y Ga ido, J. (coo ds.), In eligencia A i icial y De e-
cho. El ju is a an e los e os de la e a digi al, A anzadi, Pamplona, 2021.
85
NOVAS CONSIDERAÇÕES SOBRE A
QUESTÃO SOCIAL NA ERA DA
REALIDADE VIRTUAL E DA
INTELIGÊNCIA ARTIFICIAL EM
SOCIEDADES COMPLEXAS E
MULTICULTURAIS
José Alcebiades de Oli ei a Junio
P o eso i ula del P og ama de Posg ado en De echo
(PPGD) de la UFRGS y del PPGD de la URI-San o Ângelo.
In es igado ni el 1D del CNPq
INTRODUÇÃO
O abalho o a ap esen ado, em po base o nosso p oje o de
pesquisa ap o ado jun o ao CNPq-Conselho Nacional de Pesquisa
e Pós-g aduação em Di ei o, in i ulado “A ques ão social na e a da
ealidade i ual e da In eligência A i icial em sociedades
complexas e mul icul u ais”.
Como dissemos no p oje o e e ido, o a ual mundo complexo e
dominado po so is icadas máquinas capazes de c ia e ec ia
ealidades que exis i am, que exis em hoje e que quiçá exis i ão em
u u o mui o p óximo, eque em de odos nós, leigos e
pesquisado es de nomeada, mui o es o ço pa a se comp eende o
que exis iu, o que ago a es á chegando e o que ainda i á pela
en e em u u o p óximo, sob e udo de ido ao a anço dessas
no as ecnologias na á ea da ealidade i ual e da In eligência
A i icial (IA).
E são po essas azões que ap esen a emos, de manei a concisa,
mas que espe amos ao menos comp eensí eis, alguns dos nossos
pon os de is a com o obje i o de in eg a a impo an e ob a
86
“In eligência A i icial, É ica Y Sociedad Con empo ânea”, a ca go
dos ilus es mes es P o . D . Ál a o A elino Sánchez B a o
(Facul ad de De echo. Uni e sidad de Se illa) e P o . D . Li on La-
nes Pilau (UNIVALI &URISAN).
DESENVOLVIMENTO
Como dissemos em nossa pesquisa que o a ansco e no CNPq,
“hoje em dia cada ez mais se o na u gen e o deba e c í ico sob e
a ques ão social na e a da ealidade i ual e da in eligência
a i icial”, po in eg a em, indiscu i elmen e, uma á ea impo an e
de discussão do Di ei o e da Jus iça, haja is a as eno mes
injus iças e os mui os c imes cibe né icos que se alas am mundo a
o a.
Inicialmen e, como um pequeno, mas simbólico exemplo, ci o a
ob a “Golpes Digi ais: Como iden i ica , p e eni e agi con a
ameaças i uais”, de Be na do de Aze edo e Souza & Raphael Rios
Chaia Jacob (2023). Nessa ob a e e ida, cabe des aca um
in e essan e dossiê do au o que se e e e a uma sín ese do que
hoje i emos:
Em um mundo no qual a ecnologia que ado amos em
nossas idas pode se explo ada de o ma p ejudicial po
c iminosos, que eco em a écnicas cada ez mais
so is icadas, é essencial nos p epa a mos pa a lida com as
ameaças i uais de hoje e de amanhã (Souza & Jacob,
2023).
E o a i mado acima pelos au o es dessa ob a, é que, cada ez mais,
a ealidade de cada um de nós se encon a ameaçada nesse plano
i ual. Nada mais é ão incon iá el do que ligações de núme os
mis e iosos e desconhecidos, o que oco e como odos nós
sabemos, co iquei amen e e inúme as ezes, sendo, na e dade,
en a i as de golpes i uais e ou digi ais ia apa elhos ele ônicos
ou e-mails.
87
Pois bem. Vol amos a insis i , que con o me a nossa pesquisa jun o
ao CNPq e acima e e ida, cada ez mais o a anço cien í ico e
ecnológico das a uais sociedades complexas e mul icul u ais az
eme gi , po ou o lado, e em ní eis nacionais e in e nacionais,
ealidades de exclusão e ma ginalização de populações
ulne á eis. Assim, se e idencia a pe sis ência de desigualdades
sociais cada ez mais acen uadas. Mui o embo a de ou a pa e
imos assis indo, cada ez mais, uma maio u ilização dessas
ecnologias i uais po á ios ou os mo i os, á ios dos quais
saudá eis, mas mui os ou os com inalidades obscu as e di igidas
pa a o mal ou mesmo pa a o c ime (OLIVEIRA JUNIOR, 2023).
Como disse no p oje o e e ido acima, a exclusão de mui as
pessoas dos espaços de acesso à al a ecnologia eduz as
possibilidades de educação e acesso ao abalho, po exemplo,
con ibuindo assim pa a o acen uamen o de desigualdades sociais
cada ez maio es. De ou a pa e, esse mesmo p oje o, p opõe
con inua nessa lu a pela inclusão de um núme o cada ez maio
de pessoas com acesso e alcance in eg al à in o mação e ao manejo
eal das no as ecnologias, p incipalmen e aquelas pessoas com
ex ema ulne abilidade e que es ejam comple amen e excluídas
dos p ocessos de in o ma ização e i ualização do mundo
(OLIVEIRA JUNIOR, 2023).
Ainda as azões que nos impõem a ece essa emá ica en ol em a
necessidade de escla ece ques ões ine en es a pós-mode nidade,
as quais pe meiam a i ualização das elações sociais e dos
di ei os, e idenciando assim, a ob igação de se assumi um deba e
écnico cien í ico sob e a elação das ecnologias com o di ei o e a
jus iça social em sociedades mul icul u ais e complexas (OLIVEIRA
JUNIOR, 2023).
Nesse sen ido, Fe e baum, M.; Sil a, A.P.; Coelho, A. Z.; Sil ei a,
A.R.D. (2023) em ob a sob e “É ica, Go e nança e In eligência
A i icial”, escla ecem que:
As discussões sob e In eligência a i icial (IA) e seus limi es
é icos êm ganhado con o nos mais acen uados na úl ima
95
INTELIGENCIA ARTIFICIAL Y JUSTICIA
CONSTITUCIONAL. RIESGOS E
IMPLICACIONES HERMENÉUTICOS
PARA LA SOCIEDAD PLURALISTA
Fe nando Babi Ruiz
Uni e sidad de Se illa
P o eso de Filoso ía del De echo
LA JUSTICIA EN LA ERA DIGITAL
El epidan e desa ollo ecnológico de las úl imas décadas ha p o-
piciado la apa ición de so p enden es a ances que hace pocos
años apenas pod íamos imagina . Es as inno aciones se han ex en-
dido de o ma eloz po los odos los ámbi os y e i o ios del pla-
ne a g acias al enómeno de la globalización, ca ac e izado po una
economía libe alizada, la pé dida de la capacidad de los Es ados
pa a egula nue os cen os económicos y de pode deslocaliza-
dos, la desapa ición de las on e as es a ales y una p og esi a in-
eg ación e in e dependencia en e odos los pueblos de la Tie a1.
En es e con ex o, la di usión de los a ances ecnológicos ha aído
consigo un lenguaje p opio del sec o ecnológico que se ha asen-
ado ápidamen e en nues o lenguaje co idiano. Así, é minos
como algo i mo, p omp o big da a cons i uyen ocablos comunes
de la sociedad con empo ánea. El ámbi o ju ídico ha ecibido igual-
men e es a miscelánea de é minos unido a un a án po la au oma-
ización y es anda ización de p ocesos, implan ándose una doc-
ina dominan e que Llano Alonso denomina ius ecnicismo y que
1 FERRAJOLI, Luigi: Po una Cons i ución de la Tie a. La humanidad en
la enc ucijada, Mad id, T o a, 2022, p. 17.
96
sos iene pos ulados comunes con el o malismo ju ídico y con i-
siones no ma i is as del de echo2.
La In eligencia A i icial (en adelan e, IA) supone el úl imo y más
con o e ido a ance en es e sec o , que se p esen a como supe-
ado del modelo Big Da a ca ac e izado po el manejo eloz de
g andes can idades de da os pa a su ges ión a g an escala, agili-
zando p ocesos, a amien os de in o mación y sus cos es apa eja-
dos. Y, como señala Belloso, pa a ges iona esa g an can idad de
da os esul a necesa io un algo i mo que con enga un conjun o de
ins ucciones de inidas, secuenciadas, o denadas y aco adas pa a
esol e un p oblema de en e las múl iples posibilidades que
o ece la base de da os que le si e de sopo e3.
De al sue e, es a o ma de in eligencia a i icial -machine lea ning-
supe a el a án po la agilidad en la ges ión de g andes bases de
da os -Bid Da a- suponiendo una o ma de delegación de la capa-
cidad deciso ia del homb e en la máquina. El desa ollo de es e
ipo de ecnologías ha supues o un sal o cuali a i o en el ámbi o
ju ídico, oda ez que la o denación y aplicación de c i e ios pa a
la ob ención de esul ados de esas bases de da os ya no se nece-
si a la mano y di ección del homb e, sino que esa unción se ha
asladado a complejos algo i mos que emulan el pensamien o hu-
mano.
De es e modo, en las úl imas décadas se han implan ado di e sos
modelos de Big Da a o Machine Lea ning a los sis emas de admi-
nis ación de jus icia de dis in os Es ados. En es e sen ido, des aca
2 LLANO ALONSO, Fe nando Iginio; Homo ex machina. É ica de la in e-
ligencia a i icial y De echo digi al an e el ho izon e de la singula idad
ecnológica, Valencia, Ti an lo Blanch, 2024, p. 37.
3 BELLOSO MARTÍN, Nu ia: 2023, “Sob e Fai ness y Machine Lea ning:
el algo i mo ¿puede (y debe) se jus o?”, Anales de la Cá ed a F ancisco
Suá ez, nº 57, 2023, p. 12.
97
el so wa e PROMETEA4 de la Fiscalía de Buenos Ai es, los “T i-
bunales de In e ne ”5 desa ollados en China, el sis ema COM-
PAS6 en el Es ado no eame icano de Cali o nia o el algo i mo
HART (Ha m Assesmen e Risk Tool) diseñado po la policía de Du -
ham pa a p edeci de mane a ap io ís ica el iesgo de una pe sona
de come e deli os du an e los dos p óximos años, en base a da os
como el sexo, la edad, el domicilio o la p o esión.
RIESGOS DE LA IA EN EL ÁMBITO
DE LA JUSTICIA
La posibilidad de aplica es a ecnología al ámbi o de la Adminis-
ación de Jus icia esul a en ado a a la is a del es ado de aban-
dono y sa u ación que su e. Sin emba go, es os sis emas no se en-
cuen an exen os de iesgos.
Uno de esos iesgos se p esen a en la con ección de la base de
da os que si e de sopo e al sis ema de IA. A la is a de que su
des ino es el eje cicio de un pode del Es ado, como es la adminis-
ación de jus icia, pa ece cohe en e que la ob ención y o igen de
esos da os engan igualmen e un ca ác e público. Deben, po
4 El so wa e posibili a au oma iza a eas ei e a i as a la ez que pe -
mi e elabo a dic ámenes ju ídicos median e IA median e la asignación de
palab as cla e a cada p oceso y sen encias p e ias.
5 Vid. GÓMEZ COLOMER, Juan Luis. “P oblemas legales del juez obo
desde una pe spec i a p ocesal y o gánica”, en El p oceso penal an e una
nue a ealidad ecnológica eu opea, Thomson Reu e s A anzadi, 2023,
pp. 168-175. Los “T ibunales de In e ne ” ienen compe encias sob e ma e-
ias de come cio elec ónico, pagos online o con lic os sob e p opiedad
in elec ual cuyos casos son esuel os po un algo i mo que se basa en
complejos es udios es adís icos en base a los cuales dic a sen encia as
analiza los hechos y p uebas acili ados po las pa es.
6 El sis ema COMPAS (ac ónimo inglés de Co ec ional O ende Mana-
gemen P o iling o Al e na i e Sanc ions) ue diseñado po el Es ado de
Cali o nia en el año 1998 pa a apo a una p edicción sob e la p obabili-
dad de eincidencia y iesgo de uga del p ocesado que si e de apoyo al
juez a la ho a de dic a la esolución.
98
an o, se echazados pa a es e in da os ob enidos de edes socia-
les, buscado es o cualesquie a sopo es simila es cuya con usión
con las unciones del Es ado han sido mo i o de ecien es polémi-
cas7. Pe o el ca ác e público de su o igen no bas a pa a supe a
las ga an ías que deben supe a el p oceso de ob ención de los
pa áme os que con o ma án la base de da os. Aspec os como el
consen imien o, in de la ob ención o cesión de esos da os deben
igualmen e se ga an izados median e un sis ema anspa en e y
aco de al o denamien o ju ídico.
Supe adas es as ga an ías y con o mada la base de da os, el se-
gundo de los iesgos apa ece á en la con igu ación del algo i mo
que debe maneja la base de da os en búsqueda de la solución al
con lic o. Es en es a ase donde debe ela se po que no exis an
sesgos en los da os que se án a ados po el algo i mo. En es e
sen ido, Llano Alonso ha des acado que los sesgos no es án en
ealidad en los algo i mos, sino en los da os subyacen es u ilizados
pa a el en enamien o de los algo i mos en su p oceso de ap endi-
zaje8. Así, si del conjun o de sen encias co espondien es a un pe-
iodo his ó ico que se le o ece al algo i mo pa a nu i se esul a
que las pe sonas de un sexo, e nia o luga de esidencia ob ienen
un esul ado menos a o able que el es o, el algo i mo eplica á
es e pa ón pe judicando a es os g upos con espec o al es o. Po
an o, que la base de da os no con enga sesgos que puedan con a-
mina el uncionamien o del algo i mo y que la p opia con igu ación
po el homb e del algo i mo ampoco los con emple son las ga an-
ías undamen ales de es a ase.
Y el úl imo escena io de iesgo se p oduce cuando el algo i mo, en
base a su p opia expe iencia desa ollada comienza a emancipa se
de su con igu ación inicial y de la base de da os que le b indaba el
7 Según la in o mación publicada po la BBC el 27/08/2024, Ma k Zucke -
be g asegu a que cedió a las p esiones del gobie no de Biden pa a “cen-
su a ” con enido en Facebook e Ins ag am du an e la pandemia
8 LLANO ALONSO, Fe nando Iginio; Homo ex machina. É ica de la in e-
ligencia a i icial y De echo digi al an e el ho izon e de la singula idad
ecnológica, Valencia, Ti an lo Blanch, 2024, p. 191.
99
con enido pa a empeza a decidi si iéndose de sus p opias deci-
siones y expe iencias an e io es. Si se han incu ido en sesgos en
cualquie a de los pasos an e io es, es os se án ep oducidos en
es a úl ima ase de emancipación del algo i mo, ya que su compo -
amien o y expe iencia -su in eligencia- la ha desa ollado sob e
ó mulas iciadas con enedo as de sesgos.
A es os iesgos de i ados del empleo de es as ecnologías en el
ámbi o ju ídico que pudié amos llama écnicos o p ocedimen ales,
Balague Callejón9 añade o os, en e los que cabe des aca :
a)La apa ición de un de echo p edic i o, que po su p o-
pia na u aleza ex an e o ece soluciones que pueden no
coincidi con los a gumen os, hechos y p uebas discu idos
en el p ocedimien o que deben se el undamen o de la
con icción judicial que se ecoja en la esolución.
b)La apa ición de ecnologías de juez – obo , cuyo uncio-
namien o y con igu ación puede plan ea con lic os con los
pila es de nues o o denamien o ju ídico así como dudas
sob e su cons i ucionalidad.
c)Deshumanización del de echo que con la excusa de la
agilidad puede pasa a con e i se en p agmá ico, mecá-
nico, ins umen al y expe imen al.
d)La apa ición de un de echo esul adis a que p og esi a-
men e i á p escindiendo de la a gumen ación y el ca ác e
acional de las esoluciones como ga an ía de los ciudada-
nos, que pasa án a se sus i uidas po un c i e io de jus e-
dad iden i icado con la con igu ación del algo i mo.
La IA se undamen a en la ges ión de una g an base de da os nu-
ida de da os es adís icos, judiciales, económicos, sociales, e c. de
en e los cuales el algo i mo busca á una solución pa a esol e el
caso. Po an o, esul a undamen al conoce los c i e ios que u i-
liza el algo i mo pa a elegi la solución al caso de en e los millones
9 BALAGUER CALLEJÓN, F ancisco; La cons i ución del algo i mo, Fun-
dación Manuel Giménez Abad de Es udios Pa lamen a ios y del Es ado
Au onómico, 2022, p. 149.
100
de da os y las nume osas posibilidades exis en es. Es o nos lle a a
cues iona nos sob e la con igu ación del algo i mo, una ez que el
mismo es diseñado, pa a pode conoce los pa áme os que em-
plea en su oma de decisiones y con as a que es o no conlle a
a os disc imina o ios y sac i icio de las ga an ías de los jus icia-
bles. Pe o con ello no quedan despejadas odas las p eocupacio-
nes. Si el algo i mo es capaz de gene a su p opia in eligencia, es o
es, sus p opios c i e ios deciso ios de i ados de la expe iencia de
su uncionamien o, esul a á ambién undamen al conoce : a)
cuándo se p oduce esa des inculación del algo i mo espec o a su
con igu ación inicial po el homb e, b) que los posibles c i e ios dis-
c imina o ios que pudie a con ene esa con igu ación inicial no han
sido ep oducidos po el algo i mo en el desa ollo de su in eligen-
cia y c) que una ez que el algo i mo unciona en base a su p opia
in eligencia desa ollada con o me a su expe iencia no incu e po
sí mismos en sesgos disc imina o ios.
La supe ación de es os iesgos se an oja como un equisi o unda-
men al pa a pode plan ea cualquie ipo de inco po ación de es-
as ecnologías al o denamien o sin de imen o de los de echos y
las ga an ías de los jus iciables.
SOCIEDAD PLURALISTA E INTERPRETACIÓN
CONSTITUCIONAL
En nues o modelo cons i ucional el plu alismo esul a un alo un-
damen al. No en ano, es e é mino se encuen a consag ado en
los a ículos 1.1 y 6 de la Cons i ución española en elación con el
plu alismo polí ico, y en el a ículo 20.3 en elación con el plu a-
lismo de la sociedad.
El plu alismo es de inido po Zag ebelsky como la condición en la
que se encuen an las sociedades compues as, donde las di isio-
nes en e las pa es no alcanzan un g ado de ensión que haga
101
imposible el comp omiso10. El plu alismo es, po an o, un concep o
que aglu ina la a iedad y mul icul u alidad exis en e en una socie-
dad en los campos de la polí ica, la opinión, la cul u a, la mo al, la
eligión, e c. y que, conside ado un alo en sí mismo, iene su e-
lejo en el ex o cons i ucional median e la consag ación de una se-
ie de p incipios ca en es de je a quía en e ellos, que ecuen e-
men e colisionan y en e los que se debe encon a una solución al
caso.
Re ie e así el i aliano que los p incipios cons i ucionales, con su
consus ancial con adicción en e ellos, son la p opia exp esión del
plu alismo polí ico y gene an una p o unda in luencia en la demo-
c acia. Así, si la sociedad ue a simple, inspi ada en una concepción
única de la ida polí ica y social, se ía ácil imagina una Cons i u-
ción lineal, el desa ollo conc e o de un único p incipio undamen-
al. En ella nada se ía p oblemá ico o con o e ido y cada disposi-
ción cons i ucional se ía p ecisa, explíci a, a moniosa con las que la
acompañan. Pe o es a simpli icación de la cons i ución p esupon-
d ía la simpli icación de la sociedad polí ica y ci il. Es po ello que
las ó mulas agas, comp ome edo as y a menudo esqui as que
con iene la Cons i ución no aspi an a esol e la ambigüedad de
una ez po odas sino que implican la aspi ación de cues iona a-
dicalmen e el ca ác e mismo de la democ acia plu alis a de nues-
o iempo11. Po ello, los p incipios cons i ucionales o ecen solu-
ciones al caso conc e o, pe o soluciones no de ini i as en el
iempo. Resuel en el con lic o conc e o de es e momen o his ó ico
pe o no ijan un esul ado de ca a al u u o. En el u u o pod á
da se un caso simila de colisión en e p incipios y el esul ado, a la
is a de la ealidad socio-cul u al12 igen e en es e momen o,
10 ZAGREBELSKY, Gus a o: In o no alla legge. Il di i o come dimensione
del i e e comune, Mad id, Einaudi, 2009, p. 127-128.
11 Zag ebelsky, Gus a o; “In oduzione”, en Jemolo, A u o Ca lo.; Che
cos’è la Cos i uzione, Roma, Donzelli edi o e, 1996, p. 20-21.
12 Vid. HÄBERLE, Pe e ; Teo ía de la Cons i ución como ciencia de la cul-
u a, Mad id, Tecnos, 2000. Según la eo ía häbe liana de la Cons i ución
102
puede se in e p e ado de mane a di e en e g acias a la aguedad
y lexibilidad de los p incipios cons i ucionales.
Es po ello que Mikunda-F anco se e ie e al plu alismo como el
p esupues o ilosó ico ju ídico básico de la democ acia cons i u-
cional, como dimensión ilosó ico-ju ídica de la democ acia cons i-
ucional y como axiología básica de oda Cons i ución democ á-
ica”13.
En consecuencia, como señala Vigo, el plu alismo es un da o de las
sociedades con empo áneas que conlle a un poli eísmo axiológico
o la pé dida de alo es comunes. La cons i ución con empla mun-
dos cons i ucionalmen e posibles median e una sue e de p inci-
pios cons i ucionales que colisionan y sob e los que no hay je a -
quía ni pun os de equilib io po que lo decisi o se á el caso14.
El plu alismo cons i ucional ep esen a ambién el plu alismo de la
conciencia indi idual de cada uno de los ciudadanos y su compleji-
dad in ínseca. Rep esen a los deseos de libe ad e igualdad, de
segu idad y de ga an ías, de amo y de jus icia, de igo y de piedad,
de sociabilidad y de soledad. Anhelos a menudo incompa ibles
pe o des inados a encon a un equilib io pa a no se sac i ique nin-
guna pa e esencial de ellos, des inados en de ini i a al comp o-
miso y la con i encia.
como cul u a exis e un conjun o de exp esiones cul u ales, eligiosas, a -
ís icas, olcló icas, mo ales, e c. que nu en de con enido y si en de con-
ex o a la in e p e ación de la Cons i ución y, en i ud del e ec o i adia-
ción de la misma, al o denamien o ju ídico en e o.
13 MIKUNDA-FRANCO, Emilio; “Es udio p elimina ”, en HÄBERLE, Pe e ;
Plu alismo y cons i ución. Es udios de eo ía cons i ucional de la sociedad
abie a, Mad id, Tecnos, 2013, p. 19.
14 VIGO, Rodol o Luis; Es ado de de echo cons i ucional y democ á ico,
Qui o, Co po ación de Es udios y Publicaciones, 2016, p. 145-148.
103
FORMALISMO JURÍDICO Y PRINCIPIALISMO
JURÍDICO
La aplicación de la IA pa a la esolución de con lic os en el ámbi o
de la jus icia supone la aplicación de una sue e de concepciones
de índole posi i is a en la búsqueda de ce eza, p e isibilidad y se-
gu idad ju ídica que el ge men es adís ico o de Bid Da a de la IA
a o ece. Es o unido al ma iz p obabilís ico de ci cunda el uncio-
namien o de la IA en el ámbi o de la jus icia a o ece su iden i ica-
ción con una sue e de ealismo ju ídico según la céleb e ci a del
juez Holmes15, que incula el de echo a las decisiones de ini i as de
los jueces -en es e caso, del algo i mo- p escindiendo de o os ele-
men os, cosmo isiones o c eencias.
Es a ce canía con los pos ulados del ealismo islumb a un ca ác e
ins umen al del de echo, poniendo el én asis en la e icacia del
mismo, sac i icando pa a ello la impo ancia de las no mas y, en úl-
ima ins ancia, de la olun ad popula que las legi iman.
Pe o, además, es a eo ía ha sido c i icada po su ca ác e educ-
cionis a al p escindi de la ealidad plu alis a de nues a sociedad,
de la a iada ealidad polí ica, cul u al, his ó ica, sexual, acial, é ica
e c. exis en e que po su consag ación cons i ucional cons i uye
uno de los alo es supe io es del o denamien o ju ídico.
La cues ión adica, en onces, en analiza si los igen es sis emas de
IA aplicables al ámbi o de la jus icia esul an compa ibles y espe-
uosos con el alo supe io del plu alismo con emplado en la cons-
i ución. Y pa a ello, debemos a ende a la me odología y sis emas
de in e p e ación que aplican es os sis emas pa a alcanza la solu-
ción al con lic o que se les p esen a.
15 HOLMES, Oli e Weldell; La senda del de echo, Buenos Ai es, Ed. Abe-
ledo Pe o , 1975. La céleb e ase “yo en iendo po De echo las p o ecías
ace ca de lo que los ibunales ha án en conc e o: nada más y nada me-
nos” (p. 21) ha pasado a la his o ia como una sín esis de la eo ía del ea-
lismo ju ídico.
110
FERRAJOLI, Luigi; Po una Cons i ución de la Tie a. La humanidad en la
enc ucijada, Mad id, T o a, 2022.
GÓMEZ COLOMER, Juan Luis; “P oblemas legales del juez obo desde
una pe spec i a p ocesal y o gánica”, en El p oceso penal an e una
nue a ealidad ecnológica eu opea, Thomson Reu e s A anzadi,
2023, pp. 169-193.
HÄBERLE, Pe e ; Teo ía de la Cons i ución como ciencia de la cul u a,
Mad id, Tecnos, 2000.
HÄBERLE, Pe e ; Plu alismo y cons i ución. Es udios de eo ía cons i u-
cional de la sociedad abie a, Mad id, Tecnos, 2013.
HOLMES, Oli e Weldell; La senda del de echo, Buenos Ai es, Ed. Abe-
ledo Pe o , 1975.
LLANO ALONSO, Fe nando Iginio; Homo ex machina. É ica de la in eli-
gencia a i icial y De echo digi al an e el ho izon e de la singula idad
ecnológica, Valencia, Ti an lo Blanch, 2024.
MORESO, Juan José; “Con lic os en e p incipios cons i ucionales”, en
Neocons i ucionalismo(s), Mad id, T o a, 2005, p. 99-122.
MIKUNDA-FRANCO, Emilio; “Es udio p elimina ”, en HÄBERLE, Pe e ;
Plu alismo y cons i ución. Es udios de eo ía cons i ucional de la socie-
dad abie a, Mad id, Tecnos, 2013, pp. 17-58.
VIGO, Rodol o Luis; Es ado de de echo cons i ucional y democ á ico,
Qui o, Co po ación de Es udios y Publicaciones, 2016.
ZAGREBLSKY, Gus a o; “In oduzione”, en Jemolo, A u o Ca lo.; Che
cos’è la Cos i uzione, Roma, Donzelli edi o e, 1996, pp. 7-26.
ZAGREBELSKY, Gus a o; In o no alla legge. Il di i o come dimensione del
i e e comune, Mad id, Einaudi, 2009.
111
A DISSONÂNCIA COMUNICACIONAL DA
DEMOCRACIA NA ERA DIGITAL
Li on Lanes Pilau Sob inho
P o esso do cu so de Di ei o e do Mes ado e Dou o ado no
P og ama de Pós-G aduação S ic o Sensu em Ciência Ju ídica
da Uni e sidade do Vale do I ajaí (UNIVALI)
INTRODUÇÃO
As democ acias con empo âneas êm sido p o undamen e impac-
adas pelas ans o mações ecnológicas em cu so. Po um lado, as
ecnologias digi ais con ibuem pa a es ei a os laços en e os ci-
dadãos e as ins i uições, ampliando as possibilidades de pa icipa-
ção e acesso à in o mação. Po ou o, ambém êm a o ecido o
su gimen o de bolhas ideológicas, a disseminação de discu sos an-
idemoc á icos e a p oli e ação de ake news, ge ando iscos signi-
ica i os ao uncionamen o das es u u as democ á icas.
Nesse cená io, embo a a ecnologia possa omen a o engajamen o
cí ico e p omo e uma cidadania mais a i a, sua u ilização ambém
az consigo po enciais ameaças, como a manipulação da in o ma-
ção, a desin o mação delibe ada, a in asão da p i acidade, p á icas
de igilância elada e a ulne abilidade dos canais digi ais a cibe a-
aques. Su ge, assim, uma ques ão c ucial: esses enômenos agili-
zam a democ acia?
Dian e desse con ex o, o p esen e ex o em como obje i o e le i
sob e os impac os das no as ecnologias na dinâmica polí ica con-
empo ânea, à luz da eo ia sis êmica de Niklas Luhmann, especial-
men e no que ange à noção de imp obabilidade da comunicação
e suas implicações nos p ocessos de o mação da opinião pública
em sociedades democ á icas.
Pa a an o, a p imei a pa e do abalho se á dedicada a uma abo -
dagem sob e o concei o de democ acia no con ex o es a al,
112
passando pelos modelos de Es ado — do Es ado Libe al ao Es ado
Democ á ico de Di ei o. Na sequência, se á ap esen ada a concep-
ção de imp obabilidade comunicacional con o me desen ol ida
po Luhmann. Po im, se á ei a uma análise das elações en e a
eo ia sis êmica e os impac os das ecnologias digi ais na democ a-
cia a ual, buscando iden i ica os iscos e agilidades que eme gem
na e a ecnológica.
A me odologia ado ada se á o mé odo indu i o, com a u ilização
das écnicas do e e en e, da ca ego ia, dos concei os ope acio-
nais e da pesquisa bibliog á ica. As on es selecionadas se i ão de
undamen o eó ico pa a a cons ução a gumen a i a e pe mi i ão
a conc e ização dos obje i os p opos os. Como ma co inicial,
pa e-se da análise da e olução do Es ado e seus modelos.
A DEMOCRACIA E OS MODELOS DE ESTADO
O Es ado Libe al, ao cons i ui -se como um es ado não
in e en i o, a ibuiu ao me cado capi alis a a egulação social,
sendo as elações p i adas deixadas ao sabo de eg as
me cadológicas e da a bi a iedade capi alis a. No modelo libe al
inexis em p es ações es a ais. O Es ado libe al inaugu a uma
o dem mínima a a és da qual, em ese, o me cado encon a ia seu
pon o de equilíb io.
A agilidade do modelo libe al e as consequen es necessidades de
p es ações po pa e do Es ado o na am po desencadea a
eme gência do Es ado de Bem-Es a Social. O Wel a e S a e su ge
como um modelo es a al in e encionis a, assim o Es ado
p o idência de e ia p opo ciona meios ap os ao li e
desen ol imen o dos indi íduos, sob o man o de p es ações. A
g ande di e ença en e o Es ado de Bem-Es a e o Es ado Libe al,
pois, eside p ecisamen e no ca á e p es acional do Es ado
p o idência, cujas ações de e iam p opo ciona a c escen e
qualidade de ida aos indi íduos.
Dian e do pa adoxo Es ado Libe al/Es ado de Bem-Es a Social,
pode-se isualiza a eme gência do Es ado Democ á ico de Di ei o
113
enquan o modelo es a al necessa iamen e inculado a uma o dem
ju ídica igen e. Desse modo, a a uação do Es ado de e se
di ecionada à ans o mação social, inaugu ando a possibilidade de
um Es ado in e en i o ans o mado , es ando a sobe ania
popula igu a cen al pa a a conc e ização de uma sociedade jus a
e iguali á ia.
Pa a Cano ilho, o Es ado cons i ucional ep esen a uma e olução
em elação ao Es ado de Di ei o adicional. A in odução do
elemen o democ á ico não e e apenas a unção de limi a o pode
es a al, mas ambém de con e i -lhe legi imidade. Pa a
undamen a o Es ado cons i ucional com base em p incípios não
me a ísicos, é necessá io dis ingui dois aspec os cen ais: (1) a
legi imidade do p óp io di ei o, dos di ei os undamen ais e do
p ocesso legisla i o den o do sis ema ju ídico; e (2) a legi imidade
da o dem de dominação e do exe cício do pode polí ico. O
modelo ju ídico- o mal do Es ado de Di ei o, po si só, não
esponde à ques ão da o igem do pode . É nesse pon o que o
p incípio da sobe ania popula — segundo o qual odo pode emana
do po o — se o na essencial, pois ga an e o di ei o à pa icipação
iguali á ia na o mação democ á ica da on ade cole i a. Dessa
o ma, a sobe ania popula , exp essa po meio de p ocedimen os
ju idicamen e egulados, a ua como pon o de a iculação en e o
Es ado de Di ei o e o Es ado Democ á ico, pe mi indo
comp eende a concepção con empo ânea de Es ado
Democ á ico de Di ei o.1
O Es ado Democ á ico de Di ei o excede ia, assim, o Es ado
Libe al de Di ei o e o Es ado Social de Di ei o, ligando-se ao
“wel a e s a e neocapi alis a – impondo à o dem ju ídica e à
a i idade es a al um con eúdo u ópico de ans o mação da
ealidade”2 . Desse modo, o Es ado Democ á ico de Di ei o em
1 CANOTILHO, J. J. Gomes. Di ei o cons i ucional e eo ia da
cons i uição. 4. ed. Coimb a: Almedina, [200-]. p. 100.
2 MORAIS, José Luis Bolzan de; STRECK, Lenio Luis. Ciência Polí ica e
Teo ia Ge al do Es ado. Po o Aleg e: Li a ia do Ad ogado, 2000. p. 20.
114
consolida os dois modelos an e io es, ga an indo os di ei os
alcançados pelas conquis as da sociedade a a és da sobe ania
popula como bene ício da democ a ização da sociedade.
O modelo do Es ado Democ á ico de Di ei o em pa a e e i a a
ques ão da isonomia, ou seja, pa a da condições de igualdade a
odas as pessoas, de aco do com o posi i ado da Cons i uição
Fede al de 1988, em seu a igo 5º. Esse disposi i o es abelece que
odos são iguais pe an e a lei, sem dis inção e disc iminação. O
modelo b asilei o de EDD é o de uma o ganização polí ica na qual
se de e le a em con a a libe dade, a igualdade, o plu alismo
polí ico e a jus iça social.
Assim, a lei se ia igual a um ins umen o de ans o mação e de
solida iedade da comunidade; po conseguin e, a a e a
undamen al do Es ado Democ á ico de Di ei o se ia supe a as
desigualdades da sociedade, p imando pela jus iça social. Inaugu a-
se assim uma possibilidade emancipa ó ia, azendo um papel
ans o mado . A es e modelo es a al cabe a con ínua cons ução
da ealidade social com is as à cons an e melho a de condições
do indi íduo.
Mais do que um modelo de o ganização ju ídica e polí ica, o Es ado
Democ á ico de Di ei o ep esen a um ins umen o de
ans o mação social. Di e en emen e do Es ado Social, que busca
apenas ape eiçoa as condições ma e iais de exis ência, o Es ado
Democ á ico de Di ei o inco po a um comp omisso mais amplo,
que ai além da ga an ia de uma ida digna. Ao se quali icado
como democ á ico, o Es ado passa a i adia os alo es da
democ acia po odo o seu a cabouço ins i ucional, inclusi e sob e
a o dem ju ídica. Além disso, a ideia de democ acia não pode se
dissociada da necessidade de en en a as condições ma e iais de
115
exis ência, o que e o ça seu papel como elemen o es u u al da
jus iça social e da inclusão cidadã.3
O Es ado Democ á ico de Di ei o, ao possibili a a plu alidade
discu si a que igualmen e o ca ac e iza, iabiliza sua cons an e
manu enção median e a cons ução comunica i a da opinião
pública. A c escen e p opagação da comunicação encon a espaço
em um ambien e democ á ico. Ao con á io das an igas sociedades
es a i icadas, cons i uídas es amen almen e,4 “na democ acia, a
eg a básica é man e ele adas as possibilidades de escolha e
abe as as al e na i as de decisão”. 5
A democ acia, ao ap esen a -
se enquan o local p i ilegiado à p odução, di usão e pe manen e
econs ução de comunicações, p opo ciona a possibilidade de,
em ese, odos mani es a em suas opiniões sob e qualque
assun o.
Nesse sen ido, De Gio gi a i ma que a democ acia pode se
comp eendida como uma o ma de o ganização que p ese a e
adminis a a complexidade social. T a a-se de uma es u u a
sele i a que se sus en a na cons an e ealização de decisões,
pe mi indo a eno ação con ínua dos ho izon es decisó ios den o
dos limi es de au ocon ole de inidos pelo p óp io sis ema polí ico.
Sua unção essencial es á em possibili a o inc emen o da
complexidade social, con olando-a sele i amen e po meio da
poli ização das demandas o iundas do ambien e. Nesse sen ido, a
p incipal po encialidade da democ acia eside em sua capacidade
de p omo e uma di e enciação social e olu i a, ab indo o campo
do possí el e ampliando o espec o de al e na i as decisó ias — a
3 STRECK, Lenio Luiz; MORAIS, José Luis Bolzan. Ciência polí ica e
eo ia ge al do es ado. 4. ed. Po o Aleg e: Li a ia do Ad ogado, 2004.
p. 93.
4 LUHMANN, Niklas; DE GIORGI, Ra aelle. Teo ía de la sociedad. Mé-
xico: Uni e sidad de Guadalaja a/Uni esidad Ibe oame icana/ITESO,
1993. p. 315-326.
5 CAMPILONGO, Celso Fe nandes. O di ei o na sociedade complexa.
São Paulo: Max Limonad, 2000. p. 91.
116
democ acia, po an o, é uma o ma de p oduzi con inuamen e
no as possibilidades de decisão.6
Po isso, “os meios são um espelho da sociedade, pois acolhem a
exp essão dos go e nados aduzida em demandas de odo o ipo
desde seu go e no”.7 A opinião pública, ao iabiliza obse ações
de segunda o dem, aduz a possibilidade de uma cons an e
e isão dos p essupos os es a ais. Pa a essa ans o mação es a al,
a opinião pública a ua como um il o daquilo que é de ele ância
pa a o sis ema social, o nando po causa essonâncias nos
sis emas, que aba cam ais comunicações de modo à con ínua
manu enção de suas es u u as.8
Pode, en e an o, se ei a uma pequena obse ação quan o ao
enômeno da globalização9: “a economia, a mídia e uma sé ie de
ou as á eas se mundializa am. Enquan o isso, os ins umen os de
6 DE GIORGI, Ra aele. Di ei o, democ acia e isco: ínculos com o
u u o. Po o Aleg e: SAFE, 1998. p. 57.
7 GONZÁLEZ, Osca Ochoa. Comunicación polí ica y opinión pública.
México: McG aw-Hill, 2000. p. 109: “[…] los medios son un espejo de la
sociedad, pues ecogen la exp esión de los gobe nados aducida en de-
mandas de odo iupo hacia su gobie no.”
8 LUHMANN, Niklas. Ecological communica ion. Chicago: The Uni e si y
o Chicago P ess, 1989. p. 15-21.
9 Salien e-se a posição explici ada em SANTOS, Boa en u a de Souza. A
g amá ica do empo: pa a uma no a cul u a polí ica. São Paulo: Co ez,
2006. p. 437-438: “[...] aquilo que habi ualmen e designamos po
globalização são, de ac o, conjun os di e enciados de elações sociais;
di e en es conjun os de elações sociais dão o igem a di e en es
enômenos de globalização. Nes es e mos, não exis e es i amen e uma
en idade única chamada globalização; exis em, em ez disso,
globalizações. Em igo , es e e mo só de e ia se usado no plu al.
Enquan o eixes de elações sociais, as globalizações en ol em con li os
e, po isso encedo es e encidos. Daí a de inição de globalização po mim
p opos a: a globalização é o p ocesso pelo qual de e minada condição ou
en idade local es ende a sua in luência a odo o globo e, ao azê-lo,
desen ol e a capacidade de designa como local ou a condição social ou
en idade i al.”
117
egulação con inuam sendo de âmbi o nacional, c iando um
gigan esco espaço de ale- udo in e nacional.” 10 Com isso, o
Es ado pe de espaços de decisão, es ando a opinião pública, po
ezes in luenciada po discussões ansnacionais, cuja cen alidade
es a al já não mais é su icien e.
A COMUNICAÇÃO SOB A ÓTICA
DA IMPROBABILIDADE
Vi e-se em mundo al amen e conec ado, ou seja, in e ligado, no
qual a comunicação é o condu o en e o emisso e o ecep o ; ela
só é possí el, con udo, desde que a in o mação que es á se
linkando seja libe ada a a és do en endimen o, conec ada,
p oduzindo, dessa o ma, a linguagem. Pa a p ocede essa lei u a,
no en an o, se á necessá io e o código de acesso, ele se á o
passapo e pa a pe mi i o en endimen o.
Pa a Luhmann,
[...] a eo ia da comunicação não pode limi a -se a analisa
aspec os pa ciais da con i ência social, nem con en a -se
em examina as di e sas écnicas de comunicação, embo a
es as e suas conseqüências despe em, pela sua no idade,
pa icula in e esse na sociedade ac ual.11
A comunicação, po sua na u eza, é um enômeno al amen e
imp o á el, o que despe a um in e esse social con ínuo em
supe a ais di iculdades. No con ex o do e cei o milênio, os
a anços ecnológicos ampliam as condições de possibilidade da
comunicação, o e ecendo no os meios pa a sua ealização.
10 DOWBOR, Ladislau. Globalização e endências ins i ucionais. In:
DOWBOR, Ladislau; IANNI, Oc á io; REZENDE, Paulo Edga A. (O g.).
Desa ios da globalização. 3. ed. Pe ópolis: Vozes, 1997. p. 10.
11 LUHMANN, Niklas. A imp obabilidade da comunicação. Lisboa: Vega,
2001. p. 39.
118
A imp obabilidade da comunicação pode se analisada sob ês
aspec os dis in os. O p imei o e e e-se à di iculdade de
comp eensão mú ua: é imp o á el que um indi íduo comp eenda
exa amen e o que o ou o p e ende exp essa , conside ando o
ca á e isolado e subje i o da consciência. O signi icado a ibuído
à mensagem depende o emen e do con ex o e das e e ências
disponí eis na memó ia daquele que in e p e a.12
A imp obabilidade de comp eensão se dá em unção da
pe cepção, eis que nem odos êm conhecimen o daquilo que se
que dize , sendo isso possibili ado pela memó ia, mas a memó ia
só g a a aquilo que in e essa. Em ou as pala as, o isolamen o
ope acional dos sis emas apenas acul a a comp eensão da
in o mação com base em um con ex o p é io, acul ado pela
memó ia do sis ema. Nesse sen ido, não há oca ou imposição de
in o mação, mas uma pe manen e cons ução com base no sen ido
dado pelo con ex o sis êmico.
O segundo aspec o da imp obabilidade diz espei o à di iculdade
de alcança os ecep o es. Em e mos ge ais, é imp o á el que uma
comunicação ul apasse os limi es do g upo p esen e em uma
de e minada si uação. Essa limi ação se elaciona, sob e udo, com
os a o es de o dem espacial e empo al, que es ingem o alcance
da mensagem pa a além do con ex o imedia o em que ela é
emi ida.13
Pa a oco e a comunicação é necessá io que ela chegue a um
maio núme o de pessoas das que es ão p esen es em uma dada
si uação. Ela pode á oco e em cada caso desde que os indi íduos
se comuniquem e desin eg em-se quando se pe cebe que não se
deseja mais comunica -se, já que os indi íduos possuam in e esses
di e en es.
12 LUHMANN, Niklas. A imp obabilidade da comunicação. Lisboa: Vega,
2001. p. 39.
13 LUHMANN, Niklas. A imp obabilidade da comunicação. Lisboa: Vega,
2001. p. 42
119
O e cei o ipo de imp obabilidade e e e-se à ob enção do e ei o
p e endido pela comunicação. Mesmo quando uma mensagem é
comp eendida, isso não signi ica que se á necessa iamen e acei a.
O que se en ende po “ esul ado desejado” é a adoção, po pa e
do ecep o , do con eúdo in o ma i o da comunicação como base
pa a suas p óp ias ações. Isso implica inco po a aquela
in o mação ao seu p ocesso decisó io, dando o igem a no as
seleções e, com isso, ele ando o g au de complexidade da
comunicação. Essa acei ação pode se mani es a de di e sas
o mas: na ação con o me as o ien ações ecebidas, na e lexão
sob e o con eúdo ansmi ido ou na assimilação de no os
conhecimen os, assumindo-se que a in o mação é álida ou
e dadei a.14
Essa e cei a imp obabilidade da comunicação elaciona-se com as
expec a i as, ou seja, com a ince eza de alcança o esul ado
desejado. O p ocesso sele i o só é acessí el pa a quem possui o
pode , nou o sen ido, “não são somen e obs áculos pa a que uma
comunicação chegue ao des ina á io, ac uam ao mesmo empo
como << ac o es de discussão>>, que induzem a abs e -se de uma
comunicação que se conside a u ópica”.15
Os sis emas sociais não podem o ma -se se não hou e
comunicação, “po conseguin e as imp obabilidades do p ocesso
de comunicação e o ma em que as mesmas se supe am e se
ans o mam em p obabilidades egulam a o mação dos sis emas
sociais”16 . Logo, se en ende o p ocesso e olu i o da sociedade
p ecisamen e no sen ido da supe ação das imp obabilidades e a
possibilidade de ob enção de sucesso da comunicação.
14 LUHMANN, Niklas. A imp obabilidade da comunicação. Lisboa: Vega,
2001. p. 39.
15 LUHMANN, Niklas. A imp obabilidade da comunicação. Lisboa: Vega,
2001. p. 43.
16 LUHMANN, Niklas. A imp obabilidade da comunicação. Lisboa: Vega,
2001. p. 44.
126
Os a aques que são es abelecidos pelos obôs que possuem
in eligência a i icial azem com que oco am p incipalmen e o uso
das in o mações em uma dico omia do uso e dade/men i a, que
azem com que se al e e a ealidade dos a os po um p ocesso de
epe ição e disseminação da men i a/ e dade que ondam as
edes sociais, como um no o ódio à democ acia, onde em sua
maio ia são no ícias ca ac e izadas como ake News.
Pa a Ranciè e, en e os mui os equí ocos que ce cam o concei o
de democ acia na con empo aneidade, des aca-se uma no a o ma
de ejeição que ope a de manei a especialmen e pe e sa. T a a-
se de um discu so que duplica a con usão consensual e ans o ma
a noção de democ acia em um ins umen o ideológico des inado a
despoli iza os deba es públicos, con e endo-os em me os
“ enômenos sociais”. Ao aze isso, esse discu so silencia as
es u u as de dominação que o ganizam a sociedade. Ele encob e
o pode das oliga quias es a ais ao equipa a democ acia a uma
o ma gené ica de ida social, e ela i iza o domínio das eli es
econômicas ao associá-lo aos desejos indi iduais dos cidadãos.
Dessa o ma, consegue a ibui o ag a amen o das desigualdades
não à concen ação de pode , mas à supos a i ó ia i e e sí el da
igualdade o mal. Assim, o nece às oliga quias uma legi imação
ideológica e icaz: sus en a que é necessá io comba e a
England. 2020. p. 576. T adução li e: “Além das pe das co po a i as, a
No Pe ya oi signi ica i a po uma sé ie de azões. Se iu como um
lemb e e da po ência dos hacke s do go e no usso e da ag essi idade
do Es ado usso. Foi mais uma ilus ação de como emp esas e indi íduos
comuns podem encon a -se na linha de en e de ope ações cibe né icas
com mo i ação geopolí ica. E p enunciou o que pode ia i a segui :
a aques cibe né icos cada ez mais pode osos e au ônomos, nos quais
hacke s ca egam equi alen es digi ais de ogue es não guiados, apon am
em uma di eção ge al, acendem os usí eis e espe am pa a e quais
danos imp e isí eis, mas g a es, esul am”.
127
democ acia po que ela se ia, em essência, uma exp essão de
o ali a ismo.25
O isco es abelecido pelo dis ú bio in e p e a i o de uma má
u ilização do e mo democ acia e de sua manipulação, in e e sua
elação concei ual pelos oliga cas pa a ans o má-la em
o ali a ismo, po pa e de uma classe dominan e. U ge uma
mudança de pa adigma, nossa sociedade es á de ce o modo
en edada pelo uso inde ido de no ícias alsas, ou seja, de Fake
News, no qual não se busca a eal e dade, mas a men i a
epe i i a, azendo com que se o ne uma “ e dade-men i a”.
Assim, há um domínio pela igilância, que seja p i ada - das
g andes co po ações, ou pública - dos Es ados. Segundo Byung-
Chul Han:
El Es ado igilan e de O well, com sus elepan allas y cá-
ma as de o u a, se dis ingue subs ancialmen e del panóp-
ico digi al, com in e ne , el sma one y las Google Glass,
em lass que domina la apa iencia de la libe ad y la comu-
nicación ilimi adas. Aquí no se o u a, sino que se ui ea o
pos ea. Aquí no hay ningún mis e ioso «Minis e io de la
Ve dad».La anspa ência y la in o mación sus i uyen a la
e dade. La nue a Concepción de pode no consis e em el
con ol del passado, sino en el con ol psicopolí ico del u-
u o. La écnica de pode del égimen neolibe al no es
p ohibi o ia, p o ec o a o ep essi a, sino p ospec i a, pe -
missi a y p oyec i a. El consumo no se ep ime, se
maximiza.26
25 RANCIÈRE, Jacques. O Ódio à democ acia. T adução de Ma iana
Echala . São Paulo: BOITEMPO, 2014. p. 259-260.
26 HAN. Byung-Chul. Psicopolí ica. Neolibe alismo y nue as écnicas de
pode . T adução de Al edo Be ges, Fo aleza: epub li e, 2016. p. 90.
T adução li e: “O es ado de igilância de O well, com os seus eleec ãs
e câma as de o u a, é subs ancialmen e di e en e do panóp ico digi al,
com a In e ne , o sma phone e o Google Glass, que domina a apa ência
de libe dade e comunicação ilimi adas. Não há o u a aqui, mas sim
128
É impo an e des aca que na a ualidade se i encia um p ocesso
de igilância con ínua, na qual a sociedade encon a-se
deso ien ada, desp o egida dian e da espe acula ização da ida.
Po ás disso há a manu enção dos in e esses das g andes
co po ações ansnacionais, es abelecendo um jogo de pode ,
a a és de uma cons an e in asão de p i acidade da ida social.
No se ep imen las necessidades, se las es imula. Em luga
de con esiones ex aídas com o u a, iene luga um
desnudamen o olun a io. El sma phone sus i uye a la
câma a de o u a. El Big B o he iene um aspec o amable.
La e iciência de su igilância eside em su amabilidade. El
Big B o he ben hamiano es in isible, pe o omnip esen e-
nen la cabeza de los eclusos. Lo han in e io izado. Em el
panóp ico digi al nadie se sien e ealmen e igilado o ame-
nazado. De ahí que el é mino «Es ado igilan e» no sea
ap op iado pa a ca ac e iza al panóp ico digi al.[...] El pan-
óp ico digi al se si e de la e elación olun a ia de los e-
clusos. [...] no exis e esse Big B o he que nos ex ae in o -
maciones con a nues a olun ad. Po el con a io, nos e-
elamos, incluso nos ponemos al desnudo po inicia i a
p opia.27
wee a ou pos a . Não há aqui nenhum mis e ioso “Minis é io da
Ve dade”. A anspa ência e a in o mação subs i uem a e dade. A no a
concepção de pode não consis e no con olo do passado, mas sim no
con olo psicopolí ico do u u o. A écnica de pode do egime neolibe al
não é p oibi i a, p o e o a ou ep essi a, mas sim p ospec i a, pe missi a
e p oje i a. O consumo não é ep imido, é maximizado”.
27 HAN, Byung-Chul. Psicopolí ica. Neolibe alismo y nue as écnicas de
pode . T adução de Al edo Be ges, Fo aleza: epub li e, 2016. p.90.
T adução li e: “As necessidades não são ep imidas, são es imuladas. Em
ez de con issões ex aídas po meio de o u a, oco e o desnudamen o
olun á io. O sma phone subs i ui a câma a de o u a. O G ande I mão
pa ece legal. A e iciência da sua igilância eside na sua gen ileza. O Big
B o he ben hamiano é in isí el, mas omnip esen e na cabeça dos
eclusos. Eles in e naliza am isso. No panóp ico digi al, ninguém se sen e
ealmen e igiado ou ameaçado. Po an o, o e mo “es ado de igilância”
129
Fica demons ada a ingenuidade da sociedade ao a a com a ec-
nologia, onde se depa a com um e dadei o assomb amen o pe-
an e o Es ado igilan e/Me cado igilan e.
Nesse sen ido, Dowbo en ende que a iolação da p i acidade o -
nou-se uma p á ica eco en e e de g ande alcance, embo a a mai-
o ia das pessoas ainda não pe ceba sua g a idade ou demons e
eal p eocupação. Dian e da o ina apa en emen e banal do co i-
diano, mui os ac edi am que não ha e ia mo i os pa a que alguém
se in e essasse em in es iga suas ações. No en an o, essa pe cep-
ção é enganosa: há, sim, um g ande in e esse po essas in o ma-
ções. O indi íduo comum acaba sen indo os e ei os dessa igilância
quando en a consegui um emp ego, ab i uma con a bancá ia, ob-
e c édi o, solici a um is o, con a a um segu o ou plano de sa-
úde, ou ainda ao lida com si uações de exposição e iolência digi-
al, como a aques i uais ou casos de cybe bullying. Nessas ci -
cuns âncias, o uso inde ido de dados pessoais po di e en es sis-
emas e ela seu impac o di e o sob e a ida das pessoas.28
Es e ci co cibe né ico cada ez mais expõe e induz a sociedade a
ac edi a no i ual e não no eal, simplesmen e po uma manipu-
lação de algo i mo es abelecida po uma in eligência a i icial, cujo
domínio não necessa iamen e é u ilizado pa a o bem comum. Po
isso, de e-se obse a o en endimen o de O`neail:
E iden emen e, los esponsables de las campañas son muy
conscien es de es a es a egia. G acias a la mic osegmen-
ación, pueden manda a cada uno de es os donan es la in-
o mación con más p obabilidades de saca la mayo can i-
dad de dine o posible de sus cuen as banca ias. Y esos
mensajes son di e en es pa a cada donan e. “Es as
não é ap op iado pa a ca ac e iza o panóp ico digi al.[...] O panóp ico
digi al u iliza a di ulgação olun á ia de eclusos. [...] não exis e Big
B o he que ex ai in o mações de nós con a a nossa on ade. Pelo
con á io, e elamo-nos, a é nos desnudamos po inicia i a p óp ia”.
28 DOWBOR, Ladislau; ARGENTINO NETO, Vicen e. (O g.). Sociedade
igiada. São Paulo, Au onomia Li e á ia, 2020. p. 8-9.
130
es a egias no se limi an a las campañas. Con aminan el
eje cicio de nues os de echos ci iles y polí icos con lob-
bies y g upos de in e és que u ilizan mé odos de segmen-
ación pa a hace el abajo sucio.29
Res a e iden e que o papel desen ol ido pela mine ação e
manipulação da in o mação es á sob de ás de uma másca a
obscu a dos in e esses dos lobbies que dominam o Me cado e o
sis ema polí ico, com o in ui o de cons ui e deneg i imagens de
aco do com seu bel p aze , ou seja, seus in e esses. Assim, “[...] esa
campaña en conc e o ue expues a an e la opinión pública, siguen
lo ando bajo la supe icie cen ena es de campañas más disc e as
que an di igidas a o an es indi iduales”30.
Além disso, ge am comunicações den o da sociedade pa a o
es abelecimen o de uma comp eensão e manipulação cujos
in e esses dessas “campañas silenciosas son igualmen e
audulen as y inden aún menos cuen as que la del Cen e o
Medical P og ess. Suel an bombas ideológicas que los polí icos
apenas pueden insinua o icialmen e”31.
29 O`NEIL, Ca hy. A mas de des ucción ma emá ica. T aducción: Vio-
le a A anz de la To e. Mad id: Capi án Swing Edi o ial, 2019. p. 334-335.
T adução li e: “Ob iamen e, os esponsá eis pelas campanhas es ão
mui o a en os a es a es a égia. G aças à mic ossegmen ação, eles podem
en ia a cada um desses doado es as in o mações com maio
p obabilidade de e i a o máximo de dinhei o possí el de suas con as
bancá ias. E essas mensagens são di e en es pa a cada doado . “Essas
es a égias não se limi am a campanhas. Con aminam o exe cício dos
nossos di ei os ci is e polí icos com lobbies e g upos de in e esse que
u ilizam mé odos de segmen ação pa a aze o seu abalho sujo”.
30 O`NEIL, Ca hy. A mas de des ucción ma emá ica. T aducción: Vio-
le a A anz de la To e. Mad id: Capi án Swing Edi o ial, 2019. p. 336.
T adução li e: “Essa campanha em pa icula oi expos a ao público,
cen enas de campanhas mais disc e as isando elei o es indi iduais
con inuam a lu ua abaixo da supe ície”.
31 O`NEIL, Ca hy. A mas de des ucción ma emá ica. T aducción: Vio-
le a A anz de la To e. Mad id: Capi án Swing Edi o ial, 2019. p. 336.
131
Nesse sen ido, que seja o e mo u ilizado de o ma ecnológica
( ake News/ Depp Fake) ou na ia analógica, po assim se dize
men i a (boa o), de e-se obse a os impac os que ocasionam na
ampliação ou limi ação do uso da libe dade de exp essão.
De epen e, o nou-se possí el a qualque pessoa, sem
descon o o, com desen ol u a, como a mani es ação ilimi ada da
“libe dade de exp essão”, a i ma a os sem que se p o asse que
co espondiam à ealidade, sem que osse necessá io p ocede à
sua e i icação.32
Ao mesmo empo, na a ualidade em-se que in e e a elação com
a inalidade de comp eende o uso da e minologia do a o de
men i , que pa a C aig:
Insince idade, lo o a, con e sa iada, alsidade, men i a
desla ada, in encionice – já ou i a é mesmo um candida o
à p esidência dos Es ados Unidos dize educadamen e que
“ha ia se exp essado mal” – al ez osse uma men i a. Não
impo a o nome que lhe damos ou o con ex o em que ela
oco e, odos nós emos a nossa opinião pessoal sob e o
que é a men i a, e exis e um g ande núme o de desc ições
do a o de men i . [...] A meu e , men i a é um a o ísico,
uma a i mação e bal ou omissão com o obje i o de
esconde a e dade. [...] Quase odo mundo admi i ia que
men i é um a o de desones idade, e é essa cono ação
nega i a que le a a maio ia das pessoas, quando
pe gun adas, a dize que a amen e men em. Na maio ia
dos casos, isso não é e dade. Exis em mui os es udos
independen es sob e a equência da men i a na
T adução li e: “As campanhas silenciosas são igualmen e audulen as e
ainda menos esponsá eis do que as do Cen e o Medical P og ess. Eles
lançam bombas ideológicas que os polí icos mal conseguem suge i
o icialmen e”.
32 SADIN, Ë ic. La in eligência a i icial o el desa io del siglo: ana omia
de um an i-humanismo adical. 1ª ed. – Cuidad Au ónoma de Buenos Ai es:
Caja Neg a, 2020.
132
sociedade. Alguns deles e ela am que men imos apenas
duas ezes po dia (só 730 ezes po ano!), enquan o
pesquisas mais ecen es mos am que uma pessoa no mal
men e ês ezes a cada dez minu os de con e sa.33
Também, pode-se comp eende a u ilização e a equência com
que as pessoas men em, en e an o, essa oco ência não de e se
en endida como no mal ou um no o no mal da sociedade
ecnológica. Sua ei e ada u ilização az com que algo possa
pa ece aquilo que ele não é, mas com a ei e ada epe ição a
men i a ei e ada, pode se ac edi ada po alguns. Na a ualidade,
obse a-se que o ad en o da u ilização de no as ecnologias, com
o uso de in eligência a i icial, se emp ega ei e adamen e a
manipulação de algo i mos, endo o e impac o na manipulação do
meio polí ico/social, que pa a O`neil:
Aunque esa campaña en conc e o ue expues a an e la opi-
nión pública, siguen lo ando bajo la supe icie cen ena es
de campañas más disc e as que an di igidas a o an es in-
di iduales. Es as campañas silenciosas son igualmen e au-
dulen as y inden aún menos cuen as que la del Cen e o
Medical P og ess. Suel an bombas ideológicas que los po-
lí icos apenas pueden insinua o icialmen e.34
33 CRAIG, Da id. Como iden i ica um men i oso: o ne-se um
e dadei o de ec o de men i as humano em menos de 60 minu os.
T adução Mi es F ange de Oli ei a Pinhei o. – 1. ed. – São Paulo: Cul ix,
2013.
34 O`NEIL, Ca hy. A mas de des ucción ma emá ica. T aducción: Vio-
le a A anz de la To e. Mad id: Capi án Swing Edi o ial, 2019. p. 336.
T adução li e: “Embo a essa campanha especí ica enha sido expos a ao
público, cen enas de campanhas mais disc e as di igidas a elei o es
indi iduais pe manecem lu uando abaixo da supe ície. Es as campanhas
silenciosas são igualmen e audulen as e ainda menos esponsá eis do
que as do Cen e o Medical P og ess. Eles lançam bombas ideológicas
que os polí icos mal conseguem suge i o icialmen e”.
133
Nesse sen ido, o uso ei e ado de in o mações alsas c ia,
so a ei amen e, uma explosão dou iná ia em que
La ideología se e o zaba a sí misma; aquel menosp ecio
acabó gene ando i a, que más a de se con i ió en odio
mani ies o.[...] Es o conduce con ecuencia a la au ocen-
su a, a g an escala o a pequeña escala, a anda odo el día
cuidando lo que se dice o a no deci ni mu en las pla a o -
mas que dan o ma a los ciclos de no icias, a nega se a com-
pa i opiniones polí icas y a ocul a las elaciones in e pe -
sonales.35
Isso e idencia que nem odos êm as mesmas capacidades pa a
il a as in o mações — sejam elas e dadei as ou alsas —, uma ez
que pa em de con ex os desiguais de comp eensão da ealidade
social. Essas desigualdades são ag a adas po p o undas
assime ias econômicas, sociais e ju ídicas, que o nam g ande
pa e da população mais ulne á el em suas elações in e pessoais.
Nesse con ex o, ganha ele ância a lei u a c í ica de Noam
Chomsky, especialmen e no cená io no e-ame icano, ao
desen ol e uma eo ia p og essis a que ques iona os limi es do
pensamen o libe al democ á ico dian e da manipulação da
in o mação:
Lippmann es a a en ol ido com essas comissões de
p opaganda e alo iza a seus ei os. Ele de endia que
aquilo que denomina a “ e olução na a e da democ acia”
podia se usado pa a “cons ui o consenso”, is o é, ob e a
conco dância do po o a espei o de assun os sob e os
quais ele não es a a de aco do po meio das no as écnicas
35 LAVIN, Talia. La cul u a del ódio. T aducción: Íñigo Ga cía U e a. Ma-
d id: Capi án Swing Lib os, 2021. p. 178-179. T adução li e: “A ideologia
au o- e o ça a-se; Esse desp ezo acabou ge ando ai a, que depois se
ans o mou em ódio abe o. [...] Isso mui as ezes le a à au ocensu a, em
g ande ou pequena escala, a anda o dia odo obse ando o que se diz ou
a não dize nada. nas pla a o mas que moldam os ciclos no iciosos,
ecusa pa ilha opiniões polí icas e ocul a elações in e pessoais”.
134
de p opaganda polí ica. Ele ambém acha a que essa e a
uma boa ideia, e, na e dade, necessá ia. Necessá ia
po que, como dizia, “os in e esses comuns escapam
comple amen e da opinião pública” e só podem se
comp eendidos e adminis ados po uma “classe
especializada” de” “homens esponsá eis” que são
su icien emen e in eligen es pa a en ende como as coisas
uncionam.36
Nesse momen o, se o nam cada ez mais cla as a u ilização de
no as écnica ad indas do uso da in eligência a i icial, que az com
que haja a pe pe uação de uma classe dominan e no con ole dos
meios de comunicação e de edes sociais, ans o mando-se em
uma al a sociedade p i ilegiada e pensan e que p opagandeia a
manipulação da in o mação como um e dadei o í us,
mul iplicado de men i as.
Pa a Chomsky, essa eo ia sus en a que apenas uma mino ia — a
eli e in elec ual, con o me concebida pelos deweynis as — se ia
capaz de comp eende os in e esses cole i os e os assun os de
ele ância pública, conside ados complexos demais pa a o
en endimen o das pessoas comuns. T a a-se de uma concepção
an iga, com aízes p o undas na his ó ia do pensamen o polí ico, e
que gua da no á el semelhança com a isão leninis a. De aco do
com essa pe spec i a, uma angua da compos a po in elec uais
e olucioná ios assumi ia o con ole do Es ado com o apoio de
e oluções popula es, e pos e io men e conduzi ia as massas,
conside adas incapazes de comp eende sozinhas o caminho a
segui umo a um u u o idealizado.37
36 CHOMSKY Noam. Mídia: p opaganda polí ica e manipulação.
T adução de Fe nando San os. São Paulo, Edi o a: Ma ins Fon es, 2014.
p. 4-5.
37 CHOMSKY Noam. Mídia: p opaganda polí ica e manipulação.
T adução de Fe nando San os. São Paulo, Edi o a: Ma ins Fon es, 2014.
p. 4-5.
135
En e an o, de emos obse a um p ocesso de ap o undamen o
de ei e adas c ises polí ico/democ á icas com o es a aques as
ins i uições que azem o uso das e oluções popula es com in ui o
de chega ao pode , man e -se e pe pe ua -se em uma sociedade
deso ien ada e ca en e de conhecimen os. Encon ando-se em
c ise e uma polí ica de choque, Klein essal a:
A menudo, la es a egia de la explo ación de la c isis se dis-
cu ía abie amen e, sin necesidad de oscu as eo ías de la
conspi ación. Al p o undiza en el ema, me di cuen a de
que es a es a egia lle aba más de cua en a años siendo la
silenciosa aliada de la imposición del neolibe alismo. Ob-
se é que las « ác icas de shock» siguen un pa ón cla o: se
espe a a que ocu a una c isis [...]se decla a un momen o
de lo que a eces se denominan «polí icas ex ao dina ias»,
se suspenden algunos o odos los es ánda es democ á icos
y, sin dilación, se impone la lis a de deseos de las co po a-
ciones.38
Padece-se de uma ac edi ação e ou desac edi ação dos meios pú-
blicos e polí icos que são omen ados pelo inanciamen o p i ado
das g andes co po ações que dominam o me cado de mídias, an o
analógico, como digi al e que colocam em isco os es ados demo-
c á icos. U ge a necessidade de se es abelece uma ac edi ação
po meios al e na i os e/ou adicionaism es abelecendo ou o pa-
ama em que:
38 KLEIN, Naomi Klein. Deci no no bas a. Con a las nue as polí icas del
shock po el mundo que que emos. Ba celona: Edi o ial Paidos. 2017. p.
247-248. T adução li e: “Mui as ezes, a es a égia de explo ação da c ise
oi discu ida abe amen e, sem a necessidade de eo ias conspi a ó ias
obscu as. À medida que me ap o undei no ema, pe cebi que es a es a-
égia inha sido a aliada silenciosa da imposição do neolibe alismo du-
an e mais de qua en a anos. Obse ei que as " á icas de choque" seguem
um pad ão cla o: espe a que uma c ise oco a [...] decla a um momen o
do que às ezes é chamado de "polí icas ex ao diná ias", suspende al-
guns ou odos os pad ões democ á icos e, sem demo a, o desejo co po-
a i o lis a é impos a”.
142
Es amos inme sos en un mundo y una sociedad hipe conec ados
donde la in o mación se ansmi e de o ma cons an e, a g an elo-
cidad, p ác icamen e a la ca a y en muchos casos “ ecomendada”
o di igida. T as la i upción de la In eligencia A i icial (IA) y sus in-
c eíbles a ances y capacidades, ha su gido un amplio deba e es-
pec o a las posibles aplicaciones y opo unidades que nos b inda y
espec o a sus iesgos y po an o, sus lími es y su egulación. Un
deba e a odos los ni eles pues o que el uso de IA y la asequibili-
dad y accesibilidad de los se icios de IA es án asociados a p eo-
cupaciones sob e la segu idad, salud y p o ección humanas, la li-
be ad, la p i acidad, la in eg idad, la dignidad, la au ode e mina-
ción y la no disc iminación. Tal y como señala el Pa lamen o Eu o-
peo3, la IA es la habilidad de una máquina de p esen a las mismas
capacidades que los se es humanos como el azonamien o, el
ap endizaje, la c ea i idad y la capacidad de planea . Pe mi e que
los sis emas ecnológicos pe ciban su en o no, se elacionen con él
y ac úen con un in especí ico. La máquina ecibe da os, los p ocesa
y esponde a ellos. Los di e en es sis emas de IA son capaces de
adap a su compo amien o en cie a medida, analiza los e ec os
de las acciones p e ias y de abaja de mane a au ónoma.
Según la de inición de la Comisión Eu opea exis en dos ipos de
In eligencia A i icial: so wa e (asis en es i uales, so wa e de
análisis de imágenes, mo o es de búsqueda, sis emas de econoci-
mien o de oz y os o) e in eligencia a i icial in eg ada ( obo s,
d ones, ehículos au ónomos, In e ne de las Cosas). Indudable-
men e, la IA puede apo a muchos bene icios como son una mejo
asis encia sani a ia, un anspo e más segu o y limpio o una ene -
gía más ba a a y sos enible. A a és de su página web, el Pa la-
men o Eu opeo econoce que la IA iene un papel cen al en la
ans o mación digi al de la sociedad, pasando a se una p io idad
pa a la Unión Eu opea (UE).
En nues o día a día encon amos aplicaciones de IA muy di e sas,
en e ellas, aplicaciones pa a c ea ecomendaciones
3 Página web del Pa lamen o Eu opeo.
143
pe sonalizadas pa a los consumido es en comp as po in e ne y
publicidad, aplicaciones que ienen g an impo ancia en la op imi-
zación y mayo e iciencia en el come cio, mo o es de búsqueda que
ap enden de da os de usua ios pa a o ece esul ados de bús-
queda ele an es, asis en es pe sonales digi ales, aducciones au-
omá icas, cibe segu idad, en salud o en el anspo e. Sin emba go,
se a a de una ecnología no exen a de iesgos an o pa a los indi-
iduos como pa a la humanidad como colec i o. En el p esen e a-
bajo me oy a cen a en dos cues iones que pueden esul a es-
pecialmen e p oblemá icas po la epe cusión que ya es án e-
niendo y que pueden llega a ene an o en la democ acia como
en el nue o o den mundial que es á su giendo: el almacenamien o
y a amien o de los da os de los usua ios y la desin o mación.
Los sis emas de IA suelen basa se en g andes conjun os de da os.
Es os conjun os de da os a menudo incluyen da os pe sonales.
Es o incen i a la ecopilación, el almacenamien o y el a amien o
de da os a g an escala. Los da os a g an escala (Big Da a) se e ie-
en al g an olumen de da os, an o es uc u ales como no, que se
gene an a dia io. Muchas emp esas op imizan sus se icios pa a e-
copila la mayo can idad de da os posible. El análisis del Big Da a
pe mi e a las o ganizaciones descub i pa ones, endencias y co-
nocimien os que pueden u iliza pa a oma decisiones, mejo a la
e iciencia y ob ene en ajas compe i i as. Es una opo unidad
pa a las o ganizaciones pa a ans o ma la in o mación en alo . La
llamada In e ne de las Cosas, asimismo, es una uen e de da os de
ápido c ecimien o explo ada an o po las emp esas como po los
Es ados. La ecopilación de an ingen e can idad de da os p esen a
una se ie de desa íos en e los que se encuen an el almacena-
mien o y p ocesamien o de los mismos, su análisis y isualización
así como la segu idad y p i acidad.
Tal y como señala el in o me El de echo a la p i acidad en la e a
digi al 4 , la ecopilación de da os se ealiza en espacios ín imos,
4 Consejo de De echos Humanos, El de echo a la p i acidad en la e a
digi al, In o me de la Al a Comisionada de las Naciones Unidas pa a los
144
p i ados y públicos. Los co edo es de da os adquie en, usionan,
analizan y compa en da os pe sonales con innume ables des ina-
a ios. Es as ansacciones de da os escapan en g an medida al es-
c u inio público y es án escasamen e limi adas po los ma cos ju í-
dicos igen es. Los conjun os de da os esul an es son as os y la
in o mación ecogida alcanza p opo ciones sin p eceden es. Ade-
más de expone la ida p i ada de las pe sonas a las emp esas y
los Es ados, es os conjun os de da os hacen a las pe sonas ulne-
ables en di e sos aspec os. Las il aciones de da os han expues o
en ei e adas ocasiones in o mación delicada de millones de pe -
sonas.
Los g andes conjun os de da os pe mi en innume ables o mas de
análisis e in e cambio de da os con e ce os, lo que a menudo con-
lle a o as in omisiones en la p i acidad con consecuencias nega-
i as pa a los de echos humanos. Los acue dos que pe mi en a los
o ganismos gube namen ales ene acceso di ec o a esos conjun-
os de da os en pode de las emp esas, po ejemplo, aumen an la
p obabilidad de que se p oduzcan inje encias a bi a ias o ilegales
en el de echo a la p i acidad de las pe sonas a ec adas. El almace-
namien o a la go plazo de da os pe sonales ambién conlle a ies-
gos especí icos, ya que es os pueden queda expues os a u u as
o mas de explo ación que no se p e eían en el momen o de su
ecogida. Con el iempo, los da os pueden ol e se inexac os, no
pe inen es o a as a e o es de iden i icación his ó icos, dando
luga a esul ados sesgados o e óneos en el u u o a amien o de
los da os. Los p ocesos de oma de decisiones de muchos sis emas
de IA son opacos.
De echos Humanos. Consejo de De echos Humanos, 48º pe íodo de
sesiones, 13 de sep iemb e a 1 de oc ub e de 2021. Temas 2 y 3 de la
agenda. In o me anual del Al o Comisionado de las Naciones Unidas pa a
los De echos Humanos e in o mes de la O icina del Al o Comisionado y
del Sec e a io Gene al P omoción y p o ección de odos los de echos
humanos, ci iles, polí icos, económicos, sociales y cul u ales, incluido el
de echo al desa ollo (A/HRC/48/31 GE.21-12684 17).
145
La complejidad del en o no de da os, los algo i mos y los modelos
que subyacen al desa ollo y uncionamien o de es os sis emas, así
como el sec e ismo delibe ado de los agen es gube namen ales y
p i ados, son ac o es que obs aculizan la comp ensión del público
de sus consecuencias pa a los de echos humanos y la sociedad. Los
sis emas de ap endizaje au omá ico añaden un impo an e ele-
men o de opacidad, ya que pueden llega a iden i ica pa ones y
desa olla p esc ipciones que son di íciles o imposibles de expli-
ca . Es o es lo que se suele denomina el p oblema de la “caja ne-
g a”. La opacidad di icul a el examen signi ica i o de los sis emas
de IA y puede se un obs áculo pa a la endición de cuen as e ec-
i a en los casos en que es os sis emas lleguen a causa daños. No
obs an e, cabe señala que es os sis emas no ienen po qué se
o almen e inesc u ables. Si bien es cie o que los sis emas de IA
no se basan exclusi amen e en el a amien o de da os de ca ác e
pe sonal, aunque és os no sean pe sonales, su uso puede ene
consecuencias nega i as pa a los de echos humanos, incluido el
de echo a la p i acidad, pues o que las he amien as de IA se u ili-
zan p o usamen e pa a comp ende los pa ones y endencias de
compo amien o humano. La IA ambién se u iliza pa a e alua la
p obabilidad de compo amien os o acon ecimien os u u os. Las
deducciones y p edicciones ealizadas median e IA, a pesa de su
ca ác e p obabilís ico, pueden se i de base pa a la adopción de
decisiones que a ec an a los de echos de las pe sonas, a eces de
o ma o almen e au oma izada5.
El ci ado in o me de la Al a Comisionada de las Naciones Unidas
pa a los De echos Humanos ap ecia un iesgo de disc iminación in-
he en e a las decisiones basadas en la IA. Los sis emas de IA se
basan en g andes bases de da os que con ienen in o mación pe -
sonal compilada, in e cambiada, combinada y analizada con mé o-
dos di e sos y a eces opacos. Los da os que alimen an y o ien an
a los sis emas de IA pueden se de icien es, disc imina o ios, obso-
le os o poco pe inen es. El almacenamien o de da os a la go plazo
en aña ambién iesgos pa icula es, ya que en el u u o esa
5 Ibidem.
146
in o mación pod ía ap o echa se de o mas di íciles de p e e en
la ac ualidad. Po o o lado, la in eligencia a i icial se basa en el
uso de g andes bancos de da os. El documen o e ela que, además
de expone la ida p i ada de las pe sonas a las emp esas y los
Es ados, es os conjun os de da os hacen que los indi iduos sean
ulne ables de o as mane as. Po ejemplo, el acceso indebido po
e ce os a esos da os pe sonales ha expues o epe idamen e in o -
mación sensible de millones de pe sonas.
En base a ello, el in o me conside a que es necesa io que an o las
emp esas como los Es ados inc emen en la anspa encia en lo que
se e ie e al desa ollo y aplicación de los sis emas de IA señalando
que “la complejidad del con ex o es adís ico, los algo i mos y los
modelos en los que se basa la elabo ación y el uncionamien o de
los sis emas de IA, así como el ca ác e sec e o que le con ie en
los gobie nos y los agen es p i ados, con ibuyen a que la pobla-
ción en gene al no alcance a comp ende la epe cusión de los sis-
emas de IA sob e la sociedad y los de echos humanos”6.
Po o a pa e, el acceso inmedia o al conocimien o ambién ha
conlle ado el enómeno conocido como desin o mación. La desin-
o mación puede de ini se como la c eación, di usión o p omo-
ción in encionada de in o mación alsa, inexac a o engañosa con
el obje i o de in lui en la opinión pública, ob ene bene icios polí-
icos o económicos, o deses abiliza a indi iduos, ins i uciones o
sociedades en e as. Implica una in encionalidad maliciosa, a án-
dose, po an o, de un ac o delibe ado de manipulación. Es po
ello que se obse a, cada ez con mayo ecuencia, que los usua-
ios se en en an a con enidos que, bajo la apa iencia de se e a-
ces, es án diseñados pa a engaña , manipula o gene a con usión.
La desin o mación puede adop a di e en es o mas, en e las que
encon amos las no icias alsas o ake news (con enido que simula
se pe iodís ico, pe o es comple amen e in en ado o dis o sio-
nado), con enido manipulado (imágenes, ídeos o audios edi ados
pa a al e a su signi icado o iginal), con ex o also (in o mación
6 Ibidem.
147
e az que se p esen a ue a de con ex o pa a induci a e o ) y ci-
as in en adas o e gi e sadas ( ases a ibuidas alsamen e a i-
gu as públicas), en e o as.
Las ake news o no icias alsas han sido p o agonis as en elecciones,
e e éndums y con lic os geopolí icos ecien es. La desin o mación,
la p opaganda y las ope aciones psicológicas (las llamadas PsyOps)
no son nue as, se han u ilizado como he amien as o a mas desde
iempos emo os. Tal y como señalan O igosa y Malla iba ena, en
es os úl imos quince años, donde las edes sociales acogen y con-
ducen g andes deba es públicos sob e odo ipo de emas, hemos
is o nace como sociedad un nue o enómeno que no es más que
una nue a gene ación de écnicas de desin o mación basadas en
los úl imos a ances de la ecnología. Fuen es p esun amen e “con-
iables” en In e ne nos in o man de sucesos alsos o e gi e san al
máximo no icias eales, mezclando dicha in o mación (más o menos
p ecisa y obje i a) con imágenes o g abaciones de ídeo que (de
o ma a i icial) demos a án la e acidad de dicha no icia. Los ob-
je i os de es as no icias pueden se di e sos, incluyendo los eco-
nómicos (si pueden gene a bene icios a e ce os en ope aciones
de bolsa o in e siones, po ejemplo), epu acionales (daña la ima-
gen pública de cie as pe sonalidades), ác icos (a ec a a la con-
ianza de las pe sonas en una ins i ución) o de ipo hack i is a (lan-
za sus mensajes de o ma especialmen e llama i a)7.
El p incipal p oblema con es e ipo de ac i idades es que, como
sucede a ni el gene al en In e ne , no es sencillo iden i ica a las
uen es ni asocia dicha ac i idad con zonas geog á icas conc e as.
Así, es posible usa iden idades alsas e incluso ac ua bajo “ alsa
bande a”. En consecuencia, es muy di ícil alo a el g ado de con-
ianza que podemos ene en una de e minada uen e o en una no-
icia. Muchas pe sonas que consul an no icias en el elé ono mó il
a amen e e án los in o ma i os de ele isión con la debida a en-
ción o lee án p ensa esc i a. De es a o ma, no hab á una uen e
7 O igosa Ál a o y Malla iba ena Ma iniano, “Fake news: no me leas
que no e c eo”, The Con e sa ion, 3 de ab il 2019.
148
con iable pa a con as a la no icia y se á ácil imp esiona a una
audiencia que, cada ez más, con ía o decide no dedica mucho
iempo a analiza la iabilidad de la in o mación que le llega8.
Tal y como señalan Sánchez y Salaza , la conjunción en e ake news
y las pla a o mas digi ales es ideal pa a aquellos que buscan mina
la c edibilidad, con ianza y segu idad de los ciudadanos en las en-
idades o iciales y en los se icios que és as p es an. En e es os
o ganismos a ec ados se encuen an los elec o ales y, en conse-
cuencia, ambién la democ acia. Apun an como causas las siguien-
es cinco: las edes sociales son ins umen os bidi eccionales de
comunicación; exis e una masi a ci culación de in o mación que im-
pide que los ciudadanos puedan alida o e i ica cada una de las
in o maciones que eciben; las edes sociales se con i ie on en
medios de denuncia pública y emplaza on a los medios adiciona-
les a los que apelaban los ciudadanos al in e ac ua con las en ida-
des públicas; hay una acen uada y alsa c eencia de que lo que ocu-
e en las edes escapa del con ol legal y judicial, y po úl imo, los
ciudadanos eciben in o mación de o ma masi a a pa i de algo-
i mos que las mismas edes c ean con la denominada “bu buja de
in e és” (el ecep o es cons an emen e bomba deado con in o -
mación sob e emas que son de su in e és o con aquellos sob e los
cuales iende a mos a algún ipo de epulsa) . Todo lo an e io
8 Ibidem. La i alidad es un mé odo ágil de ansmisión de la in o mación
en el que muchas pe sonas e ansmi en es as “no icias” que han ecibido
a sus con ac os. Pa iendo de un único mensaje o iginal, pod emos
alcanza a miles o quizás millones de pe sonas. Cuan o más llama i a o
escandalosa nos pa ezca la in o mación ecibida, más nos sen i emos
obligados a compa i la ( olun a iamen e) con nues a ed. Es a
comunicación puede se ealizada a a és de edes sociales como
Facebook o Twi e , donde e ce os y au o idades pod án obse a el
p oceso, y en Wha sapp, donde es as ans e encias uncionan como un
ulga umo y son mucho más di íciles de aza o incluso pe segui , si
ue a el caso.
149
conlle a la hegemonía de los sen imien os sob e el análisis acional
de la in o mación que se ecibe9.
El in o me elabo ado po el MIT en 2018 ya puso de mani ies o que
es e ipo de no icias se ansmi en po In e ne a una elocidad
muy supe io a las “ eales”10 . Con es e ipo de écnicas, agen es
maliciosos pod án c ea y hace c ece no icias escandalosas, ma-
lin encionadas y casi siemp e con usas.
Respec o a las causas de la p oli e ación de la desin o mación se
obse a que no es un enómeno aislado, sino que es el esul ado
de múl iples ac o es in e elacionados. En p ime luga , un ac o
impo an e son las edes sociales y los algo i mos i ales dado que
las pla a o mas, en é minos gene ales y a al a de egulación ex-
p esa al espec o, p io izan el con enido que gene a in e acción,
sin e i ica su e acidad. En segundo luga , la al a de educación
mediá ica conlle a que muchos usua ios no posean las he amien-
as necesa ias pa a iden i ica uen es iables o con as a la in o -
mación. Un e ce ac o ele an e es la ac ual pola ización polí ica
y social en la que los discu sos ex emos alimen an na a i as alsas
que e ue zan p ejuicios. Los in e eses económicos y geopolí icos
son un cua o ac o a ene en cuen a dado que la desin o mación
se u iliza como a ma es a égica en con lic os polí icos o come cia-
les. Po úl imo, cabe des aca lo que se pod ía denomina anal a-
be ismo digi al en endido como el desconocimien o sob e cómo
uncionan las ecnologías digi ales y cómo és as puede a o ece la
manipulación.
La desin o mación iene un g an impac o en la mayo ía de ámbi os
de la ida social, económica y polí ica, a ec ando de o ma di ec a
a la con i encia y la cohesión social. La desin o mación puede
9 Sánchez I egui Ja ie Felipe y Salaza Foglia Daniel Felipe, ”Pla a o mas
digi ales y ake news: ¿una amenaza a la democ acia?” DEMOCRACIA
ACTUAL, Vol. 6, No. 1, ene o - junio 2021, pp.44-62, ISSN: 2745-0295 (En
línea).
10 So oush Vosoughi, Deb Roy and Sinan A al, “The sp ead o ue and
alse news online”, Science, 9 de ma zo de 2018.
150
alimen a el odio, la xeno obia, la disc iminación y la iolencia. Se
p omue en na a i as pola izadas que agmen an el ejido social y
di icul an el diálogo. Como es amos obse ando, sob e odo desde
la campaña elec o al de EEUU en 2016, en la polí ica y la democ a-
cia las campañas de desin o mación pueden in lui en p ocesos
elec o ales, e osiona la con ianza en las ins i uciones y omen a
el ex emismo y la pola ización de la sociedad.
Pa a pode hace en e a la desin o mación se equie e una es-
pues a coo dinada en e odos los ac o es implicados: ciudadanos,
gobie nos, pla a o mas ecnológicas, medios de comunicación y el
sis ema educa i o. Algunas es a egias esenciales incluyen la edu-
cación en al abe ización mediá ica y digi al desde edades emp a-
nas: es undamen al enseña a e alua c í icamen e la in o mación
que consumimos omen ando el pensamien o c í ico y un uso cons-
cien e, c í ico y esponsable de las nue as ecnologías y edes so-
ciales pa a es a p epa ados pa a los desa íos y opo unidades que
plan ea la ida digi al. Asimismo, es muy impo an e comp ende
cómo uncionan los algo i mos. O a es a egia consis e en desa-
olla una legislación y egulación en los que los ma cos legales
puedan adap a se pa a penaliza la di usión de con enidos alsos
cuando supongan un iesgo eal pa a la sociedad, sin menoscaba
la libe ad de exp esión. También es impo an e la anspa encia en
edes sociales median e una mayo esponsabilidad de las pla a o -
mas digi ales en la mode ación de con enidos, la anspa encia en
sus algo i mos y la lucha ac i a con a campañas o ganizadas de
desin o mación. Po úl imo, se alude al omen o del pe iodismo de
calidad a a és de una p ensa lib e, p o esional e independien e
como p incipal an ído o con a la desin o mación (es cla e apoya
medios que e i iquen los hechos, con as en uen es y omen en
el pensamien o c í ico)11. Desde las Naciones Unidas se se anima a
los Es ados a omen a y p o ege a los medios de comunicación
lib es e independien es y a maximiza la anspa encia y el acceso
a la in o mación, con el in de gene a con ianza en las ins i uciones
11 Ti an lo Blanch, No icias, “¿Qué es la desin o mación y po qué es un
iesgo pa a la sociedad?”, 13 de mayo de 2025.
151
públicas, la gobe nanza y los p ocesos. También deben p omo e
la pa icipación pública a odos los ni eles y posibili a diálogos y
deba es signi ica i os.
El Sec e a io Gene al de Naciones Unidas An ónio Gu e es señaló
que la pandemia COVID-19 magni icó an o la b echa digi al y el
lado oscu o de la ecnología como la apidísima p opagación de la
desin o mación o la manipulación del compo amien o de las pe -
sonas. Puso de mani ies o que solo pod emos hace en e a es os
e os unidos, median e una coope ación e o zada: es ableciendo
no mas cla as pa a sal agua da los de echos humanos y las libe -
ades undamen ales, ecupe ando el con ol sob e nues os da os,
y con a es ando la desin o mación y el discu so del odio12.
En es e pun o cabe des aca el Plan de Acción pa a una espues a
coo dinada con a la desin o mación. Es e Plan de Acción ue p e-
sen ado y ap obado en el Consejo Eu opeo de los días 13 y 14 de
diciemb e de 2018. De su con enido des aca, po su calado p ác ico,
la c eación, ma e ializada en ma zo de 2019, de un Sis ema de
Ale a Rápida (RAS) con pun os de con ac o nacionales pa a ale -
a ins an áneamen e sob e campañas de desin o mación a a és
de una in aes uc u a ecnológica especí ica y pa a in e cambia
in o mación en e los Es ados miemb os y la Unión. Es e Sis ema
asegu a la necesa ia coo dinación en e los socios eu opeos y aci-
li a an o la moni o ización de las edes pa a de ec a campañas y
acciones de desin o mación como, e en ualmen e, el diseño de
espues as comunes cuando esul e necesa io.
Se e idencia que juega un papel cla e en es e pun o la p omoción
de he amien as ecnológicas de e i icación. La in eligencia a i i-
cial puede ayuda a de ec a pa ones de desin o mación, as ea
con enidos alsos y ale a a los usua ios an es de compa i in o -
mación dudosa. No debemos ol ida que algunas aplicaciones de
la In eligencia A i icial pueden de ec a no icias alsas y
12 Videomensaje del Sec e a io Gene al pa a inaugu ación del 16º Fo o
pa a la Gobe nanza de In e ne : "In e ne unida", 7 de diciemb e de 2021.
254
Essa sepa ação concei ual pe mi e e le i sob e quais sujei os
podem ocupa a posição de i ula de um con eúdo ge ado po IA,
ainda que es e con eúdo ca eça de au o ia em sen ido es i o. Uma
con ibuição impo an e pa a essa discussão oi o mulada po
Pamela Samuelson, 22 que p opôs, já em 1986, cinco modelos
eó icos pa a a alocação dos di ei os de p op iedade in elec ual
em ob as c iadas po compu ado . Essas hipó eses con inuam
ele an es pa a o deba e a ual, mesmo após quase qua o décadas,
pois an ecipa am, com no á el p ecisão, os dilemas ju ídicos
con empo âneos. Esc e e Pamela Samuelson: “Exis em pelo
menos cinco possibilidades de alocação de p op iedade: pode-se
decidi aloca in e esses de p op iedade in elec ual na saída pa a
o compu ado , o usuá io, o au o do p og ama ge ado , ambos em
conjun o, ou ninguém.”.23
Um compu ado pode se um au o ? Pamela Samuelson, nesse
pon o, explo a e e u a a hipó ese de conside a o compu ado
como au o . A i ma que a Comissão Nacional sob e No os Usos
Tecnológicos (CONTU) já ha ia concluído que compu ado es são
me amen e ins umen os, como câme as ou máquinas de esc e e ,
sem c ia i idade p óp ia. Mesmo que possam p oduzi com
o iginalidade su icien e pa a quali ica uma ob a pa a p o eção
au o al, não êm in enção nem consciência, elemen os
conside ados cen ais à au o ia.24
O usuá io é o au o ? Samuelson de ende que o usuá io de e se
econhecido como au o , mesmo quando sua in e enção é mínima.
Sus en a essa posição an o em base dou iná ia (usuá io como
agen e de ixação) quan o em e mos de polí ica pública (o usuá io
já pagou pelo uso do p og ama e é quem iabiliza o acesso à ob a).
A analogia com a g a ação de jazz imp o isado é usada pa a ilus a
22 SAMUELSON, Pamela. “Alloca ing owne ship igh s in compu e -gene -
a ed wo ks”. Uni e si y o Pi sbu gh Law Re iew, . 47, p. 1185-1228, 1985.
(T adução li e).
23 SAMUELSON, ob. ci ., p. 1190.
24 SAMUELSON, ob. ci ., p. 1192-1200.
255
que mesmo ações simples (como p essiona “g a a ”) podem ge a
au o ia.25
O p og amado como Au o ? A gumen a que a ibui a au o ia ao
p og amado se ia uma dis o ção da dou ina, pois es e não
concebe nem ixa di e amen e a ob a ge ada. A ideia de au o ia
di e a pelo p og amado é ágil, pois ele não exe ce con ole sob e
a ge ação especí ica de con eúdo. A p opos a de conside a a saída
como um “ abalho de i ado” do p og ama ambém é c i icada:
ob as ge adas po compu ado ge almen e não inco po am
elemen os exp essi os econhecí eis, e a de inição legal de “ob a
de i ada” exige essa inco po ação.26
Coau o ia en e usuá io e p og amado ? A qua a p opos a, de
coau o ia en e p og amado e usuá io do sis ema, é conside ada
imp a icá el: al a animus colabo a i o, não há in enção conjun a
nem ha monia de in e esses ípica de ob as em coau o ia. A
agmen ação de di ei os ambém se ia con ap oducen e e di ícil
ope acionalização.27
Po que aloca di ei os a alguém? Finalmen e, Samuelson examina
a possibilidade adical de deixa a saída ge ada em domínio
público. Embo a coe en e com p incípios adicionais de incen i o
à c ia i idade humana, a p opos a é ejei ada po in iabilidade
p á ica e po que desenco aja ia a di ulgação de ob as. De ende
que o usuá io, es ando mais bem posicionado pa a a alia ,
modi ica e come cializa a saída, de e ecebe os di ei os.28
Passados quase qua en a anos, em no o a igo, publicado em 2020,
Pamela Samuelson ea i ma a posição de que os p odu os ge ados
po IA de em se i ula izados pelo usuá io do sis ema de
in eligência a i icial, e o az sob os seguin es undamen os:
25 SAMUELSON, ob. ci ., p. 1200-1204.
26 SAMUELSON, ob. ci ., p. 1205-1221.
27 SAMUELSON, ob. ci ., p. 1221-1224.
28 SAMUELSON, ob. ci ., p. 1225-1228.
256
A espos a p agmá ica pa a o enigma da au o ia po IA,
como já a gumen ei em ou os momen os, é que o usuá io,
esponsá el po ge a as saídas, de e se conside ado o
au o . Se alguém p ecisa se designado como i ula dos
di ei os sob e essas c iações, esse alguém de e se o
usuá io. Essa pessoa é quem possui as saídas, quem
iden i icou o po encial alo come cial delas e, em ge al,
encon a-se mais bem posicionada pa a a alia e explo a
esse alo .
Além disso, como nos casos de esc i a au omá ica e no
caso Feilin, o usuá io equen emen e adap a, eo ganiza,
edi a ou de ou a o ma ajus a as saídas pa a o ná-las
adequadas à come cialização. Se alguém p ecisa de
incen i os de di ei os au o ais pa a ans o ma saídas
b u as em p odu os come cialmen e iá eis, é o usuá io.
Ademais, o usuá io p o a elmen e já pagou ao p op ie á io
dos componen es do so wa e de IA pelo di ei o de usá-los
pa a ge a essas saídas.29
No con ex o b asilei o, não há no ma especí ica que de ina a
i ula idade de bens c iados po IA. A dou ina nacional, con udo,
em se inclinado à a ibuição de i ula idade ao usuá io humano,
especialmen e quando es e exe ce papel a i o no p ocesso
c ia i o, is o é, quando a ob a é c iada po humano com assis ência
de IA.30 Esse en endimen o se alinha à ideia de que o usuá io do
sis ema de IA o nece os comandos, de ine o es ilo, az escolhas
sele i as, e ealiza a cu ado ia dos esul ados. Mesmo que a
29 SAMUELSON, Pamela. “AI au ho ship? Conside ing he ole o humans
in copy igh p o ec ion o ou pu s p oduced by a i icial in elligence”.
Communica ions o he ACM, New Yo k, . 63, n. 7, p. 22. (T adução li e).
30 COSTA NETTO, José Ca los. “Ob as in elec uais p o egidas e
p odu os de in eligência a i icial (PIA) - Regiões on ei iças”. Re is a de
Di ei o Ci il Con empo âneo, São Paulo, . 41, n. 11, p. 275-312, ou ./dez.
2024.
257
execução écnica ecaia sob e o sis ema au oma izado, o usuá io
a ua como e o de in encionalidade e di ecionamen o es é ico.
Esse modelo ambém se ap oxima da lógica consolidada no di ei o
b asilei o, segundo a qual é possí el que alguém de enha a
i ula idade de uma ob a in elec ual sem se seu au o , sob e udo
de di ei os pa imoniais sob e a ob a. Além disso, ao ge a uma
imagem po IA median e comando in encional, o usuá io in es e
ecu sos ( empo, conhecimen o, inalidade) e assume a
esponsabilidade pelos usos e e ei os daquele con eúdo. Essa
dimensão uncional e o ça o a gumen o em a o de seu
econhecimen o como i ula dos esul ados.
En e an o, é necessá io econhece os limi es dessa i ula idade.
Em p imei o luga , o usuá io não é au o e, po an o, não de ém
di ei os mo ais sob e o con eúdo ge ado. Não pode, po exemplo,
plei ea p o eção à in eg idade da ob a ou à sua epu ação como
c iado . Em segundo luga , a i ula idade pa imonial não de i a de
o iginalidade c iado a, mas de ap op iação e con ole do p ocesso
écnico, o que implica uma p o eção mais ênue.
Essa dis inção en e au o ia e i ula idade se á essencial pa a o
desen ol imen o de egimes ju ídicos especí icos pa a p odu os
de IA. Uma e en ual legislação u u a pode á ado a soluções
híb idas, como a c iação de di ei os conexos ou sui gene is,
con e indo ao usuá io a possibilidade de licencia , ans e i ou
exclui e cei os do uso da imagem ge ada, sem lhe a ibui s a us
au o al pleno.
Po an o, a i ula idade da imagem c iada po IA não de i a de
au o ia, mas de a o es uncionais e negociais. A cen alidade da
in e enção humana, a ap op iação in encional do esul ado e a
es u u ação ju ídica po meio de con a os e licenças são
elemen os que jus i icam o econhecimen o de um di ei o de uso
exclusi o em a o do usuá io. Isso pe mi e que a imagem seja
inse ida no me cado com segu ança ju ídica, mesmo dian e da
ausência de au o ia o malmen e econhecida.
258
A IMAGEM PRODUZIDA PELA IA NA LINHA
EVOLUTIVA DAS RES INCORPORALES GAIANA.
O p odu o ge ado po sis emas de in eligência a i icial,
especialmen e as imagens p oduzidas a pa i de desc ições
ex uais ( ex - o-image) de au o ia humana, impõe uma
econside ação dos concei os ju ídicos clássicos de bem, alo e
p o eção. Se não é possí el a á-lo como “ob a au o al” nos e mos
da Lei n.º 9.610/1998, es a indaga : é esse p odu o um bem
ju ídico? E, em caso a i ma i o, qual egime ju ídico é aplicá el à
sua u ela pa imonial?
A imagem ge ada po in eligência a i icial, po sua na u eza digi al
e inco pó ea, pode se classi icada como uma mani es ação
especí ica do gêne o dos bens digi ais.31 A quali icação ju ídica
desses p odu os como bens pe mi e a aplicação do egime
p op ie á io he dado da adição omana, pa icula men e no que
se e e e à exclusi idade de uso e uição. Essa possibilidade se á
examinada adian e.
A noção de es inco po alis em sido cons an emen e e omada
como e amen a concei ual pa a en en a os desa ios
con empo âneos do di ei o p i ado, sob e udo nos con ex os em
que a ino ação ecnológica ensiona ca ego ias ju ídicas
adicionais, desencadeando econ igu ações ins i ucionais na
o dem ci il. Nessa linha a gumen a i a, a p esen e seção e isi a a
o igem da dico omia en e es co po ales e es inco po ales no
Di ei o Romano, com des aque pa a a sis ema ização de Gaio (2.12-
14),32 pa a, em seguida, examina a ampliação da lis a de coisas
inco pó eas no século XIX e, po im, es a sua aplicação às
imagens ge adas po IA.
31 LEHAVI, Amnon. P ope y law in a globalizing wo ld. Camb idge: Cam-
b idge Uni e si y P ess, 2019, p. 173.
32 Gaio, Ins i u iones, em J. A. Segu ado e Campos ( ad.), Ins i uições
de di ei o p i ado omano, Lisboa: Fundação Calous e Gulbenkian,
Se iço de Educação e Bolsas, 2010, p. 167.
259
A escolha do mo imen o codi icado oi ocen is a como pon o de
pa ida pa a a análise não é a bi á ia. Con o me obse a
Pugliese, 33 oi somen e nesse pe íodo que se consolidou a
inculação en e as c iações in elec uais e a ca ego ia das es
inco po ales, de inspi ação omana. Embo a os di ei os p i ados
sob e ais c iações já ossem an e io men e econhecidos, não há
indícios de que enham sido o malmen e associados àquela
adição concei ual.34 Como conclui o au o , “somen e a dou ina
do século XIX inculou explici amen e essas ob as à es
inco po alis omana, delineando uma lis a em que uma apa ecia ao
lado da ou a.”.35
No con ex o b asilei o, essa mudança é anunciada po Cló is
Be iláqua ao des aca o papel das no as ecnologias no su gimen o
dos di ei os in elec uais. Segundo ele, a in enção da imp ensa e da
g a u a possibili ou a mul iplicação dos esc i os e das ob as de
a e, iabilizando sua explo ação em escala indus ial e, com isso, a
necessidade de uma u ela ju ídica pa imonial especí ica.36 Dessa
33 Mesmo no século XX, esc e e Pugliese, a base desse liame nem
semp e es á p esen e, po que há con es ação à quali icação das c iações
in elec uais como bens do pon o de is a ju ídico e sua equipa ação à
ca ego ia de es. (PUGLIESE, Gio anni. “Dalle es inco po ales del di i o
omano ai beni imma e iali di alcuni sis emi giu idici odie ni”. Ri is a
T imes ale di Di i o e P ocedu a Ci ile, ol. XXXVI, 1982, p. 1175).
34 PUGLIESE, ob. ci , p. 1175-1176.
35 PUGLIESE, ob. ci , p. 1178.
36 Sob e a impo ância da máquina de Gu embe g pa a o desen ol imen o
concei ual da es inco po alis a pa i da necessidade de ca alogação das
c iações do espí i o, esc e e Cló is Be iláqua: - “Foi com a descobe a da
imp ensa e da g a u a que, acili ada a mul iplicação dos esc ip os e ob as
d’a e, se o na am possí eis a explo ação indus ial das p oducções do
espi i o, e o conseqüen e econhecimen o de um no o di ei o, que a
an igüidade, ealmen e, desconhece a, embo a desse g ande alo ás ob as
d’a e e al o p eço cus assem copias de ob as appe ecidas. Mas, en ão, as
ob as li e á ias e a is icas di ulga am-se, escassamen e, po ci culos
limi ados de a eiçoados. Com a imp ensa mudou-se a si uação.”.
(BEVILÁQUA, Cló is. Di ei o das Coisas. Vol. 1, B asília, Senado Fede al,
2003, p. 267-268).
260
o ma, o mo imen o codi icado mode no su ge, no p esen e
es udo, como ma co inaugu al pa a a p opos a de aplicação do
concei o de es inco po alis ao p odu o ge ado po in eligência
a i icial, com is as à sua ap op iação ju ídica po pa e do usuá io
do sis ema.
Na o mação da bipa ição gaiana, Raymond Monie 37 indica o
cu so e olu i o da di e enciação en e coisas co pó eas e
inco pó eas, o iginalmen e uma dis inção ilosó ic38 e g ama ical39
que se o nou ele an e pa a o Di ei o. 40 Po que essa
di e enciação i adiou seus e ei os ao Di ei o? 41 Po que Gaio
p ecisa a explica o po quê de chama “di ei os” de “coisas”.42 Na
37 MONIER, Raymond. “La da e appa i ion du dominium e la dis inc ion
des es en co po ales e inco po ales”. In S udi in ono e di Si o Solazzi,
Nápoles, Jo ene, 1948, p. 357-374.
38 CORREIA, Alexand e; SCIASCIA; Gae ano. Manual de Di ei o
Romano. 5.ª ed., Rio de Janei o: Sedeg a, 1994, p. 49-50.
39 MONIER, ob. ci ., p. 364.
40 MONIER, ob. ci ., p. 357.
41 Esc e e Pugliese: - “Isso, po an o, comp eendia, segundo ele, apenas
es, as quais, no en an o, se dis inguiam em co po ales (aquelas das quais
o sujei o inha a p op iedade) e inco po ales (os di ei os dos quais ele e a
i ula , po possuí em alo econômico e, e iden emen e, dis in os da
p op iedade). Assim, em-se ambém uma espos a à p imei a pa e da
pe gun a o mulada acima: po que Gaio chamou de coisas ( es) os
di ei os.” (PUGLIESE, ob. ci ., p. 31141).
42 Sob e a ausência de undamen o pa a a an í ese es e iu a, no sen ido
do ques ionamen o de Pugliese, pon ua F anco Baldessa elli: - “Em
segundo luga , pa ece-nos que a dis inção en e co po a (co pos) e iu a
(di ei os), que é conside ada po mui os omanis as como endo um
signi icado idên ico à oposição en e es co po ales (coisas co pó eas) e
es inco po ales (coisas inco pó eas), não e e uma ampla essonância
en e os ju is as omanos. Na nossa opinião, essa quali icação, se não
exclusi amen e p omo ida po Gaio, e a conhecida apenas po mui o
poucos ju is as e não cons i uía de o ma alguma uma ideia cen al na
ju isp udência omana. Po an o, a p e ensão de deduzi dessa
quali icação a conclusão de que, pa a os omanos, os iu a e am coisas,
embo a ima e iais, ca ece de qualque undamen o.”. (T adução li e).
261
isão de Gaio, o pa imônio comp eendia exclusi amen e es, as
quais o am subdi ididas em co po ales, co esponden es aos bens
(“coisas”) sob e os quais o indi íduo exe cia domínio, do adas de
alo econômico e con e indo ao i ula exclusi idade de uso, e
inco po ales, que ep esen a am os “di ei os” pe encen es ao
i ula , desde que possuíssem alo econômico e não se
con undissem com a p op iedade em si.43
Assim, a es incopo alis nada mais é senão elemen o do pa imônio,
do ada de alo econômico e dis in o do obje o co pó eo da
p op iedade ( es co po alis), po sua in angibilidade e exis ência
es i a aos planos in elec ual e ju ídico. Isso oco e po que a
classi icação dos “di ei os” no sen ido de “coisas” não deco e de
sua na u eza enquan o “di ei os”, mas unicamen e po seu alo
econômico. Ou seja, somen e na medida em que in eg am o
pa imônio é que ais “di ei os” ecebem a designação de “coisas”.
A pa i da p emissa de que o ol exempli ica i o das es
inco po ales gaiano cons i ui um mecanismo de homogeneização
do pa imônio, compa ilhando, en e odos os seus elemen os, as
ca ac e ís icas comuns da ima e ialidade e pa imonialidade,
passa-se à análise da inclusão das ob as in elec uais no ol das es
inco po ales, com base na “lis a” de Windscheid. Ao disco e
sob e o concei o de coisa e dis ingui en e coisas co pó eas e
inco pó eas, Windscheid ala ga o ol das es inco po ales omana,
ao ca aloga as “p oduções in elec uais” como coisas inco pó eas,
(BALDESSARELLI, F anco. “A p oposi o della ile anza giu idica della
dis inzione a es co po ales e es inco po ales nel di i o omano
clássico”. Re ue in e na ionale des d oi s de l’an iqui é, ol. 37, 1990, p.
90-91).
43 Po alo econômico, no sen ido de pa imonialidade, en ende-se, com
João Ca los Me lach-Pin e , “a exis ência de bens que podem, em
e en ual oca, ecebe es imação pecuniá ia, ou, edada a oca,
o nece u ilidade que, de ou a o ma, se ia ob ida one osamen e”.
(METTLACH-PINTER, João Ca los. Summa di isio do di ei o ci il
pa imonial: es u u a, sis ema ização e sen ido da dis inção en e
di ei os eais e ob igacionais. Cu i iba: Ju uá, 2023, p. 426).
262
a ibuindo-lhes e icácia e ga omnes.44 Ao amplia a lis a das es
inco po ales, o undamen o an e io é al e ado, pois enquan o a
bipa ição gaiana inha po escopo homogeneiza os elemen os do
pa imônio, e dis ingui “di ei os” de “coisas”, Windscheid elaciona
as coisas inco pó eas como “obje o” de elação ju ídica.45
No B asil, Teixei a de F ei as p opõe abandona a bipa ição
gaiana, subs i uindo-a pela dis inção en e “bens” e “obje os”. De
a o, em um gi o de cope nicano, Teixei a de F ei as, na ase
inaugu al dos comen á ios ao a . 317 do P oje o, p opõe “que ique
no esquecimen o” a di isão gaiana de “cousas co po eas” e “cousas
inco po eas”, seja no sen ido de pa e in eg an e do pa imônio,
seja como obje o de elação ju ídica.46 Em seguida, suge e o
emp ego de “bens” e “obje os” como écnica pa a a ende o escopo
dou inal da di isão.47 Pa a Texei a de F ei as, os obje os ima e iais
susce í eis de uma medida de alo não são coisas (a . 319), mas
sim “bens”. Assim, as coisas e os obje os ima e iais com alo
44 “§ 41. Di ei os absolu os e ela i os. Di ei os absolu os são aqueles
que êm e ei o sob e odos, di ei os ela i os são aqueles que êm e ei o
apenas sob e uma única pessoa ou um núme o limi ado de pessoas.
Di ei os pessoais são di ei os ela i os. Os di ei os eais e os di ei os
sob e a p óp ia pessoa são di ei os absolu os. Mas eles não são os únicos
di ei os absolu os. Também o ínculo amilia , na medida em que pode
es a sujei o a pe u bações ex e nas, dá o igem a di ei os con a
qualque pessoa. [...]. Se ul apassa mos o âmbi o do di ei o omano,
ambém as p oduções in elec uais — ob as cien í icas e a ís icas,
in enções e c. — de em, no sen ido aqui pe inen e, se designadas como
coisas inco pó eas. O di ei o mode no as a a como obje os de elações
ju ídicas, assim como os bens co pó eos.”. (WINDSCHEID, Be na do.
Di i o delle pande e, ad. de Ca lo Fadda e Paolo Emilio Bensa, ol. 1,
To ino: Unione Topog a ico-Edi ice To inese, 1925, p. 117.
45 FADDA, Ca lo; BENSA, Paolo Emilio, “No e dei adu o i al lib o
p imo”. In WINDSCHEID, Be na do. Di i o delle pande e, ol. IV, To ino:
Unione Topog a ico-Edi ice To inese, p. 186 e 190.
46 FREITAS, Augus o Teixei a de. Código Ci il: Esboço, ol. II, Rio de
Janei o: Typog aphia Uni e sal de Laemme , 1860, p. 213.
47 FREITAS, ob. ci ., p. 214.
263
pe mu á el, são bens.48 No plano eó ico, como se pe cebe, a
iqueza concei ual da bipa ição gaiana é discu ida abe amen e
po Teixei a de F ei as que, ao p opo no a classi icação, man ém
ín eg o o escopo de Gaio, is o é, homogeneiza o pa imônio, ago a
compos o po coisas e po obje os, elemen os dos di ei os,
ma e iais e ima e iais susce í eis de ap eciação econômica.
O Código Ci il de 1916, o iundo do P oje o Cló is Be iláqua, 49
ado ou a exp essão “p op iedade li e á ia, cien í ica e a ís ica”
(pa ág a o único do a . 524). No Capí ulo VI, do Tí ulo II,
encon am-se ca ac e ís icas he dadas da adição gaiana,
con o me aqui analisadas. No que diz espei o à exclusi idade, o
au o de ém o di ei o exclusi o de ep oduzi a ob a li e á ia,
cien í ica ou a ís ica (a . 649). Quan o à pa imonialidade, os
di ei os do au o são classi icados como bens mó eis (a . 48, III),
ou seja, bens no sen ido ju ídico, do ados de alo econômico. Po
im, no ocan e à ima e ialidade, p essupos o da bipa ição gaiana
e a ibu o essencial da es inco po alis, Be iláqua si ua as
p oduções in elec uais como “coisas espi i uais”, que, ao lado das
coisas exis en es no mundo ísico, ambém ing essam na es e a do
di ei o pa imonial.
A ualmen e, o concei o de bem ju ídico, no campo do Di ei o Ci il
b asilei o, não se limi a às coisas co pó eas. Con o me o a igo 82
do igen e Código Ci il de 2002, são conside ados bens mó eis “os
susce í eis de mo imen o p óp io, ou de emoção po o ça alheia,
sem al e ação da subs ância ou da des inação econômico-social.”
Nesse con ex o, não apenas os obje os ma e iais, mas ambém os
en es inco pó eos podem se quali icados como bens, desde que
susce í eis de ap op iação e alo econômico.
48 “Mas es es ou os objec os, e igualmen e as cousas, e ão o nome de
bens. Em seu complexo os bens o mão o pa imonio das pessoas, e
cons i uem oda a iqueza nacional e pa icula .”. (FREITAS, ob. ci ., p. 223).
49 BEVILÁQUA, Cló is. Em De esa do P ojec o de Código Ci il
B azilei o. Rio de Janei o: Li a ia F ancisco Al es, 1906, p. 114-123.
270
MONIER, Raymond. “La da e appa i ion du dominium e la dis inc ion des
es en co po ales e inco po ales”. In S udi in ono e di Si o Solazzi,
Nápoles, Jo ene, 1948, p. 357-374.
NONFUNGIBLE CORPORATION. Qua e ly NFT Ma ke Repo : Q3
2022. [S.l.]: NonFungible Co po a ion, 2022. Disponí el em:
h ps://non ungible.com. Acesso em: 12 jun. 2025.
PUGLIESE, Gio anni. “Dalle es inco po ales del di i o omano ai beni im-
ma e iali di alcuni sis emi giu idici odie ni”. Ri is a T imes ale di
Di i o e P ocedu a Ci ile, ol. XXXVI, 1982, p. 1135-1198.
ROMÁN, Fe nando Bondía. “Los de echos sob e las o og a ías y sus limi-
aciones”. Anua io de De echo Ci il, Vol. 59, nº 3, p. 1065-1114.
Disponí el em: h ps://www.boe.es. Acesso em: 21 jun. 2025.
ROMÁN, Fe nando Bondía. “P opiedad in elec ual y uso social y acadé-
mico de la o og a ia”. In Jo nadas Imagen, Cul u a y Tecnología, 2.,
2003, Ge a e, Mad id. AMADOR CARRETERO, Pila ; ROBLEDANO
ARILLO, Jesús; RUIZ FRANCO, Rosa io (eds.). Mad id: Uni e sidad
Ca los III; Edi o ial A chi iana, 2004, p. 29-38. Disponí el em:
h ps://hdl.handle.ne /10016/9527. Acesso em: 21 jun. 2025.
SAMUELSON, Pamela. “AI au ho ship? Conside ing he ole o humans in
copy igh p o ec ion o ou pu s p oduced by a i icial in elligence”.
Communica ions o he ACM, New Yo k, . 63, n. 7, p. 20–22, jul. 2020.
Disponí el em: h ps://doi.o g/10.1145/3401718. Acesso em: 21 jun. 2025.
SAMUELSON, Pamela. “Alloca ing owne ship igh s in compu e -gene -
a ed wo ks”. Uni e si y o Pi sbu gh Law Re iew, . 47, p. 1185-1228,
1985. Disponí el em: h ps://www.law.be keley.edu. Acesso em: 20 jun.
2025.
SAMUELSON, Pamela. “Gene a i e AI mee s copy igh ”. Science, Wash-
ing on, DC, . 381, n. 6654, p. 158-161, 14 jul. 2023. DOI:
10.1126/science.adi0656. Acesso em: 21 jun. 2025.
SOUZA, Alessand o Vi o de; SOUZA, É ika Apa ecida de Mou a e;
CRUZ, Tânia C is ina da Sil a; ANDRADE, Ra ael Lei e Pin o de.
“Di ei o au o al e in eligência a i icial (IA): o pa adigma da
in elec ualidade humana e a pe sonalidade ju ídica ele ônica em
deba e”. Re is a Foco, . 17, n. 9, p. e6223, 2024. DOI:
10.54751/ e is a oco. 17n9-131. Disponí el em:
h ps://ojs. ocopublicacoes.com.b / oco/a icle/ iew/6223. Acesso
em: 22 jun. 2025.
US COPYRIGHT OFFICE. Za ya o he Dawn. 21 e . 2023. Disponí el em:
www.copy igh .go /docs/za ya-o - he-dawn.pd . Acesso em: 3 jun.
2025.
271
VALE, Amanda Ve íssimo Almeida. Di ei os au o ais na a e digi al e o
desa io da in eligência a i icial. 2023. Monog a ia (G aduação em
Di ei o) - Uni e sidade Fede al do Piauí, Te esina, 2023. O ien ado :
P o . D . É en Paulo Po í io de Sá Lima.
WINDSCHEID, Be na do. Di i o delle pande e, ad. de Ca lo Fadda e
Paolo Emilio Bensa, ol. 1, To ino: Unione Topog a ico-Edi ice
To inese, 1925.
ZANINI, Leona do Es e am de Assis. Di ei o de au o . São Paulo: Sa ai a,
2015.
