Notas sobre el concepto de singularidad tecnológica

NOTAS SOBRE O CONCEITO DE SINGULARIDADE TECNOLÓGICA ARTUR ALVES Faculdade de Ciências Sociais e Humanas - Uni e sidade No a de Lisboa1 [email p o ec ed] RECIBIDO: 09-07-2007 ACEPTADO: 29-01-2008 Resumo: A ideia de uma singula idade ecnológica coloca-nos pe an e a ques ão de sabe qual o luga do se humano num mundo onde coexis e com uma o ma de supe -in eligência. Embo a a nossa capacidade de p e e as consequências diminua com a acele ação da e olução ecnológica, es e cená io susci a a necessidade de uma e lexão no âmbi o da iloso ia da ecnologia, que cla i ique os p oblemas o mais e ma e iais le an ados. En e es es es ão os po enciais iscos exis enciais das mui as incógni as dos ac uais umos das ecnologias con e gen es. Pala as-cha e: singula idade, ecnologias con e gen es, de e minismo ecnológico, isco exis encial Abs ac : The idea o a echnological singula i y aises he p oblem o he place o human being in a wo ld whe e i would coexis wi h a o m o supe -in elligence. Al hough ou abili y o o esee any consequences diminishes wi h he accele a ion o echnological e olu ion, his scena io c ea es he need o e lec inside he philosophy o echnology o cla i ying some o mal and ma e ial p oblems. Among hese ones, we conside he e he po en ial exis en ial isks de i ed om ce ain aspec s o con e ging echnologies. Keywo ds: singula i y, con e ging echnologies, echnological de e minism, exis en ial isk In odução O ópico da acele ação ecnológica es á p esen e em odos os li os de di ulgação (e icção) cien í ica; az pa e da mís ica da ecnologia e, sob e udo, da ideia de p og esso. Cada g ande ino ação ecnológica az consigo anúncios de uma espécie de solução ge al pa a os p oblemas e espe anças da Humanidade. Quan o des e co po de apologias é me a publicidade? Se á possí el um ques ionamen o c í ico des as pe spec i as que as in eg e no âmbi o de uma iloso ia da ecnologia? A lei de Moo e, segundo a qual a complexidade de um ci cui o in eg ado duplica a cada 18 meses, azendo o p eço dec esce , pa ece apon a pa a um aumen o sus en á el do pode de compu ação, que di e sos ac o es 1 Es e abalho oi ealizado com o apoio da Bolsa de Dou o amen o n.º SFRH/BD/22292/2005 da Fundação pa a a Ciência e Tecnologia. A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70 ARTUR ALVES 58 podem ainda apoia pa a além dos limi es ac ualmen e desc i os pa a a cons ução dos elemen os elec ónicos – eme gência de no os pa adigmas na engenha ia elec ónica, de aco do com Ray Ku zweil, ou no as opções pa a as a qui ec u as ac uais. Po encialmen e, os compu ado es podem ul apassa o cé eb o humano em b e e. A e olução des es sis emas em ido no sen ido de c escen e e iciência e complexidade, o que os o na ão pe asi os quan o indispensá eis. É po isso que um sal o quali a i o aqui é es a égico pa a o u u o das sociedades. O i mo de c escimen o da ino ação, po ou o lado, em apenas de con inua a e olui da mesma o ma, a é se desen ol ida uma supe máquina capaz de acele a ainda mais o i mo de ino ação ( al ez mesmo c iando uma máquina ainda mais in eligen e, aumen ando d ama icamen e a quan idade de in eligência disponí el na Te a), alcançando o pon o de eedback explosi o em que a dinâmica e complexidade do conhecimen o e da ecnologia ica ia o a da es e a humana. Esse pon o ulc al e imp e isí el é a Singula idade. O que é a Singula idade? As p e isões pa a a oco ência de uma singula idade ecnológica do ipo compu acional – esse pon o em que a ecnologia deixa de es a sob o nosso con olo – apon am pa a 2030 ou 2050 (Vinge). Mas há di e sos pon os de is a, que chamam a nossa a enção pa a aspec os no á eis da e lexão ac ual ace ca do impac o dessa e en ualidade, e á ios caminhos pa a a alcança (so wa e com capacidade pa a ap ende , en idades a i iciais su gidas po e olução de sis emas compu acionais, in eg ação do sis ema ne oso humano com ha dwa e, usão de se es humanos e compu ado es a a és de in e aces ou edes compu acionais au o-o ganizadas). Não nos limi emos ao amo compu acional. As ciências biológicas ambém pode ão coloca ao nosso dispo meios pa a amplia as capacidades humanas: manipulação gené ica, con olo de ca ac e ís icas an es da ecundação, cul i o de ó gãos in i o, são apenas algumas das possibilidades. O aspec o undamen al da Singula idade é a al e ação da ecologia ecnológica: o o e i mo de ino ação ans o ma ia con inuamen e o mundo e o p óp io se humano, o nando inú il (ou ex emamen e di ícil) o es o ço de p e isão. O su gimen o de uma supe -in eligência o na ia o mundo e a ecnologia in ini amen e mais complexos. O mecanismo de eedback en e uma supe -in eligência e os ecu sos ecnocien í icos que ela pudesse p oduzi se ia ão impa á el quan o o ac ual luxo de no idades. E se ia mui o mais ápido. Quando nos c uzamos com A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70 NOTAS SOBRE O CONCEITO DE SINGULARIDADE 59 discu sos en usiás icos ace ca da o ma como a nano ecnologia, ou a bio ecnologia, ão muda o nosso mundo como co nucópias de ecu sos e p odu os, es amos apenas a assis i a exe cícios de imaginação, que en am p e e o que é possí el aze com as ac uais ideias em desen ol imen o. A a i ude mais mode ada ê essa singula idade como um dos mui os iscos p e isí eis pa a o u u o e, sem os desca a , p ocu a soluções an ecipadas. É o caso de Nick Bos om, Raymond Ku zweil, Elieze Yudkowsky e Hans Mo a ec. O mo imen o denominado “singula i a ianismo”2, cujos p incípios são cla i icados po Yudkowsky em «The Singula i a ian P inciples»3, pos ula que a c iação de uma in eligência que supe e a humana é possí el e desejá el; mais ainda, de ende que esse ipo de supe -in eligência pode ia possui qualidades mo ais, sendo mais cons an e na sua a i ude mo al do que o se humano. Tudo depende ia da p og amação: «I seems ha he bes way o ensu e ha a supe in elligence will ha e a bene icial impac on he wo ld is o endow i wi h philan h opic alues»4. Na cons ução de uma al en idade, o elemen o ilan ópico se ia absolu amen e decisi o, sob pena de da azo a uma dis opia semelhan e à de Ha lan Ellison em «I Ha e no Mou h and I Mus Sc eam». Uma IA bene olen e, ou “singula idade posi i a” (em oposição à singula idade nega i a5) se ia, en ão, a solução pa a odos os p oblemas da Humanidade: mui o mais in eligen e, bené ola e acional do que um se humano, es a ia em posição de “ oma con a” das ac i idades humanas e ab i a po a pa a a e a pós-humana. Po de inição, o mundo após a oco ência da singula idade é imp e isí el, mas as possibilidades de desen ol imen o ecnológico se iam in ini as. O e mo usado po Yudkowsky é «apo eose» (os des aques são nossos): The Singula i y holds ou he possibili y o winning he G and P ize, he ue U opia, he bes -o -all-possible-wo lds - no jus eedom om pain and s ess o a s e ile ound o endless physical pleasu es, bu he p ospec o endless g ow h o e e y human being - g ow h in mind, in in elligence, in s eng h o pe sonali y; li e wi hou bound, wi hou end; expe iencing e e y hing we' e d eamed o expe iencing, becoming e e y hing we' e e e d eamed o being; no o a billion yea s, o en- o- he-billion h yea s, bu o e e ... o pe haps emba king oge he on some s ill g ea e ad en u e o which we canno e en concei e. Tha 's he Apo heosis.6 2 O . “Singula i a ianism”. 3 C . YUDKOWSKY, 2001b. Os núme os de página de abalhos online ci ados e e em-se a e sões imp essas e podem es a sujei os a a iações. 4 In BOSTROM, 2003a: 5. 5 Pa a a dis inção, . BRIN, 2006: 10-11. 6 In YUDKOWSKY, 2001b: 3-4. A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70 ARTUR ALVES 60 Di icilmen e encon a emos maio en usias a da singula idade do que Yudkowsky. Toda ia, enquan o pa e do mo imen o ans-humanis a, o singula i a ianismo enquad a-se bem na en a i a de de ini as no as c iações do Homem como um passo em en e na e olução, que deixa ia pa a ás o se humano pu amen e we wa e que conhecemos, pa a o subs i ui po uma c ia u a in eg ada num mundo de inido pela ecnologia que c iou, em que se ia possí el uma comunicação uni e sal ins an ânea en e odas as en idades in eligen es – a pa icipação numa supe -en idade de pu o conhecimen o. A noção adica na eligião mís ica e ex á ica de Teilha d de Cha din, mas é pu amen e secula , no sen ido em que busca a singula idade posi i a po meios écnicos, ma e iais. A g ande espe ança, po assim dize , é coloca ao se humano a possibilidade de se anscende in elec ual, ísica e psicologicamen e po meios a i iciais, ala gando o espec o de modos de exis ência disponí eis em di ecção ao p op iamen e pós- humano7. A ecnologia au onomiza-se de uma o ma comple a, e passa a acede a um amo e olu i o dis in o, c iando a ince eza sob e a sua qualidade posi i a ou nega i a – a singula idade se ia, numa de inição mínima, o momen o a pa i do qual deixa ia de se possí el aze p e isões sob e o desen ol imen o u u o da sociedade. Segundo Vinge, al es ádio oco e ia após uma c escen e in eg ação da in eligência humana e a i icial, de modo a que deixasse de aze sen ido pensa o humano sem o compu ado – ou ou o ipo de ecnologia undamen al –, a é alcança o pon o em que su ja uma en idade capaz de ul apassa as capacidades cogni i as da dupla que o p ecedeu. Um supe compu ado - ou “supe - ede” -, ou en idade ans-humana des e ipo se ia necessa iamen e um líde pa a os se es humanos, já que nos suplan a ia e e i a ia do palco p incipal da his ó ia da e olução. A dú ida eside na sua in enção de lide a e aze bene icência pa a com o seu an epassado e olucioná io. T ans-humanismo sem a ões: isco exis encial Do pon o de is a da cibe né ica, a pe da de con olo implíci a na singula idade é um aná ema; assim, a posição de Yudkowsky, de aco do com a qual a simbiose en e Homem e máquina a ingi ia um pon o pe ei o, es á mais de aco do com a nossa p óp ia pe cepção da e olução ecnológica, in eg ando-a com uma necessá ia pe spec i a an opológica. Pa a a cibe né ica, o Cé eb o Global é uma 7 C .. BOSTROM, 2003b: 38-45. A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70 NOTAS SOBRE O CONCEITO DE SINGULARIDADE 61 al e na i a mais plausí el, esul ando da in eg ação de sis emas cada ez mais so is icados e mais ú eis pa a o se humano. Embo a não au ónomos, ais sis emas pode iam e p op iedades au o-poié icas não negligenciá eis, sendo sem dú ida ajudas p eciosas pa a lida com a complexidade, mas sendo, elas p óp ias, ex emamen e complexas. En e as al e na i as de uma imp e isibilidade “bené ica” e as dis opias mais neg as, con udo, é possí el coloca ques ões sob e os iscos colocados po ecnologias ão a ançadas. Desde logo, podemos usa a seguin e de inição de isco exis encial, de Nick Bos om: One whe e an ad e se ou come would ei he annihila e Ea h-o igina ing in elligen li e o pe manen ly and d as ically cu ail i s po en ial. An exis en ial isk is one whe e humankind as a whole is impe illed. Exis en ial disas e s ha e majo ad e se consequences o he cou se o human ci iliza ion o all ime o come.8 A ideia de isco, e sob e udo de isco exis encial, es á elacionada com a necessidade de decisão (polí ica, económica, ecnológica e é ica) em ques ões que en ol em um g ande g au de ince eza e a possibilidade de des uição da ida humana. Assim, um e en o como a Singula idade pode ia ce amen e cabe nes a ca ego ia, uma ez que, po de inição, em esul ados ince os - ou melho , c ia uma dinâmica des abilizado a imp e isí el – e possibilidades de e olução nega i a. Quando as opções em abe o en ol em consequências nega i as demasiado o es e uma decisão é ine i á el, é undamen al p ese a a in eg idade da espécie, ainda que limi ando as suas possibilidade desconhecidas de e olução. É necessá io, po ém, dis ingui os iscos exis enciais dos iscos globais, como o aquecimen o global (mode ado), a gue a con encional ou epidemias mode adamen e con agiosas; nes e caso, embo a a p essão seja su icien emen e o e pa a exigi uma espos a global, não exis e um isco ão o e. Embo a seja ób io que esse ipo de p oblema exige soluções ab angen es, como no caso do p oblema co en e do aquecimen o global, não é de espe a que seja su icien emen e ala gado pa a coloca em isco a sob e i ência da espécie. Uma supe -in eligência, da o ma p e is a no ex o clássico de Vinge, é um isco exis encial. Não é, con udo, o p imei o isco exis encial de na u eza ecnológica. É ób io que, po exemplo, uma gue a nuclea e ia o po encial de al e a d as icamen e o clima da Te a e, assim, coloca em isco a ida humana, al como pandemias causadas po bac é ias e í us a i iciais (engenha ia 8 In BOSTROM:2001:2-3. A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70 ARTUR ALVES 62 gené ica). A dimensão ecnológica des e p oblema ilus a cla amen e a necessidade de uma e lexão é ica e global ace ca das di iculdades pos as pelo equilíb io dos iscos. O desa io o na-se mais p emen e com o su gimen o de ecnologias são ão ab angen es quan o imp e isí eis. Mesmo que a gue a nuclea não osse globalmen e le al, sabemos que essa é uma o e possibilidade, e não se ia sensa o a isca . De modo semelhan e, a Singula idade, po de inição on e da maio ince eza, coloca o p oblema de sabe se alguma das suas di e sas o mas possí eis é acei á el. Um dos p oblemas na análise dos iscos ecnológicos é o ac o do desen ol imen o ecnocien í ico não se passí el de con olo di ec o. Ainda que ossem ins au adas mo a ó ias in e nacionais pa a limi a a p oli e ação ou de ini limi es é icos no me cado – digamos, po exemplo, às nano ecnologias, de ido ao amoso isco associado ao g ey goo -, não podemos po de pa e a hipó ese de alguém, em algum país, queb a as eg as numa dada al u a. A imposição de limi es é, con udo, uma das es a égias que podem se usadas pa a eduzi a in ensidade dos iscos exis enciais, sob os auspícios de en idades polí icas nacionais ou sup a-nacionais. P oblemá ica é ambém a escala de medida do isco. Embo a seja possí el uma análise quan i a i a, po exemplo, a pa i da le alidade do enómeno, exis em dimensões quali a i as de de inição mui o mais complexa, baseada nos alo es mais impo an es nas sociedades democ á icas. «Philosophe s and o he humanis ic c i ics (...) a gue ha echnology o en h ea ens o he goods, such as ci il libe ies, pe sonal au onomy, ou igh s such as due p ocess»9. Es e ipo de a aliação em de e em con a iscos que não são mensu á eis, e cus os a p azo que não podem se p e is os com acilidade, sob e udo quando os emp eendimen os são de ex ema complexidade e com p azos de impac o mui o dila ados. Embo a exis am, ac ualmen e, p ocessos de decisão pa a a ges ão e compensação de iscos, é cla o que a dimensão da imp e isibilidade dos iscos associados, po exemplo, à eme gência de uma supe -in eligência a i icial, não podem se compensados com soluções de cu o p azo ou sec o iais. K is in Sch ade -F eche e assinala que, do pon o de is a es i amen e é ico, a compensação mone á ia nos salá ios de abalhado es não é su icien e pa a anula os iscos implicados numa de e minada ecnologia com e ei os ge almen e bené icos. Assim, o p óp io consen imen o implíci o nesse ipo de aco do é insu icien e, ace à imp e isibilidade; o consen imen o in o mado de e ia, en ão, 9 In SCHRADER-FRECHETTE, K is in, 2005:188 A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70 NOTAS SOBRE O CONCEITO DE SINGULARIDADE 63 se subs i uído pela eg a “maximin”, que nos aconselha a e i a a opção com pio es consequências, ainda que pouco p o á el10. Nick Bos om ac escen a a es a uma eg a ú il pa a aze ace aos iscos exis enciais p op iamen e di os, que designa como “maxipok”: «Maximize he p obabili y o an okay ou come, whe e an “okay ou come” is any ou come ha a oids exis en ial disas e »11. Dada a complexidade da escolha e os p azos dila ados, con udo, es e p incípio de segu ança su icien e deixa-nos exac amen e no mesmo azio polí ico: ace a um isco exis encial de o dem ecnológica, al como o que nos é colocado pela Singula idade, o p azo de decisão é ela i amen e limi ado em elação ao p azo de pe cepção das consequências. I.e., a decisão de oma p o idências limi ado as em de se ei a mui o an es das consequências começa em a se pe cep í eis, o que signi ica: a) não há luga pa a uma decisão su icien emen e in o mada; e b) pode i a se necessá io p escindi dos possí eis bene ícios ac uais e/ou u u os dos p ocessos ecnológicos, a a o da p óp ia sob e i ência u u a da espécie. Os empos exigem, en ão, uma é ica do comp omisso a ní el polí ico e uma mo al da solida iedade do géne o humano pa a o p esen e e o u u o. Os aco dos sup anacionais necessá ios êm de se incula i os, independen emen e de endências polí icas, quando se des ina em a mi iga um isco exis encial. Singula idade e a a e a da Filoso ia da Tecnologia Aquilo que abo damos nes e ex o não é um enómeno exclusi amen e supe - ecnológico, ou um cená io da mais exube an e icção cien í ica; a a-se de um p oblema elacionado com a p óp ia o ganização das sociedades humanas, ques ão su icien emen e u gen e e complexa pa a nos aze equaciona mu ações na es u u a de con olo, se assim lhe podemos chama . Não é um p oblema me amen e abs ac o, mas uma impo an e ques ão dos nossos dias, complexa e ascinan e. Vi emos numa e a ecnológica de e olução con ínua e cla a. Como e e e Hans Jonas12, aquilo que hoje chamamos Re olução Ag ícola e Re olução Indus ial é um nome ú il pa a designa um conjun o de acon ecimen os e p ocessos espaçados ao longo de á ias décadas, du an e as quais, al como acon ecia no mundo p é-mode no, as ino ações su gidas a um i mo len o se 10 C . idem, a pa i de John Rawls. 11 In BOSTROM, op. Ci , p. 21. Os des aques são do au o ci ado. 12 C . JONAS, Hans, 2005. A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70 ARTUR ALVES 64 inse iam num equilíb io p é io. Toda ia, a mu ação dos p óp ios mé odos da ciência e da in enção le ou a uma acumulação de ino ações e uma al e ação o mal dos an igos equilíb ios. Desde en ão, a “p essão pa a a conco ência”, a e iciência e a elocidade ope am sob e as dinâmicas ecnológicas e cien í icas e dão o igem a uma ins abilidade con ínua, equi alen e, de ac o, a uma e olução ecnológica pe manen e. Es a ins abilidade, po seu lado, ope a sob e a sociedade como um odo, mo men e numa economia global, e com o i mo de ino ação ecnológica em p og essi o aumen o du an e os úl imos 200 anos, as mudanças so idas pelo quo idiano do cidadão médio somam-se a é o mundo se o na p a icamen e i econhecí el. A Singula idade coloca jus amen e o p oblema de um c escimen o exponencial da acele ação con ínua que o mundo já conhece. Se a a e a de uma iloso ia da ecnologia é comp eende aquilo em que se o na o Homem na sua coexis ência com a ecnologia, is o é, comp eende os usos da ecnologia e e ei os mú uos, como de ini en ão o in e esse do es udo da Singula idade? Pa a além do in e esse an opológico, da cu iosidade undamen al sob e o u u o e de uma elação in e essada com o p esen e, que con ibu os podemos ex ai do mo imen o “singula i a iano”? Em p imei o luga , emos uma a e a de o dem sociológica: como é ap esen ada a Singula idade? Quais são as suas o igens? Onde apa ece e em que e mos é p opos o? A desc ição do discu so da Singula idade é um dos pon os cen ais da comp eensão do enómeno. De seguida - e aqui começa a pa e do es udo mais ele an e pa a nós -, é necessá io comp eende como es e mo imen o pode se in eg ado numa adição, ou na his ó ia, pela p esença de elemen os amilia es. Es a a e a in eg a ia a Singula idade num ipo de ans-humanismo de e minis a, posi i is a e p og essis a, um mo imen o ecno-u ópico com aízes p o undas no ideá io p og essis a do Iluminismo. A in eg ação na adição é ei a desde o modo como a ideia de Singula idade su ge no espaço público - a a és da icção cien í ica e de ensaios de esc i o es do mesmo géne o li e á io - e começa a adqui i no o iedade en e cien is as e di ulgado es à medida que a e olução ecnológica “encaixa” nos cená ios p opos os. Pa a além da icção cien í ica e mani es os polí icos, emos ensaios, es udos de a aliação de impac os de no as ecnologias, ins i u os de pesquisa e emp esas ac i amen e in e essadas na p ossecução de um p og ama de inido. No luga de concei os como o p og esso, libe dade ou igualdade, es á a lei de Moo e, a e olução e a supe ação do humano. Num e cei o momen o, uma ez anco ado discu si a e his o icamen e, es a-nos a complexa a e a de comp eende a isão de sociedade e de mundo A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70 NOTAS SOBRE O CONCEITO DE SINGULARIDADE 65 inco po adas na es u u a concep ual da Singula idade. O que p opõe de no o pa a a elação do se humano com a ecnologia? Já imos que o ans- humanismo em ge al, e a Singula idade em pa icula , se empenha em demons a o alo das ecnologias com g ande op imismo, endendo a igno a as ques ões mais inquie an es dos iscos en ol idos, o que nos pode á le a a jus i ica uma ese a cép ica. Se é um ac o que o nosso mundo ecnológico começa a exigi soluções al amen e complexas pa a p oblemas com iscos de longo p azo, não podemos con undi essa necessidade com o a li i o g i o pela e iciência e compe i i idade. A con ínua p essão económica sob e o indi íduo mode no o ça-o a se mais p odu i o, mais e icien e, mais in o mado e lexí el, à imagem do sis ema global de ocas em que odos es ão in eg ados e em compe ição. To na o Homem mais compe i i o implica a, a é algumas décadas, a cons ução de disposi i os de mediação en e o se humano e o mundo, econs uindo o mundo humano pa a acomoda os seus elemen os humanos e a i iciais. Toda ia, são ago a as p óp ias e amen as que são is as como desa io ao se humano, à medida que ão sendo ape eiçoadas e se e elam mais o es, mais esis en es, ápidas e adap á eis a qualque ambien e, o nando possí el imagina ecnologias que o nem desnecessá ias as capacidades humanas - conduzindo a uma obsolescência pós-humana. Pa a os ans-humanis as, es es desa ios às capacidades ísicas e cogni i as do se humano êm de se espondidas com a ajuda das mesmas ciência e da ecnologia, enquan o al é possí el. Es a u gência agonís ica é o e lexo do su gimen o de no os umos cien í icos mui o p omisso es, nomeadamen e pela con luência das nano-bio-in o-cogno- ecnologias, que p ome em uma no a uni icação da ciência. Es a con luência é um dos objec os das g andes espe anças da Singula idade.13 A ul apassagem da c ise de obsolescência é, pa a os “singula i a ianos”, insepa á el de c i é ios conco enciais. Numa e a de máquinas pode osas e in eligen es, o co po humano é um empecilho às ele adas aspi ações do génio humano: a colonização do espaço, a sal ação do plane a, o uso in ensi o da ene gia sola , o im das doenças, a imo alidade, o im do abalho e a ida g a ui a. O que aze ao co po, esse obs áculo pe manen e? Pa a o adap a às no as necessidades e ao ambien e p o undamen e al e ado em elação às condições “na u ais” em que e oluiu e pa a as quais as suas ca ac e ís icas são adequadas, se ia p eciso acele a a sua e olução. A oco ência da Singula idade, 13 C . BRODERICK, 2002: 11-56. A gumen os de Razón Técnica, nº 11, 2008, pp. 57-70