Comando de um Servomecanismo usando Visão Computacional

4 au omação | con olo | ins umen ação ARTIGO TÉCNICO COMANDO DE UM SERVOMECANISMOCOMANDO DE UM SERVOMECANISMO COMANDO DE UM SERVOMECANISMOCOMANDO DE UM SERVOMECANISMO COMANDO DE UM SERVOMECANISMO USANDO VISÃO COMPUTACIONALUSANDO VISÃO COMPUTACIONAL USANDO VISÃO COMPUTACIONALUSANDO VISÃO COMPUTACIONAL USANDO VISÃO COMPUTACIONAL Rica do Fe ei a1,3, João Manuel R. S. Ta a es2,3, F ancisco F ei as1,3 { ica do_p2 @yahoo.com, a a es@ e.up.p , [email p o ec ed].p } 1UISPA – Unid. de In eg ação de Sis emas e P ocessos Au oma izados; IDMEC – Ins i u o de Eng. Mecânica - Pólo FEUP; 2LOME – Labo a ó io de Óp ica e Mecânica Expe imen al; INEGI – Ins i u o de Eng. Mecânica e Ges ão Indus ial; 3DEMEGI – Depa amen o de Eng. Mecânica e Ges ão Indus ial; FEUP – Faculdade de Eng. da Uni . do Po o; Rua D . Robe o F ias, s/n 4200-465 PORTO PORTUGAL RESUMO: Nes e a igo é ap esen ada uma me odologia pa a con ola um se omecanismo usando isão compu acional. As imagens de con olo, baseadas na linguagem ges ual, são ob idas po in e médio de uma webcam gené ica e p ocessadas p a icamen e em empo eal. A o dem de comando em causa é econhecida po di e ença dos his og amas de o ien ação da imagem associada e das imagens de o dens p ees abelecidas. Es as imagens de o dens são gua dadas du an e o p ocesso de ap endizagem do sis ema de con olo. PALAVRAS CHAVE: Visão Compu acional, Momen os, His og ama de O ien ação, Se omecanismo, Con olo. ABSTRACT In his pape a me hodology o con ol a se omechanism using compu a ional ision is p esen ed. The con ol images, based in hand language, a e acqui ed by a gene ic webcam and p ocessed in quasi eal ime. The command o de in cause is ecognized by he di e ence o he o ien a ion his og ams o he associa ed and p ese o de s images. These p ese o de s images a e acqui ed in he lea ning p ocess o he con ol sys em. KEY-WORDS: Compu e Vision, Momen s, O ien a ion his og ams, Se omechanism, Con ol. I. INTRODUÇÃO O objec i o p incipal do p esen e abalho, a des- c e e esumidamen e nes e a igo, oi o da imple- men ação de um sis ema de con olo de um se o- mecanismo, do ado de dois eixos linea es, baseado em isão compu acional. Pa a al, op ou-se pela u ilização de uma webcam gené ica pa a a aquisição das imagens, baseadas na linguagem ges ual, e pela seguin e iloso ia de con olo: o sis ema de e ia, numa p imei a ase, a de ap endizagem, associa o dens de con olo a de e minadas ima- gens e, na consequen e ase de abalho (ou de execução), econhece a o dem em causa, po compa ação da imagem espec i a com as ima- gens p e iamen e u ilizadas na ap endizagem. Na p imei a abo dagem pa a o sis ema de con olo, op ou-se po iden i ica as imagens de con olo a a és do cálculo dos momen os, [1], associados ao objec o em causa. Es a abo dagem, apesa de simples, não pe mi ia dis ingui um núme o ele ado de imagens de o dem. Assim, passamos a u iliza uma no a abo dagem, [2 - 5], baseada em his og amas de o ien ação. Es a, apesa de mais complexa que an e io , em ambém uma implemen ação bas an e simples, execução pouco exigen e em e mos compu a- cionais (condição necessá ia pa a o p ocessamen o se ápido) e pe mi e conside a um núme o azoá el de imagens de o dem. Es as duas abo - dagens se ão esumidamen e desc i as nes e a igo. Es e a igo es á di ido da seguin e o ma: na secção seguin e é suma iamen e desc i o o se omecanismo u ilizado nes e abalho; na e cei a secção, é ap esen ada a in e ace desen ol ida pa a con olo do se omecanismo po in e médio de um compu ado ; seguidamen e são desc i as as duas abo dagens conside adas pa a o con olo usando isão compu acional: a baseada em momen os e a baseada em his og amas de o ien ação; e po úl imo ap esen a-se um conjun o de imagens de o dem que unciona sa is a o iamen e; na qua a e úl ima secção, são ap esen adas algumas conclusões e indicadas pe spec i as de abalhos u u os. II. DESCRIÇÃO DO SERVOMECANISMO O se omecanismo u ilizado nes e abalho, Figu a 1, é cons i uído po uma pa e es u u al base, ealizada em pe il BOSCH , e po uma pa e mó el, a mesa. Es e elemen o mó el é manipulado po dois cilind os hid áulicos, um e ical de 600 mm e um ho izon al de 350 mm. Figu e 1 Se omecanismo u ilizado nes e abalho. 5 54.2003 obó ica ARTIGO TÉCNICO COMANDO DE UM SERVOMECANISMO USANDO VISÃO COMPUTACIONAL O se omecanismo es á do ado de qua o ins de cu so cuja unção é a de e i ica as posições limi e de cada ac uado . Pa a aze a in e ace en e a placa do compu ado de con olo e o sis ema de comando eléc ico oi u ilizada a placa AX757, que possui oi o moni o izações de sinais digi ais e oi o elés. No p esen e abalho, as en adas de sinal digi al o am u ilizadas pa a moni o ização, no com- pu ado , dos qua o ins de cu so já e e idos e dois dos con ac os in e so es no comando pelo compu ado do se omecanismo. A u ilização da placa AX757 suge e o en io e ecepção de sinais eléc icos po in e médio de um compu ado , do mo o e da ál ula de ca ga da cen al hid áulica, e e indo os p ocedimen os conside ados nes e abalho. A ca a u ilizada pa a en ia o comando a pa i do compu ado oi a AX5411, da qual só o am u ilizadas as suas po encialidades digi ais is o não se em necessá ias a iações de elo- cidade mas unicamen e a mo imen ação nos sen- idos impos os. Con o me é possí el e i ica na Figu a 1, o meca- nismo es a a já do ado de um elemen o de in e ace com o u ilizado , que pe mi e o comando manual do mesmo. Es e elemen o de in e ace é do ado de qua o senso es, esponsá eis pela de ecção das di ecções e das in ensidades das o ças impos as, azendo com que o sis ema de con olo p e iamen e desen ol ido o copie a a és da mo imen ação adequada dos ac ua- do es. O objec i o p incipal des e abalho e a o da adição a es e sis ema de con olo de um ou o usando isão compu acional. III. CONTROLO DO SERVOMECANISMO A p imei a a e a desen ol ida du an e es e abalho consis iu no desen ol imen o de uma in e ace amigá el que pe mi isse odo o con olo e moni o ização do se omecanismo po in e médio de um compu ado . Essa in e ace oi desen ol ida numa pla a o ma Mic oso Windows [6], u ilizando o ambien e de p og a- mação Mic oso Visual C++ [7], e usando como base de desen ol imen o um sis ema gené ico de p ocessamen o e análise de imagem p e iamen e exis en e [8, 9]. Na Figu a 2 es á ep esen ada a in e ace desen ol ida pa a con olo do se omecanismo a a és de um compu ado . Como se pode obse a na e e ida igu a, a a és des a é possí el e i ica os es ados de cada im de cu so, liga o mo o da cen al hid áulica, ac ua a ál ula de ca ga da mesma, mo imen a cada ac uado em ambos os sen idos, segundo dois ní eis de elocidade, e ealiza uma pa agem de eme gência. Figu e 2 In e ace desen ol ida pa a o con olo do se omecanismo po in e médio de um compu ado . Após o desen ol imen o des a in e ace de con olo, a a e a seguin e oi a do desen ol imen o do sis ema de con olo baseado em isão compu acional. Essa a e a es á desc i a nas subsecções seguin es. 3.1 Con olo baseado em momen os No domínio da análise de imagem, é mui o comum a u ilização dos momen os associados aos objec os ep esen ados, [1], pa a os ca ac e iza (localização, amanho e o ien ação) e assim ealiza o seu econhecimen o. Como o p oblema em causa e a essencialmen e um p oblema de econhecimen o de objec os, e ambém de ido à g ande u ilização des e mé odo no domínio da isão compu acional, oi es e o u ilizado na p imei a abo dagem pa a a ob enção do sis ema de con olo u ilizando isão compu acional. A o mulação do mé odo dos momen os é, esumidamen e, a seguin e: A á ea A (momen o de o dem ze o), as coo denadas do cen óide ( x ,y ) (momen os de o dem um) e a o ien ação do eixo de alongamen o θ (eixo do segundo momen o), do objec o p esen e numa imagem biná ia de dimensões ( n, m ), são dadas po : – – onde a, b e c (os momen os de segunda o dem) são: com igual a 1 (um), se o pixel pe ence ao objec o, ou a 0 (ze o), caso con á io. Na Figu a 3 es ão ep esen ados dois exemplos da ob enção das p op iedades geomé icas de objec os, com o ien ações dis in as, pela implemen ação ealizada. Como se pode e i ica na e e ida igu a, os esul ados ob idos são sa is a ó ios. No en an o, apesa da sua simplicidade, es e mé odo ap esen a as seguin es des an agens: o objec o de con olo de e es a ep esen ado po uma única egião com o ma, p e e encialmen e ec angula , a imagem em de se biná ia e o núme o de o dens de con olo possí eis em que se eduzido, pois a o ien ação ob ida es á semp e en e 0 e 180º. Pa a en a ul apassa es as des an agens, oi ealizada a implemen ação da me odologia, baseada em his og amas de o ien ação, desc i a na subsecção seguin e. Figu e 3 De e minação da á ea, das coo denadas do cen óide e da o ien ação de dois objec os a a és do mé odo dos momen os. 6 au omação | con olo | ins umen ação 3.2 Con olo baseado em his og amas de o ien ação Pa a ul apassa os p oblemas associados ao mé odo dos momen os, an e io men e ap esen ado, oi implemen ada, pa a o sis ema de con olo usando isão compu acional, uma me odologia baseada em his og amas de o ien ação [2-5]. Basicamen e, essa me odologia consis e em calcula o his og ama de o ien ação de cada imagem adqui ida e compa á-lo com os his og amas gua dados na ase de ap endizagem, de e minados a pa i das imagens co esponden es às o dens desejadas, Figu a 4. Figu e 4 Esquema do uncionamen o do con olo do se omecanismo po in e médio do mé odo de his og amas de o ien ação. Assim, pa a cada imagem de con olo de 256 ní eis de cinzen o, é calculado o seu his og ama e gua dado num ec o cons i uído, na implemen ação ealizada, po 16 componen es. Es e ec o é pos e io men e sua izado de o ma a uni o miza as suas componen es. A compa ação da imagem em causa, com as imagens conside adas na ase de ap endizagem, é conseguida pela di e ença en e os ec o es dos his og amas. A o ien ação de um pixel , de coo denadas ( i, j ), é calculada do seguin e modo: com igual ao ní el de cinzen o do pixel em causa (en e 0 e 255). No cálculo dos his og amas de o ien ação, só são conside ados os pixels que enham, po um lado, um ní el de in ensidade supe io a um dado alo (desp ezam-se assim pixels conside ados como uído), e po ou o, um alo de con as e, , supe io a um dado limia (desp ezam-se des e modo pixels em á eas sem g ande signi icado). Nas Figu as 5 e 6 é possí el obse a -se as in e aces da implemen ação, ealizada pa a o sis ema de con olo, nas suas ases de ap endizagem e de abalho. As o dens de con olo conside adas o am as seguin es: pa agem; mo imen ação pa a a esque da, pa a a di ei a, pa a cima, pa a baixo; e al e na a elocidade de mo imen ação ( ápida/len a). Figu e 5 In e ace do sis ema de con olo do se omecanismo pa a a ase de ap endizagem. À imagem isí el se á associada a uma de e minada o dem de comando clicando-se no bo ão espec i o. Figu e 6 In e ace do sis ema de con olo do se omecanismo pa a a ase de abalho (ou de execução). Na janela à esque da es á isí el a imagem que a webcam es á a adqui i , na da di ei a a imagem que oi p ocessada em modo manual. Na implemen ação ealizada, o sis ema, quando em uncionamen o em modo au omá ico, es á cons an emen e a adqui i imagens a pa i da webcam , e, ciclicamen e, em in e alos de empo especi icados, az a in e p e ação da imagem ac i a e execu a a o dem associada, Figu a 7. Quando há uma g ande di e ença en e o ec o da imagem em causa, e os ec o es das imagens conside adas na ase de ap endizagem, o sis ema ejei a a o dem. Os qua o ins de cu so do se omecanismo são ambém moni o izados ciclicamen e, segundo in e alos de empo especi- icados pelo u ilizado , e inibem ou não o mo i- men o no sen ido espec i o. Figu e 7 Funcionamen o em modo au omá ico do sis ema de con olo do se omecanismo baseado em isão compu acional. Na Figu a 8 é possí el e i ica um conjun o de seis imagens de o dem, co esponden e ao conside ado na Figu a 7, que unciona sa is a o- iamen e no con olo do se omecanismo u ilizado. a) b) c) d) e) ) a) Mo imen o pa a a esque da. b) Mo imen o pa a a di ei a. c) Mudança de elocidade. d) Mo imen o pa a baixo. e) Mo imen o pa a cima. ) Pa agem. Figu e 8 Exemplo de um conjun o de imagens de o dem que unciona sa is a o iamen e no con olo do se ome- canismo u ilizado. 7 54.2003 obó ica ARTIGO TÉCNICO COMANDO DE UM SERVOMECANISMO USANDO VISÃO COMPUTACIONAL IV. CONCLUSÕES E PERSPECTIVAS DE TRABALHO FUTURO Nes e a igo oi ap esen ado um sis ema de con olo, de um se omecanismo, baseado em isão compu acional. Assim, oi desc i o o se omecanismo conside ado, ap esen ada uma in e ace pa a o con olo do mesmo po in e médio de um compu ado e duas abo dagens u ilizadas pa a o seu con olo, baseado em isão compu acional. A p imei a, baseada nos momen os associados ao objec o de comando, é de implemen ação simples e ápida, mas ap esen a algumas des an agens, nomeadamen e o núme o eduzido de possí eis o dens de comando. A segunda, baseada em his og amas de o ien ação, ul apassou sa is a o iamen e es a des an agem. Na Tabela 1 es ão ap esen adas algumas p op iedades das duas abo dagens implemen adas pa a o con olo baseado em isão compu acional. Tabela 1 – P op iedades das duas abo dagens, uma baseada em momen os e ou a em his og amas de o ien ação, u ilizadas pa a o con olo baseado em isão compu acional. Momen os: His og amas de o ien ação: Comum no domínio da isão compu acional Simplicidade (mais complexo que o an e io ); pa a desc e e e compa a objec os; Cus o compu acional eduzido (mais pesado Simplicidade; que o an e io ); Cus o compu acional eduzido; U ilização de oda a imagem; Única egião com o ma Imagem em ní eis de cinzen o; (p e e encialmen e ec angula ); Maio núme o de o dens de con olo possí eis; Imagem biná ia; Me odologia ajus á el ao ambien e de Núme o de o dens de con olo possí eis u ilização ( á ios pa âme os de con olo). eduzido. Ao longo dos á ios ensaios expe imen ais desen ol idos, conclui-se que a abo dagem p opos a nes e abalho, baseada em his og amas de o ien ação, pa a con olo de um se omecanismo usando isão compu acional, ap esen a duas g andes an agens: simplicidade de implemen ação e apidez de execução. A e e ida abo dagem unciona de o ma sa is a ó ia no con olo do se omecanismo u ilizado e pode á se conside ada em ou os ipos de in e ace amigá eis: jogos, aplicações compu o izadas, elec odomés icos, sis emas obó icos, con olos emo os, e c. No en an o, ambém oi possí el conclui que a abo dagem baseada em his og amas de o ien ação ap esen a ainda algumas limi ações. Como a câma a u ilizada não compensa as a iações de iluminação, se es as o em acen uadas, o sis ema de con olo não eage da mesma o ma. Ou o p oblema que a e são ac ual do sis ema de con olo ap esen a, es á elacionado com o amanho do objec o de con olo na imagem. Assim, pa a a me odologia unciona sa is a o iamen e, o objec o de con olo em de domina a imagem. Es e p oblema é ainda mais acen uado no sis ema em causa, pois a câma a não dispõe de mecanismo de au o ocagem. Como abalhos u u os, pa a o na o sis ema de con olo baseado em his og amas de imagem mais obus o aos p oblemas an e io men e e e idos, pode ão se conside ados: a diminuição da sensibilidade às a iações de iluminação e o seguimen o do objec o de con olo ao longo da sequência de imagens u ilizando, po exemplo, il agem de Kalman , [10, 11], com con o nos ac i os [8, 9, 12], al como é suge ido em [13]. Ob iamen e que es e p ocedimen o de seguimen o se á mais cus oso compu acionalmen e, mas, com os ac uais ecu sos, sê-lo-á conseguido apidamen e. Ou a a e a u u a, de e á se a u ilização de uma câma a mais so is icada e a compa ação do con olo esul an e com o conseguido po in e médio da webcam . Es a al e ação, po si só, de e á o na a me odologia p opos a mais obus a e e icien e. REFERÊNCIAS [1] R. Jain, R. Kas u i, B. G. Schunk, B ian G, “Machine Vision”, McG aw-Hill In e na ional Edi ions, Compu e Science Se ies, 1995. [2] W.T. F eeman, D.B. Ande son, P.A. Bea dsley, C.N. Dodge, M. Ro h, C.D. Weissman, W.S. Ye azunis, H. Kage, K. Kyuma, Y. Miyake, K. Tanaka, “Compu e Vision o In e ac i e Compu e G aphics”, IEEE Compu e G aphics and Applica ions, Vol. 18, No. 3, pp. 42-53, May-June 1998. [3] W.T. F eeman, P.A. Bea dsley, H. Kage, K. Tanaka, K. Kyuma, C.D. Weissman, “Compu e Vision o Compu e In e ac ion”, SIGGRAPH Compu e G aphics magazine, No embe 1999. [4] W.T. F eeman, K. Tanaka, J. Oh a, K. Kyuma, “Compu e Vision o Compu e Games”, In 2nd In e na ional Con e ence on Au oma ic Face and Ges u e Recogni ion, Killing on, VT, USA. IEEE, 1996. [5] W.T. F eeman, M. Ro h, “O ien a ion his og ams o hand ges u e ecogni ion”, IEEE In l. Wo kshp. on Au oma ic Face and Ges u e Recogni ion, Zu ich, June, 1995. [6] J. Rich e , “Ad anced Windows”, Mic oso P ess, 1998. [7] M.J. Young, “Mas e ing Mic oso Visual C++ 6”, Sybex, 1998. [8] J. Ta a es, J. Ba bosa, A. Padilha, “Ap esen- ação de um Banco de Desen ol imen o e Ensaio pa a Objec os De o má eis”, RESI – Re is a Elec ónica de Sis emas de In o ma- ção – ISSN: 1677 – 3071, 2002. (h p://www. e.up.p /~ a a es/downloads/publica ions/ a igos/banco_ esi.pd ) [9] J. Ta a es, Tese de Dou o amen o: “Análise de Mo imen o de Co pos De o má eis usando Visão Compu acional”, FEUP, 2000. (h p:// www. e.up.p /~ a a es/downloads/ publica ions/ eses/ ese%20phd.zip) [10] P. S. Maybeck, “S ochas ic Models, Es ima ion, and Con ol”, Ma hema ics In Science and Enginee ing, Vol. 141. Vol. I., Academic P ess, 1979. [11] J. Ta a es, Disse ação de Mes ado: “Ob enção de Es u u a T idimensional a Pa i de Mo imen o de Câma a”, Faculdade de Engenha ia da Uni e sidade do Po o, 1995. (h p://www. e.up.p /~ a a es/ downloads/publica ions/ eses/ ese%20msc.zip) [12] A. Blake, M. Isa d, “Ac i e Con ou s”, Sp inge -Ve lag, 1998. [13] A. Blake, R. Cu wen, A. Zisse man, “A F amewo k o Spa io empo al Con ol in he T acking o Visual Con ou s”, In e na ional Jou nal o Compu e Vision, 11(2), p. 127/ 145, 1993.