Avaliação de Agentes de Conversação: A influência de elementos Multimédia

FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO Avaliação de Agentes de Conversação: A influência de elementos Multimédia César Filipe Monteiro Brandão Mestrado em Multimédia Orientador: Prof. Doutor Luís Paulo Reis Coorientador: Prof.ª Ana Paula Rocha Outubro de 2012 Avaliação de Agentes de Conversação: A influência de elementos Multimédia César Filipe Monteiro Brandão Mestrado em Multimédia Aprovado em provas públicas pelo Júri: Presidente: Doutor Eurico Manuel Elias Morais Carrapatoso (Professor Auxiliar da Faculdade de Engenharia da Universidade do Porto) Vogal Externo: Doutor Pedro Manuel Henriques da Cunha (Professor Auxiliar convidado da Faculdade de Ciências e Tecnologia da Universidade de Coimbra) Orientador: Doutor Luis Paulo Gonçalves dos Reis (Professor Associado da Universidade do Minho) Coorientador: Doutora Ana Paula Cunha da Rocha (Professora Auxiliar da Faculdade de Engenharia da Universidade do Porto) ____________________________________________________ 30 de Outubro de 2012 Abstract In this thesis, the influence of different multimedia elements, when used in a virtual conversation environment, has been studied considering the actual state of technology of Embodied Conversational Agents in Multimedia Applications. Using the “Imitation Game” idealized by Alan Turing, as a starting point and as motivation, a platform has been develop that allows, through a series of tests, to gather information regarding the efficiency of several changes in the multimedia used in the presentation of the Virtual Environment. This way it is possible to identify multimedia characteristics that could be used to increase the efficiency in the use of Embodied Conversational Agents in all kind of applications. Using the developed platform, several user tests were performed, using different configurations and gathered data through the user interaction with the platform and also through a survey. Resumo Neste trabalho estudou-se a influência de diferentes elementos multimédia em um ambiente virtual de conversação tendo em consideração o estado atual da tecnologia de Agentes de Conversação e de Aplicações Multimédia. Utilizando o “Jogo da Imitação” idealizado por Alan Turing, como ponto de partida e como motivação, desenvolveu-se uma plataforma que permite, através de um conjunto de testes, recolher informação sobre a eficiência de diferentes alterações nos conteúdos multimédia utilizados na apresentação do Ambiente Virtual. Deste modo é possível identificar características multimédia que possam ser utilizadas para aumentar a eficiência do uso de Agentes de Conversação em todo o tipo de aplicações. Usando a plataforma desenvolvida, foram realizados testes com vários utilizadores, utilizando diferentes configurações e recolhidos dados através quer da interação do utilizador com a ferramenta de teste quer através de um questionário realizado. Agradecimentos Gostaria de agradecer a todos aqueles que tornaram possível a concretização de este trabalho. Ao Prof. Doutor Luís Paulo Reis e Prof.ª Ana Paula Rocha pela orientação e ajuda, sem os quais não teria sido possível a elaboração de este documento. A todos os que participaram na utilização experimental da ferramenta com um agradecimento especial a Mário Gonçalves e Gil Teixeira Índice 1. Introdução 13 1.1 Enquadramento ................................................................................................................. 13 1.2 Motivação .......................................................................................................................... 13 1.3 Objetivos ........................................................................................................................... 13 1.4 Estrutura do Relatório ....................................................................................................... 14 2. Agentes de Conversação 16 2.1 O trabalho de Alan Turing ................................................................................................ 16 2.1.1 A máquina de Turing .................................................................................................... 16 2.1.2 O jogo da Imitação ........................................................................................................ 18 2.1.3 O Prémio Loebner ...................................................................................................... 19 2.1.3.1 As primeiras edições do Prémio Loebner ............................................................... 19 2.1.3.2 O Prémio de Loebner sem restrições ...................................................................... 21 2.2 Agentes de Conversação ................................................................................................... 22 2.2.1 ELIZA, o Psicoterapeuta Rogeriano ........................................................................... 22 2.2.2 A.L.I.C.E. ................................................................................................................... 23 2.2.3 PARRY, o paciente Paranoico .................................................................................... 27 2.2.4 Jaberwacky ................................................................................................................. 27 2.2.5 Elbot ........................................................................................................................... 29 2.2.6 Suzette ........................................................................................................................ 29 2.3 Conclusão .......................................................................................................................... 30 3. Agentes de Conversação em Ambientes Virtuais 31 3.1 A influência da linguagem e do domínio de conhecimento .............................................. 31 3.1.1 AZ-ALICE e TARA ................................................................................................... 32 3.1.1.1 AZ-ALICE ........................................................................................................... 32 3.1.1.2 TARA ................................................................................................................... 34 3.1.2 Emile ........................................................................................................................... 36 3.1.3 Autotutor ..................................................................................................................... 37 3.2 O efeito Persona ................................................................................................................ 39 3.2.1 Herman, o inseto ......................................................................................................... 39 3.2.2 Freudbot e Piagetbot ................................................................................................... 40 3.2.3 Outros estudos sobre a influência da representação visual ......................................... 41 3.3 Agentes de Conversação com representação emocional ................................................... 44 Capítulo 2 2. Agentes de Conversação Um Agente de Conversação é um programa de computador criado com a finalidade de imitar a capacidade humana de comunicar. Ou seja, é um programa que dada uma frase tenta formular uma resposta adequada, tal como faria um humano. Apesar de estes se terem desenvolvidos inicialmente com o intuito de explorar as semelhanças entre as capacidades de um humano e uma máquina, foram entretanto, objeto de diversos estudos de forma a poderem ser usados em diversos outros tipos de aplicações. Neste capítulo, pretende-se então, analisar o contexto do aparecimento dos Agentes de Conversação, a sua evolução para o uso em aplicações Multimédia e quais os caminhos que esta tecnologia poderá tomar de futuro. 2.1 O trabalho de Alan Turing Alan Turing (1912-1954) foi um matemático notável, considerado um dos pais da Ciência de Computadores. A sua vida curta e fascinante foi retratada em diversas obras de arte e ficção. Enquanto criptógrafo foi responsável por decifrar as comunicações dos submarinos Alemães, permitindo uma vantagem significativa das Forças Aliadas nas batalhas navais durante a segunda guerra mundial. Apesar de grande parte do seu trabalho assentar sobre questões fundamentais da computação, como o próprio conceito de computabilidade e as suas limitações, e nunca se definir como um filósofo, Turing seria responsável por uma das obras mais citadas na literatura de filosofia moderna. [Stanford Encyclopedia of Philosophy] 2.1.1 A máquina de Turing Antes de ser falar sobre Agentes de Conversação, torna-se necessário contextualizar o seu aparecimento. Um dos trabalhos mais notáveis de Alan Turing é, de facto, a sua tese, elaborada em conjunto com Alonzo Church, que define os limites da computabilidade relacionando-os com um modelo matemático descrito por si, a máquina de Turing. CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 17 Esta máquina, não é mais do que um modelo matemático que representa uma fita de tamanho infinito e de um conjunto simples de operações. Estas operações são efetuadas por uma cabeça capaz de ler e escrever em uma das células da fita tal como exemplificado na Ilustração 1. [Stanford Encyclopedia of Philosophy] De acordo com a tese de Church Turing, através de um número limitado de operações e da manipulação e armazenamento de símbolos, a máquina de Turing permite efetuar todos os conjuntos de operações que possam ser efetuadas através de um método definido, isto é, descritas por um algoritmo. Turing seria então responsável por identificar e definir o conjunto de números computáveis e operações que podem ser efetuadas sobre estes. Apesar de Turing não ter sido o primeiro a apresentar uma noção geral de computabilidade, terá sido o primeiro a publicar, em 1937, uma definição convincente que atualmente continua a ser verificada e utilizada. [Cooper 2004] Ilustração 1. Exemplo de uma fita infinita e cabeça de leitura tal como descrito por Turing [Cooper 2004] É possível encontrar em todo o trabalho de Turing uma tentativa de aproximação entre a computação feita por uma máquina e as capacidades humanas. De facto, a própria máquina de Turing foi desenhada considerando operações que poderiam ser desempenhadas por uma calculadora humana com um número finito de equipamento mas sem limite de papel e tempo disponível. As operações que podem ser efetuadas pela máquina podem ser relacionadas com ações humanas. É também possível estabelecer uma analogia entre o número finito de estados que a máquina de Turing pode tomar e a memória finita de uma calculadora humana. [Epstein, Roberts e Beber 2008] Convém salientar que o trabalho de Turing antecede o aparecimento do computador tal como o conhecemos e o seu trabalho seria bastante importante no sentido em que definiu os fundamentos teóricos sobre os quais estes viriam a assentar. De facto, uma máquina de CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 18 Turing representa um conjunto de instruções, ou seja, o equivalente a um programa de computador. Desta forma, podemos estabelecer uma analogia entre a Máquina Universal de Turing que representa o conjunto de todas as instâncias de Máquinas de Turing e o computador atual. [Stanford Encyclopedia of Philosophy] O fascínio de Turing em tentar relacionar a capacidade de máquinas capazes de executar diferentes operações de computação com diferentes capacidades humanas viria a tornar-se mais evidente através de uma ideia apresentada 15 anos mais tarde. [Epstein, Roberts e Beber 2008] 2.1.2 O jogo da Imitação Em 1950 é descrito por Alan Turing um teste denominado de Jogo da Imitação. A finalidade deste teste é determinar se é possível simular o pensamento humano através do uso de uma máquina, ou seja, se uma máquina é capaz de pensar. Este teste é descrito como um jogo cuja finalidade é levantar a questão “Uma máquinas consegue pensar?”. De acordo com Turing, a máquina será capaz de reproduzir a inteligência humana quando conseguir estabelecer um diálogo consistente sem ser distinguida do ser humano. Tal como proposto por Turing em “Computing machinery and intelligence”, a pergunta “As máquinas conseguem pensar?” seria substituída por outra de forma a torná-la mais objetiva. O problema seria colocado na forma de jogo recorrendo a três participantes, um homem (A), uma mulher (B) e outra pessoa, de qualquer sexo, para desempenhar a tarefa de interrogador. O interrogador seria colocado em uma sala diferente das outras duas pessoas. O objetivo do jogo seria o interrogador identificar qual o participante masculino e o feminino. O interrogador poderá colocar perguntas a ambos participantes às quais irá receber a resposta correspondente. Para que o tom de voz não tenha influência, estas perguntas devem ser feitas por escrito sem haver contacto entre os participantes e o interrogador. O objetivo do jogo ganha sentido quando se substitui o jogador A por uma máquina. De acordo com Turing, esta experiência poderia ser efetuada idealmente recorrendo ao uso de uma tele-impressora. A questão fundamental, de acordo com Turing, é saber se o interrogador terá a mesma taxa de sucesso ao substituirmos o homem por uma máquina, substituindo assim a pergunta “as máquinas conseguem pensar?”. [A. M. Turing 1950] A questão levantada por Turing, tem sido bastante debatida devido ao seu carácter multidisciplinar e foi um dos principais impulsionadores do início do estudo da inteligência artificial. Apesar de contestada, por ser considerada uma simplificação excessiva que não responde completamente à questão inicial, é necessário entender o valor do problema formulado por Turing pois tem a vantagem de simplificar e estabelecer uma distinção entre as capacidades físicas e intelectuais do homem como consequência de não existir contacto CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 19 físico ou visual entre o interrogador e os participantes. Ou seja, é necessário entender a questão colocado por Turing como um modo de simplificar e permitir a comparação entre a capacidade humana e a de uma máquina, restringido a questão à capacidade de comunicar. [Epstein, Roberts e Beber 2008] Recorrendo à tecnologia atual, é possível um juiz estabelecer comunicação escrita com outra pessoa e com uma máquina sem conhecer a identidade da fonte da comunicação, através de terminais ligados em rede. 2.1.3 O Prémio Loebner Em 1991, com o intuito de incentivar o interesse para a pesquisa em essa área, é iniciada por Hugh Loebner uma competição anual com a finalidade de premiar o melhor desempenho no teste inicialmente descrito por Turing [Loebner Prize]. Os concorrentes de esta competição são avaliados por dez júris, selecionados em resposta a um anúncio no jornal. Após comunicação escrita com duas entidades, uma humana e outra um agente de conversação, tal como descrito por Turing, cada elemento do júri atribui uma classificação de acordo com a sua convicção que conseguiu identificar o elemento não humano. O primeiro prémio desta competição será apenas atribuído quando um agente de conversação conseguir enganar um terço dos elementos do júri. Apesar da decisão de cada elemento do júri corresponder a uma resposta de Verdadeiro ou Falso, é pedido aos júris para ordenar os concorrentes de acordo com o seu desempenho obtendo-se um formulário com os resultados semelhante ao exemplificado na Ilustração 2. Desta forma, é possível classificar os vários concorrentes de acordo com a sua posição média e atribuir o prémio de vencedor do torneio. [Shieber Stuart 1993] Ilustração 2. Exemplo do formulário utilizado para classificar os concorrentes na primeira edição da competição Loebner. [Shieber Stuart 1993] 2.1.3.1 As primeiras edições do Prémio Loebner Convém também referir que as regras da competição foram pensadas ao longo de dois anos. De forma a manter o interesse da competição, protegendo as máquinas de uma eliminação rápida, foram pensadas duas regras. Uma delas seria limitar o tema da conversa a um tópico escolhido pelo participante. Caso contrário, devido à quantidade de tópicos pos- CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 20 síveis para uma conversa, um júri seria capaz de descobrir qualquer concorrente não humano em um curto espaço de tempo. No caso da primeira edição do prémio Loebner, os seis temas escolhidos para serem utilizados por agentes de conversação foram vinhos Borgonha, Martinis secos, conversas de circunstância, conversas caprichosas e insatisfação em relações. Algumas das escolhas, apesar de adequadas a diversos contextos sociais, não definem propriamente um tema de conversa mas sim um estilo de conversação com o intuito de justificar respostas demasiado simples ou mesmo inadequadas. Talvez, por isso mesmo, a escolha de um tema como conversas caprichosas se tenha revelado fundamental para predeterminar o agente de conversação com melhor desempenho, pois justifica como caprichosas e impulsivas grande parte das respostas que podem ser aleatórias ou mesmo desconexas, dificultando a tarefa do júri. No caso dos dois participantes humanos, os tópicos de conversação escolhidos foram Shakespeare e Vestuário Feminino. Outra regra importante restringe a possibilidade de os júris recorrerem a comunicação inadequada para tentar obter uma resposta do participante. Ou seja, os júris são obrigados a escrever frases com sentido relacionadas com o tópico e nunca tentar obter uma resposta enganando o agente através de frases sem sentido. [Epstein Robert et al 2008] [Shieber Stuart 1993] Apesar de a utilização de regras para proteger o desempenho das máquinas, rapidamente se verificou a facilidade com que alguém com conhecimento sobre o funcionamento destes programas consegue identificar facilmente o agente, pois bastantes vezes as técnicas utilizadas pelos agentes tornam-se bastante evidentes por estarem descontextualizadas. É possível verificar estas ocorrências em excertos retirados da primeira edição da competição. “01:11:42 Júri 10 Tem sido um longo dia! Agora penso que estou pronto para alguma diversão. O tempo não está muito agradável hoje. Tens algumas anedotas que possam levantar as nuvens? 01:13:01 Terminal 5 Toda a gente fala sobre o tempo mas ninguém parece fazer muito acerca disso. Porque tens de me dizer agora que pensas estar pronto para alguma diversão? Suspiroooooo.......” [Shieber Stuart 1993 retirado de Cambridge Center for Behavioral Studies 1991 tradução nossa] Na primeira edição, o Agente com melhor desempenho conseguiu ser classificado como humano por dois elementos do júri. Surpreendentemente, um dos participantes humanos CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 21 foi identificado duas vezes, de forma errada, como um computador devido ao seu desempenho notável a responder sobre questões de Shakespeare. De acordo com a previsão de Turing, a partir do ano 2000 um computador seria capaz de ultrapassar o seu desafio com alguma solidez e conseguiria enganar 70% dos júris durante 5 minutos. Atualmente ainda não se verificou a previsão feita por Turing e o objetivo de conseguir ultrapassar o teste, sem restrições, parece ainda bastante longínquo. [Shieber Stuart 1993] Considerando as limitações estabelecidas pelas regras podemos afirmar que de facto se perde a essência da ideia de Turing. A ideia de avaliar se uma máquina é capaz de comunicar inteligentemente implica que esta não deve estar limitada por regras que atuem sobre a própria comunicação. 2.1.3.2 O Prémio de Loebner sem restrições A partir de 1994, deixou de haver restrições na competição Loebner de forma a permitir uma avaliação dos agentes de conversação adequada à proposta inicial de Turing. Desta forma passa a ser possível aos júris utilizarem técnicas mais sofisticadas para procederem à identificação dos programas concorrentes. Da mesma forma que as técnicas de deteção por parte de alguns elementos do júri se tornaram mais elaboradas, os agentes de conversação também começaram a ser implementados com novas técnicas para conseguir enganar os elementos do júri. Algumas questões sobre a validade do formato de Prémio Loebner, mesmo sem restrições, viriam a ser levantadas por vários motivos. Para além de não existirem progressos significativos na tecnologia de Agentes de Conversação, a qualidade dos agentes a participar no Prémio Loebner também se viria a revelar em decréscimo. A motivação de um prémio monetário funciona também como um incentivo a todo o tipo de técnicas elaboradas para explorar as regras da competição e enganar os júris. [Shieber Stuart 1993] Em 1996, foi explicado pelo participante vencedor as técnicas que havia utilizado para vencer a competição. Este agente, para além de explorar a possibilidade de interagir o menos possível com o júri durante os 30 minutos da prova, recorria também a técnicas bastante ingénuas e nada relacionadas com a tecnologia em questão. Através de um início de conversação devidamente planeado e implementado sem recorrer a técnicas de Inteligência Artificial, este agente conseguia conduzir a conversa de forma a obter os tipos de conversa onde tem mais hipótese de sucesso. Uma das principais motivações para a continuidade do Prémio Loebner, surge em 2008 com o agente vencedor a conseguir enganar três dos doze elementos do júri. No caso de este agente ter conseguido enganar mais um elemento, um quarto do total, seria o primeiro participante a receber a medalha de ouro. É também de salientar que atualmente é possível verificar uma diminuição da documentação sobre o Prémio Loebner e sobre as várias formas de abordar o problema. Possivelmen- CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 22 te este facto explica-se pela diminuição do interesse em esta competição e também de forma a garantir que a tecnologia, associada Agentes mais competitivos, possa ser utilizada com fins comerciais. Convêm salientar, que existe a possibilidade de o torneio elaborado por Loebner não ser o mais adequado para dinamizar os esforços na questão colocada por Turing. De facto, apesar de esta ser importante para colocar alguma atenção sobre o assunto, pode-se dizer que o esforço de os participantes se centra em desenvolver um agente capaz de ganhar a competição. 2.2 Agentes de Conversação Apesar de existirem diversas implementações de Agentes de Conversação, grande parte do desenvolvimento foi efetuado em torno das ideias utilizadas na criação do primeiro agente de conversação, o ELIZA. 2.2.1 ELIZA, o Psicoterapeuta Rogeriano Desde que foi proposto o teste de Turing, uma das primeiras tentativas de ultrapassar este desafio foi desenvolvida por Joseph Weizenbaum, um programa denominado de ELIZA [Weizenbaum 1966]. Este programa continua a servir de base para muitos dos agentes de conversação desenvolvidos ainda hoje. Alguns dos vencedores do Prémio Loebner são variantes do ELIZA [Loebner Prize]. De acordo com Joseph Weizenbaum, o funcionamento do programa é bastante simples e baseia-se essencialmente na deteção de uma palavra-chave que irá determinar o conjunto de alterações aplicados à frase de inicial. Depois de ser calculada a resposta é então exibida. Ou seja, o Eliza não aborda a questão de simular a inteligência humana através de técnicas elaboradas de inteligência artificial mas sim recorrendo a um conjunto simples de regras e manipulação de texto, criando uma ilusão de inteligência. Existem outros pormenores técnicos relacionados com este mecanismo de transformação de dados para que possa funcionar de forma eficiente. Apesar de o funcionamento do programa ser pouco mais que uma questão de manipulação de texto devem ser consideradas as seguintes questões enumeradas por Joseph Weizenbaum em “Eliza: a computer program for the study of natural language communication between man and machine” 1. Identificação da palavra mais importante na mensagem de entrada em conjunto com um contexto na qual esta possa aparecer. 2. Escolha e execução da transformação apropriada tal como definido pelas regras associadas à palavra-chave escolhida. 3. Criação de um mecanismo que permita uma resposta inteligente quando o texto de entrada não contém palavras-chave. CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 23 4. Provisão de um mecanismo que permita a edição e extensão das transformações que definem as respostas. Uma das vantagens desta implementação é a vantagem de não estar associada exclusivamente a nenhuma língua. Assim sendo, pode ser desenvolvido um conjunto de padrões e transformações, isto é, um script adequado a qualquer língua, o que permitiu o aparecimento de implementações tanto em Galês como Alemão ou Inglês. O script mais utilizado do ELIZA caracterizava-se por agir como um psicoterapeuta Rogeriano, isto é, que tenta centrar a conversação sobre a perceção do utilizador dos diversos temas. Esta abordagem permite exibir a falta de conhecimento sobre assuntos bastante comuns de forma a parecer intencional, respondendo com uma pergunta. Como está? Por favor diga o seu problema. >> Passo demasiado tempo com computadores. Porque menciona computadores? >>Tu és um. Fica satisfeito em acreditar que sou um? >>Sim. Parece estar bastante certo. >>Suponho que estou. Há quanto tempo tem estado? [Güzeldere e Franchi 1995 tradução nossa] No exemplo é possível ver a forma como o agente utiliza perguntas para manter a simplicidade da conversa. É também possível observar uma das limitações da estratégia utilizada por este tipo de agente de conversação quando este utiliza uma base de conhecimento que não antevê certas ocorrências. Neste caso, o Agente esperava encontrar uma palavra a seguir ao verbo sou pelo que não foi capaz de responder coerentemente. No Anexo 1 é possível encontrar excertos de uma conversação entre o Agente ELIZA e uma paciente. 2.2.2 A.L.I.C.E. Uma destas variantes é o A.L.I.C.E. ou Alicebot que também se baseia em mecanismos de deteção de padrões em conjunto com uma base de conhecimento em AIML para elaborar as suas respostas [Alice]. Apesar de este ser bastante semelhante ao seu antecessor, o uso de ficheiros estruturados de acordo com a norma proposta por Dr. Richard S. Wallace permitiu o aparecimento de várias variantes deste agente de conversação e o desenvolvimento de bases de dados de conhecimento em várias línguas e sobre diversos temas específicos. A estrutura do Agente de Conversação ALICE consiste em 41000 elementos denominados de categorias. A cada uma destas categorias encontra-se associado um padrão que repre- CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 24 senta uma pergunta e a respetiva resposta. Esta informação é guardada em AIML ou seja, em uma estrutura em árvore. A correspondência entre o texto de entrada e os padrões definidos no AIML são geridos por um objeto bastante compacto em termos de utilização de memória e recorrendo a um algoritmo eficiente que permite tempos de procura bastante rápidos. O objeto responsável pela organização de toda a informação referente às categorias é denominado de Graphmaster. Esta informação é guardada em uma estrutura em árvore, o que permite evitar a duplicação de informação conseguindo assim uma compressão eficiente da informação. <aiml> <category> <pattern> OLA </pattern> <template> Ola! Como estás? </template> <category> </aiml> No caso do exemplo anterior, este utiliza a frase “OLA” para identificar uma saudação e responde de forma adequada. Este é um dos exemplos mais simples das possibilidades do AIML e tem a desvantagem de responder exatamente a apenas uma frase. Através de utilização de um conjunto de regras recursivas e do operador “*”, é possível utilizar diversas técnicas que permitem um uso mais versátil do AIML. Uma das técnicas é a redução simbólica que permite a simplificação de formas gramaticais complexas para poderem ser tratadas pelas regras mais simples. A tag <srai> é responsável pela recursão da regra definida. <aiml> <category> <pattern> OLA TUDO BEM? </pattern> <template><srai>OLA</srai></template> <category> </aiml> No caso do exemplo dado, também poderíamos ter definido uma regra onde as várias partes da frase fossem tratadas através de regras diferentes. Ou seja, em vez de reduzirmos, limitamo-nos a dividir a frase e ambas as partes são tratadas recursivamente. <aiml> CAPÍTULO 2: AGENTES DE CONVERSAÇÃO 25 <category> <pattern> OLA * </pattern> <template><srai>OLA</srai><srai><star/></srai></template> <category> </aiml> Em este exemplo, a palavra “OLA” iria ser tratada pela regra definida anteriormente e o resto da frase iria tentar encontrar uma regra adequada. Considerando que não existe uma regra que identifique a frase que pretendemos, é possível escolher uma resposta para o conjunto de frases ou variáveis não definidas. <unknown>Não compreendi. Podes explicar melhor?</unknown> Um dos aspetos mais importantes na escrita de AIML eficiente são as categorias que funcionam por defeito. Estas são as categorias que incluem o carácter ‘*’ e que uso de outras categorias através da tag <srai>. Uma parte significativa das interações com utilizadores irá de facto ser corresponder a estas categorias devido à impossibilidade de escrever regras específicas para todas as possibilidades. De facto, uma regra com bastante importância é a última das categorias por defeito que é definida por apenas pelo operador representado pelo caracter ‘*’ operador vulgarmente usualmente de wildcard. Normalmente esta categoria é composta por um conjunto longo de frases aleatórias que permitam redirecionar a conversa para assuntos que o Agente de Conversação tenha mais conhecimento. <category> <pattern>*</pattern> <template><random> <li>Quantos anos tens?</li> <li>Qual é o teu signo?</li> </template> </category> Podem ser implementadas mais categorias por defeito, utilizando palavras e o operador wildcard. <category> <pattern>Preciso de ajuda *</pattern> CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 32 adaptado a diversos contextos de interação e ensino. Desta forma, a capacidade de resposta do agente é determinada pela gestão de dados feita pelo gestor do agente, ou seja, o botmaster. Para além da quantidade e qualidade da informação guardada na base de conhecimento, a eficiência do agente é também determinada pelo próprio tema que pretendemos lecionar. Para além do conhecimento técnico que o agente deve ser capaz de transmitir, isto é, o conhecimento sobre o domínio, é também importante a adição de conhecimento conversacional adequado ao contexto. Desta forma, o agente poderá, por exemplo, pedir a reformulação das perguntas de forma a serem adequadas ao que ele pode responder. Estes dados foram comprovados em estudos com um Agente elaborado para ensinar Geometria Euclidiana [Han e Kim, 2001] e referidos em estudos com um Agente de Conversação capaz de disponibilizar informação sobre telecomunicações. [Schumaker e Chen, 2006] Existe também uma relação entre o tipo e o tamanho das perguntas e o índice de satisfação do utilizador com a resposta formulada pelo agente. [Schumaker e Chen, 2010] 3.1.1 AZ-ALICE e TARA 3.1.1.1 AZ-ALICE De forma a possibilitar o aumento da base do conhecimento do agente Alice de uma forma mais prática, foi idealizado o agente AZ-Alice. Este agente foi utilizado para testar a influência do aumento da base de conhecimento de um tema específico. Neste caso o agente pretendia ensinar e avaliar a retenção de informação relacionada com telecomunicações. Para além dos componentes que são comuns ao agente Alice, o agente desenvolvido neste estudo, o AZ-Alice é dotado de um interface que permite a autenticação dos utilizadores. Desta forma, é possível efetuar comunicação personalizada pois o agente passa a ser capaz de reconhecer o nome do utilizador. A diferença mais importante é o facto de o sistema AZ-Alice gravar toda a informação relacionada com as conversas e recolher através do interface a avaliação e alternativas propostas pelo utilizador para melhorar a resposta do agente. Este módulo de avaliação permite que a base de conhecimento seja melhorada conforme a utilização do sistema por utilizadores especializados no domínio em questão. Experiência 1 Experiência 2 BaseBot 74 98 TeleComm 91 113 Tabela 1. Número de participantes [Schumaker, Ginsburg, Chen e Liu 2006] No estudo foi utilizado um agente ALICE com o AIML de base que é constituído por 24835 categorias de conhecimento, o agente TeleComm foram acrescentadas, a uma base de conhecimento idêntica, 298 definições acerca de telecomunicações. CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 33 Recorrendo a duas fases de experimentação, este estudo permitiu verificar a utilização de um agente de conversação como uma ferramenta eficiente para recolher conhecimento relacionado tanto como a forma como é efetuada uma conversação como com informações adicionais a um domínio específico. De acordo com os autores, a diminuição da taxa de correção, entre os vários estudos, prova que algumas fases adicionais de correção seriam o suficiente para elaborar uma base de conhecimento com capacidade de responder a perguntas relacionadas com o domínio das telecomunicações. Verifica-se também que a restrição a um domínio específico de conversação permite obter um grau de satisfação superior mesmo quando o agente não se encontra especialmente preparado para esse domínio. Os autores de este estudo concluíram também que, no caso de ser permitido a todos os utilizadores propor uma correção para respostas incompletas do agente, convém antever que algumas sugestões serão erradas, tanto de forma involuntária como propositadamente. A desvantagem do aparecimento destes erros é que, apesar de serem facilmente eliminados, serão necessárias fases de correção adicionais. [Schumaker, Ginsburg, Chen e Liu 2006] De forma aprofundar a análise sobre a utilização de agentes de conversação em domínios específicos, foram também feitos testes recorrendo a diferentes configurações do agente TeleComm. A utilização de um agente com uma base de conhecimento de conversação reduzida de 23735 para 3892 entradas, permite então comparar a eficiência de agentes com uma base de conhecimento de domínio completa mas com diferentes graus de conhecimento de conversação. No caso de ser utilizada uma base de conhecimentos sobre telecomunicações mais completa, poderia ter sido ainda mais reduzida a base de dados de conversação. As 3,892 entradas de AIML escolhidas do conjunto base desenvolvido por Richard Wallace pretendiam responder a 65% das perguntas. AIML Standard AIML Telecomunicações Total BaseBot 23735 0 23735 TeleComm (Completo) 23735 298 24032 TeleComm (Limitado) 3892 298 4190 Tabela 2. Distribuição das categorias AIML [Schumaker, Ginsburg, Chen e Liu 2007] Em fase experimental, todos os participantes foram convidados a interagir apenas com uma das três variantes disponíveis, como diferentes partes de um curso introdutório de gestão de sistemas de informação. No fim de uma sessão de meia hora, os participantes teriam então de responder a um inquérito de forma a quantificar a satisfação de cada resposta dada pelo sistema. Foi também dada uma oportunidade ao aluno de propor melhorias às respostas obtidas. Apesar de não ser obrigatório, foi pedido aos alunos para manterem a conversação relacionada com o tema das Telecomunicações. CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 34 Experiência 1 BaseBot 74 TeleComm 91 Telecomm (limitado) 92 Tabela 3. Número de participantes [Schumaker,Ginsburg, Chen e Liu 2007] De acordo com os resultados obtidos experimentalmente, verifica-se que a utilização da componente conhecimento sobre o domínio é mais eficiente para obter conhecimento do que a utilização de apenas conhecimento conversacional. Isto deve-se à incapacidade de o conhecimento conversacional poder abranger todos os domínios apesar de cada domínio ter um número finito de definições e conceitos. Outra conclusão obtida de este estudo é que, apesar do conhecimento conversacional não ser tão importante como o conhecimento de domínio, a utilização dos dois em conjuntos permite obter satisfação superior ao uso de conhecimento de domínio em exclusivo. Este resultado evidencia a importância de ambos os componentes e a necessidade de serem desenvolvidos de forma adequada para maximizar a eficiência de um agente de conversação quando utilizado em um domínio específico como as telecomunicações. [Schumaker, Ginsburg, Chen e Liu 2007] 3.1.1.2 TARA Em um estudo semelhante ao do AZ-Alice, foi desenvolvido um agente capaz de responder a perguntas de ajuda em caso de um eventual ataque terrorista. Este agente, nomeado de TARA, possui diferenças em relação ao AZ-Alice no funcionamento sua base de conhecimento devido à forma como foram recolhidos os dados. Foram acrescentadas à base de conhecimento do agente mais de dez mil categorias relacionadas com o tema. Esta informação foi recolhida em diversas páginas da Internet cujo conteúdo foi considerado adequado ao rigor exigido pela situação de uma emergência grave. AIML Standard AIML Terrorismo Total Agente base 41873 10491 52354 Agente de Conversação 41873 0 41873 Agente de Domínio 0 10491 4190 Tabela 3 Distribuição das categorias AIML [Schumaker e Chen 2006] Para testar a eficiência deste agente, foram efetuados testes recorrendo a três versões da base de conhecimento. Uma das versões correspondia à base de conhecimento que é utilizada normalmente com o agente ALICE, outra apenas com a informação recolhida e, finalmente, um agente que utiliza a totalidade do conhecimento. Desta forma seria possível determinar a eficiência do uso de informação relacionada com terrorismo quando utilizada em exclusivo e quando utilizada em conjunto com conhecimento que permita manter uma conversação. CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 35 AIML Dialogo AIML Domínio Ambos Número de Utilizadores 27 25 29 Conforto 22.2% 44% 31% Usabilidade 11.1% 28% 31% Potencial Recomendação 22.2% 28% 24.1% Tabela 4 Resultados obtidos com inquéritos de satisfação [Schumaker e Chen 2006] De acordo com a opinião dos participantes de este estudo, apesar de estes gostarem da amplitude de conhecimento e velocidade do sistema, mostram algum desagrado por receberem respostas em forma de definição. Ou seja, os utilizadores preferem uma interação com o sistema que se assemelhe mais ao fluxo normal de uma conversa. Este dado sugere a necessidade de haver uma filtragem e adaptação da informação recolhida de forma a ser apresentada ao utilizador de uma forma mais adequada a uma conversação. Outra conclusão de este estudo é que os componentes de diálogo e de domínio funcionam melhor utilizados em conjunto do que quando utilizados de forma isolada. Convêm salientar que em ambos os estudos não foi possível verificar experimentalmente que exista uma clara vantagem em utilizar ambos os conjuntos de informação em simultâneo. Apesar de as respostas deixada pelos utilizadores em um questionário mencionarem os benefícios da utilização da versão mais completa do agente, este estudo deparou-se com o problema de possivelmente a informação relativa ao diálogo ter de ser mais cuidada para se adequar ao resto da informação. Este estudo debruçou-se também sobre a identificação de características comuns às perguntas que necessitam da utilização do conhecimento sobre o domínio em questão. [Schumaker e Chen 2006]. Ambos os estudos referidos anteriormente concluem essencialmente sobre a recolha de informação acerca de um tema específico e como esta deve ser apresentada ao utilizador. Como tal, é possível utilizar os resultados dos dois estudos em conjunto para aprofundar sobre os vários tipos de questões que podem ser apresentados ao utilizador e quais as áreas de conhecimento que precisam de ser mais desenvolvidas para obter as respostas mais satisfatórias. Dialogo Domínio Total AZ-Alice - Dialogo 23735 0 23735 AZ-Alice - Domínio 3892 298 4190 AZ-Alice - Ambos 23735 298 TARA - Dialogo 41873 0 41873 TARA - Domínio 0 10491 10491 TARA - Ambos 41873 10491 52354 Tabela 5 Distribuição das categorias AIML [Schumaker e Chen, 2010] CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 36 Em ambos os estudo, cada utilizador interagiu em sessões de meia hora com duas variantes de apenas um agente e não houve nenhum utilizador que participasse nos dois estudos. Apesar de ser utilizado em ambos os estudos a escala de Likert para identificar a satisfação do utilizador, o método de avaliação é feito de forma distinta. No caso do AZ-Alice a avaliação é feita no fim da conversação enquanto no TARA a avaliação é feita entre cada interação. O tamanho da consulta parece, de facto, estar relacionado com a satisfação da resposta obtida. As consultas mais pequenas obtêm as respostas mais satisfatórias. Este resultado evidencia que deve haver preocupação em desenvolver mecanismos que permitam equilibrar a situação. Para melhorar a eficiência das respostas a consultas mais extensas, seria necessário incentivar o utilizador a utilizar frases curtas e simples ou simplesmente desenvolver uma base de conhecimento mais completa tendo em conta este tipo de consultas. Este estudo identifica também algumas das ocorrências mais frequentes. No caso de este estudo, que utilizou a língua inglesa para o levantamento de resultados experimentais, foi possível verificar que em este tipo de agentes de conversão, grande parte das questões que lhe são feitas estão associadas a palavras iniciadas por “wh”, ou seja, o padrão “wh*. A ocorrência mais comum nas questões colocadas ao agente, em Inglês, é de facto a palavra “what”, algo que poderá ser um ponto para estudos posteriores. Também se verificou neste estudo que as perguntas que obtêm respostas mais satisfatórias são as que começam por “Are” e “Where” possivelmente por exigirem uma resposta simples ou de natureza binária. Perguntas iniciadas com “Why” e outras palavras semelhantes que requerem uma resposta explanatória e unívoca são as que obtêm uma resposta menos satisfatória. [Schumaker e Chen, 2010] 3.1.2 Emile Por exemplo, no caso do Agente Emile [Moore e Gibbs, 2002] o seu objetivo era estudar a utilização de Agentes de Conversação para o ensino de teoria social recorrendo à criação de diversas bases de conhecimento de elevada qualidade associadas à personalidade de vários teóricos sociais chave como Marx, Weber, Mead e Foucault. Pretendia-se também que os agentes, para além de serem capazes de responder a pedidos de aprofundar sobre os diversos conceitos, fossem capazes de responder tendo em consideração o nível de conhecimento do utilizador. Outra preocupação da base de conhecimento desenvolvida é indicar o estado atual da discussão sobre os vários conceitos a ensinar expondo também os pontos de vista contraditórios dos vários especialistas. Foram também implementadas alterações no interface de forma a permitir a gravação das conversas e permitir que o utilizador seja reencaminhado para informação adicional. CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 37 O resultado de este estudo permitiu retirar algumas conclusões sobre considerações a ter em futuras implementações de agentes de conversação pedagógicos. De acordo com os questionários realizados neste estudo foi possível deduzir a necessidade da correção ortográfica automática feita por parte do agente, caso contrário este não poderá ser utilizado por estudantes com problemas de escrita. Uma conclusão positiva de este estudo refere-se ao facto de todos os participantes terem considerado positiva a ajuda do agente na tarefa de aprender sobre teoria social. Os utilizadores referiram que o facto de o Agente ser capaz de explicar conceitos chave e disponibilizar informação adicional que permite aprofundar sobre os vários temas, torna-o uma ferramenta importante para a recolha de informação. Convêm também referir o ceticismo dos vários utilizadores em utilizar exclusivamente esta tecnologia sem a utilização de material adicional para aprender sobre um tema. Desta forma, podemos concluir que esta tecnologia é bastante útil quando utilizada como um complemento em tarefas de ensino. 3.1.3 Autotutor Outro exemplo de um Agente com funções pedagógicas é o Autotutor implementado para estudar diferentes abordagens na iniciativa ao diálogo. Este agente pretende simular as habilidades sociais que são utilizadas por ambos os intervenientes em uma conversação. A intenção de esta abordagem é permitir a melhoria do desempenho do agente independentemente do domínio de conhecimento em que é utilizado. A iniciativa ao diálogo vai para além do conhecimento linguístico. Uma das vantagens do Autotutor é poder ser utilizado em diversos domínios de ensino que não necessitem de precisão matemática e definições formais. A independência do módulo de conversação faz com que possa ser utilizado em diferentes domínios recorrendo apenas a alterações na base de conhecimento relacionada com o domínio. Para exemplificar a portabilidade de esta plataforma, foram desenvolvidas em paralelo uma base de conhecimento para o ensino física e outra sobre literatura. O Auto Tutor dispõe de um mecanismo de análise semântica para atribuir significado às perguntas que lhe são feitas e identificar a qualidade das mesmas. O mecanismo de Análise Semântica Latente (LSA) é ideal para representação de enormes quantidades de conhecimento e é capaz de analisar a qualidade de perguntas e as suas respostas com bastante qualidade. Apesar de este módulo não ser capaz entender o significado de um texto, o seu mecanismo de compressão de conhecimento e identificação de padrões recorrendo a análise estatística é bastante eficiente na identificação de boas e más respostas. Como o LSA não analisa a estrutura e a compreensibilidade de um texto e não tem em consideração aspetos sintáticos ou lógicos e torna-se necessário complementa-lo com outros mecanismos tradicionais de CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 38 processamento de linguagens naturais para garantir a sua eficiência. [Graesser, et al, 2001] O Autotutor dispõe também de outro módulo que é responsável pelas estratégias utilizadas nas conversações. O estado da conversação é representado em um grafo, isto é uma estrutura de dados que representa as mudanças possíveis nas várias fases de uma conversação. Os vários tipos de interação são classificados como asserções, perguntas, dicas, correções, respostas e as alterações do estado da conversação acontecem de acordo com um conjunto de 15 regras fuzzy [Kosko, 1992]. Estas alterações acontecem de acordo com as respostas anteriores e uma avaliação de várias capacidades do utilizador como a sua verbosidade ou iniciativa em conjunto com o tamanho de respostas positivas que foram dadas nesse tópico. Para testar experimentalmente a eficiência do Autotutor, sessenta alunos foram convidados a participar em uma experiência. Cada participante foi avaliado sobre a retenção de informação acerca de três temas de um curso de conhecimento sobre informática. Cada tema foi ensinado de forma diferente para permitir identificar qual o método mais eficiente. Em um dos tópicos de ensino foi possibilitado ao aluno ler e reler sobre o tema antes de ser avaliado. Em outro tópico foi permitido ao aluno ler e mais tarde interagir com o Auto Tutor. No último tópico, seria apenas permitido aos alunos ler uma vez o material de ensino. A cada aluno foi permitido interação com o Auto Tutor de aproximadamente 50 minutos. Os resultados demonstram mais eficiência na utilização Autotutor do que utilizar os 50 minutos para reler o material de ensino. [Person, et al, 2001] Apesar de do Autotutor ser capaz de utilizar diferentes abordagens de iniciativa mista tal com descritas por James Allen [Allen 1999] este ainda se encontra longe do cenário ideal de diálogo como acontece naturalmente entre dois intervenientes humanos. De qualquer forma, de acordo com os resultados, podemos considerar o Autotutor um exemplo de como se pode simular a presença de um tutor humano recorrendo a uma abordagem mais activa sobre as várias fases de comunicação. [Lowerse, Graesser e Olney, 2002]. Para além da influência do diálogo do Autotutor na experiência de ensino, outros estudos tentaram verificar a influência da utilização de um Avatar para ajudar a capacidade de controlo da conversação por parte do agente. O agente foi então testado com as quatro seguintes configurações:  Apenas texto  Apenas com síntese de voz recorrendo a tecnologia Microsoft Agent  Avatar com síntese de voz e gestos  Texto e Avatar com síntese de voz e gestos Os resultados de diversos estudos comprovam o efeito positivo da utilização de agentes no ensino de diversas áreas de conhecimento. Um pormenor interessante é que não foi possí- CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 39 vel provar que a utilização de elementos multimédia tenha uma influência significativa na facilitação do ensino. Quanto à influência do diálogo, esta parece tornar-se mais positiva quando se aprofundam os temas de ensino em questão. Ou seja, podemos concluir que, de facto, a mensagem é o mais importante e, mais uma vez, que a utilização de agentes de conversação pode ter influência positiva no ensino. [Graesser et al. 2003] 3.2 O efeito Persona Para além das questões referidas anteriormente, sabemos também que a presença de um Agente Personificado é, só por si, capaz de melhorar a experiência de aprendizagem remota, é conhecido o efeito persona. [Lester et al. 1997]. 3.2.1 Herman, o inseto O estudo feito por Lester et al. [Lester et al. 1997] consistiu na utilização de um Agente de Conversação denominado de “Herman o inseto”. Neste estudo foram convidadas 100 pessoas para testes de utilização de ambas as ferramentas de ensino. Cada pessoa foi convidada a utilizar uma Aplicação de ensino sobre plantas com diferentes implementações de representação do Agente. Foram elaboradas 5 configurações para a utilização do Agente Herman, de forma a poder comparar diferentes níveis de animação e informação dada pelo Agente. Foram utilizados os seguintes tipo de configuração:  Completamente Expressivo: Este agente exibe todos os tipos de comportamentos comunicativos.  Baseado em princípios Animado/Verbal: Este tipo de agente só fornece informação baseada em princípios, acompanhada de animação visual e descrição sonora.  Baseado em princípios Verbal: Este agente é semelhante ao descrito anteriormente mas não fornece informação visual.  Tarefas Especificas Verbal: Este agente só fornece informação verbal relacionada com tarefas em específico.  Mudo: Este agente não fornece conselhos sobre componentes da planta. Os utilizadores responderam a um questionário sobre o tema em causa, antes de procederem à utilização das ferramentas de ensino. Desta forma foi possível dividir os utilizadores em diferentes grupos de acordo com o seu nível de conhecimento sobre plantas. Após várias sessões de interação com as diferentes configurações da plataforma, os utilizadores foram convidados a responder a outra questionário de forma a avaliar a retenção de informação e também aspetos como a satisfação obtida a partir da interação com o sistema. CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 40 Foi possível verificar o impacto do efeito Persona nas diferentes configurações utilizadas experimentalmente. De acordo com os estudantes, mesmo a versão menos interativa, foi capaz de provocar melhorias na experiência de aprendizagem. Este estudo leva-nos a considerar a possibilidade a presença de uma simples representação visual, sem funções práticas, permitir, só por si, a melhoria da experiência geral dos utilizadores. De acordo com o autor deste estudo, não é previsível que as respostas dos utilizadores quanto à avaliação da ferramenta tenham sido influenciadas, devido ao uso de certas precauções como o anonimato e também por as respostas se encontrarem de acordo com os resultados obtidos na avaliação feita ao conhecimento retido. Para além das implicações positivas de este estudo, é importante considerar que os agentes de conversação também podem ter influências negativas, caso se demonstrem excessivamente intrusivos e proactivos. É possível então concluir que no caso da utilização de agentes de conversação, se deve considerar sempre a utilização de uma representação visual animada mas que no caso de se utilizar uma estratégia de ensino proactiva, será necessário uma implementação mais cuidada. Apesar de este estudo não permitir concluir acerca da influência da utilização de esta tecnologia a longo prazo, existe a possibilidade de o efeito de motivação proporcionado pela interação com o agente se acentuar com um uso mais prolongado. Este estudo foi efetuado, recorrendo a um grupo de 100 estudantes, utilizando apenas uma das bases de conhecimento desenvolvidas. Espera-se que outros estudos comprovem estes resultados recorrendo a diversas bases de conhecimento e grupos etários distintos. Outros estudos referem também a importância de todos os elementos sensoriais como uma possibilidade de aumentar a credibilidade do agente atribuindo principal importância aos elementos visuais e sonoros [Thalmann N. Magnenat et al. 2005] [Koda e Maes 1996]. Pretende-se então analisar individualmente a influência dos elementos visuais e sonoros no efeito persona de forma a compreender qual o peso de cada um destes elementos na melhoria da experiência de aprendizagem. 3.2.2 Freudbot e Piagetbot Existem diversos estudos sobre o efeito Persona quando utilizamos Agentes em tarefas pedagógica, contudo em parte os seus resultados são contraditórios. Centrados na ideia do efeito Persona, [Heller et Al.] decidiram comprovar este efeito utilizando um Agente que representado por uma figura familiar. Neste caso, optaram por utilizar a imagem Sigmund Freud que é figura histórica conhecida. Este agente, o Freudbot, seria responsável por disponibilizar informação autobiográfica durante uma sessão de conversação. Apesar de os resultados comprovarem que os utilizadores consideraram a experiência positiva e bastante intuitiva. O formato de aprendizagem através de conversação parece de facto adequado para aprender informação biográfica sobre uma figura histórica. Contudo, CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 41 por falte de dados que permitissem a comparação, este estudo foi incapaz de demonstrar e quantificar a vantagem da aprendizagem feita por meio de conversação em vez de se utilizar consulta direta. Para obter resultados mais objetivos foi realizado por Bob Heller e Mike Procter uma experiência semelhante à do Freudbot. Desta vez, foi concebido um agente semelhante ao Freudbot, mas com a informação biográfica relativa a Jean Piaget, o Piagetbot. Para além do desenvolvimento do agente, foi disponibilizada, em paralelo, a mesma informação através de uma página web contendo apenas texto. A informação disponibilizada pelo Agente seria dada na primeira pessoa ao contrário da informação disponível através da página que se referia a Piaget na terceira pessoa. Estas duas possibilidades serviram para tentar comprovar a vantagem da aprendizagem através de conversação em relação a um método, que apesar de interativo, consiste na consulta direta. Surpreendentemente, os resultados de este estudo contrastam com os referidos por Lester et al [Lester et al. 1997], pois as respostas dadas pelos participantes indicam a sua preferência pelo método não conversacional por ser mais prático. Uma das possibilidades de se ter verificado este resultado pode estar relacionada com o formato da experiência. Como os participantes haviam sido informados que iriam responder a um teste onde seriam avaliados sobre o seu conhecimento sobre Jean Piaget, estavam obviamente interessados em recolher o máximo de factos importantes sobre o assunto em um curto espaço de tempo. Neste contexto, é possível compreender a vantagem de um método que permite aceder à informação de forma direta mas não é possível concluir sobre a possibilidade de ambos os métodos serem utilizados em um contexto sem restrições temporais. 3.2.3 Outros estudos sobre a influência da representação visual É possível encontrar uma análise feita ao diferente tipo de representações visuais de agentes. Os resultados demonstram que não existe diferença quanto ao sexo da representação do agente, porém parece existir um benefício positivo quanto à utilização de uma personagem realista em vez de caricaturada. Estes resultados foram comprovados por Tomoko Koda e Pattie Maes através de uma de diversas experiências realizadas para avaliar a influência de diversos aspetos relacionados exclusivamente com a aparência do agente de conversação, nomeadamente, o sexo, o aspeto humano e realismo. Os resultados experimentais demonstraram que não existe grande influência quanto à escolha de sexo do agente. Quanto ao aspeto humano, foi possível comprovar que um agente de conversão com aparência humana é percecionado como mais inteligente, contudo, menos cativante que um agente representado por um animal, neste caso, um cão. CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 48 existentes em um texto. Este mecanismo identifica a palavra principal de um texto e, através da base de dados, obtém um sêxtuplo que representa as várias emoções (felicidade, tristeza, raiva, medo e surpresa) associadas a essa palavra. Para se obter um valor mais preciso, são analisadas recursivamente frases que se encontram normalmente associadas à palavra inicial são adicionadas as emoções ainda não detetadas. O resultado é atenuado pelo fator de propagação, referido no exemplo como a variável d. [Liu, Lieberman e Selker 2003] “Algo excitante é simultaneamente alegre e surpreendente. (passagem: 1: excitante [1,0,0,0,0,1]) Montanhas-russas são excitantes. (assumir d=0.5 passagem: 2: montanha-russa [0.5,0,0,0,0,0.5]) As montanhas russas normalmente encontram-se em parques de diversões. (passagem 3: parque de diversões: [0.25,0,0,0,0,0.25])” [Liu, Lieberman e Selker 2003 tradução nossa] Esta técnica foi testada utilizando uma aplicação denominada EmpathyBuddy. Os utilizadores foram convidados a enviar uma mensagem de correio eletrónico a um amigo através da aplicação que é responsável por identificar a exibir a emoção predominante enquanto o texto é escrito. Os dados obtidos a partir da utilização experimental, são curiosos porque este método revelou-se menos emocionante para a maioria dos utilizadores quando comparado com uma implementação que exibia emoções de forma aleatória. Contudo, o dado mais importante e motivador deste estudo é o facto da utilização do método descrito ser considerada pelos utilizadores como a implementação com a interpretação mais inteligente. Outra técnica para identificar as emoções associadas a uma frase é descrita por Xu Zhe e Anthony Boucouvalas [Zhe e Boucouvalas 2006] que conseguiram desenvolver uma aplicação que permite a extração de essa informação em tempo real. De forma a ser possível a identificação de palavras associadas a emoções, teve de ser desenvolvido um dicionário com a caracterização de 16400 palavras. Uma das preocupações que surge nas conclusões deste estudo relaciona-se com o problema dos erros ortográficos e gramáticas, algo que já havia sido referido [Schumaker, Ginsburg, Chen e Liu 2006] Recorrendo à utilização de ambas técnicas em conjunto seria possível obter informação mais precisa e completa sobre o impacto emocional que resulta da frase em questão. Existem também tipos de interações e ações não-verbais que podem ajudar a melhorar a credibilidade do Agente de Conversão como por exemplo o movimento da cabeça e dos olhos que são elementos importantes durante a comunicação. O movimento das sobrancelhas deve também ser considerado por ser uma parte importante na representação de emoções. [Cho 2007] CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 49 De acordo com um questionário realizado a um grupo de utilizadores, foi possível aumentar o sucesso do agente de conversação em relação à implementação tradicional do AliceBot [Cho 2007]. Convêm salientar que, neste exemplo, a instabilidade emocional do agente de conversação foi considerada como um fator negativo por um dos utilizadores. A sincronização dos movimentos faciais do agente, para representar a fala e as expressões emocionais, é necessária para aumentar o realismo do agente de conversação. Uma abordagem possível é efetuar a animação facial durante o tempo da tarefa de fala. No caso de [Thalmann e Kshirsagar 2002] optaram pela utilização de técnicas estudadas anteriormente [Kshirsaga, Molet e Thalmann 2001]. Para além da animação da fala e das emoções também é possível alterar diversos parâmetros como movimentos da cabeça e piscar de olhos. Existem questões relacionadas com a credibilidade do agente que ainda não foram analisadas. Isto é, para um máquina conseguir simular o comportamento humano, é também necessário replicar algumas das suas limitações humanas. As respostas dadas por um agente de conversação são determinadas pelo conteúdo da sua da base de conhecimentos e são processadas bastante rápido quando comparadas com o tempo médio de uma pessoa a escrever em um teclado. Assim sendo, torna-se necessário introduzir uma latência nas ações do agente de conversação e a possibilidade de forçar erros de escrita. Estas questões foram obviamente consideradas e estudadas por alguns dos trabalhos candidatos a ganhar o Prémio Loebner. Outra diferença entre os humanos e as máquinas, para além da questão da velocidade processamento, relaciona-se com a precisão. Convêm ter em conta que no caso de perguntarmos a um agente uma questão aritmética, este revelará o resultado com uma precisão que não consegue ser calculada facilmente por um humano. Desta forma, torna-se necessário, mais uma vez, implementar mecanismos que limitem a capacidade dos Agentes de forma a agirem de uma forma humana. Em relação à quantidade de informação disponível pelo agente, convém lembrar que, de acordo com os resultados da primeira edição do Prémio Loebner, os humanos são capazes de exibir conhecimentos tão profundos sobre um tema que não existe necessidade de restringir a capacidade do Agente. Estas técnicas são apenas importantes se pretendermos desenvolver um agente com o objetivo de encobrir a sua identidade. No caso de o agente ser concebido para desempenhar um papel de tutor, estas técnicas não devem ser consideradas. No caso de estarmos a avaliar um Agente de Conversação com funções pedagógicas, o principal objetivo do Agente é facilitar o acesso a informação correta e tornar a tarefa mais agradável e intuitiva. CAPÍTULO 3: AGENTES DE CONVERSAÇÃO EM AMBIENTES VIRTUAIS 50 De forma a permitir a consulta sobre informação que não está disponível na base de conhecimento do agente, o ideal seria a utilização de consultas a fontes exteriores, como a Internet, ou recursos disponíveis em rede. Uma abordagem a este problema consiste na utilização de informação disponível na Internet em conjunto com ferramentas como o Wordnet. A partir da identificação das palavras mais importantes de uma pergunta e através do relacionamento semântico da informação obtida é possível obter uma resposta. De forma a melhorar este processo, a base de conhecimento Wordnet é utilizada para obter sinónimos das palavras identificadas. [Yang et al, 2006] Convém salientar que este método é responsável pela geração de uma resposta a partir da informação como esta se encontra disponível, com mais frequência na Internet e nem sempre é possível a obtenção de uma resposta. A informação pode não estar disponível ou não ser possível obter informação a partir da formulação da pergunta. Como este método é complementar aos utilizados pelos Agentes de Conversação e pode ser usado como uma forma de expandir a capacidade do Agente sendo apenas utilizado em circunstâncias específicas. 3.4 Conclusão Em este capítulo foi possível concluir acerca de diversas características capazes de influenciar o desempenho de várias ferramentas que utilizam agentes de conversação. Para além da influência da linguagem utilizada pelo agente durante a conversação [Schumaker e Chen, 2010], também existem estudos que concluem acerca da utilização de representações visuais para o agente de conversação, o denominado efeito Persona [Lester et al. 1997]. Este efeito revela-se mais influente quando se utiliza uma aparência mais humana e realista para caracterizar o agente de conversação. Em relação à utilização de emoções para atribuir ao agente características ainda mais humanas, a sua utilização é considerada positiva por vários estudos. Em estes estudos o estado emocional do agente serve para alterar a representação visual do agente mas também para apresentar respostas mais adequadas. [Cho 2007] Capítulo 4 4. Plataforma desenvolvida Antes de iniciar o desenvolvimento da plataforma foi necessário identificar um conjunto de funcionalidades para se poder proceder à escolha da tecnologia adequada. Esta plataforma pretende diferenciar-se dos trabalhos anteriormente descritos por permitir a interação e avaliação, de diferentes aspetos de um agente, de uma forma remota. 4.1 Especificação Foi então necessário escolher tecnologia que permitisse a interação com Agentes de Conversação através de protocolos de Instant Messaging, considerando os elementos multimédia que serão adicionados como a visualização de Avatares e a utilização de emoções. Outro aspeto importante da plataforma que tem de ser considerado é a forma como são guardados os dados, respetivos à sua utilização, para se poder posteriormente proceder à sua avaliação. 4.1.1 Servidor de Conversação De forma a possibilitar o acesso remoto, pretende-se implementar esta interface, de forma a poder ser executado em um browser, recorrendo a tecnologia como o Flash ou PHP. Os serviços utilizados para a comunicação e para a tecnologia de agentes devem ser convergentes, usando, por exemplo, uma especificação como o Extended Markup Language (XML). Neste caso, a configuração ideal parece ser o uso de XMPP [Jabber Software Foundation] para o servidor de conversação, que é desenvolvido sobre protocolo que utiliza o XML e possui bastantes extensões como a integração com tecnologia de ligação, conhecida como gateways, para interagir com outros protocolos de Instant Messaging. Uma das vantagens da utilização de tecnologia como o Adobe Flash é permitir bastante flexibilidade, tanto na implementação do interface de conversação como a visualização dos estados emocionais. CAPÍTULO 4: PLATAFORMA DESENVOLVIDA 52 4.1.2 Agente de Conversação Para a tecnologia de agentes de conversação, tal como referido anteriormente, pretende-se utilizar uma variante do conhecido Elizabot, o AliceBot, por utilizar uma base de conhecimento em AIML que é também desenvolvido em XML. Como opções para a implementação do agente de conversação, podemos utilizar o Persona-Bot que apresenta como principal dificuldade a obtenção de esta tecnologia ou, como alternativa, implementar uma versão simplificada da tecnologia referida anteriormente. Em ambos os casos, o conteúdo da base de conhecimento terá de ser alterado em quase toda a sua extensão, de forma a se adicionar a informação relativa aos estados emocionais. Poderemos então usar a estrutura referida anteriormente ou então substitui-la por algo mais simples, como o uso de sequência caracteres utilizados normalmente na comunicação escrita para representar emoções, os ”smilies” ou “emoticons”. Ilustração 6. Exemplo de conversação entre agente e utilizador No caso de se recorrer à segunda hipótese, podemos utilizar um servidor como o XMPP Chatbot, que se encontra disponível como projeto de código aberto. Neste caso, teremos de optar entre alterar o funcionamento do servidor para calcular as alterações das emoções de acordo com o desfecho das conversas, ou atribuir estas funcionalidades ao cliente, de forma simplificada. Teria também de ser utilizado um servidor como o MySQL para guardar as variações de emoções, desfecho das interações, juntamente com todos os parâmetros que possam interessar para posterior análise. CAPÍTULO 4: PLATAFORMA DESENVOLVIDA 53 O Xmmp Chat Bot é um script em Perl que serve de ligação entre um servidor XMPP e um agente de conversação Pandorabot. A instalação e configuração são bastante simples . Consequentemente, os parametros de configuração do script são apenas os dados para efectuar a autentição das contas XMPP e Pandorabots. Os agentes de conversão Pandorabot são implementações do Alicebot que são configuráveis a partir de um interface web. Assim sendo, podemos definir caracteristicas do agente de conversação como a idade, nome ou nacionalidade e também adicionar diferentes bases de conhecimento em AIML recorrendo ao uso de um browser. Um dos problemas que surgiu devido à utilização de AIML, é a falta de bases de conhecimento que utilizem a língua Portuguesa. De forma a permitir que os testes sejam feitos recorrendo à língua Portuguesa, torna-se então necessário escolher uma base de conhecimento para proceder à sua tradução. Ilustração 7. Exemplo de conversação entre dois utilizadores 4.1.3 Funcionalidades a Implementar De acordo com o objetivo do trabalho, é necessário escolher um conjunto de funcionalidades que apenas será utilizado em uma segunda fase de testes. Estas funcionalidades têm de CAPÍTULO 4: PLATAFORMA DESENVOLVIDA 54 ser identificadas para poderem ser implementadas de forma a poderem ser configuradas para diferentes tipos de sessão de teste. Para além da representação visual dos intervenientes e respetivas alterações emocionais, que são duas funcionalidades distintas, torna-se necessário implementar outras funcionalidades. Como o tempo de resposta do agente de conversação depende apenas da comunicação com o serviço Pandorabots, a resposta será exibida ao utilizador de forma quase instantânea, independentemente do tamanho da resposta. Desta forma, para simular a demora de a mensagem ser escrita por um humano em um computador, pode-se introduzir uma latência que esteja dependente do número de caracteres da resposta. Para replicar as sessões tal como avaliadas no Prémio Loebner torna-se necessário controlar o fluxo de diálogo para que o diálogo seja sequencial e composto por apenas um parágrafo. [Loebner Prize] 4.1.4 Recolha e armazenamento de Informação´ Para além da informação que será recolhida durante as sessões de conversação, torna-se necessário definir um questionário que será efetuado aos utilizadores no fim da mesma. O objetivo do questionário é permitir quantificar o conhecimento do utilizador sobre a tecnologia a ser testada. Outro objetivo do questionário é saber qual a influência das funcionalidades durante as conversações e descobrir quais foram os fatores fundamentais de sucesso ou insucesso do agente de conversação. A informação relativa à interação do utilizador com a interface e também às várias sessões de conversação devem também ser guardadas para posterior análise. Como a informação, relativa aos utilizadores, se encontra guardada em uma base de dados relacional MySQL, podemos expandi-la para guardar os resultados das interações resultantes da fase de teste. Também será possível utilizar esta base de dados de forma a guardar um conjunto de configurações que caracterizem as diferentes fases de teste através de pormenores como a duração de cada sessão e o conjunto de funcionalidades a utilizar. 4.2 Implementação 4.2.1 Servidor de Conversação Para o desenvolvimento da Plataforma de Avaliação, foi utilizado o servidor XMPP Openfire por preencher os requisitos descritos anteriormente, ou seja, a possibilidade de integração com o Flash através do uso de sockets XML. CAPÍTULO 4: PLATAFORMA DESENVOLVIDA 55 Durante a instalação do servidor, foi necessário proceder à criação da respetiva base de dados MySQL, para esta ser usada em alternativa à base de dados interna do servidor Openfire. Esta tarefa é simplificada pelo facto de podermos criar um grupo de utilizadores no servidor de XMPP que corresponde aos agentes de conversação. Também é possível configurar o servidor para que todos os utilizadores novos, após o registo, irão adicionar automaticamente à sua lista de contactos, todos os elementos do grupo de agentes. Para além dos agentes de conversação, torna-se necessário gerir a presença dos vários utilizadores. Isto é, temos de considerar a disponibilidade dos vários utilizadores quando se encontrem na plataforma de teste. A opção escolhida para esta gestão foi a utilização de uma sala de conversação. Isto porque não existe necessidade de o utilizador ter acesso a informação relativa à presença de outros utilizadores que não estão disponíveis. Quando um utilizador entra na sala aplicação tenta procurar um utilizador que esteja disponível. No caso de todas as respostas serem negativas, o utilizador será notificado e terá de aguardar pela presença de novos utilizadores. Para além da gestão dos privilégios dos utilizadores e salas de conferência, o servidor XMPP permite guardar registo de todas as conversações. 4.2.2 Agente de Conversação Após a criação de uma conta no serviço Pandorabots, torna-se disponível o acesso à configuração de um agente de conversação. Através de este serviço, é possível também alterar a base de dados de conhecimento do agente através do carregamento de ficheiros AIML. Podemos alterar outros dados do nosso agente, como o nome, a idade, etc. Depois de o agente estar configurado e devidamente publicado, passa a ser possível testá-lo a partir do interface do serviço ou através de pedidos HTTP feitos para o servidor Pandorabots. Ilustração 8. Interface de administração de agentes Pandorabots [Pandorabots] Para o desenvolvimento de este trabalho, tal como descrito anteriormente, a opção escolhida foi a utilização de um script em Perl [Perl] que serve como ligação entre uma conta XMPP e um agente Pandorabots. Será possível conhecer a disponibilidade de todos os CAPÍTULO 4: PLATAFORMA DESENVOLVIDA 56 agentes de conversação pois poderão ser adicionados automaticamente à lista de contactos de todos utilizadores. Neste caso, torna-se necessário a utilização de vários agentes em simultâneo para ser possível comparar a eficiência de um Agente dotado de uma base de conhecimento geral e outro especializado em discutir um tópico específico como, por exemplo, Desporto. 4.2.3 Cliente de Conversação Para além das funcionalidades já existentes no servidor de conversação, torna-se necessário implementar no cliente de conversação as ações adequadas às várias fases de cada sessão. Considerando que o cliente de conversação foi completamente desenvolvido no âmbito de este trabalho, foi necessário implementar todas as funcionalidades básicas de uma ferramenta de conversação. Esta tarefa foi facilitada através do uso das classes XIFF. Tal como referido anteriormente, a biblioteca XIFF serve como elo de ligação entre o Flash e o XMPP enviado pelo servidor. Esta é responsável por alertar o Flash de todas as ocorrências em uma ligação ao servidor, desde a autenticação do utilizador à gestão de mensagens, e traduzir essa informação para objetos que podem ser acedidos pelo mesmo. Ilustração 9. Interface de autenticação ou registo do utilizador Para ser possível aceder à ferramenta, os utilizadores têm de efetuar o registo de forma a ser possível identificar algumas características simples como a idade e sexo. 4.2.3.1 Tipos de sessão Uma das características principais da plataforma desenvolvida é o facto de permitir a configuração de várias características que determinam a aparência e funcionamento do interface de utilização. Isto é, o administrador do sistema pode escolher qual o número de sessões experimentais que irão decorrer, qual a sua duração e determinar se o parceiro de cada conversação será um humano ou um agente. Outra característica que pode ser alterada é a aparência do interface dentro de um conjunto possível. CAPÍTULO 4: PLATAFORMA DESENVOLVIDA 57 A primeira opção é representação mais parecida com o teste inicialmente proposto por Turing. A ausência de representações do Agente de Conversação e de outros indicadores do estado emocional da conversa faz com que o centro da atenção seja a conversa. Desta forma, o utilizador pode concentra-se em analisar apenas a capacidade do diálogo do agente. Esta é a configuração por defeito que poderá posteriormente servir como uma base para comparações de desempenho. Ilustração 10. Exemplo do Interface de conversação simples Também é possível configurar o interface para exibir avatares capazes de exibir as seis emoções descritas no modelo anteriormente referido [Ekman e Rosenberg 2005]. As emoções representadas pelo avatar são identificadas no diálogo do agente ou do utilizador através da simples deteção de emoticons no texto. Estes emoticons também podem ser inseridos no diálogo através do interface e encontram-se definidos na base de dados para poderem ser facilmente alterados. Ilustração 11 Exemplo do Interface de conversação com Avatares emotivos CAPÍTULO 5: AVALIAÇÃO EXPERIMENTAL 64 das emoções do utilizador e o total das emoções dos restantes intervenientes, é o facto de se verificar uma ocorrência de Raiva superior a Tristeza. Como o utilizador ainda não foi informado que pode utilizar emoticons para exprimir sentimentos, podemos assumir que as emoções foram detetadas no conteúdo do texto. Felicidade Tristeza Repugnância Raiva Medo Surpresa Total Sessões Moderador 11 2 0 1 2 0 16 12 Utilizador 29 14 0 18 6 0 67 58 Agente Normal 7 6 0 4 2 3 22 21 Agente Restrito 16 2 0 7 8 0 33 25 Tabela 9 Quantidade de emoções utilizadas, com o interface de conversação simples, por tipo de interveniente Os dados relativos aos destinatários das emoções também podem ser analisados e, neste caso, interessa-nos saber para quem foram dirigidas as emoções utilizadas pelos utilizadores da ferramenta. Felicidade Tristeza Repugnância Raiva Medo Surpresa Total Sessões Moderador 9 3 0 3 1 0 16 12 Agente Normal 7 4 0 5 1 0 17 21 Agente Restrito 13 7 0 10 4 0 34 25 Tabela 10 Quantidade de emoções utilizadas pelo utilizador, com o interface simples, por tipo de destinatário Estes dados, exibidos na Tabela 10, permitem verificar que grande parte das emoções utilizadas pelo utilizador foi em sessões de conversação com um agente restrito. Como o tipo de interface utilizado não exibe ao utilizador nenhuma informação acerca das emoções utilizadas, sabemos que estes resultados são fruto da conversa e foram as respostas dadas pelo agente que provocaram o maior uso de emoções, neste caso maioritariamente negativas. 5.2.2 Interface de conversação com Avatares emotivos Após a utilização da aplicação com o interface de conversação dotado de avatares que exibem as várias emoções dos intervenientes, foi possível obter os dados da Tabela 11. Comparando estes dados com os da sessão anterior, descritos na Tabela 7, torna-se possí- CAPÍTULO 5: AVALIAÇÃO EXPERIMENTAL 65 vel comprovar que a utilização de elementos multimédia, que atribuem características mais humanas ao agente, influencia a experiência de interação. Humano Agente de Conversação Total de Sessões Moderador 10 5 10 Agente normal 4 12 18 Agente restrito 4 14 15 Tabela 11 Interação com o controlo de identifição, com interface de conversação com avatares emotivos, por tipo de destinatário As respostas do questionário de este tipo de sessão, exibidos na Tabela 12, mostram que, para além dos utilizadores se mostrarem mais suscetíveis a pensar que estava a conversar com um humano, estes estariam com mais disponibilidade para continuar a conversação do que no tipo de sessão anterior. Moderador Agente normal Agente restrito Acha que esteve a conversar com um humano? 2.9 2.44 2.67 Considera que teve uma conversa satisfatória? 3.1 2.52 2.50 Era capaz de utilizar a ferramenta durante 20 minutos em vez de 2? 3.3 2.56 2.80 Observou alterações nas emoções dos intervenientes? 2.9 2.78 2.33 Tabela 12 Médias das respostas aos questionários, com interface de conversação com avatares emotivos, por tipo de interveniente De acordo com os dados do questionário também podemos constatar que os utilizadores tiveram perceção das alterações que ocorreram no interface. As perguntas do questionário poderiam ter sido elaboradas de forma a saber mais detalhes sobre a influência da utilização dos avatares mas isso não foi feito como consequência da curta duração de cada sessão . CAPÍTULO 5: AVALIAÇÃO EXPERIMENTAL 66 Felicidade Tristeza Repugnância Raiva Medo Surpresa Total Sessões Moderador 9 2 0 1 1 1 14 10 Utilizador 38 5 4 22 7 5 81 43 Agente Normal 15 3 0 4 3 0 25 18 Agente Restrito 22 0 0 3 4 1 30 15 Tabela 13 Quantidade de emoções utilizadas, com o interface de conversação com avatares emotivos, por tipo de interveniente Em este tipo de interface, também foram categorizadas as emoções utilizadas pelos vários participantes, tal como é possível ver na Tabela 13. Em este tipo de sessão, tal como nas sessões com o interface de conversação simples, é possível observar que a seguir à Felicidade, a Raiva foi a emoção mais utilizada no discurso dos utilizadores. Como a ferramenta faz a distinção entre as origens da emoção, sabemos que em este tipo de sessão houve um aumento bastante significativo da utilização de emoticons, sendo este mecanismo responsável por 34 das 71 vezes em que o utilizador exprimiu emoções em este tipo de sessão. Tal como na sessão anterior, interessa-nos saber quem foram os destinatários das emoções utilizadas pelos utilizadores para podermos relacionar essa informação com os dados obtidos anteriormente. Essa informação, representada na Tabela 14, permite concluir que mesmo mudando o tipo de interface, o número de emoções expressas pelo utilizador, se mantêm independente do outro elemento da conversação. Felicidade Tristeza Repugnância Raiva Medo Surpresa Total Sessões Moderador 9 1 0 6 1 4 21 10 Agente Normal 10 3 1 9 5 1 29 18 Agente Restrito 19 1 3 7 1 0 31 15 Tabela 14 Quantidade de emoções utilizadas pelo utilizador, com o interface com avatares emotivos, por tipo de destinatário 5.2.3 Interface de conversação com Avatares emotivos e imagem de emoção. Com a adição de um elemento multimédia dinâmico que complementa a informação emocional, seria de esperar uma melhoria no desempenho da aplicação. Apesar de se verificado um equilíbrio entre as identificações corretas e erradas, recorrendo ao interface, em todos os tipos de sessão, devido ao baixo número de interações, não é possível obter conclusões quanto à eficiência do tipo de interface. Apenas no Agente res- CAPÍTULO 5: AVALIAÇÃO EXPERIMENTAL 67 trito foi possível observar um número de interações mais significativo. Este número também resulta da diminuição de utilizadores entre as várias sessões. Humano Agente de Conversação Total de Sessões Moderador 3 4 9 Agente normal 3 3 11 Agente restrito 8 7 11 Tabela 15 Interação com o controlo de identifição, com interface de conversação com avatares emotivos e imagem de emoção, por tipo de destinatário Este valor teria de ser confirmado pela resposta fornecida pelos utilizadores, tal como representado na Tabela 16. As respostas ao questionário evidenciam um resultado menos positivo que parece resultar de erros de decisão na configuração a utilizar na fase experimental. A quebra de satisfação dos utilizadores, quando questionados acerca da última conversação sem restrições, evidencia a saturação resultante do tempo excessivo a conversar com 2 Agentes de Conversação. Quanto aos utilizadores, que estiveram a conversar com um humano, a melhoria significativo das respostas quanto à satisfação e possibilidade de utilizar a plataforma durante 20 minuto, demonstra a eficiência das alterações na plataforma. Um valor que se revela interessante é o facto de os utilizadores terem considerado que as emoções utilizadas se traduziram de forma correta em imagens. Este dado serve de validação para o mecanismo de identificação de emoções utilizado. Moderador Agente normal Agente restrito Acha que esteve a conversar com um humano? 3.11 1.9 2.18 Considera que teve uma conversa satisfatória? 3.11 2.27 2.50 Era capaz de utilizar a ferramenta durante 20 minutos em vez de 2? 3.44 2.00 2.36 Observou alterações no interface e nas emoções dos intervenientes? 3.22 1.9 3 Considera que as imagens exibidas correspondem às emoções utilizadas? 3.11 2.45 2.63 Tabela 16 Médias das respostas aos questionários, com interface de conversação com avatares emotivos e imagem de emoção, por tipo de interveniente CAPÍTULO 5: AVALIAÇÃO EXPERIMENTAL 68 Quanto à quantidade de emoções utilizadas em este tipo de interface, esperava-se um aumento devido aos novos elementos visuais que reforçam o estado emocional dos participantes. Esperava-se que o utilizador utilizasse os avatares e um discurso mais emotivo para poder observar as alterações no interface. Os dados da Tabela 17, que mostram quais foram as emoções utilizadas pelos vários intervenientes, em conjunto com a Tabela 9 e Tabela 13, que se referem aos mesmos dados nos outros tipo de sessão, permitem concluir que a Felicidade e a Raiva, são as emoções mais utilizadas por todos os tipos de interveniente. Felicidade Tristeza Repugnância Raiva Medo Surpresa Total Sessões Moderador 6 1 0 0 1 0 8 9 Utilizador 33 6 2 14 1 8 64 31 Agente Normal 14 2 0 5 0 0 21 11 Agente Restrito 10 2 0 2 0 1 15 11 Tabela 17 Quantidade de emoções utilizadas, com o interface de conversação com avatares emotivos e imagem de emoção, por tipo de interveniente Tal como nas sessões anteriores, interessa-nos saber mais sobre as emoções utilizadas no discurso dos utilizadores. Os dados na Tabela 18, que mostram os destinatários das várias emoções do utilizador, evidenciam equilíbrio na forma como se distribui entre os vários tipos de destinatário. Isto é, não podemos concluir que exista alguma diferença na forma como o utilizador comunicou com os vários tipos de interveniente. Felicidade Tristeza Repugnância Raiva Medo Surpresa Total Sessões Moderador 13 2 0 4 0 0 19 9 Agente Normal 9 3 1 5 1 1 20 11 Agente Restrito 11 1 1 5 0 0 18 11 Tabela 18 Quantidade de emoções utilizadas pelo utilizador, com o interface com avatares emotivos e imagem de emoção, por tipo de destinatário Curiosamente, houve um decréscimo na utilização dos emoticons para exprimir emoções. Em este tipo de sessão, das 57 vezes que o utilizador comunicou uma emoção, apenas 22 foram através de emoticons. CAPÍTULO 5: AVALIAÇÃO EXPERIMENTAL 69 5.3 Conclusão Depois da análise dos dados recolhidos com a aplicação desenvolvida, foi possível verificar a influência positiva de elementos multimédia quando utilizados em conjunto com tecnologia de Agentes de Conversação. Apesar de não ter sido possível verificar um aumento de satisfação dos utilizadores proporcional aos elementos adicionados ao interface, foi possível manter os níveis de satisfação do utilizador como positivos até uma fase tardia da aplicação. Quanto à utilização de emoções, é possível observar uma relação entre a forma como o utilizador as exprime e o tipo de interface. A utilização de avatares para exprimir emoções, melhora claramente a experiência de utilização e incentiva o utilizador a ser mais expressivo. Não foi possível estabelecer uma relação entre o tipo de interveniente e as emoções utilizadas pelo utilizador. De acordo com os dados obtidos, as emoções utilizadas com mais frequência pelo utilizador, isto é a Raiva e a Felicidade, são independentes do tipo de interface e de destinatário. Infelizmente, devido à configuração definida para a utilização da plataforma, não foi possível obter dados que permitam comparar os vários tipos de interface em circunstâncias exatamente idênticas. Isto acontece porque quando o utilizador é convidado a utilizar o último tipo de interface, já decorreram 8 minutos de utilização. No caso de o utilizador estar a interagir com um humano, este dado não se revela muito influente, mas no caso de serem 2 agentes de conversação, este fator revela-se como negativo na experiência de utilização. Por outro lado, como a ferramenta foi desenvolvida de forma a permitir a configuração da ordem e duração das sessões, obter dados de utilização da ferramenta utilizada exclusivamente com o interface mais completo, tornou-se uma tarefa bastante simples. Capítulo 6 6. Conclusões e Perspetivas de Desenvolvimento Neste trabalho, foram identificados alguns aspetos importantes relacionados com desenvolvimento da tecnologia de Agentes de Comunicação. Recorrendo a estudos anteriores foi possível identificar características importantes para o sucesso dos agentes em diferentes ambientes virtuais. Desta forma, foi possível implementar uma plataforma que permitisse configurar e testar diferentes configurações de ambientes de conversação entre humanos e máquinas. A escolha da tecnologia a utilizar para a implementação da plataforma foi efetuada com o intuito de permitir a facilidade de utilização de elementos multimédia. Através da plataforma desenvolvida, foi possível efetuar a recolha de dados em várias sessões de teste, recorrendo à utilização por um conjunto de pessoas convidadas para o efeito. Isto é, cada utilizador participará em uma conversação com um Agente de Conversação e outro utilizador, sendo a ordem aleatória. Através da análise da opinião manifestada por cada utilizador, recorrendo ao interface do cliente de conversação, durante ambas as sessões, foi possível comparar o sucesso das diferentes configurações. Desta forma foi possível confirmar os resultados de trabalhos anteriores que enumeram algumas características que deve ser consideradas na utilização de Agentes de Conversação e também identificar outras alterações que podem ser efetuadas tanto na representação do Agente de Conversação como no cliente que conversação que tiveram uma influência positiva no desempenho durante as sessões de teste. Como desenvolvimento futuro, para além da identificação de novas características que melhorem o desempenho da plataforma, será possível disponibilizar um cliente de conversação que permita a alteração dos seus componentes multimédia. Desta forma será possível a qualquer utilizador, testar a influência de diversos elementos multimédia que foram idealizados por si. Outra forma de desenvolver o trabalho realizado seria através da disponibilização de toda a plataforma com a finalidade de esta poder vir a ser posteriormente melhorada para utilização em trabalhos futuros que incidam sobre o mesmo tema. PESQUISA BIBLIOGRÁFICA 71 Referências Bibliográficas Turing, A.M. (1950). Computing machinery and intelligence em Parsing the Turing test: Philosophical and methodological issues in the quest for the thinking computer. Springer, 2009, p.23-65. Epstein, Roberts, Gary e Beber, Grace (2008). Parsing the Turing Test: Philosophical and Methodological Issues. Springer, 2009. Cooper, S. Barry (2004) The incomputable Alan Turing. Universidade de Manchester, 5 Junho, 2004. Weizenbaum, J. (1966). ELIZA - A Computer Program For the Study of Natural Language Communication Between Man and Machine em Communications of the ACM Vol. 9, Nº. 1, p.36-45. Alice, Alice Artificial Intelligence Foundation. Acedido em: 25, Jan. 2010 em: http://alicebot.blogspot.com/ Loebner Prize, The Loebner Prize in Artificial Intelligence "The First Turing Test". Acedido em: 25, Jan. 2010 em: http://loebner.net/Prizef/loebner-prize.html Wallace, Richard, The Anatomy of A.L.I.C.E. em Parsing the Turing test: Philosophical and methodological issues in the quest for the thinking computer. Springer, 2009, p.181-210. Colby, K. (1975) Artificial Paranoia: A Computer Simulation of Paranoid Process em Artificial Intelligence Vol. 2, Nº. 1, 1971, p.1–25 Mauldin, Michael L. (1994) CHATTERBOTS, TINYMUDS, and the Turing Test: Entering the Loebner Prize Competition em Proc. National Conference on Artificial Intelligence AAAI , Seattle, WA, AAAI Press, The MIT Press, 1994, p.16-21. Güzeldere, Güven e Franchi, Stefano (1995) dialogues with colorful personalities of early A.I. em Constructions of the Mind, Volume 4, Número 2 Shieber, Stuart M. (1993) Lessons from a Restricted Turing Test. Communications of the ACM, Vol. 37, Nº. 6, 1994, p.70-78. Wilcox, Bruce (2008) Beyond AIML: Chatbots 102. Artigo acedido em: 25, Jan. 2010 em: http://www.gamasutra.com/view/feature/3761/beyond_aiml_chatbots_102.php Wilcox, Bruce (2011) Suzette, the Most Human Computer. Artigo acedido em: 25, Jan. 2010 em: http://www.gamasutra.com/blogs/BruceWilcox/20110622/7840/Suzette_the_Most_Hu man_Computer.php PESQUISA BIBLIOGRÁFICA 72 Schumaker, Robert P. e Chen, Hsinchun (2006) Leveraging Question Answer technology to address terrorism inquiry em Decision Support Systems, Vol. 43, Nº. 4 , 2007, p.1419-1430. Schumaker, Robert P.; Ginsburg, Mark; Chen, Hsinchun e Liu, Ying (2006) Evaluating Mass Knowledge Acquisition using the ALICE Chatterbot: The AZ-ALICE Dialog System em International Journal of Man-Machine Studies, Vol. 64, Nº. 11, 2006, p.1132-1140. Schumaker, Robert P.; Ginsburg, Mark; Chen, Hsinchun e Liu, Ying (2007) An Evaluation of the Chat and Knowledge Delivery Components of a Low-Level Dialog System: The AZ-ALICE Experiment em Decision Support Systems, Vol. 42, Nº. 44, 2007 , p.2236-2246. Schumaker, Robert P. e Chen, Hsinchun (2010) Interaction Analysis of the ALICE Chatterbot: A Two-Study investigation of Dialog and Domain Questioning em IEEE Transactions on Systems, Man, and Cybernetics, Part A, Vol. 40, Nº. 1, 2010, p. 40-51. Han, S. e Kim, Y. (2001) Intelligent Dialogue System for Plane Euclidean Geometry Learning, apresentado em International Conference on Computers in Education, Seul, Coreia, 2001. Moore, R. e Gibbs, G. (2002) Emile: Using a chatbot conversation to enhance the learning of social theory. Univ. of Huddersfield, Huddersfield, Inglaterra 2002. Louwerse, M.; Graesser, A. e Olney, A. (2002) Good Computational Manners: MixedInitiative Dialog in Conversational Agents em Papers from the 2002 Fall Symposium, Technical Report FS-02-02, E. f. H.-C. W. C. Miller, Ed. Menlo Park, CA: AAAI Press, 2002, p.71-76. Nass, C.; Steuer, J. e Tauber, E. (1994) Computers are social actors, em Proceedings of CHI '94, Boston, MA, Abril, 1974, p.72-78. Ekman, Paul e Rosenberg, Erika L. (2005), What the Face Reveals: Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System. Oxford University Press, 1998 Hadwin, F.H., Winne, P.H. e Nesbit, J.C. (2005). Roles for software technologies in advancing research and theory in educational psychology em British Journal of Educational Psychology, 75,p. 1-24. Lester, J.C., Converse, S.A., Kahler, S.E., Barlow, S.T., Stone, B.A., & Bhogal, R.S. (1997). The persona effect: Affective impact of animated pedagogical agents em Human Factors in Computing Systems: CHI'97 Conference Proceedings, Nova Iorque, ACM Press. Schumaker, Robert P. e Chen, Hsinchun (2010) Interaction Analysis of the ALICE Chatterbot: A Two-Study Investigation of Dialog and Domain Questioning em Systems, PESQUISA BIBLIOGRÁFICA 73 em IEEE Transactions on Man and Cybernetics, Part A: Systems and Humans, Vol 40, Nº 1, p.40-51 Thalmann, N. Magnenat e Kshirsagar, S. (2002) A Multilayer Personality Model. ACM Symposium on Smart Graphics, Junho, 2002 Vinciarelli, Alessandro; Pantic, Maja e Bourlard, Hervé (2009) Social signal processing: Survey of an emerging domain em Image and Vision Computing, Vol. 27, Nº. 12 Newton, MA, EUA, Butterworth-Heinemann, Novembro, 2009, p.1743-1759. Ortony, A.; Clore, GL e Collins, A. (1988) The cognitive structure of emotions. Cambridge University Press, Maio, 1990 Steunebrink, Bas R; Dastani, Mehdi e Meyer, John-Jules Ch. (2009) The OCC Model Revisited em 4th Workshop on Emotion and Computing, Paderborn, Alemanha, 2009. Ball, Gene e Breese, Jack (1998) Emotion and Personality in a Conversational Character em Embodied Conversational Character. MIT Press, 2000, p. 83-84 e 119121 Thalmann, N. Magnenat; Kim, H. ; Egges, A.; Garchery, S. (2005) Believability and Interaction in Virtual Worlds em MMMIEEE Computer Society, 2005 , p.2-9. Jabber Software Foundation, Extensible Messaging and Presence Protocol (XMPP): Core. Acedido em: 26, Jan. 2010 em: http://xmpp.org/rfcs/rfc3920.html Jabber Software Foundation, Extensible Messaging and Presence Protocol (XMPP): Instant Messaging and Presence. Acedido em 26, Jan. 2010 em: http://xmpp.org/rfcs/rfc3921.html Jabber Software Foundation, XMPP Servers. Acedido em 10, Fev. 2010 em: http://xmpp.org/software/servers.shtml Openfire XMPP Server, Ignite Real Time. Acedido em 10, Fev. 2010 em: http://www.igniterealtime.org/projects/openfire/index.jsp Xmpp ChatBot, SourceForge. Acedido em 10, Fev. 2010 em: http://xmppchatbot.sourceforge.net/ Pandorabots. Acedido em 28, Julho 2010 em: http://www.pandorabots.com WeFeelFine. Acedido em 28, Julho 2010 em: http://wefeelfine.org Synesketch. Acedido em 28, Julho 2010 em: http://www.synesketch.krcadinac.com/ EmpathyScope Github Acedido em 28, Julho 2010 em: https://github.com/dguttman/empathy_scope_appengine Lin Shi, Zhiliang Wang, Zhigang Li (2007). Application and Research on Affection Model Based on Bayesian Network em ICEC, Vol. 4740, Springer, 2007, p.441-444.