Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla

1 Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla Nieves González-Fernández-Villavicencio*, Encarnación Cánovas-Álvarez**, Consuelo Arahal-Junco** *Facultad de Humanidades. Universidad P. de Olavide, Sevilla. **Biblioteca Universidad de Sevilla. Correo-e: [email protected], [email protected], [email protected] Cómo citar este artículo/Citation: González-Fernández-Villavicencio, N.; Cánovas-Álvarez, E.; Arahal-Junco, C. (2014). Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla. Revista Española de Documentación Científica, 37(2):e045. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Resumen: Tras una revisión bibliográfica de la evaluación de los servicios de referencias en bibliotecas universitarias, se describe el proceso de evaluación de este servicio llevado a cabo en la Biblioteca de la Universidad de Sevilla, en su modalidad presencial y virtual, durante dos periodos a lo largo del año 2011. Los resultados se analizan en base a la escala READ adaptada. Se constata el predominio de la presencialidad del servicio, y las preguntas breves, de nivel básico, casi distribuidas equilibradamente entre mañana y tarde, de menos de 5 minutos, realizadas mayoritariamente por alumnos, atendidas por personal técnico no especializado con escasas derivaciones. Palabras clave: Servicios de Referencia; bibliotecas universitarias; biblioteca de la universidad de Sevilla, evaluación; escala READ; calidad del servicio; atención a usuarios. Evaluation of an academic library’s reference service: the Library of the University of Seville Abstract: After a detailed review of the literature on the evaluation of reference services in academic libraries, we describe the evaluation process of the Reference Service of the University of Seville’s library, in both its onsite and virtual models, during two time spans in 2011. We analyse the results using an adapted version of the READ scale. The predominance of the system’s onsite model was confirmed, with the type of service characterized by short questions of a basic nature, quite evenly distributed between the morning and afternoon, with a duration of less than five minutes, with the questions coming predominantly from students and answered by non-specialist staff. Keywords: Reference services; academic libraries; library of the university of Seville; evaluation; READ scale; service quality; user attention. Copyright: © 2014 CSIC. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons Attribution-Non Commercial (by-nc) Spain 3.0. Recibido: 11-03-2013; 2ª version: 29-07-2013; Aceptado: 11-08-2013. Revista Española de Documentación Científica 37(2), abril-junio 2014, e045 ISSN-L:0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 ESTUDIOS / RESEARCH STUDIES Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Nieves González-Fernández-Villavicencio, Encarnación Cánovas-Álvarez y Consuelo Arahal-Junco 2 I. INTRODUCCIÓN El Servicio de Referencia lo constituyen, desde una macro perspectiva, todas las transacciones que se llevan a cabo con el usuario para satisfacer sus necesidades de información, y desde otra más restrictiva (RUSA) (I), las relacionadas con la creación, gestión y evaluación de los recursos de información, sus herramientas y servicios, que los usuarios pueden usar de forma independiente en modo local o remoto. Desde ambas perspectivas, el servicio de referencia es hoy día una parte vital de los servicios de cualquier biblioteca (Cassell y Hiremath, 2011), y como tal debe ser evaluado para demostrar su utilidad y valor ante la Institución de la que depende, y para su continua mejora (González-Fernández-Villavicencio, 2012). En este trabajo se ofrece una visión del proceso de evaluación del servicio de Referencia de la Biblioteca de la Universidad de Sevilla (BUS) que se llevó a cabo en dos fases a lo largo del año 2011, así como el análisis de los resultados obtenidos. I.1. Los servicios de referencia en bibliotecas universitarias La mayoría de las bibliotecas universitarias ofrecen hoy día su servicio de referencia en modo presencial y virtual o digital (Manso-Rodríguez, 2010) y muy orientado hacia la enseñanza de fuentes de información y técnicas de búsqueda (Merlo-Vega, 2009). Según el informe del año 2013 de Pew Internet “Library Services in the Digital Age” (II), el 80% de los americanos mayores de 16 años considera muy importante el servicio de referencia de las bibliotecas. No obstante, “las estadísticas de uso llevan décadas descendiendo, el servicio resulta ineficiente y caro y autores como Steve Coffman consideran su modalidad virtual una de las grandes equivocaciones de los bibliotecarios” (González- Fernández-Villavicencio, 2012). La existencia de otros servicios que compiten por la atención de los usuarios (Google, Wikipedia, Medios sociales) hace que las bibliotecas se encuentren en inferioridad de condiciones. Por otro lado, la situación económica de recortes presupuestarios incide directamente en la disminución de la plantilla y en una menor oferta de servicios por parte de las bibliotecas. Otras causas internas a la propia biblioteca afectan también a un uso cada vez menor del servicio y a una deficiente identificación y promoción que lleva a que el usuario lo desconozca (Cassell y Hiremath, 2011), o tenga una percepción negativa del mismo cuando el servicio no le ha sido útil o el bibliotecario no ha sido amable (Connaway y Radford, 2011). Los bibliotecarios deben realizar grandes esfuerzos para promocionar sus servicios y, tan- to el personal de referencia como los responsables de la biblioteca deben considerar formas de cuantificar su trabajo, tanto con fines administrativos, como para estar al día de las tendencias y ofrecer servicios y personal de acuerdo a estas tendencias (Lederer y Feldmann, 2012). Algunos estudios demuestran que el usuario solo necesita ayuda con preguntas muy específicas y difíciles, pero este hecho aumenta el trabajo del referencista y se necesitan nuevas formas de medirlo (Tyckoson, 2011). La evaluación periódica del servicio de referencia se convierte así en una de las tareas fundamentales que debe llevar a cabo la biblioteca para comprobar el funcionamiento y la calidad del servicio y demostrar el valor que la biblioteca aporta a su institución. I.2. ¿Por qué evaluar el Servicio de Referencia? Las bibliotecas recopilan datos estadísticos de sus servicios de forma habitual, sin embargo no es tan frecuente que estos datos reflejen la actividad de su servicio de referencia. En el caso de las bibliotecas universitarias en España, las estadísticas de REBIUN no incorporan datos sobre este servicio, lo que sí es habitual en las bibliotecas universitarias americanas. Hemos encontrado casos significativos de evaluación de este servicio en algunas bibliotecas universitarias, como en Yale University Library (III). Es ahora, en momentos de reducción presupuestaria, cuando se vuelve imprescindible medir y evaluar para cuantificar la carga de trabajo y justificar los gastos que se realizan en los servicios bibliotecarios. La evaluación no sólo permite tomar decisiones sobre los recursos sino también sobre la forma de mejorarlos en calidad y eficacia. La gran cantidad de datos que aporta este servicio debe aprovecharse también para obtener información más compleja y cualitativa sobre las necesidades de los usuarios y si las bibliotecas están satisfaciendo esas necesidades. No hay que olvidar que la percepción del servicio por parte del usuario va a depender de la facilidad de uso percibida y de la rentabilidad que obtenga (Chang y Yang, 2012). Es obvio que los bibliotecarios y los usuarios tienen visiones distintas del mismo servicio, el usuario como cliente y el bibliotecario como proveedor. El informe de la OCLC de Connaway y Radford (2011) ilustra con su título - Seeking Synchronicity... - lo que se debe hacer, buscar la sincronía del servicio con las necesidades de los usuarios. El 70% de los usuarios del servicio de referencia virtual consideran que pueden tener una buena comunicación con un bibliotecario presencial y en un 30% con uno virtual. En este mismo informe se identifican las siguientes conclusiones extrapolables a cualquier tipo de referencia: desconocimiento del servicio en general; cuando se usa se espera que sea útil; la percepción del usuario se construye tanto por la información obtenida como por la relación con el bibliotecario (una percepción positiva depende tanto de la respuesta como de la amabilidad del bibliotecario, mientras que la negativa obedece sólo a una mala respuesta); se prefiere la referencia presen- Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla 3 cial, pero la virtual es menos intimidatoria y más aconsejable cuando no se está en la biblioteca. La evaluación del servicio de referencia pasa por la evaluación del servicio en su conjunto, tanto el presencial como el virtual, aunque a veces se plantea la evaluación sólo para lo último que se está ofreciendo (Logan y Lewis, 2011). Para el proceso de evaluación, es necesario que se registren diariamente las transacciones del servicio de referencia, -o un muestreo-, que permitan la interpretación y descripción de modelos de uso y demanda de estos servicios (Archambault, 2012). Logan (2009) argumenta que cada biblioteca debe crear su propia matriz de datos, para plasmar una perspectiva holística del servicio de referencia. Como resultado del proceso de evaluación podría suceder que la investigación de mercado indique una necesidad de cambio drástico en la biblioteca, y reconfigurar los servicios y los recursos tal y como se ofrecen para que estén en consonancia con las necesidades de los usuarios y la creación de valor (Germano y Stretch-Stephenson, 2012). II. REVISIÓN DE LA BIBLIOGRAFÍA Como estudios generales de revisión de procesos de evaluación de servicios de referencia, podemos citar el de McLaughlin (2011) y Tyckoson (2011), que evidencian la ausencia de normas aceptadas universalmente, metodologías de estudio y formatos de informes que permitan realizar análisis y comparar resultados. Por otro lado, Keith (2012), en el blog de ALAConnect, ofrece una relación de objetivos y herramientas de utilidad para el proceso de evaluación del servicio de referencia de una biblioteca. Según diversos autores, un servicio de Referencia debe ser evaluado teniendo en cuenta los siguientes factores: - Datos sobre la transacción, basados en la accesibilidad de los servicios, tiempo de respuesta y duración y porcentaje de preguntas recibidas y contestadas o no contestadas (Tyckoson, 2011), (Ramos, 2012). - Coste y efectividad de la sesión, la infraestructura y el software necesario para dar soporte, e impacto en otros costes de la biblioteca (Ramos y Abrigo, 2012). - Satisfacción del usuario con el proceso y los resultados usando indicadores tales como duración, comportamiento del personal, etc. Se mide la satisfacción del usuario, su grado de compromiso y el nivel de difusión del mismo por parte del usuario (Pomerantz y otros, 2008). Una de las metodologías que más se utilizan para obtener datos de satisfacción de usuarios es LibQUAL+®, ya que detecta la calidad de los servicios a partir de las percepciones de los usuarios (Cassell y Hiremath, 2011). - Calidad de las respuestas del personal, nivel de competencias y habilidades necesarias. Se evalúa la seguridad de la información, lo completa que sea y si se adecúa a la pregunta del usuario, las referencias que aporta, si la respuesta es apropiada a la audiencia, la oportunidad para la interactividad, el nivel de formación en competencias informacionales que se ofrece durante la transacción (Pomerantz y otros, 2008), (Ramos y Abrigo, 2012). Según un estudio en las Bibliotecas de la Universidad de Illinois en Chicago (Logan y Lewis, 2011), los bibliotecarios casi siempre usan una gramática apropiada, y son educados en sus respuestas. - Creación de nuevo conocimiento. El estudio de Cavanagh (2013), analiza profundamente las transacciones de la referencia presencial en una Biblioteca Pública de EEUU, centrándose en el proceso compartido de aprendizaje y creación de conocimiento en acción. Este autor añade que son pocos los estudios que han examinado la relación existente entre el papel de mediadora de la información de la biblioteca y el de creadora de conocimiento compartido con toda la comunidad. Para la obtención de estos datos, algunos autores proponen diversos métodos, tanto cuantitativos como cualitativos, como la revisión sistemática de investigaciones, pruebas aleatorias, estudios comparativos o descriptivos (Stevenson y otros, 2012), así como buzón de sugerencias, observación (directa, indirecta y autoimpuesta), encuestas, entrevistas y estudios de caso (Cassell y Hiremath, 2011). Una planificada promoción de estos métodos de obtención de datos puede ser la clave del éxito, como en el caso de la Biblioteca de la Universidad de Minnesota (IV), que ha embebido una encuesta en la propia ventana del chat de su sistema de Referencia virtual LibraryH3lp, para conocer las causas del descenso en su uso, promocionando además la encuesta de diversas formas, incluyendo divertidos carteles (V). En el caso de la referencia presencial, no abundan los programas que automaticen la recogida de los datos estadísticos de la actividad de referencia en bibliotecas. En el caso de la virtual, el número de opciones es mayor, aunque sigue siendo reducidas y de reciente aparición en las bibliotecas. Para ambos casos, la literatura profesional no ofrece mucha información sobre estos programas, remitiéndonos de nuevo al blog de ALAConnect, Keith (2012), o al cuadro comparativo de las características técnicas y funcionales de algunos de los programas que veremos a continuación (VI). Las bibliotecas universitarias suelen recoger sus datos estadísticos del servicio de referencia (cuan- Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Nieves González-Fernández-Villavicencio, Encarnación Cánovas-Álvarez y Consuelo Arahal-Junco 4 do lo recogen), con programas que van desde las hojas de cálculo, hasta programa específicos de recogida de datos, algunos de ellos de desarrollo “ad hoc”. De cualquier manera, la diversidad de medios para ofrecer servicios de referencia debería exigir el uso de un programa que lo gestionase de forma automatizada. Algunos de estos programas son: - Hojas de cálculo. Es el sistema más utilizado. Una simple visión de la hoja permite conocer el volumen de preguntas que se responden. Con el tiempo, la hoja de calculo suele ir complicándose para reflejar una información más sofisticada del servicio, como tipo de pregunta, de usuario o tiempo de respuesta (Tyckoson, 2011). - LibStats. Este programa en código abierto, puede ser usado en múltiples ubicaciones. Fue creado por la Universidad Queensland después de haber usado unas hojas de Excel (Gossett y otros, 2012). Ejemplo de uso de este programa es la biblioteca de Grand Valley State University en Michigan. - Desk Tracker (VII). Para registrar los detalles de cada transacción, las bibliotecas de la Universidad de Illinois utilizan este programa en el que reflejan el tipo de pregunta, duración, tipo de usuario, descripción amplia de la información que se ha aportado, y dificultad de la pregunta en función de la escala READ (Reference Effort Assessment Data) (Ward y Phetteplace, 2012). - LibAnswers, es un programa de recogida de estadísticas de referencia y software de análisis de datos, de Springshare. Se implementó en Western Libraries (VIII) que forma parte de Western Washington University, con múltiples puntos de servicio (Gosett y otros, 2012). Este programa cuenta también con un módulo web de análisis estadístico de las referencias (IX) y en el siguiente enlace puede observarse el número de respuestas públicas del servicio en tiempo real http:// askus.library.wwu.edu/. - Gimlet (X) es un programa que recoge la actividad del mostrador de referencia e incluye unas Faqs para el bibliotecario. Loyola Marymount University’s (LMU), William H. Hannon Library, en Los Angeles, utiliza este servicio y ha presentado un estudio sobre el mismo en la 78th IFLA General Conference and Assembly (Archambault, 2012). En el caso de la referencia virtual es más fácil registrar las transacciones que en la presencial, y algunos de los programas que existen incluyen sus propios módulos de estadísticas, como el programa en código abierto LibraryH3lp, o los programas comerciales QuestionPoint o AsK a Librarian de Tutor.com. LibraryH3lp es una aplicación de mensajería instantánea (IM) integrada y de chat vía web que se incluye en el grupo poco abundante de aplicaciones en código abierto, y ha sido diseñada específicamente para las necesidades de los servicios de referencia virtual de las bibliotecas (González-Fernández-Villavicencio y otros, 2009). Utilizan esta aplicación, entre otros, el Servicio de Referencia virtual de la Biblioteca de la Universidad de Sevilla, la Biblioteca de la Universidad Complutense de Madrid, o la de la Universidad de Cardiff. En algunas ocasiones, se crean programas ad hoc para la toma de los datos: - En Northwest Missouri State University crearon el programa KnowBot (XI) que ofrece estadísticas online y en tiempo real de referencia y Faqs. - La Biblioteca de la Universidad de Minnesota ha creado un formulario en Google Docs (XII) para su servicio de referencia en el que, anualmente, se atienden más de 13.000 preguntas en persona y 3.000 vía chat. - Otras bibliotecas como la de Colorado State University (Lederer y Feldmann, 2012) o la Biblioteca de Ingeniería de la Universidad de Sevilla, han creado una aplicación (XIII) en PhP y MySQL para el registro de las preguntas de sus usuarios a través del servicio de referencia, cuyos datos se pueden descargar en una hoja de Excel. Para el análisis de los datos se utilizan programas estadísticos como SPSS, o bien los nuevos programas para las estadísticas de referencia incorporan sus propios módulos de gestión de estadísticas. Las transacciones vía virtual se registran con más detalle que las efectuadas de manera presencial y presentan la ventaja de que contienen el diálogo completo de las preguntas-respuestas o, en su caso, de la entrevista de referencia, ofreciendo además la oportunidad de investigar sobre estos datos. La transcripción de las transacciones recogen los datos de la interacción, en gran medida cuantitativos, y los datos sobre la interacción, es decir, datos cualitativos de la misma conversación, que son los más difíciles de obtener y de los que menos resultados se han publicado (Bishop, 2012). Estos datos permiten construir la base de conocimientos de las transcripciones y las Faqs y se usan para evaluar y mejorar el servicio. Para analizar los datos obtenidos de las transacciones de referencia, se utiliza con frecuencia la escala de 6 grados, READ (XIV) ya citada, que intenta registrar aspectos cualitativos cuando el personal de referencia asiste al usuario en sus preguntas, midiendo no sólo el tiempo que se dedica, sino también el nivel de esfuerzo y de conocimiento, y las habilidades y la formación que emplea el bibliotecario en cualquier consulta. Este modelo ha sido utilizado por diversas bibliotecas y en el ejemplo que plantean Ward y Phetteplace (2012), se utilizó a través de una interfaz web que reflejaba una se- Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla 5 rie de datos de cada interacción, tales como la duración, tipo de pregunta, tipo de usuario, hora del día, etc. El objetivo de este estudio era equilibrar el personal y las horas que dedican a la referencia, para adecuarlo al horario que el usuario necesita. En el caso de las bibliotecas de la Universidad de Illinois, que utilizan como hemos dicho el programa Desk Tracker para recoger detalles de la consulta, incluyeron la “dificultad de la pregunta” de la escala READ a su listado (XV). En esta ocasión tan solo evaluaron los modos síncronos (referencia presencial y virtual con interacción bibliotecario-usuario). Los resultados mostraron que el chat es el sistema más usado por la comunidad universitaria, representando el 57% de todas las preguntas de referencia. Las preguntas presenciales sólo representaron un tercio del total. El horario del chat, que se prolonga hasta la medianoche, indica que los usuarios prefieren usar este medio cuando están estudiando o trabajando en casa (Ward y Phetteplace, 2012). Luini, C. (2012), examina el uso de OCLC’s QuestionPoint (“AskUs”) en Marian Gould Gallagher Law Library, University of Washington School of Law. En este estudio, en el que se examinaron las transcripciones de las transacciones de referencia, se pone en evidencia que el chat responde a preguntas más sofisticadas que las realizadas en el mostrador de referencia y que de esta forma se pueden detectar los tipos de recursos que los usuarios demandan y los temas de interés de los docentes; así mismo, las preguntas de tipo formativo no funcionan bien a través de este medio. Cualquier periodo de evaluación debe tener como objetivo detectar posibles mejoras del servicio que hay que implementar con su correspondiente planificación. En 2010, la Biblioteca de la Universidad de Cardiff estableció un programa piloto de chat con LibraryH3lp. Los widgets del chat fueron colocados en las páginas web de inicio de las bibliotecas, así como en la sección de Medicina y en la de los recursos electrónicos. El servicio, atendido por personal voluntario entre las 9:00 y las 17:00 horas, de lunes a viernes, obtuvo un gran éxito entre los usuarios, registrándose 2.643 peticiones de chat durante el primer año. Aunque las transcripciones de los chat demostraron que los usuarios estaban muy satisfechos y usaban el servicio repetidamente, sin embargo demandaban una ampliación del servicio por la tarde e incluso por la noche. Este servicio se ofrece ahora también por las tardes, de noche y en fines de semana, cuando el personal de la biblioteca está disponible (Haerkoenen y otros, 2011). Por su parte, en la Oberlin College Library y tras la evaluación del servicio, decidieron también ampliar el número de horas que el servicio se ofrecía por la noche y fines de semana (Mitchell y otros, 2011). En el trabajo citado de Archambault (2012) sobre el servicio de referencia presencial, de Loyola Marymount University’s (LMU) William H. Hannon Library, en Los Ángeles, con el programa Gimlet, se pone de manifiesto como una biblioteca usa los datos de sus usuarios para iniciar el cambio, para tomar medidas y mejorar los servicios. Entre los resultados obtenidos, observaron que los estudiantes de Empresariales realizaban preguntas de mayor profundidad que el resto de las áreas, por lo que implementaron un servicio de “roving reference” en esa área (XVI), apoyado por una cuenta de Twitter (XVII). Todos los bibliotecarios de referencia usan también Foursquare (XVIII) para hacer checking del lugar en el que están y sincronizar su cuenta de Twitter. Todo ello se refleja en las guías por materias en las que aparece esta información de forma sincronizada. En el entorno móvil, el estudio de Bishop (2012b) cobra gran actualidad, ya que el objetivo de su investigación era determinar la relación entre las preguntas de los usuarios al servicio de referencia, a través de sus dispositivos móviles y su ubicación. Las apps para móviles pueden tener en cuenta estas necesidades y responder las preguntas en función de la ubicación del usuario, sin intervención del personal de la biblioteca. Comprender este tipo de preguntas puede beneficiar a muchas bibliotecas, teniendo en cuenta el aumento del uso de los smartphones (el 66% de jóvenes de 18 a 29 años y el 68% de adultos con ingresos elevados, según el informe de Pew Internet (XIX) de septiembre de 2012), y las reducciones de presupuesto que limitan los puntos de servicio. III. LA BUS Y SU SERVICIO DE REFERENCIA La Biblioteca de la Universidad de Sevilla (BUS), cuenta con un servicio de referencia a sus usuarios, al igual que el resto de las bibliotecas, al que también se accede de forma virtual a través de su web (XX). La mayoría de las consultas al servicio son atendidas de forma descentralizada, por el personal de las 19 bibliotecas de área que conformaban la BUS y Servicios Centrales en la fecha de realización del estudio. Este servicio ofrece orientación e información general y bibliográfica sobre los recursos de información y servicios de la biblioteca. Como es habitual, las consultas de orientación e información general (como localización en sala de fondos impresos o preguntas relativas al servicio de préstamo) son atendidas por todo el personal de la biblioteca, mientras que la información bibliográfica más especializada la llevan a cabo en mayor medida bibliotecarios de las distintas áreas temáticas. El Servicio de referencia se presta por distintos canales, tales como teléfono, chat, redes sociales (referencia inmediata), correo electrónico, formulario “Consúltenos” y FAQS (referencia no inmediata) y, sobre todo, la atención en persona al usuario en los mostradores y puntos de información situados en las salas de lectura de las bibliotecas y en las áreas de trabajo del personal bibliotecario. A partir del año 2008, la Biblioteca decide transformar su oferta de servicios virtuales de referencia Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Nieves González-Fernández-Villavicencio, Encarnación Cánovas-Álvarez y Consuelo Arahal-Junco 6 vía chat (con las aplicaciones de Meebo y Plugoo), por un servicio más homogéneo y de mayor calidad y amplitud horaria, sin que este hecho constituyera una mayor carga de trabajo para los bibliotecarios que atienden el servicio, al llevarse a cabo en colaboración. Además el nuevo sistema debía contar con vías de reenvío de consultas especializadas y absoluta transparencia para el usuario final, implantándose finalmente el programa LibraryH3lp (González-Fer- nández-Villavicencio y otros, 2009). De esta forma, el Servicio de Referencia virtual (XXI) lo componen un chat general ubicado en el catálogo de la biblioteca “Fama” y atendido por bibliotecarios de todos los centros, 5 chats temáticos, agrupados en 2 en 2013, y uno más destinado al curso COE (XXII). Tras la puesta en marcha del servicio de referencia vía chat y su proceso de análisis de los datos y resultados, se puso en evidencia la necesidad de llevar a cabo un análisis conjunto de todo el servicio de referencia, tanto presencial como virtual, que diera una visión completa sobre la forma en la que se estaba ofreciendo este servicio en la BUS. Para ello había que contar con un marco que sirviera de referente a la hora de analizar aspectos tales como volumen de preguntas, tipo, patrones de comportamiento y nivel de satisfacción de los usuarios, formación adecuada del personal, etc., de modo que se pudiera valorar mejor el impacto del servicio de referencia de la BUS, en sus dos versiones virtual y presencial y diseñar posibles actuaciones para la mejora del Servicio por cualquiera de sus canales. El marco elegido fue la escala READ (Reference Effort Assesment Data), que describiremos más adelante. Como objetivo estratégico para el año 2011, la Sección de Apoyo a la Docencia de la Biblioteca propuso la realización de un diagnóstico de la situación del Servicio de Referencia en todas las bibliotecas de área, a partir de la toma de datos de las preguntas de información y referencia que los usuarios realizarán a los bibliotecarios de la BUS, por cualquier canal y durante dos periodos de tiempo establecidos. Los objetivos del proyecto contemplaban, por un lado, la identificación de los comportamientos de los usuarios del servicio, en cuanto a tipo de consultas realizadas, profesionales a los que se dirigen, canales de comunicación, horarios utilizados, etc., así como detectar las áreas y recursos más demandados por los usuarios. Por otro lado se quería comprobar si los servicios, recursos, y formatos que la BUS ofrecía, eran los más adecuados para responder a las consultas de los usuarios. Para ello había que cuantificar el tiempo que dedica el personal a atender cada tipo de consulta según su grado de dificultad y el canal utilizado y conocer la proporción de consultas que llegan a través de los distintos canales: presencial, teléfono, correo- e, chat, y las franjas horarias con más tráfico de información. En cuanto al personal que atiende las consultas, habría que analizar la relación entre el grado de esfuerzo o dificultad de las consultas y el canal seleccionado y detectar posibles lagunas en la formación del personal bibliotecario. En términos generales, era fundamental que el personal bibliotecario y directivo tomara conciencia de la importancia de este servicio, así como comprobar si la formación en competencias informacionales que imparte la BUS se adaptaba a las necesidades reales de nuestros usuarios. IV. PROCESO DE EVALUACIÓN Si bien en algunas bibliotecas de área de la BUS se rellenaba un estadillo estadístico con las preguntas que se atendían en el mostrador de información, e incluso en algunos casos se habían elaborado informes del servicio a nivel de área, hasta este momento que describimos, no se había abordado un análisis centralizado del servicio. Con este fin se constituyó un Grupo de trabajo de Referencia, coordinado por la Sección de Apoyo a Docencia de la BUS, que lideraría el proyecto en las distintas bibliotecas de área, y que preparó la realización del muestreo, analizando posteriormente los resultados obtenidos. El espacio de trabajo y los materiales creados se encuentran en la wiki del grupo de Referencia, donde se encuentra reflejada la dinámica de trabajo seguida. Tras examinar la bibliografía existente sobre evaluación del servicio de referencia, se propuso adoptar el modelo de escala READ, cuyos 6 niveles originales contienen los tipos de preguntas de referencia de menor a mayor nivel de dificultad y de tiempo y esfuerzo en la respuesta. Existen varias traducciones al español de esta escala, como la realizada por Sylvia Solá de la Universidad de Puer- to Rico (XXIII), aunque el Grupo de trabajo decidió realizar su propia traducción. Posteriormente, los distintos niveles fueron adaptados para la toma de datos, atendiendo a las características conocidas del servicio, a los objetivos del estudio y buscando siempre una mayor claridad y facilidad tanto para la recogida como para el posterior análisis de los datos. De los 6 niveles originales, se eliminaron el 4 y el 5, resultando en total 4 niveles que se detallan a continuación: - Nivel Básico: Las preguntas se contestan directamente, no hace falta consultar fuentes, no son preguntas especializadas. - Nivel Medio: La respuesta no es tan inmediata, hay que consultar fuentes, pero suele bastar con Fama (catálogo de la BUS), la página web de la biblioteca o el/los recurso/s sobre el/los que pregunte el usuario en cuestión. Se le da al usuario una formación muy básica. Puede ser una pregunta especializada pero no nos lleva demasiado esfuerzo contestarla. - Nivel Avanzado: Hay que reflexionar bien sobre lo que quiere el usuario y asegurarse de que entiende la respuesta que le damos; Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla 7 hay que consultar varias fuentes y/o darle una formación al usuario más o menos profunda en una o más bases de datos. Conlleva esfuerzo y dedicación. - Nivel Superior: Peticiones de colaboración a más largo plazo entre el bibliotecario y un grupo de investigadores o profesores de cara a un proyecto de innovación docente, para documentar un nuevo programa de doctorado o equipo de investigación y suele ser un trabajo que se prolonga en el tiempo. Este último nivel se mantuvo como deseable y respondería en gran parte al asesoramiento ofrecido por los actuales servicios de apoyo a la investigación, que estaban en sus inicios en la BUS en el periodo de la toma de datos. La Sección de Apoyo a Docencia realizó una valoración de los distintos sistemas existentes para la toma de datos, concretamente LibStats y el programa ad hoc Consulta, realizado por la Biblioteca de Ingenieros de la Universidad de Sevilla. Se decidió adoptar este último, que fue adaptado por becarios informáticos de la Biblioteca. Esta aplicación de recogida de datos es una aplicación cliente servidor basada en una interfaz web, que facilita la recogida de los datos por el personal de cada biblioteca, muestra unas estadísticas sencillas sobre los datos recogidos y ofrece la posibilidad de descargarlos para su posterior análisis. Internamente es un servidor de aplicaciones PHP funcionando conjuntamente con una base de datos MySQL. De cada consulta de información y referencia realizada, se registraron en la aplicación los datos más significativos para el análisis posterior: Fecha de la consulta, Biblioteca donde se recibió y punto de servicio o mostrador, Nombre del bibliotecario que la responde, Tipología del usuario, Tipología del personal bibliotecario, Nivel de profundidad de la consulta (básico, medio, avanzado, superior), Duración de la respuesta (menos de 5 minutos, entre 5 y 15 minutos, 15 y 30, 30 y 60, más de 1 hora o incluso más de una entrevista) y Etiquetas, que son asignadas durante el proceso, por el bibliotecario, en relación al contenido de cada pregunta y a partir de un listado de 25 posibles: préstamos, formación, adquisiciones, Fama, información general, recursos-e, RefWorks, portátiles, etc. Para facilitar su posterior análisis cada etiqueta se enmarcó dentro de 4 categorías temáticas: Servicios, Información General y Bibliográfica, Infraestructura y Otros. La recogida de datos de la totalidad de las consultas de referencia recibidas en las bibliotecas de área y servicios centrales de la BUS, a través de cualquier canal, se realizó en dos períodos temporales relativamente cercanos al final y al inicio del curso académico: del 16 al 31 de mayo de 2011 Figura 1. Programa “Consulta” Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Nieves González-Fernández-Villavicencio, Encarnación Cánovas-Álvarez y Consuelo Arahal-Junco 8 y del 8 al 21 de noviembre de 2011. Se contactó con los responsables de las bibliotecas de área para explicarles los objetivos y alcance del trabajo que se pretendía acometer y solicitarles su apoyo y colaboración en la implicación del personal y seguimiento de la tarea. Se debería registrar un porcentaje cercano al 100% de las consultas efectuadas y esto, aunque se trataba de algo prioritario, suponía una nueva carga al trabajo diario. Todos los datos recogidos fueron descargados desde la aplicación Consulta a distintas hojas de cálculo en las que se cruzaron los datos y elaboraron gráficos que el grupo de trabajo analizaría según distintos aspectos: temática de la consulta, análisis de las respuestas, tipología del personal y de los usuarios, horarios, duración de la consulta, nivel de dificultad y medio de comunicación utilizado. Se elaboraron dos informes parciales de resultados para cada una de las fases y un Informe final en abril de 2012. Este diagnóstico de la situación, debería servir de base para tomar las decisiones oportunas y llevar a cabo las acciones pertinentes para una sistematización y mejora de la calidad del servicio que se ofrece. V. RESULTADOS OBTENIDOS Los resultados obtenidos no pueden considerarse sorprendentes. Se constatan unas características y comportamiento del Servicio de Referencia que ya se percibían pero del que no se tenían evidencias que sustentaran posibles iniciativas de mejora. El análisis detallado de las informaciones recogidas en los dos períodos del muestreo (mayo y noviembre, de ahí el hecho de que aparezcan dobles porcentajes junto a cada ítem), revelaron los siguientes resultados y características generales del Servicio de Referencia de la BUS: - Las consultas referidas a Información general y bibliográfica, aunque fueron las más numerosas (36%-38%), no destacaron demasiado sobre las demás; les siguieron porcentualmente de cerca las que estimamos excesivas preguntas sobre Infraestructuras (31%-30%) y sobre Servicios (28%-31%), quedando englobadas en la categoría Otros un 1%-5% de las mismas. - El nivel de dificultad de las preguntas ha sido calificado, por el personal que atiende el servicio, como básico en un elevado porcentaje (80% – 77%), seguido a gran distancia por las preguntas de nivel medio (18% – 21%). Las preguntas de nivel avanzado son muy escasas (2%) y sólo una pregunta fue calificada como de nivel superior. - Las categorías en que se clasificaron las respuestas, según su contenido y las fuentes utilizadas para proporcionarlas, fueron 9 (Ver Anexo). A la 1ª categoría “Se contesta con brevedad a la pregunta puntual del usuario” se asignó la mayoría de las preguntas (56%-58%), seguida de la 5ª categoría “Ayudamos al usuario con problemas técnicos” (17%-11%). Las tres categorías de Respuesta que cubrían la información bibliográfica propiamente dicha (categorías 2, 3 y 4) fueron el 20%-25%. Hubo además un cierto número de consultas de todos los temas cuya respuesta no fue bien clasificada dentro de su categoría en la aplicación; estos erróneos encuadres del tipo de respuesta se pudieron deber a una mala interpretación de la ayuda o del procedimiento de actuación para rellenar el formulario o incluso a fallos puntuales de la aplicación. Figura 2. Resultados por tipo de Respuestas Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla 9 - Se dieron muy pocas Derivaciones de las preguntas (2%-3%) para que fueran atendidas por otros compañeros de la Biblioteca o servicios de la Universidad (Categorías de respuesta 6 y 7). Hubiera sido deseable que el número de derivaciones fuera mayor, al estimar que en ocasiones los usuarios no hayan recibido la respuesta oportuna para satisfacer su demanda de información. Las escasas derivaciones, comportamiento por lo demás habitual en la bibliografía consultada (Lederer y Feldmann, 2012) (Horne y otros, 2012), puede deberse en parte al significativo menor número de bibliotecarios ayudantes o facultativos en horario de tarde, y en parte también a la falsa creencia de que todos tenemos los mismos conocimientos profesionales, sin pensar que ni esto es así, ni al usuario debemos ofrecerle una respuesta errónea o simplemente incompleta cuando podría ser buena o excelente. La bibliografía indica además que a los actuales Servicios de Referencia cada vez llegan menos consultas pero más específicas y complejas, por lo que derivar es muy conveniente aunque para el usuario pueda ser molesto cambiar de interlocutor. - No obtuvieron respuesta un número mínimo de consultas (0,38%-0,20%), 27 preguntas), casi todas formuladas por alumnos y mayoritariamente en horario de tarde. Un análisis pormenorizado de las preguntas (en su mayoría problemas informáticos) nos lleva a concluir que muchas se hubieran podido responder por derivación a otros compañeros, o de haber mediado más comunicación y trasvase de información entre ellos. - El tipo de usuario que hace mayor uso del Servicio de Información y Referencia es el de alumnos (entre 79% - 84% del total de las consultas procedieron de alumnos de nuevo ingreso, licenciatura, grado y postgrado), aunque la presencia de Personal Docente e Investigador (PDI) fue también significativa (entre 6% - 8%); del Personal de Administración y Servicios (PAS), se recibieron el 2% de consultas. Reseñamos que los alumnos constituían en 2011 el 92% de nuestra comunidad universitaria (78.956 en total), el PDI el 5% (4.487 integrantes) y el PAS un 3% (2.420 personas). - El medio de comunicación utilizado de forma predominante es el presencial (89% -87%), frente a los no presenciales: Teléfono (8%, fundamentalmente por PDI y PAS), Correo electrónico (2% - 3%) y Chat (1% - 2%). El uso del chat se redujo, sobre todo en la primera toma de datos, a más de la mitad de lo habitual, quizás debido en parte al trabajo añadido que conllevaba la grabación de las consultas y que pudo distraer en ocasiones la atención del chat. El aumento en el uso del chat en el segundo muestreo (del 1 al 2%, lo que supone un 100%) pudo deberse, además de al menor número de consultas presenciales que se formularon, a la insistencia en su atención y el seguimiento de este servicio desde la Sección de Apoyo a la Docencia de los Servicios Centrales de la BUS. - En cuanto a su duración, la inmensa mayoría de las consultas se respondieron en menos de 5 minutos (82% - 73%), entre 5-15 minutos tardaron en responderse un 15% - 23%, un 2% - 3% entre 15-30 min. y tan sólo un 1% de consultas entre 30-60 min. o más. Las preguntas de información bibliográfica que requirieron la consulta de varios recursos son, como era de esperar, las que proporcionalmente requieren un tiempo de respuesta superior a los 5 minutos. El tiempo medio que el personal dedica a las tareas de referencia e información es escaso y se ha estimado, tras el análisis de los datos recogidos, en algo menos de una hora diaria para el personal técnico de Biblioteca y en media hora para los ayudantes/facultativos. - Todo el personal de la BUS distribuido en 20 bibliotecas (232 personas del total de 238 efectivos que trabajaban en la biblioteca en 2011), se implicó en esta experiencia de análisis del Servicio de Referencia. El Personal Técnico de Biblioteca TAB/TEB (TAB -Técnico Auxiliar de Bibliotecas- y TEB -Téc- nico Especialista de Bibliotecas-), mayoritario (129 personas) y en contacto directo con el público en los Mostradores de Orientación y Préstamo, atiende también mayoritariamente (80% - 75%) el Servicio de Referencia en la BUS. Los bibliotecarios ayudantes (79) resolvieron un 15-17% de las consultas en ambos muestreos; los facultativos (10) respondieron un 4%-2%; los becarios un 2% y el personal administrativo (15) el 1%. El hecho de que el Servicio de Referencia de la BUS descanse sobre los técnicos de bibliotecas guarda también estrecha relación con el nivel básico preponderante de sus preguntas, de orientación (infraestructuras, servicios), información general e información bibliográfica básica. Sólo las preguntas de información bibliográfica que han necesitado para responderse de la consulta de varios recursos, y las referidas a formación y adquisiciones, han roto este predominio al ser atendidas en porcentajes equivalentes, o en su mayoría los dos últimos, por personal bibliotecario ayudante y facultativo y por personal administrativo. En relación a la distribución horaria, el servicio se ofrece en mayor medida por la mañana que por la tarde, en una proporción de 60/40. Las franjas horarias que reciben mayor número de consultas son 10:00-14:00 horas (máximo de 11:00-12:00 ho- Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Nieves González-Fernández-Villavicencio, Encarnación Cánovas-Álvarez y Consuelo Arahal-Junco 16 Manso-Rodríguez, R. A. (2010). Servicio de referencia virtual: propuesta de un modelo basado en criterios de cali dad y herramientas de la web 2.0. [Tesis doctoral] Granada: Universidad. McLaughlin, J. E. (2011). Reference transaction assessment: Survey of a multiple perspectives approach, 2001 to 2010. Reference Services Review, vol. 39 (4), 536–550. http://dx.doi. org/10.1108/00907321111186631 Merlo-Vega, J. A. (2009). Referencia digital: concepto, tecnologías e implementación en centros de información. El Profesional de la Información, 2009, v. 18, (6), 589-600. http://dx.doi. org/10.3145/epi.2009.nov.02 Mitchell, M. S.; Comer, C. H.; Starkey, J. M.; Francis, E. A. (2011). Paradigm shift in reference services at the Oberlin College Library: a case study. Journal of Library Administration, v. 51, (4), 359-374. http://dx.doi.org/10.1080/01930 826.2011.556959 Mon, L.; Harris, L. E. (2011). The death of the anonymous librarian. The Reference Librarian, vol. 52 (4), 352–364. http://dx.doi.org/10.1080 /02763877.2011.585279 Nolen, D. S.; Powers, A. C.; Zhang, L.; Xu, Y.; Cannady, R. E.; Li, J. (2012). Moving beyond assumptions: The use of virtual reference data in an academic library. portal: Libraries and the Academy, vol. 12 (1), 23–40. http://dx.doi. org/10.1353/pla.2012.0006 Pomerantz, J.; Mon, L.; McClure, C. R. (2008). Evaluating remote reference service: a practical guide to problems and solutions. Portal: Libraries and the Academy, vol. 8 (1), pp. 15-30. http://dx.doi.org/10.1353/pla.2008.0001 Ramos, M. S.; Abrigo, C. M. (2012). Reference 2.0 in action: an evaluation of the digital reference services in selected Philippine academic libraries. Library hi tech news, vol. 29 (1), 8-20. http:// dx.doi.org/10.1108/07419051211223426 Stevenson, A.; Esson, R.; Gildea, M.; Roberts, S. (2012). Services for the Future: engaging with our customers to determine o determine wants and needs. Library Management, vol. 33. Tyckoson, D. A. (2011). Issues and trends in the management of reference services: A historical perspective. Journal of Library Administration, vol. 51 (3), 259–278. http://dx.doi.org/10.1080 /01930826.2011.556936 Ward, D.; Phetteplace, E. (2012). Staffing by design: A methodology for staffing reference Public Services Quarterly, vol. September, 37–41. Rev. Esp. Doc. Cient., 37(2), abril-junio 2014, e045. ISSN-L: 0210-0614. doi: http://dx.doi.org/10.3989/redc.2014.2.1072 Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla 17 1. Categorías de las respuestas. Se contesta con brevedad a la pregunta puntual del usuario: Preguntas direccionales, sobre horarios, sobre políticas de préstamo, sobre reservas o penalizaciones, localización de servicios o documentos, qué hacer en caso de tener el usuario virtual o el PIN caducado. No consultamos ninguna fuente. 2. Consultamos Fama: Localización de documentos concretos en la biblioteca, ya sea impresos o electrónicos. El usuario nos da algún dato como autor, título… 3. Buscamos en Fama: Búsqueda de información sobre un tema. El usuario quiere información sobre un tema pero no sabe dónde ni cómo encontrarla. Le basta con que le localicemos algún libro o revista que tenga la biblioteca sobre ese tema. 4. Buscamos en varios recursos: El mismo caso que el anterior, pero la búsqueda de información es más profunda y extensa. Tenemos que usar varios recursos (Internet, bases de datos, metabuscador…) 5. Ayudamos al usuario con problemas técnicos: el usuario tiene dudas sobre cómo usar la fotocopiadora, impresora, no sabe configurar el acceso a Eduroam, tiene problemas con el acceso remoto a recursos electrónicos, tiene dudas sobre cómo efectuar una reserva, hacer una desiderata o usar Mi Cuenta. 6. Derivamos la pregunta a otro/s compañeros de la biblioteca: yo no puedo resolver la duda del usuario, pero sé que otro compañero de la biblioteca sí puede, así que le indico al usuario dónde puede encontrarle, o le doy su teléfono o correo-e. 7. Derivamos la pregunta a otro/s servicios de la Universidad: yo no puedo resolver la duda del usuario, pero sé que ese tema lo lleva otro servicio de la Universidad, así que le indico al usuario dónde puede encontrar ese servicio. 8. No tenemos información ni instrumentos para contestar a la pregunta del usuario: no puedo ayudar al usuario y no sé quién puede hacerlo. 9. Otros: añade aquí la respuesta si no puedes encajarla en ninguna de las categorías anteriores. ANEXO