mÉtodo automÁtizado para la evaluaciÓn de la … · 2016-02-18 · algunas de las variables de...
TRANSCRIPT
MÉTODO AUTOMÁTIZADO PARA LA EVALUACIÓN DE LA USABILIDAD EN SISTEMAS
E-LEARNING USANDO MONITOREO DE ACTIVIDAD CEREBRAL
Paola Johanna Rodríguez Carrillo
Universidad Nacional de Colombia Facultad de Minas
Departamento de Ciencias de la Computación y de la Decisión Medellín - Colombia
2015
MÉTODO AUTOMÁTIZADO PARA LA EVALUACIÓN DE LA USABILIDAD EN SISTEMAS
E-LEARNING USANDO MONITOREO DE ACTIVIDAD CEREBRAL
Paola Johanna Rodríguez Carrillo
Tesis presentada como requisito parcial para optar al título de: Doctor en Ingeniería de Sistemas e informática
Director:
Ph.D Jovani Alberto Jiménez Builes
Línea de Investigación: Interacción Humano Computador - Usabilidad
Grupos de Investigación:
Inteligencia Artificial en Educación UNAL CAMALEON – Universidad del Valle
Universidad Nacional de Colombia Facultad de Minas
Departamento de Ciencias de la Computación y de la Decisión Medellín - Colombia
2015
Dedicatoria
A Dios mi guía, A Javier mi complemento,
A Valentina / Santiago, el futuro, A mi madre ejemplo de superación y generosidad.
Paola-J Rodríguez-C
Agradecimientos
A Dios quien siempre me guía por un camino lleno oportunidades, armonía, abundancia y prosperidad. A mi director Jovani Alberto Jiménez Builes por su consejo oportuno y apoyo invaluable en cada etapa de mis estudios. A la Universidad del Valle y Colciencias por el apoyo financiero para el desarrollo y culminación de mis estudios doctorales. A la Escuela de Ingeniería de Sistemas y Computación de la Universidad del Valle, en especial al profesor Ángel García y la secretaria Nelcy Bastidas por su valiosa ayuda en todos los trámites relativos a mi comisión de estudios. Al profesor Javier Reyes del Departamento de Diseño de la Universidad del Valle por todo su apoyo durante el desarrollo de este trabajo. Al profesor Fabio Paternò y al gerente financiero de proyectos Giulio Galesi del CNR de Pisa-Italia, por su invaluable colaboración durante la pasantía de investigación. A todos los profesores y compañeros del programa de doctorado de la Universidad Nacional de Colombia sede Medellín, por su generosidad, guía y apoyo.
Resumen
Los métodos de evaluación de la usabilidad que miden la satisfacción, se caracterizan por el uso de instrumentos de indagación como cuestionarios y/o entrevistas, los cuales se aplican a usuarios finales luego de la interacción con el software. Esto implica un cierto grado de subjetividad en los resultados obtenidos, ya que dichos instrumentos pueden ser mal interpretados y su diligenciamiento depende de la recordación y no de información tomada en el momento mismo de la interacción. Dado este contexto, se propone la definición de un método automatizado de evaluación de la satisfacción, basado en el monitoreo de la actividad cerebral (BCI), estableciendo así, una métrica y un método innovador que captura datos en el tiempo real de la interacción y genera autónomamente información relativa a la medida de la satisfacción. Para efectos de la validación, se aplicó en objetos de aprendizaje para entornos e-learning. Los resultados arrojados indican que la variable Atención calculada a partir del monitoreo de la actividad cerebral del usuario durante el tiempo de la interacción puede ser usada como métrica confiable para la medida de la satisfacción.
Palabras clave: E-learning, Evaluación de Usabilidad, Interfaces Cerebro-Computador, Objetos de Aprendizaje, MindWave, Satisfacción, Usabilidad.
Abstract
Evaluation methods of measuring usability satisfaction are characterized by the use of inquiry instruments such as questionnaires and / or interviews that are applied to end users after the interaction process. The above implies a certain degree of subjectivity in the results, as these instruments can be misinterpreted and depends on information not taken at the moment of interaction. Given this context, it is propose an automated method of satisfaction evaluation based on the monitoring of brain activity (BCI), so, It is establishing a metric and an innovative method to capture data in real time interaction and autonomously generates information on the measure of satisfaction. For validation purposes, the method was applied in learning objects for e-learning environments. Results indicate that attention variable calculated from cerebral monitoring user activity during the time of interaction can be used as reliable metric for measuring satisfaction.
Keywords: E-learning, Usability Evaluation, Brain Computer Interfaces, Learning Objects, MindWave, Satisfaction, Usability.
Contenido
1. CAPÍTULO 1: REVISIÓN DE LA LITERATURA ............................................................................................... 3
1.1 USABILIDAD .............................................................................................................................................. 3 1.1.1 Definición e importancia ................................................................................................................... 3 1.1.2 Evaluación de la Usabilidad ............................................................................................................. 4
1.2 INTERFACES CEREBRO - COMPUTADOR ................................................................................................... 9 1.3 E-LEARNING ........................................................................................................................................... 12
1.3.1 Objetos de Aprendizaje .................................................................................................................. 13 1.4 PLANTEAMIENTO DEL PROBLEMA DE INVESTIGACIÓN .......................................................................... 16
1.4.1 Descripción del Problema ............................................................................................................... 16 1.4.2 Preguntas de Investigación ............................................................................................................. 17 1.4.3 Hipótesis de Investigación .............................................................................................................. 17
1.4.4 OBJETIVOS .............................................................................................................................................. 18 1.5 METODOLOGÍA ...................................................................................................................................... 18
1.5.1 Actividades ..................................................................................................................................... 18 1.5.2 Estrategias de Comunicación ......................................................................................................... 20
1.5 CONCLUSIONES DEL CÁPITULO .............................................................................................................. 20
2. CAPÍTULO 2: ESTUDIO EXPERIMENTAL ................................................................................................... 21
2.1 MÉTODO ................................................................................................................................................ 21 2.1.1 Participantes. ................................................................................................................................. 21 2.1.2 Dispositivos ..................................................................................................................................... 21 2.1.4 Resultados y discusión ................................................................................................................... 23
2.2 CONCLUSIONES DEL CAPÍTULO .............................................................................................................. 25
3. CAPÍTULO 3: MÉTODO AUTOMATIZADO PARA LA EVALUACIÓN DE LA SATISFACCIÓN -BRAIN-SATISFACTION- ........................................................................................................................................... 26
3.1 DEFINICIÓN DEL MÉTODO....................................................................................................................... 26 3.1.1 Roles................................................................................................................................................ 27 3.1.2 Actividades y Artefactos. ............................................................................................................... 27
3.2 DESCRIPCIÓN TÉCNOLÓGICA DE BRAIN-SATISFACTION ......................................................................... 31 3.3 VALIDACIÓN DEL MÉTODO ..................................................................................................................... 35
3.3.1 Diseño de la Prueba Piloto ............................................................................................................. 35 3.3.2 Resultados y Discusión ................................................................................................................... 37
3.5 CONCLUSIONES DEL CAPÍTULO .............................................................................................................. 38
4. CAPÍTULO 4: LINEAMIENTOS PARA LA INTEGRACIÓN DE BRAIN-SATISFACTION EN EL MARCO DE UNA METODOLOGÍA ÁGIL DE DESARROLLO DE SOFTWARE ............................................................................... 40
4.1 ANÁLISIS DE LAS METODOLOGÍAS ÁGILES .............................................................................................. 40 4.1.1 SCRUM. ........................................................................................................................................... 41
4.2 DEFINICIÓN DE LINEAMIENTOS Y SUB-ACTIVIDADES ............................................................................. 42 4.3 CONCLUSIONES DEL CAPÍTULO ............................................................................................................... 49
5. CAPÍTULO 5: CONCLUSIONES, CONTRIBUCIONES Y TRABAJO FUTURO ................................................... 51
5.1 CONCLUSIONES ....................................................................................................................................... 51 5.1.1 Conclusiones de la revisión de la literatura .................................................................................... 51
5.1.2 Conclusiones sobre el establecimiento de la métrica ..................................................................... 51 5.1.3 Conclusiones sobre el método de evaluación de la satisfacción .................................................... 52 5.1.4 Conclusiones sobre los lineamientos para la incorporación del método propuesto en el marco de un proceso ágil de desarrollo de software. .............................................................................................. 52
5.2. CONTRIBUCIONES .................................................................................................................................. 53 5.2.1 Del trabajo teórico: ......................................................................................................................... 53 5.2.2 Del trabajo práctico: ...................................................................................................................... 53 5.2.3 Del trabajo empírico: ..................................................................................................................... 53
5.3 TRABAJO FUTURO .................................................................................................................................. 53 5.4 PUBLICACIONES Y DIVULGACIÓN ........................................................................................................... 54
A. ANEXO: INSTRUCTIVO PARTICIPANTES ESTUDIO EXPERIMENTAL ..................................................... 56
B. ANEXO: INSTRUCTIVO PARA OBSERVADORES DEL ESTUDIO EXPERIMENTAL .................................... 57
BIBLIOGRAFÍA ............................................................................................................................................ 59
Lista de cuadros
Cuadro 1. Definición consolidada de Usabilidad 4
Lista de figuras
Figura 1. Dispositivos BCI de mayor uso 10 Figura 2. Síntesis del método Brain-Satisfaction 27 Figura 3. Artefactos definidos para el método BRAIN-SATISFACTION 28 Figura 4. Actividad de Captura Datos-BCI 29 Figura 5. Actividad Capturar Modelo Instruccional 29 Figura 6. Actividad Análisis del Estado-Mental 30 Figura 7. Actividad Predicción de la Satisfacción 30 Figura 8. Vista de Componentes Brain-Satisfaction 31 Figura 9. Diagrama de artefactos Brain-Satisfaction 32 Figura 10. Diagrama de Despliegue Brain-Satisfaction 32 Figura 11. Fragmento de un archivo UserBCI-Data.java 33 Figura 12. Ejemplo de archivo imsmanifiest.xml 34 Figura 13. Ejemplo de un archivo ID-model.xml 34 Figura 14. Objeto de Aprendizaje para sección Bienvenida 35 Figura 15. Objeto de Aprendizaje sección Ejercitación y Práctica 36 Figura 16. Interfaz del usuario Tester para Carga del OA en el sistema 36 Figura 17. Reporte de Evaluación de la Satisfacción 38 Figura 18. Metodología SCRUM 42 Figura 19. Elementos básicos de SPEM 2.0 42 Figura 20. Definición de Roles para la integración de Brain-Satisfaction en SCRUM 43
Lista de tablas
Tabla 1. Rangos de Frecuencia EEG y su relación con los estados mentales 10 Tabla 2. Emotiv vs NeuroSky 11 Tabla 3. Principales Herramientas de Autor para la creación de OA 14 Tabla 3. Metodología de trabajo definida. 19 Tabla 4. Consolidación de los datos experimentales. 24 Tabla 5. Roles definidos en la metodología SCRUM 41 Tabla 6. Síntesis de Elementos básicos de SPEM 2.0 42 Tabla 7. Definición de Roles para el uso de Brain-Satisfaction en SCRUM 44 Tabla 8. Propuesta de Tareas desde la perspectiva Educativa 45 Tabla 9. Propuesta de Tareas desde la perspectiva de los Factores Humanos 46 Tabla 10. Propuesta de Tareas desde la perspectiva Tecnológica 47 Tabla 11. Recomendaciones para las Actividades 48
3
1. CAPÍTULO 1: REVISIÓN DE LA LITERATURA
Esta sección presenta una revisión exhaustiva de la literatura científica en torno al problema de investigación, "Medida de la satisfacción a partir de datos tomados directamente de la interacción usuario-computador", con la intención de evidenciar el carácter inédito e innovador de la tesis doctoral, así como para presentar de manera clara los referentes teóricos y trabajos académicos en que se enmarca dicho problema. La sección se ha dividido en los siguientes apartados: Usabilidad, Interfaces Cerebro-Computador y e-learning. 1.1 USABILIDAD 1.1.1 Definición e importancia. Gerentes y profesionales de proyectos de desarrollo de software manifiestan que los tres principales criterios de calidad para el éxito de una aplicación Web son la confiabilidad, la usabilidad y la seguridad; indicando que los grandes fracasos en los negocios en línea se deben a que los clientes demuestran poca o ninguna fidelidad cuando sienten que el software es poco usable o amigable (Offutt, 2002), (Becker & Mottay, 2001), (Al-Kilidar, Cox, & Kitchenham, 2005), (Raza, Capretz, & Ahmed, 2012). Dada la importancia de la Usabilidad, desde la década de los 90's numerosos trabajos se han enfocado en estudiarla, dando como resultado diversas perspectivas sobre qué es y cómo medirla. En este sentido, se han asociado a la usabilidad aspectos relativos, a la eficiencia, eficacia, satisfacción, facilidad de aprendizaje, facilidad de operación, atractivo, ergonomía, seguridad, etc. (Jacob Nielsen, 1991), (J. Nielsen, 1993), (Hix, Hartson, & Nielsen, 1994), (Spohrer, Norman, & C., 1996), (Onventions & Norman, 1999), (Mirel, 2000), (Zibell, 2000). El creciente interés de la comunidad, la pluralidad de definiciones y sus múltiples características asociadas, han llevado a organismos de estandarización internacionales como la ISO y la IEEE a la definición de estándares en un afán por unificar criterios, siendo los de mayor importancia (ISO-9241-11, 1998),(ISO/IEC-9126, 1994) (ISO/IEC-25010, 2011). A pesar de este esfuerzo, la constante actualización de los estándares ha generado la aparición de algunas ambigüedades, dado que los grupos de trabajo se han enfocado en distintas perspectivas según su experticia (HCI, Ingenieros de Software, etc.). En consecuencia, en el estado del arte se encuentran propuestas que intentan consolidar el concepto de usabilidad y la forma de medirla (Abran, Khelifi, Suryn, & Seffah, 2003), (Al-Kilidar et al., 2005), (Cheikhi, Abran, Suryn, Superieure, & Ouest, 2006), (Bevan, 2009). De modo que a partir del análisis de la literatura antes citada y para el contexto de este trabajo, la usabilidad será entendida como una medida compuesta relativa a la calidad del producto software y determinada bajo un contexto de uso específico (usuarios, entorno), la cual debe
4
contemplarse en todas las etapas de cualquier proceso de desarrollo de software. El Cuadro 1 agrupa las sub-variables asociadas a esta definición de usabilidad y sus correspondientes métricas. Cuadro 1. Definición consolidada de Usabilidad
Fuente: El autor.
Aunque la seguridad es una característica que algunos autores mencionan como potencial variable de usabilidad, ha sido descartada de la definición propuesta, ya que se considera que criterios relativos a las capacidades de encriptación, control de corrupción de datos y control de acceso, son hoy día obligatorios en cualquier desarrollo software y se contemplan como otros requisitos no funcionales de obligatorio cumplimiento y cuya incidencia en la usabilidad podrá ser medida por algunas de las variables de usabilidad antes indicadas (Eficacia, Eficiencia, Aprendibilidad y Satisfacción). 1.1.2 Evaluación de la Usabilidad. Para calcular la medida de la usabilidad, se han propuesto una serie de métodos denominados Métodos de Evaluación de Usabilidad (MEU). Un MEU es un procedimiento que contempla un conjunto de actividades, artefactos y roles necesarios para determinar la medida de la usabilidad a partir de datos provenientes de la interacción con un producto software (Mahrin, Strooper, & Carrington, 2009), (Lindgaard & Chattratichart, 2007), (Fernandez, Insfran, & Abrahão, 2011).
UsabilidadEficacia
•Mide el nivel de logro de la tareaa partir del uso del sistema
•Métricas
•Porcentaje de tareas completadas
• Índice de manejo de fallas
•Porcentaje de tareas completadas por unidad del tiempo
Eficiencia
•Mide los recursos consumidospara el logro de la tarea.
•Métricas
• Frecuencia de uso de la documentación o Ayudas
•Porcentaje de errores
•Tiempo dedicado al error
•Tiempo para lograr una tarea
•Número de características buenas y malas reconocidas por el usuario.
•Número de comando disponibles no utilizados
•Numero de repeticiones de comandos fallidos
Satisfacción
•Mide el grado de confort quesuscita en el usuario el uso delsistema.
•Métricas
•Escala de satisfacción que dan los usuarios a las funciones y características empleadas en la realización de la tarea.
•Porcentaje de comentarios favorables y desfavorables hechos por el usuario
•Número de veces que el usuario expresa su frustración
Aprendibilidad
•Medida del tiempo que le toma al usuario aprender el uso del producto para el logro la tarea.
•Métricas
• Efectividad de las ayudas o documentación de usuario
• Frecuencia de uso de la ayudas
• facilidad de acceso de las ayudas
•Valoración de la función de aprendizaje por parte del usuario.
5
Si bien en la literatura se reportan varias taxonomías para la clasificación de los MEU, en su mayoría estas clasificaciones dependen de dos aspectos básicos:
¿Quién evalúa?: Usuarios finales y/o Usuarios expertos. ¿Qué se evalúa?: Modelos representativos del software y/o Prototipos
funcionales. Adicionalmente, un criterio de importancia para este trabajo es el nivel de automatización del MEU, esto es, automatizado, semi-automatizado o manual (Ivory & Hearst, 2001), (Mahrin et al., 2009), , (Fernandez et al., 2011), (Schuller, Althoff, McGlaun, Lang, & Rigoll, 2002), (Baker, Au, Dobbie, & Warren, 2008). En síntesis, los MEU se pueden clasificar como: Métodos Analíticos: Se basan en el análisis de la tarea a realizar para predecir
el desempeño del usuario. Se realizan por usuarios expertos (en HCI o el dominio del problema), sobre modelos representativos del software (prototipos en papel o digitales). En general, son métodos que se pueden aplicar en las primeras etapas del proceso de desarrollo de software. Los métodos de mayor uso reportados en la literatura son:
o GOMS (Card, S., Moran, T., & Newell, 1983), este es un método tomado del campo de la psicología y se ha constituido en la línea base de los demás métodos analíticos. El método propone el análisis de la tarea en términos de los Objetivos, Operadores, Métodos y Reglas de selección relacionadas. Las ventajas del método es que permite un análisis exhaustivo de la tarea, aportando algunas de las métricas de la Aprendibilidad, la Eficacia y la Eficiencia. Como desventajas se encuentra que el método es manual, lo cual implica un alto costo en tiempo y ocupación del recurso humano.
o CTT (Paternò, 2000): Este método propone una notación gráfica para la representación de la tarea, siguiendo una estructura jerárquica tipo árbol. El método se apoya en una herramienta software que permite la construcción gráfica del árbol. La ventaja del método es que provee un cierto nivel de automatización, lo cual agiliza la representación de la tarea y adicionalmente, ciertos modelos pueden ser reusables. Presenta las mismas desventajas del método GOMS en cuanto a tiempo y recursos humanos.
Métodos de Inspección: Han sido los de mayor desarrollo en el campo de la usabilidad dado su bajo costo. Se realizan por Usuarios expertos y por lo general sobre prototipos funcionales del software. Según la revisión de la literatura los más representativos son:
6
o Métodos Heurísticos (Molish & Nielsen, 1990), (J. Nielsen, 1993): El inspector (usuario experto) hace una revisión de la interfaz del software con el fin de determinar características favorables y desfavorables. Para esto, se basa en lineamientos o principios de usabilidad previamente establecidos. Las ventajas del método son: su bajo costo, requiere el criterio de pocos expertos (mínimo 3) y su aplicación en cualquier etapa del proceso de desarrollo. Sus desventajas son: la dependencia del criterio e interpretación del experto, dificultad de control, su carácter manual o semi-automatizado (diligenciamiento de la guía o lineamientos usados). Otros trabajos reportados en este campo son (Baker et al., 2008) y (Fernandes, Conte, & Bonif’cio, 2012), quienes proponen heurísticas particulares al dominio del e-learning y e-commerce respectivamente.
o Caminata Cognitiva: Este método se basa en una guía de tareas/escenarios que es dada al inspector para que analice la secuencia de pasos que debe ejecutar el usuario para el logro de la tarea. Las ventajas son: el método está sustentado en la fuerte base conceptual del aprendizaje basado en la exploración, se puede aplicar sobre modelos representativos del software y solo se requiere el criterio de un experto. Las desventajas son que el método es completamente manual y depende del nivel de experticia del inspector. Solo permiten predecir la Aprendibilidad.
o Caminata Pluralística (Bias & Mayhew, 1994): Se diferencia de la anterior, en que se propone que al menos 2 expertos realicen la caminata cognitiva, para posteriormente realizar una conclusión en conjunto. Presenta las mismas ventajas del anterior, salvo que al involucran varios expertos, se espera una evaluación más precisa. En cuanto a las desventajas, se adiciona un costo en tiempo, dado que es necesario contemplar una etapa de plenaria y consenso entre los expertos.
o Listas de chequeo y guías de estilo (Wixon, Jones, Tse, & Casaday, 1994): El inspector realiza la revisión de la interfaz con el fin de corroborar la aplicación de una guía de estilo determinada. La ventaja del método es que permite medir la consistencia de las interfaces y se podría aplicar sobre modelos representativos de la interfaz. Las desventajas son: la alta limitación del criterio del experto al estar completamente centrado en una guía predefinida y su característica manual o semi-automatizado (diligenciamiento digital de la lista de chequeo). Otros trabajos representativo son (Granić & Ćukušić, 2011) y (Koulocheri, Soumplis, Kostaras, & Xenos, 2011), quienes proponen guías de estilo propias del domino del e-learning.
Métodos Observacionales: Estos métodos involucran usuarios finales que evalúan prototipos funcionales del software en un ambiente de pruebas controlado. En general están pensados para medir la eficiencia, eficacia y algunos aspectos de la Aprendibilidad; no obstante, permiten hacer ciertas
7
inferencias sobre la satisfacción. Los más citados en la literatura son los propuestos en (J. Nielsen, 1993):
o Co-descubrimiento: El método plantea que la interacción se realice por parejas de usuarios. La evaluación se hace sobre una tarea definida por el inspector y siguiendo una guía. El inspector observa la interacción y saca conclusiones. La ventaja del método es que los usuarios tienden a realizar comentarios para ayudarse en la realización de la tarea, lo cual, pueden ser de gran valor para la identificación de problemas de usabilidad. Las desventajas incluyen que los grupos no se entiendan y solo uno de los integrantes ejecute la tarea; se requiere una cantidad considerable de tiempo. El método es manual o semi-automatizado (videos u observaciones remotas).
o Haciendo preguntas: La interacción se realiza de manera individual y el usuario final puede hacer preguntas o ser interrogado por el inspector. La ventaja del método es que permite que el inspector aclare sus observaciones y llegue a mejores conclusiones que el método anterior, en el cual solo es un mero observador. La desventaja es que es un método manual, y dependiente de las habilidades del inspector. Adicionalmente, es costoso en tiempo y recursos humanos.
o Pensando en voz alta: El usuario realiza de manera individual la interacción, con base en un guion relativo a una tarea y se le pide que exteriorice en voz alta sus acciones. El inspector observa y saca conclusiones. La ventaja del método es que se puede obtener información valiosa para la determinación de problemas de usabilidad. La desventaja es que el procedimiento no es natural para el usuario y puede haber momentos en que el usuario permanezca en silencio, llevando al inspector a conclusiones erróneas. Adicionalmente, el método es muy costoso en tiempo y recursos humanos. El método es manual o semi-automatizado (videos u observaciones remotas).
o Uso del log del sistema: Es un método automatizado, que consiste en recolectar estadísticas de uso, inferidas del log del servidor, durante la interacción del usuario. La ventaja del método es que se capturan datos en el tiempo real de la interacción, el método es rápido y de poco costo. La desventaja es que la información capturada solo es relativa a la navegación, y solo permite inferir funciones usadas, secuencias de pasos seguidos, etc. Permite establecer algunas métricas de la Eficiencia, Eficacia y Aprendibilidad.
Reportes de Usuario: En estos métodos los usuarios finales diligencian instrumentos de indagación y diagnóstico con base en su conocimiento del sistema. Principalmente, se usan para determinar aspectos relativos a la satisfacción. Los más representativos son los propuestos en (J. Nielsen, 1993):
8
o Encuestas: Método automatizado en el cual el inspector crea un cuestionario y el usuario lo responde después de interactuar con el aplicativo. La ventaja es su facilidad de procesamiento (determinación de escalas, etc.). La desventaja es que el cuestionario puede ser mal interpretado y la información recolectada no es tomada en el tiempo real de la interacción. Esto hace que las respuestas dependan de la habilidad de recordación del usuario, otorgando un alto nivel de subjetividad al instrumento.
o Entrevistas: La ventaja del método es que brinda al inspector una oportunidad de ampliar sus inferencias. Presenta las mismas desventajas del método anterior, adicionando el costo en tiempo y que el método es manual.
Como aspecto complementario, se encontró que desde el área de la psicología social se han propuesto un conjunto de Modelos Motivacionales de Aceptación Tecnológica, los cuales demuestran la relación existente entre variables relativas a las estados emocionales del usuario y su grado de aceptación o rechazo hacia una tecnología. Entre los trabajos más representativos están (Saadé & Kira, 2009) y (Shen, Wang, & Shen, 2009) quienes de manera independiente demuestran la relación de proporcionalidad indirecta entre la ansiedad y/o frustración y la utilidad percibida. Del mismo modo, en (Arhippainen, L., Pakanen, M., Hickey, S., & Mattila, 2011) y (Els & Gerrit, 2011) se demuestra la incidencia de la satisfacción (entendida en este contexto como el nivel de alegría, goce, diversión, aburrimiento, confusión), sobre la mejora del aprendizaje. Estos trabajos se apoyaron en técnicas de observación directa, entrevista y cuestionarios. En conclusión, es posible establecer que la Satisfacción en el campo de la usabilidad depende de pocas métricas, las cuales se determinan por medio de un reducido grupo de métodos basados en datos tomados después de la interacción usuario-aplicación. Por tanto, la evaluación queda supeditada a la valoración subjetiva del usuario y depende en gran medida de su habilidad de recordación o en el mejor de los casos de la información proveniente de métodos observacionales (manuales y semi-automatizados) condicionados al criterio del inspector. Adicionalmente, es posible definir una relación entre la satisfacción y variables inherentes a los estados mentales que se producen en el usuario al momento de la interacción. Finalmente, es importante mencionar que si bien es posible encontrar diversos métodos de evaluación de usabilidad en su gran mayoría los autores describen el qué pero no el cómo, es decir, se indica con claridad lo que se pretende hacer con el método pero se encuentran escazas referencias sobre cómo debería emplearse el método y/o cómo involucrarlo en procesos de desarrollo de software.
9
1.2 INTERFACES CEREBRO - COMPUTADOR Una interfaz cerebro-computador (Brain Computer Interface - BCI) es un sistema computacional que permite la interacción entre un individuo y su entorno por medio de la actividad cerebral. Estos sistemas definen un nuevo canal de comunicación (no muscular) para transmitir las intenciones de la persona a un dispositivo externo como un computador, dispositivos móviles, prótesis, sillas de ruedas, etc. (Wolpaw, J.R, Birbaumer, N., 2002), (Fazel-rezai, 2011), (Marchesi & Riccò, 2013), (Nicolas-Alonso & Gomez-Gil, 2012) En términos computacionales, un BCI es un sistema de hardware y software que reconoce un conjunto de patrones en las señales cerebrales, y que tiene la habilidad de: Usar un conjunto de mecanismos para la captura de las señales cerebrales; pre-procesar (depurar y adecuar) la señal capturada para la extracción de información; identificar y extraer información discriminativa (la cual, se almacena en un vector); clasificar y organizar la información extraída, y traducir la información organizada en comandos u órdenes que puedan ser interpretados por el dispositivo que se tenga conectado (Wilson & Schalk, 2010), (Laar, Hayrettin, Bos, Nijboer, & Nijholt, 2013), (Nicolas-Alonso & Gomez-Gil, 2012). Específicamente, los sistemas BCI de mayor aplicación se basan en imágenes electroencefalográficas (EEG), ya que ésta técnica permite la captura no-invasiva de las señales mediante el uso de sensores ubicados en el cuero cabelludo. Como principales características de estos sistemas se pueden enunciar: su portabilidad, un nivel aceptable en la calidad de las señales capturadas, su relativo bajo costo y el hecho de que no generan ningún riesgo para los usuarios (Nicolas-Alonso & Gomez-Gil, 2012), (Berger et al., 2008), (Wilson & Schalk, 2010), (Dornhege, Hinterberger, & Mcfarland, 2007). El aspecto más importante de la técnica EEG, para esta propuesta, es que la información obtenida es clasificada en cuatro rangos de frecuencia, de acuerdo a la posición del sensor y su significado biológico, esto quiere decir, que dicha información permite inferir aspectos relativos al estado mental del sujeto (frustración, emoción, concentración, relajación, entre otros). La Tabla 1, resume los rangos de frecuencia detectados por la técnica EEG y su significado (Nicolas-Alonso & Gomez-Gil, 2012), (Marchesi & Riccò, 2013), (de Garis, Shuo, Goertzel, & Ruiting, 2010), (NeuroSky, 2009), (Fazel-rezai, 2011), (Laar et al., 2013).
10
Tabla 1. Rangos de Frecuencia EEG y su relación con los estados mentales
Impulso eléctrico
cerebral Frecuencia Estados Mentales
Delta (δ) menor a 4 Hz Inconsciencia, sueño profundo. Theta (θ) 4Hz a 7Hz Relajación, Intuición, creatividad, remembranza,
Imaginación Alpha (α) 8Hz a 12Hz Esfuerzo mental, Relajado pero no adormecido,
tranquilo, consciente. Beta bajo (β) 12Hz a 15Hz Relajado y Concentrado Beta medio (β) 16Hz a 20Hz Pensando, consciente de sí mismo y del entorno Beta Alto (β) 21Hz a 30Hz Alerta, agitación, disturbio Gamma (γ) 30Hz a 100Hz Funciones motoras y actividad mental alta.
Enfoques en objetos particulares.
Fuente: (NeuroSky, 2009)
Adicionalmente, los avances en hardware y software han hecho posible la construcción de dispositivos BCI cada vez más simples que incorporan los aspectos antes mencionados y favorecen su aplicación en diversos contextos. Si bien, existe un número considerable de empresas dedicadas al desarrollo de esta tecnología, Emotiv y NeuroSky (Figura 1) son las de mayor reconocimiento y aplicación tanto a nivel comercial como académico. La Tabla 1, presenta un resumen comparativo de éstas tecnologías (Hondrou & Caridakis, 2012), (Vourvopoulos & Liarokapis, 2012), (Perakakis & Potamianos, 2012), (Vourvopoulos, 2011), (Goldberg, B.S., Sottilare, R.A., Brawner, K.W., Holden, 2011), (Inventado, P.S., Legaspi, R., Bui, T.D., Suarez, 2010), (Gonzalez-Sanchez, J., Chavez-Echeagaray, M.E., Atkinson, R., Burleson, 2011).
Figura 1. Dispositivos BCI de mayor uso
Fuente: Neurosky: http://neurosky.com/ y Emotiv: http://emotiv.com/
11
Tabla 2. Emotiv vs NeuroSky
CARACTERÍSTICA EMOTIV NEUROSKY Tipo de Sensor Húmedo Seco Cantidad de Sensores 14 distribuidos por toda la cabeza 1 frontal y 1 en la oreja Información que captura Alpha, Beta, Theta, Gamma y
Delta.
Estado mental del sujeto (emoción al instante, emoción al largo plazo, concentrado, frustrado, meditativo, aburrido).
Monitoreo de expresiones faciales (mirada izquierda-derecha, parpadeo, guiño, levantamiento de cejas, apretón de dientes, sonrisa)
Movimientos de la cabeza
Alpha, Beta, Theta, Gamma y Delta.
Estado mental del sujeto (Atención, Meditación, Ansiedad, letargo)
Intensidad del guiño del ojo.
Software Expressiv™ Suite: Interpreta las expresiones faciales en tiempo real.
Affectiv™ Suite: Monitorea los estados emocionales en tiempo real.
Cognitiv™ Suite: interpreta los pensamientos e intenciones concientes del usuario, en relación al deseo de interacción con un objeto (tangible o intangible) en particular.
Acceso al Emotiv App Store donde se puede encontrar aplicaciones desarrolladas para el dispositivo (en especial para juegos de computador).
MindWave Mobile - Brainwave Starter Kit: Procesa el rango de frecuencias EEG, devuelve dichos valores y predice estados de atención y meditación. Monitorea parpadeo del ojo.
Sistemas Operativos Windows, MAC Windows, MAC, iOS, Android Costo Entre $500 y $750 kits de
desarrollo e investigación una licencia.
Entre $100 y $130 por dispositivo. El software es gratuito.
Disponibilidad en Latinoamérica
Compra directa a través del Web Compra directa a través del Web.
Fuente: El autor.
Por último, en el contexto de la Interacción Humano-Computador, la tecnología BCI ha asumido predominantemente un carácter asistencial, enfocado en restaurar la capacidad de comunicación, controlar el medio ambiente y proporcionar movilidad a personas con graves discapacidades físicas, es decir, gran parte de los resultados de investigación se enmarca en el campo de las accesibilidad (Jackson & Mappus, 2010), (Hondrou & Caridakis, 2012), (Krishnaswamy & Kuber, 2012), (Nicolas-
12
Alonso & Gomez-Gil, 2012). No obstante, en el campo de la usabilidad se reportan algunos trabajos centrados en medir la facilidad de uso del dispositivo BCI, a fin de justificar su potencialidad y viabilidad de uso en el desarrollo de aplicaciones accesibles (Taylor & Schmidt, 2012), (Ranky & Adamovich, 2010), (Park, Myung, & Sun, 2013), (Laar et al., 2013). 1.3 E-LEARNING Se considera el e-learning como el conjunto de recursos electrónicos para el apoyo de los procesos enseñanza y aprendizaje, siendo la forma más común la soportada por las tecnologías de Internet. Esto permite evidenciar dos tipos de e-learning, el síncrono y el asíncrono. El proceso síncrono implica la participación simultánea de los aprendices y el instructor, mientras que el asíncrono es más flexible y no lo requiere. En general, cualquier sistema e-learning debe ofrecer actividades tanto síncronas como asíncronas (Alanazi, Abbod, & Ullah, 2014; Georgouli, 2011). Una de las principales líneas de investigación en e-learning son los Sistemas de Gestión de Aprendizaje (LMS), los cuales son sistemas software cuyo fin es facilitar los procesos de enseñanza y aprendizaje, dando principal énfasis a la gestión de contenidos de aprendizaje (medios asíncronos). En la literatura, los LMS también se referencian como Sistemas Virtuales de Aprendizaje (VLE), Sistemas de Gestión de Cursos (CrMS), Sistemas de Gestión de Contenidos de Aprendizaje (LCMS), Sistemas de Soporte al Aprendizaje (LSS) o Plataformas de Aprendizaje, considerándose Moodle, Claroline, Sakai, Blackboard y WebCT, los más representativos (Georgouli, 2011; Oneto, Abel, Herder, & Smits, 2009; Sclater, 2008). En general un LMS ofrece un conjunto de herramientas para la administración y desarrollo de programas curriculares. De este modo, un LMS permite a los docentes gestionar sus cursos, a los estudiantes acceder al material y actividades de estudio y a los administradores gestionar currículos, docentes y estudiantes. Dentro de esta perspectiva, los roles docente y estudiante han sido los de mayor interés investigativo, en el sentido de proponer alternativas para la creación y gestión de contenidos de aprendizaje (Objetos de Aprendizaje) que sean fácilmente compartibles, adaptativos e inteligentes. Por lo cual, el campo de conocimiento del e-learning se ha divido en tres grandes ramas (Alanazi et al., 2014; Goyal, Yavad, & Alka, 2012; Sclater, 2008):
Especificación de Estándares para facilitar la creación de objetos de aprendizaje que puedan distribuirse en diferentes LMS, siendo IEEE LOM1, DCMI2 y SCORM3 los de mayor uso.
1 Learning Object Metadata estándar de la IEEE. 2 Dublin Core Metadata Initiative, de gran uso en Bibliotecas Digitales. 3 Shareable Content Object Reference Model propuesto por ADL.
13
Técnicas de adaptatividad que permitan al LMS acomodar la navegación, filtrado y/o presentación de los objetos de aprendizaje a las características del estudiante y su entorno de trabajo (dispositivos de acceso, sistema operativo, etc.).
Técnicas de Inteligencia Artificial que permitan entender, monitorear e identificar aspectos cognitivos y meta-cognitivos del educando para orientar de manera automática o semiautomática su proceso de aprendizaje.
1.3.1 Objetos de Aprendizaje. El concepto de Objeto de Aprendizaje (OA) aparece en la literatura desde los años 90’s, con múltiples seudónimos como Componentes de Instrucción, Recursos Educativos, Objetos de Conocimiento, Materiales de Aprendizaje, Recursos de Información, Recursos de Aprendizaje Reutilizables, entre otros (ADL, 2009; Barritt, Lewis, & Wieseler, 1999; IEEE-LTSC/WG12, 2005; Wiley et al., 2004). Aunque aún no existe una definición plenamente aceptada, dadas las diferentes propiedades que uno u otro autor considera indispensables para un OA, es posible identificar un grupo de características que son comunes a cualquier definición (Astudillo & Sanz, 2011):
Accesibilidad: Hace referencia a la facilidad de ser identificados, buscados y encontrados.
Interoperabilidad: Implica que pueda ser usado o integrado en distintos LMS.
Reusabilidad: Hace referencia a ser utilizado en distintos contextos de aprendizaje o para generar otros OA.
De acuerdo a lo anterior, en el marco de este trabajo, se considerará como un OA a todo recurso digital que sea accesible, interoperable y reusable, el cual haya sido desarrollado con el fin de apoyar el logro de un objetivo de aprendizaje. Por tanto, un OA es un producto software que debe satisfacer unos objetivos formativos, lo que en el campo del desarrollo de software se correspondería con los requisitos del sistema. En consecuencia, el desarrollo de OA ha estado influenciado por los avances en la Ingeniería de software, de forma que autores como (Boyle, 2003; Mohan & Daniel, 2010) proponen metodologías en las cuales abstraen y aplican los principios del Diseño Orientado a Objetos (modularidad, alta cohesión, bajo acoplamiento), para favorecer la producción de OA reusables. Sus propuestas solo se basan en lineamientos para el diseño instruccional, siendo de gran aporte para las etapas de análisis y diseño, ya que establecen un conjunto claro y coherente de requerimientos para el OA. Su debilidad está en que no ofrecen soporte a la etapa de implementación, pruebas e implantación y solo están pensadas para el rol del docente. De manera complementaria, (Barajas, Muñoz, Alvarez, & M, 2009; Delgado Valdivia, Morales, González Flores, & Chan Núñez, 2007; Farmer & Hughes, 2006; Jones & Boyle, 2009) proponen el uso del Diseño Orientado en Patrones para la producción de OA, donde los patrones están pensados para
14
permitir la generación de OA que respondan a un grupo de criterios predeterminados, como una estrategia didáctica, un estilo de aprendizaje, una secuencia de tareas, etc. Tal como la propuesta anterior, solo se favorecen las etapas de análisis y diseño. Adicionalmente, (Silva, Barbosa, & Maldonado, 2011) aplican los fundamentos del Desarrollo de Software Orientado a Modelos, definiendo un conjunto de modelos (Conceptual, Instruccional y Didáctico) junto con sus correspondientes reglas de transformación para la construcción de los OA. Si bien la propuesta resulta innovadora y favorece el mapeo de los conceptos pedagógicos e instruccionales al OA, no se establecen criterios relativos a la implementación y evaluación de la Interfaz de Usuario. Finalmente, en (Chimalakonda & Nori, 2012) se aplican los fundamentos del Desarrollo Orientado en Líneas de Productos Software, proponiendo un conjunto de criterios para el ensamblaje de un OA a partir de OA existentes. Si bien, se favorece la reusabilidad del OA, no toca aspectos relativos a la evaluación de usabilidad del nuevo OA o de los que toma como base para el ensamblaje. Por otra parte, el análisis de la literatura evidenció que otra preocupación en torno al desarrollo de OA es proponer herramientas que le permitan al profesor crear OA de manera sencilla, es decir, sin la necesidad de grandes habilidades en programación o desarrollo de software. De aquí que exista una amplia gama de propuestas en torno a lo que se ha denominado Herramientas de Autor, las cuales son aplicaciones que le permite al profesor gestionar recursos multimedia y a partir de éstos crear un OA, acorde a unas pautas pedagógicas y con la facilidad de generar automáticamente el conjunto de meta datos que soportan las características de accesibilidad, interoperabilidad y reusabilidad, demandadas para cualquier OA (Astudillo & Sanz, 2011; Marcus, 2012). La Tabla 3 muestra una síntesis de las principales herramientas de autor reportadas en la literatura: Tabla 3. Principales Herramientas de Autor para la creación de OA
Herramienta Descripción
RELOAD EDITOR4 Aplicación Multiplataforma desarrolla en Java y distribuida bajo licencia MIT Open Source. Permite empaquetar el contenido (soportando la definición de reglas de secuencia y definición de pre-requisitos) y editar metadatos. Compatible con los estándares IMS Metadata, IEEE LOM, IMS Content Packaging 1.1.4, SCORM 1.2 y SCORM 2004.
eXe Learning5 Aplicación Web de código abierto, distribuida bajo licencia GNU. Se ejecuta en el navegador Mozilla FireFox y permite crear contenidos para el web mediante el uso de un conjunto de plantillas preestablecidas.
Compatible con los estándares IMS Content Package, SCORM 1.2 y IMS Common Cartridge formats. Adicionalmente, permite exportar el OA como un conjunto de páginas web independientes.
4 http://www.reload.ac.uk/ 5 http://exelearning.org/
15
Herramienta Descripción
Xml SCORM Studio6 Aplicación distribuida bajo licencia Apache V2.0 y solo para plataforma Windows. Permite el diseño, edición y empaquetamiento de OA únicamente compatibles con estándar SCORM 2004.
MERLOT Content Builder7
Herramienta Web de uso libre, propiedad de la Universidad de California e incluida en el Repositorio Merlot. Los OA se crean a partir de plantillas web predefinidas. Es compatible con el estándar IEEE LOM. Permite publicar el OA directamente en el repositorio MERLOT o descargarlo como sitio web.
ARDORA8 Herramienta de uso libre y distribuido bajo licencia Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0). Permite crear OA de acuerdo a una estructura Actividades y Páginas predefinidas. El OA resultante puede ser accedido por el Web o dispositivos móviles que soporten HTML5. Es compatible con el estándar SCORM 1.2.
Fuente: (Astudillo & Sanz, 2011) Recapitulando, a pesar de que existen diversas propuestas en torno a procesos de desarrollo de software orientados a la creación de OA y un extenso conjunto de Herramientas de Autor, ninguna de estos planteamientos ha establecido criterios en relación a la evaluación de la usabilidad desde la perspectiva de la interacción estudiante-OA. En general, los trabajos que hacen mención a aspectos de usabilidad, facilidad de uso o métricas de utilidad, (Barajas et al., 2009; Escobar, Reyes, & Hilst, 2014; Tripathi, Pandey, & Bharti, 2010; Zapata, Menendez, & Prieto, 2009), están enfocados en la valoración de los meta datos y la forma como éstos facilitan la identificación, búsqueda y localización del OA (accesibilidad), el uso o facilidad de distribución del OA en distintos LMS (interoperabilidad) y su reutilización en distintas áreas de saber o para la generación de otros OA (reusabilidad). En consecuencia, como indica (Sarasa-Cabezuelo & Sierra-Rodríguez, 2013), tanto la usabilidad como la accesibilidad desde la perspectiva de la Interacción Humano-Computador constituye líneas abiertas de estudio en el campo de los OA.
6 http://sourceforge.net/projects/xmlscormstudio/ 7 http://www.merlot.org 8 http://webardora.net/index_cas.htm
16
1.4 PLANTEAMIENTO DEL PROBLEMA DE INVESTIGACIÓN
1.4.1 Descripción del Problema. La usabilidad es entendida como una medida de la calidad y de vital importancia para el éxito del producto software (Offutt, 2002), (Becker & Mottay, 2001), (Al-Kilidar et al., 2005), (Raza et al., 2012). Aunque existen muchas definiciones que conllevan a una pluralidad de variables innatas a la usabilidad, la satisfacción es contemplada en mayor o menor grado por todas las propuestas existentes, y está relacionada con el nivel de confort que se producen en el usuario al momento de la interacción (Ivory & Hearst, 2001), (Mahrin et al., 2009), (Fernandez et al., 2011), (Schuller et al., 2002), (Baker et al., 2008). Pese a que existen numerosos métodos de evaluación de usabilidad, los usados para establecer las métricas relativas a la satisfacción son muy pocos (Reportes de Usuario) y si bien tienen algunas características de automatización, no parten de datos capturados directamente de la interacción usuario-aplicación, sino que se supeditan a la valoración subjetiva del usuario pos-interacción, dependiendo en gran medida de su habilidad de recordación, o en el mejor de los casos de información proveniente de métodos observacionales (manuales y semi-automatizados) condicionados al criterio del inspector (J. Nielsen, 1993), (Fernandez et al., 2011), (Schuller et al., 2002), (Mahrin et al., 2009), (Lindgaard & Chattratichart, 2007). De otra parte, los Modelos Motivacionales de aceptación tecnológica, propuestos desde la psicología social, han demostrado la relación existente entre variables relativas a los estados mentales del usuario (ansiedad, frustración, alegría, goce, diversión, aburrimiento confusión) y el nivel de aceptación de una tecnología (Saadé & Kira, 2009) y (Shen et al., 2009), (Arhippainen, L., Pakanen, M., Hickey, S., & Mattila, 2011) y (Els & Gerrit, 2011), Conjuntamente, el avance de las tecnologías BCI, permite contar hoy día con dispositivos que pueden medir directamente estados mentales del usuario con base en los rangos de frecuencia de su actividad cerebral (Nicolas-Alonso & Gomez-Gil, 2012), (Berger et al., 2008), (Wilson & Schalk, 2010), (Dornhege et al., 2007). Estos dispositivos tienen como principales ventajas su portabilidad, confiabilidad y su carácter no invasivo (Hondrou & Caridakis, 2012), (Vourvopoulos & Liarokapis, 2012), (Perakakis & Potamianos, 2012), (Vourvopoulos, 2011), (Goldberg, B.S., Sottilare, R.A., Brawner, K.W., Holden, 2011), (Inventado, P.S., Legaspi, R., Bui, T.D., Suarez, 2010), (Gonzalez-Sanchez, J., Chavez-Echeagaray, M.E., Atkinson, R., Burleson, 2011). Adicionalmente, en el campo del e-learning (específicamente en la producción de objetos de aprendizaje) la evaluación de usabilidad desde la perspectiva Interacción Estudiante-OA, es un campo abierto de estudio (Sarasa-Cabezuelo & Sierra-Rodríguez, 2013). En conclusión, lo antes expuesto permite evidenciar que:
17
Se requiere de un método de evaluación de usabilidad sustentado en métricas
asociadas a la satisfacción y basado en la captura automática de datos, en el tiempo real de la interacción.
Los avances en la tecnología BCI, corroboran que es altamente viable para la determinación de los estados mentales del usuario en tiempo real y de manera automática, posibilitando la definición del método a proponer.
La producción de objetos de aprendizaje es un contexto ideal de aplicación del método a proponer ya que la evaluación de la usabilidad desde la perspectiva Interacción Estudiante-OA, es un campo abierto de estudio.
1.4.2 Preguntas de Investigación. De acuerdo a la problemática previamente planteada, las preguntas orientadores del trabajo de investigación son: a) ¿Qué variables propias de las Interfaces Cerebro-Computador permiten calcular
métricas relativas a la satisfacción y cómo sería dicho cálculo?
b) ¿Es posible definir un método automático de evaluación de usabilidad que infiera el nivel de satisfacción del usuario a partir de datos capturados de la interacción usuario-aplicación?
c) ¿Cómo puede el uso de una BCI coadyuvar en la identificación de problemas
de usabilidad en el marco de un proceso de desarrollo de software? 1.4.3 Hipótesis de Investigación. A continuación se presentan las hipótesis de investigación que han sido propuestas como opción válida de solución a la problemática descrita: Hipótesis principal: Es posible definir un Método para la evaluación de la usabilidad que permita calcular de manera automática métricas relativas a la satisfacción, a partir de datos tomados en el tiempo real de la interacción usuario-aplicación, mediante el uso de tecnologías BCI. El método se definirá teniendo en cuenta que la satisfacción es la medida del confort que experimenta el usuario, en términos de los estados mentales suscitados en él, al momento de la ejecución de la tarea. Hipótesis derivada: El uso de datos provenientes del monitoreo de la actividad cerebral del usuario, permite establecer de manera automática algunas métricas inherentes a la satisfacción, en el contexto de la evaluación de la usabilidad.
18
1.4.4 OBJETIVOS Objetivo General: Definir un método automatizado de evaluación de usabilidad para el cálculo de métricas relativas a la satisfacción, a partir de datos tomados en el tiempo real de la interacción y relativos a la actividad cerebral del usuario, mediante el uso de un dispositivo BCI. Objetivos Específicos: Identificar variables propias de la actividad cerebral que sean medidas por el
dispositivo BCI y permitan determinar y calcular de manera automática métricas relativas a la satisfacción.
Caracterizar el conjunto de actividades, artefactos y roles necesarios para la definición del método teniendo en cuenta su carácter automatizado y la necesidad de tomar datos en el tiempo real de la interacción.
Diseñar una propuesta de integración del método en el contexto de un proceso de desarrollo de software ágil, mediante la definición de lineamientos y sub actividades, a fin de favorecer su utilización por parte de equipos de desarrollo de software.
Validar el método propuesto mediante la evaluación de un prototipo e-learning y bajo un contexto de uso controlado.
1.5 METODOLOGÍA Esta investigación responde a un enfoque cuantitativo de investigación ya que parte de un problema de estudio delimitado y concreto, soportado en la construcción de un marco teórico fruto de la revisión exhaustiva y sistematizada de la literatura académica relacionada y está guiado por un conjunto de hipótesis de investigación que se sometieron a prueba mediante un cuasi-experimento. 1.5.1 Actividades La Tabla 4 resume las fases, actividades y recursos que se plantearon para orientar el trabajo de investigación y lograr el cumplimiento de los objetivos:
19
Tabla 4. Metodología de trabajo definida.
Fase Actividad Recursos
1. Descriptiva Identificar las variables
relativas a la actividad
cerebral.
Determinar la forma en que
son medidas por del
dispositivo BCI
Establecer relaciones de las
variables identificadas con
métricas de satisfacción
Definición del cálculo global de
la satisfacción con base en la
información establecida en las
actividades anteriores
Dispositivo Mindwave y
software de investigación
asociado.
2. Propositiva Caracterización de actividades
y definición de artefactos y
roles que conformarán el
método.
Definición de algoritmos
necesarios para la captura de
datos provenientes del
dispositivo BCI y el cálculo de
las métricas y medida global
de la satisfacción
Especificación de lineamientos
y actividades necesarias para
la integración del método en el
contexto de un proceso de
desarrollo de software ágil
Dispositivo Mindwave y
software de investigación
asociado.
Entornos de desarrollo web
de libre distribución
3. Experimental Diseño de un quasi -
experimiento para la validación
del método.
Método (Dispositivo BCI,
algoritmos de integración y
cálculo)
Prototipo e-learning
4. Operativa: Transversal a las demás fases.
Revisión de la literatura
Documentación de resultados
Acceso a Bases de datos
Científicas (ACM, IEEE,
Spriger, Science
Direct,etc.)
Fuente: El autor.
20
1.5.2 Estrategias de Comunicación
Los resultados de este trabajo doctoral se divulgarán por medio de los siguientes productos: Artículos publicados y/o aceptados en revistas científicas indexadas. Conferencias realizadas y/o aceptadas en eventos científicos relacionados con
HCI, BCI e Ingeniería de Software.
1.5 CONCLUSIONES DEL CÁPITULO La revisión exhaustiva de la literatura permite concluir que: La Satisfacción en el campo de la usabilidad adolece de métricas cuantitativas
calculadas en el tiempo real de la interacción. Es posible definir una relación entre la Satisfacción y variables inherentes a los
estados mentales que se producen en el usuario al momento de la interacción. Escasos Métodos de Evaluación de Usabilidad detallan con precisión las
actividades, artefactos y roles para su correcto empleo y/o integración en un proceso de desarrollo de software.
Los dispositivos BCI son una tecnología novedosa, no invasiva y relativamente económica que permite hacer inferencias sobre los estados mentales de un individuo a partir de la identificación de patrones en sus señales cerebrales.
El trabajo académico en e-learning y particularmente en OA se ha centrado en temas de catalogación y soporte al Diseño Instruccional para optimizar la accesibilidad, interoperabilidad y reusabilidad. En este sentido, los estudios de usabilidad están enfocados en la valoración de los meta datos y la forma como éstos facilitan la identificación, búsqueda y localización del OA (accesibilidad), su uso o facilidad de distribución en distintos LMS (interoperabilidad) y su reutilización en distintas áreas de saber o para la generación de otros OA (reusabilidad). Por consiguiente, la usabilidad desde la perspectiva de la evaluación de la Interfaz de Usuario del OA, es un área abierta de estudio.
Esta propuesta tiene un carácter innovador e inédito, ya que se evidenció que no existen ningún método automatizado de evaluación de usabilidad basado en métricas asociadas a la satisfacción a partir de datos tomados en el tiempo real de la interacción.
21
2. CAPÍTULO 2: ESTUDIO EXPERIMENTAL Esta sección presenta el estudio experimental realizado para determinar la relación entre variables propias de la actividad cerebral y el nivel de Satisfacción. Con ello, se responde a la primera pregunta de investigación: ¿Qué variables propias de las Interfaces Cerebro-Computador permiten calcular métricas relativas a la satisfacción y cómo sería dicho cálculo?, y al primer objetivo específico: Identificar variables propias de la actividad cerebral que sean medidas por el dispositivo BCI y permitan determinar y calcular de manera automática métricas relativas a la satisfacción. 2.1 MÉTODO El objetivo del experimento fue determinar qué variables capturadas por el dispositivo BCI y relativas al estado mental del usuario se pueden relacionar con su nivel de satisfacción durante la interacción con un objeto de aprendizaje soportado por un sistema e-learning (Moodle). 2.1.1 Participantes. La población objeto de estudio comprendió a estudiantes de pregrado matriculados en al menos un curso soportado por un sistema e-learning y para el cual exista al menos un objeto de aprendizaje disponible para la interacción. Con edades entre 17 y 22 años, sin diferencia de género, estrato social y sin ningún problema cognitivo (déficit de atención, problemas de aprendizaje, etc.). De acuerdo a lo anterior, el tamaño de la muestra poblacional (n=110) se calculó del conjunto de estudiantes de la Universidad del Valle que cumplió con las características enunciadas, y teniendo en cuenta niveles del 95% y 5% de confianza y error respectivamente, los cuales son de común aceptación para este tipo de experimentación (Lazar, Feng, & Hoshheiser, 2010; Sampieri, Fernández-Collado, & Baptista, 2008). Adicionalmente, una vez realizada la selección aleatoria de los participantes que conformaron la muestra, se observó que se había abarcado usuarios novatos, intermedios y avanzados, en el uso de las tecnologías de la información. Este nivel de experticia fue fácilmente determinado por una encuesta en la cual se les preguntó por el tiempo y frecuencia de uso de motores de búsqueda, correo electrónico, redes sociales y el campus virtual de la universidad, entre otros. 2.1.2 Dispositivos. Para la elección del dispositivo BCI a usar, se realizó una prueba piloto con 50 usuarios aleatoriamente seleccionados de la población de estudio9. La finalidad de esta prueba fue observar la facilidad de uso y rendimiento de los dispositivos más representativos a nivel comercial y académico (MIndwave, EPOC). Para el desarrollo de la prueba piloto se utilizaron las herramientas de
9 Estos individuos fueron distintos a los que conformaron el experimento final.
22
práctica propias de cada dispositivo, además de la observación directa y entrevista a cada participante. Los sujetos interactuaron durante 3 minutos con cada aplicación tomando descansos de 2 minutos. Como resultado de la experiencia se encontró que:
Todos los usuarios mostraron preferencia por el dispositivo Mindwave debido a su facilidad de ubicación y a que su sensor al ser seco no causaba incomodidad.
El 90% de los usuarios expresaron desagrado por el dispositivo EPOC dado el gran número de sensores y la incomodidad de éstos al ser húmedos.
El cabello largo y/o abundante causa interferencia en el dispositivo EPOC, lo cual se evidencia en el funcionamiento intermitente o nulo de gran parte de sus sensores, particularmente los localizados en los laterales y parte posterior de la cabeza.
La inferencia relativa a los niveles de Atención, Meditación resulta similar en los dos dispositivos. Teniendo en cuenta que la Atención es entendida como el nivel de concentración mental durante la realización de una actividad y la Meditación como el nivel de calma o relajación mental. Estas dos variables se ven afectadas por manifestaciones de ansiedad, agitación, pensamientos errantes, entre otros.
De acuerdo a lo anterior, se opta por usar el dispositivo Mindwave debido a que las medidas de Atención y Meditación (de interés para el experimento final) presentan un nivel de confianza similar en los dos dispositivos, los usuarios mostraron mayor comodidad y preferencia con su uso y tiene menor costo de adquisición. 2.1.3 Diseño Experimental Para la definición del diseño experimental se seleccionó el diseño "entre grupos" ya que permite un control efectivo de factores como fatiga y frustración los cuales podrían causar sesgo en los datos de estudio (Lazar, 2013). En este sentido, cada participante fue expuesto a una condición experimental mediante asignación al azar. Los objetos de aprendizaje usados tenían igual contenido y nivel de dificultad, pero diferentes niveles de satisfacción (alto, bajo). Estos niveles se definieron a partir de un análisis heurístico (De Lera & Garreta, 2013; Hix et al., 1994), y el uso del cuestionario USE10 (Lund, 2001), actividades realizadas por un experto en usabilidad y una prueba piloto con 20 estudiantes, diferentes a los involucrados en el experimento final. Finalmente, con el objeto de controlar posibles errores sistemáticos, se consideraron los siguientes aspectos:
Preparación de una guía con instrucciones detalladas para los participantes (Ver Anexo 1).
10 Usefulness, Satisfaction, and Ease of Use
23
Preparación de un instructivo con procedimientos detallados para los observadores auxiliares (Ver Anexo 2).
Entrenamiento previo para los observadores auxiliares para garantizar que asumieran una actitud neutral y relajada durante la prueba final, así como establecer una idea clara de los aspectos a observar en los participantes (señales corporales de confort/no-confort) y la correcta localización del dispositivo.
Desarrollo del experimento en un espacio tranquilo, luminoso y sin interferencias notables.
Interacción "participante - objeto de aprendizaje" de máximo 5 minutos. 2.1.4 Resultados y discusión. Para establecer la relación entre la Atención / Meditación y el Nivel de Satisfacción, se tomaron datos durante y después de la interacción. Durante la interacción, se usó un componente software (EEG-Capturer), el cual se desarrolló para la captura en tiempo real de los datos generados por el Mindwave (valores de Atención / Meditación y frecuencias alfa, beta, teta y gama); adicionalmente por observación directa se registraron las señales corporales (asociados con estados confort / no-confort) del participante. Después de la interacción, se utilizó el cuestionario USE el cual permitió establecer:
Escala de satisfacción, según valoración dada por los participantes al conjunto de preguntas definidas en el instrumento.
Porcentaje de comentarios favorables y desfavorables
Número de comentarios asociados a frustración. El Mindwave entregó un promedio de 678 datos por interacción para cada participante y por cada variable estudiada (Atención, Meditación). Estos valores se definen en una escala de [1-100], donde los valores entre [1-40] se consideran bajos, (40-60)11 se consideran neutrales y [60-100] se consideran altos. Se debe tener presente que valores bajos para Atención indican pérdida de concentración por parte del participante, lo cual se asocia a estados de agitación o ansiedad; y valores bajos para la Meditación indican desconexión con la actividad causado por agitación o intranquilidad. De otra parte, los valores altos para Atención indican enfoque total o concentración en la actividad, y valores altos para la Meditación indican alto nivel de relajación o calma que puede ser entendido como posible disfrute o letargo. En el rango neutral no se puede establecer ninguna inferencia (NeuroSky, 2009). Para describir la distribución de los datos capturados se eligió la media como medida de tendencia central para los valores de la Atención y Meditación de cada participante y del conjunto global de datos, ya que el cálculo de los coeficientes de
11 Se usa la notación de conjunto abierto para indicar la exclusión de los extremos, es decir, los valores 40 y
60.
24
variación de los datos (rango [0,068-0,0580]) fue menor a 0.10, confirmando así la representatividad de la media. Adicionalmente, se realizó la prueba de significancia t para muestras independientes con nivel de confianza α = 0,05, obteniendo como resultado t=6,4479 y t=12,6382. Los valores obtenidos para el estadístico t en cada caso, permiten interpretar con una confianza del 95% que los resultados de las variables estudiadas se deben a la condición de control (interfaz de usuario con bajo o alto nivel de satisfacción). La Tabla 5 consolida los datos tomados durante y después de la interacción. La Condición Experimental hace referencia a la interfaz del objeto de aprendizaje la cual fue alterada a fin de presentar un bajo nivel de satisfacción para el primer grupo y un alto nivel de satisfacción para el segundo grupo. El número de participantes fue distribuido uniformemente en los dos grupos. Se presenta adicionalmente el promedio de datos para cada categoría de usuario (novato, intermedio y avanzado). Las columnas restantes resumen los resultados de la encuesta y de la observación de señales corporales para el total de participantes por grupo. Tabla 5. Consolidación de los datos experimentales.
Condición
Experimental
Número de
Participantes
Datos del Mindwave Encuesta USE Resultados
Observacionales
Rangos Escala
de
Satisfacción
Comentarios
Señales Corporales
Atención Meditación Positivos Negativos
Interfaz con
bajo nivel de
satisfacción
55 [7-40] [3-40] 1-2 20% 80% Apoya la cabeza en la
mano. Suelta el
ratón. Movimiento de
pies. Se reclina. Quita
la mirada del monitor.
Parece cansado.
12 Novatos [6-38] [3-40]
16 Intermedios [7-39] [3-38]
27 Avanzados [10-42] [3-41]
Interfaz con
alto nivel de
satisfacción
55 [60,95] [52,71] 4,5 83% 17% Mirada en el monitor.
Pocos movimientos
en silla. Sonríe.
Parece Cómodo.
12 Novatos [61,87] [51,67]
16 Intermedios [60,88] [50,65]
27 Avanzados [67,95] [53,71]
* Fuente: El autor.
Como se puede inferir a partir de los datos consolidados en la Tabla 5, existe una relación directa entre los niveles bajos de satisfacción y rangos bajos de Atención y Meditación. De tal forma que cuando los valores de Atención / Meditación fueron menores de 40, el cuestionario de satisfacción reveló baja escala de satisfacción, los usuarios consignaron mayor cantidad de comentarios negativos y los observadores documentaron prevalencia de señales corporales de malestar (inquietud, frustración, ansiedad).
25
De manera complementaria, un alto nivel de satisfacción se relaciona con altos valores de Atención y los niveles de meditación fluctúan en rangos neutrales a semi-altos. Adicionalmente, el cuestionario muestra una alta escala de satisfacción y mayor cantidad de comentarios positivos; asimismo, los experimentadores documentaron señales corporales de concentración en la tarea y muy pocas o ninguna señal de incomodidad. 2.2 CONCLUSIONES DEL CAPÍTULO Las principales conclusiones del estudio experimental son:
La variable Atención calculada a partir del monitoreo de la actividad cerebral del usuario durante el tiempo de la interacción pueden ser usada como métrica confiable para la medida de la satisfacción.
Rangos Altos de Atención [60-95] unidos a rangos neutrales a semi-altos de Meditación [52-70], indican alto nivel de satisfacción con respecto al uso del sistema.
Rangos Bajos de Atención [7-40] y rangos bajos de Meditación [3-40], indican bajo nivel de satisfacción.
Las relaciones antes citadas se mantienen independientemente de que el usuario sea novato, intermedio o avanzado en relación a su nivel de uso de las tecnologías de información.
Como resultado del análisis del cuestionario se observó que los usuarios avanzados son más críticos frente al sistema y sus comentarios suelen estar relacionados con aspectos que podrían llegar a mejorar la funcionalidad. Información de gran valor en el marco de un proceso de desarrollo del software.
Los datos establecidos tendrán otra semántica en población infantil, adulto mayor o con problemas cognitivos, por lo cual, para estos casos la métrica tendrá menor nivel de confianza y mayor nivel de error.
26
3. CAPÍTULO 3: MÉTODO AUTOMATIZADO PARA LA EVALUACIÓN DE LA SATISFACCIÓN -BRAIN-SATISFACTION-
En esta sección se responde a la segunda pregunta de investigación: ¿Es posible definir un método automático de evaluación de usabilidad que infiera el nivel de satisfacción del usuario a partir de datos capturados de la interacción usuario-aplicación?, y a los objetivos específicos 2 y 4: Caracterizar el conjunto de actividades, artefactos y roles necesarios para la definición del método teniendo en cuenta su carácter automatizado y la necesidad de tomar datos en el tiempo real de la interacción y Validar el método propuesto mediante la evaluación de un prototipo e-learning y bajo un contexto de uso controlado. 3.1 DEFINICIÓN DEL MÉTODO Brain-Satisfaction es un método del tipo modelado analítico (Ivory & Hearst, 2001) para la predicción de la satisfacción. Toma como base los estados mentales (Atención/Meditación) del usuario en conjunción con el modelo Instruccional del Objeto de Aprendizaje (OA) a evaluar. La automatización propuesta incluye la captura de datos (variables BCI, modelo instruccional) y la predicción de potenciales problemas de usabilidad desde la perspectiva de la satisfacción y acorde al diseño instruccional del OA. Es importante resaltar que este método puede ser utilizado tanto en OAs generados por medio de herramientas autor (de conformidad con el estándar educativo IMS12), así como en la producción de OA bajo esquemas de equipos multidisciplinares. Como se puede observar en la Figura 2, Brain-Satisfaction contempla dos fases (Fase de Captura y Fase de Análisis), cuatro actividades (Modelo-DI, Datos-BCI, Estado-Mental y Predicción), un conjunto de artefactos (como son modelos, archivos, reportes y componentes software) y tres roles (Estudiante, Tester e Inspector).
12 http://www.imsglobal.org/
27
Figura 2. Síntesis del método Brain-Satisfaction
Fuente: El autor.
A continuación se caracteriza el método a partir de las actividades que involucra, los artefactos que se generan y los roles que intervienen en su ejecución. 3.1.1 Roles: Un rol permite identificar quién o qué debe llevar a cabo una actividad y qué artefactos son su responsabilidad. Para Brain-Satisfaction se han definido tres roles:
Estudiante: Representa a quien interactuará con el OA. De acuerdo a cómo se describió en el capítulo 2, la población a quien está orientado este trabajo son estudiantes universitarios de nivel de pregrado. No obstante, el método funcionaría para estudiantes de cualquier nivel de formación, siempre y cuando no tengan ninguna discapacidad cognitiva, trastorno de hiperactividad o déficit de atención, ya que en estos casos la semántica de los datos BCI puede variar, por tanto la métrica para la satisfacción puede disminuir su valor de confianza y aumentar su nivel de error.
Inspector: Es el encargado de las actividades de captura y análisis, es decir, establece el estado mental del usuario (cuando el estudiante interactúa con el OA), captura el modelo Instruccional asociado al OA a evaluar y realiza la predicción de la satisfacción. Este rol es asumido por el sistema como tal.
Tester: Representa a quien lidera la evaluación de usabilidad. Su función consiste en cargar al sistema el OA a evaluar.
3.1.2 Actividades y Artefactos: Las actividades indican los pasos o tareas necesarias para llevar a cabo el método. Toda actividad es realizada por un rol e involucra algún artefacto como elemento de entrada y/o salida. Dado que Brain-Satisfaction es un método automatizado, todas las tareas serán responsabilidad del rol Inspector, esto significa que será el encargado de generar los artefactos de salida de cada actividad.
Por su parte los artefactos son piezas de información, esto es, un modelo, un algoritmo, un reporte, etc. Son necesarios para la ejecución de una actividad o son
28
generados como resultado de la misma. En Brain-Satisfaction, se tienen tres tipos de artefactos: Componentes Software (piezas de código necesarias para dar vida al método), Archivos (elementos donde se almacena los datos necesarios para la realización de inferencias) y Reportes (informe de la inferencia realizada). La Figura 3 resume el conjunto de artefactos que involucra Brain-Satisfaction.
Figura 3. Artefactos definidos para el método BRAIN-SATISFACTION
Fuente: El autor.
En los siguientes apartados se detallarán las actividades y artefactos propuestos para el método. Cabe señalar que los aspectos de carácter técnico de los artefactos (algoritmos, modelos, estructura de archivos, etc.) serán detallados en la sección 3.2 Actividad de captura Datos-BCI. La actividad inicia cuando el Estudiante empieza a interactuar con el OA siguiendo el guion que le es suministrado para el test. Simultáneamente, el Inspector (mediante el componente software EEG-Capturer) establece la comunicación con el dispositivo Mindwave e inicia la captura del conjunto de datos BCI que se generan durante la interacción. La actividad finaliza al momento que el usuario termina la interacción con el OA, generándose como resultado el artefacto UserBCI-Data, el cual es un archivo CSV13 que se almacena en el servidor. Como se puede observar el rol estudiante participa de la actividad, mas no es responsable de ningún artefacto. La
13 Del inglés comma-separated values, es un formato sencillo y de uso común para el almacenamiento e
intercambio de datos
Componentes Software
Archivos
Reportes
• EEG-Capturer
•Modeler
•Analyzer
•UserBCI-Data
• ID-Model
• Predictive-Report
29
Figura 4 describe gráficamente esta actividad.
Figura 4. Actividad de Captura Datos-BCI
Fuente: El autor.
Actividad de captura Modelo Instruccional. El modelo instruccional abstrae la forma como se ha planificado el proceso de enseñanza del OA y es indispensable ya que representa su contexto de uso. Para la captura de este modelo se usa la especificación IMS (la cual embebe el modelo de datos LOM Learning Object Metadata), cuya función es facilitar el almacenamiento, intercambio e interpretación de un OA. Se seleccionó este estándar ya que es una de las especificaciones de mayor uso en el desarrollo de OAs y adicionalmente es incluido en las herramientas de autor de mayor reconocimiento (Gonzalez-Barbone & Anido-Rifon, 2010; Piecha & Bernas, 2009). El Modelo Instruccional es capturado al momento de cargar el OA para el inicio de la evaluación y almacenado como un archivo XML. (Ver Figura 5).
Figura 5. Actividad Capturar Modelo Instruccional
30
Fuente: El autor.
Actividad de Análisis Estado-Mental. La actividad inicia al momento que el Estudiante termina la interacción con el OA, lo cual hace que el Inspector (mediante el componente software Analyzer), inicie el proceso de inferencia determinando la tendencia del estado mental del Estudiante en cada Momento del Diseño Instruccional, definido para el OA. Al finalizar esta actividad, se actualiza el archivo UserBCI-Data con la nueva información calculada por el inspector (Ver
Figura 6).
Figura 6. Actividad Análisis del Estado-Mental
Fuente: El autor.
Actividad de Análisis Predicción de la Satisfacción. Consiste en determinar el nivel de satisfacción del usuario y los potenciales errores de usabilidad, en términos del diseño instruccional. La actividad inicia cuando el Inspector ha terminado de inferir el estado mental del usuario durante la interacción, luego de lo cual, se encarga de realizar el mapeo entre el modelo instruccional y dicho estado mental, estableciendo de esta forma la relación entre el Nivel de Satisfacción y el Elemento Instruccional. Posteriormente, el Inspector aplica la métrica de Satisfacción (ver capítulo 2) y genera el reporte final, el cual sintetiza los puntos del plan de la lección (modelo instruccional) versus los niveles de satisfacción, identificando así, los potenciales problemas de usabilidad (Ver Figura 7).
Figura 7. Actividad Predicción de la Satisfacción
31
Fuente: El autor.
3.2 DESCRIPCIÓN TÉCNOLÓGICA DE BRAIN-SATISFACTION La realización de Brain-Satisfaction implicó el desarrollo de tres componentes software, de los cuales uno se ejecuta del lado del cliente (EEG-Capturer) y los restantes del lado del servidor. Estos componentes están conectados como se muestra en la Figura 8. Figura 8. Vista de Componentes Brain-Satisfaction
Fuente: El autor.
EEG-Capturer: Es un componente autónomo cuya función es capturar los datos BCI (Atención/Meditación) a través de una conexión vía socket con el controlador (TGC) del Mindwave (dispositivo BCI). Cuando la interacción (Estudiante-OA) finaliza, este componente almacena la información capturada en el archivo UserBCI-Data.csv. Es importante indicar que el dispositivo Mindwave reporta
32
datos cada segundo, de tal manera que se tendrán cientos de datos por cada interacción, para cada variable.
Modeler: Es el componente encargado de capturar el modelo instruccional asociado al OA. Para ello, el componente lee el archivo imsmanifest.xml asociado al OA14 y abstrae el diseño instruccional mediante la interpretación del schema-XML LOM (Learning Object Metadata). El modelo Instruccional es almacenado en el archivo ID-Model.xml.
Analyzer: Su función es realizar la predicción del nivel de satisfacción mediante la aplicación de la métrica establecida en el capítulo 2. Este componente usa los archivos UserBCI-Data.csv e ID-Modeler.xml, para realizar el cálculo y mapear el nivel de satisfacción con cada elemento del modelo instruccional. Finalmente, el componente genera el reporte de esta relación identificando los elementos del modelo instruccional que presentan problema.
De manera complementaria, los diagramas UML de artefactos (Figura 9) y de despliegue (Figura 10), permiten detallar los artefactos software que conforman los componentes antes mencionados, y la forma como se despliega Brain-Satisfaction en tiempo de ejecución.
Figura 9. Diagrama de artefactos Brain-Satisfaction
Fuente: El autor.
Figura 10. Diagrama de Despliegue Brain-Satisfaction
14 Este archivo es generado automáticamente por la mayoría de herramientas autor. En el capítulo 5 se establecerán las recomendaciones necesarias para la generación de este archivo en caso de que el OA sea desarrollado con un enfoque multidisciplinar (Educación-Ingeniería-Diseño)
33
Fuente: El autor.
A continuación se presentan algunos detalles técnicos de los principales artefactos software relacionados en los anteriores diagramas: SocketConnection.java: Es un hilo de ejecución que se ejecuta del lado del
cliente y se encuentra activo durante la interacción Estudiante-OA. Su función es establecer comunicación con el dispositivo Mindwave, lo cual realiza vía Socket, usando la notación JSON para el intercambio de datos. El hilo se destruye cuando el estudiante finaliza la interacción.
UserBCIData.csv: Es un archivo generado por el artefacto Control.java del Componente EEG-Capturer. Su objetivo es almacenar los datos BCI capturados durante la interacción, en forma de tabla, en la que las columnas se separan por punto y coma y las filas por saltos de línea. Además de los datos BCI, el archivo almacena la fecha y hora de cada captura de datos, tal y como se muestra en la Figura 11. Figura 11. Fragmento de un archivo UserBCI-Data.java
34
Fuente: El autor.
UnZipClass.java: Encargado de capturar el modelo instruccional del OA. Para
ello, se accede al archivo imsmanifest.xml (este archivo es generado automáticamente por las herramientas autor de mayor uso como son ExeLearning, Reload, entre otras). En caso de que OA sea desarrollado por un grupo multidisciplinar o de manera independiente a una herramienta autor, dicho archivo debe crearse, teniendo en cuenta, que cumpla con la especificación IMS. La Figura 12 muestra un fragmento de un archivo imsmanifiest.xml.
Figura 12. Ejemplo de archivo imsmanifiest.xml
35
Fuente: El autor.
ID-Model: Es un archivo XML generado por el artefacto UnZipClass.java, el cual
almacena el plan de lección asociado al OA e interpretado acorde con especificación LOM. La Figura 13 muestra un ejemplo de este archivo. Figura 13. Ejemplo de un archivo ID-model.xml
Fuente: El autor.
MentalState.java: Realiza mapeo entre ID-Model y el nivel de satisfacción, para
lo cual trabaja con los archivos UserBCI-Data.csv y ID-Model.xml. Reporter.java: Encargado de aplicar la métrica establecida en el capítulo 2 y
realizar la predicción.
36
3.3 VALIDACIÓN DEL MÉTODO En esta sección se documenta el diseño y resultados de la prueba piloto realizada a fin de validar el uso del método Brain-Satisfaction, en el desarrollo de un a OA. 3.3.1 Diseño de la Prueba Piloto Para el diseño de la prueba piloto se siguió un esquema de trabajo similar al definido en capítulo 2. En este sentido, se tomaron en cuenta los siguientes aspectos: Población Objetivo: Estudiantes de la Universidad del Valle, que estén inscritos en al menos un curso soportado por el Campus Virtual de la Universidad (Moodle). Los estudiantes responden a las mismas características definidas en el capítulo 2, esto es, con edades entre 17 y 22 años, sin diferencia de género, estrato social y sin ningún problema cognitivo (déficit de atención, problemas de aprendizaje, etc.). La población fue conformada por 15 estudiantes (5 de ciencias, 5 de humanidades, 5 de artes). Instrumentos: Dada la pluralidad de estudiantes y teniendo en cuenta que el curso de Lectura de Lectura de Textos Académico en Inglés es transversal a los diferentes programas académicos, se decidió, desarrollar un OA para una lección en particular de este curso. Para curso. Para esto se contó con la ayuda de un docente de la Escuela de Ciencias del Lenguaje, del Lenguaje, quien por medio de la herramienta eXe Learning, construyó un OA para soportar para soportar una lección del curso en mención. La Figura 14 y la
Figura 15 muestran las principales interfaces del OA desarrollado. Figura 14. Objeto de Aprendizaje para sección Bienvenida
Fuente: El autor.
37
Figura 15. Objeto de Aprendizaje sección Ejercitación y Práctica
Fuente: El autor.
Como paso final, el OA se carga al sistema por medio de la vista del usuario Tester (Ver Figura 16). Figura 16. Interfaz del usuario Tester para Carga del OA en el sistema
Fuente: El autor.
38
Aplicación de la Prueba Piloto: La prueba se llevó a cabo en el Centro de Cómputo del Departamento de Diseño de la Facultad de Artes Integradas de la Universidad del Valle. Los usuarios realizaron la prueba por grupos de cuatro estudiantes simultáneamente, ya que se contaba con 4 dispositivos Mindwave. Una vez ubicados en sus correspondientes estaciones de trabajo, se les explicó el procedimiento a seguir: Colocación del dispositivo Mindwave, inicio de la interacción y entrevista final. Para este procedimiento se contó con la ayuda de 2 observadores auxiliares cuya función fue asistir a los usuarios durante las dos primeras etapas del procedimiento, prestando especial atención a la ubicación del dispositivo. La entrevista se desarrolló de manera simultánea para cada grupo (4 integrantes), para esto se inició con el debate de un conjunto de preguntas, las cuales se plantearon con el objetivo de establecer las impresiones con relación a la prueba y los aportes para la mejora del método. Las preguntas planteadas fueron:
¿El dispositivo le causo algún tipo de incomodidad o interfirió para su desempeño durante la interacción con el OA?
¿Estaría dispuesto a participar nuevamente en este tipo de actividades? ¿Qué nos sugiere para mejorar esta actividad?
El anterior escenario permitió conducir la entrevista de manera amena y favoreció la retroalimentación ya que la participación abierta les permitió debatir su posición y ampliar sus ideas.
3.3.2 Resultados y Discusión Cada usuario interactuó por espacio de 5 minutos con el OA. Una vez finalizada la interacción se trasladaron a otra sala, en la cual, se procedió a realizar la encuesta, la cual tuvo una duración de 20 minutos por grupo. Como resultado de ello se obtuvieron las siguientes conclusiones: Los usuarios manifestaron confort con el uso del dispositivo, es decir, no les
causó incomodidad o interferencia con el desarrollo de la actividad. Manifestaron sentir interés en participar en pruebas de evaluación de materiales
educativos, en especial, los que se usan dentro de sus clases, ya que apuntan que muchos de los materiales del campus virtual les resultan ambiguos, por falta de explicaciones claras o inconsistencia en la estructura de los mismos.
Sugieren se les permita escribir algunas observaciones sobre el material, a fin de proponer aspectos que permitan mejorar la calidad del mismo.
Como parte final de la charla se tomó nota de las principales observaciones que realizaron sobre posibles mejoras para el OA con el cual interactuaron, las cuales incluyen:
39
Mejorar aspectos relativos a la redacción del texto Incluir más ejemplos cortos adicionando aspectos fonéticos Adicionar más ejercicios de autoevaluación conservando el esquema de
retroalimentación automática propuesto. En concordancia con lo antes indicado, el reporte de evaluación de la satisfacción permitió evidenciar que las observaciones dadas por los usuarios al momento de la encuesta, se relacionan con los momentos de la lección donde el método predice bajos niveles de satisfacción (Ver Figura 17). Por tanto, es conveniente activar la posibilidad de que el usuario consigne sus observaciones en cuanto a mejoras sobre el OA, lo cual enriquecerá notablemente al método propuesto. Figura 17. Reporte de Evaluación de la Satisfacción
Fuente: El autor.
3.5 CONCLUSIONES DEL CAPÍTULO
Brain-Satisfaction es un método innovador y novedoso para el cálculo de la
Satisfacción, ya que es el primer y único método reportado hasta el momento en la literatura, que permite establecer el nivel de Satisfacción de manera automática y usando datos capturados durante el tiempo real de la interacción.
Las variables Atención y Meditación resultan ampliamente relevantes para la métrica en el contexto de los OA, ya que están directamente relacionadas con el aspecto cognoscitivo del usuario, lo cual fundamenta el nivel de confianza de la predicción dado que relaciona de manera directa la percepción que el usuario tiene del OA y de las relaciones e interacciones entre los elementos del diseño instruccional.
40
Es factible extender el uso de los datos BCI y los componentes software desarrollados al campo de la adaptatividad, de modo que automáticamente (e inclusive en tiempo real) se informe al docente sobre los momentos de la lección que generan confusión en el estudiante, de tal forma que el instructor pueda proveer material de apoyo de manera síncrona o asíncrona e inclusive personalizada.
El componente software EEG-capturer y el artefacto UserBCI-data.csv pueden ser reutilizados en situaciones dónde se requiera que el sistema ejecute de manera autónoma acciones según sea el nivel de concentración / relajación del usuario, tal y como se logró en el sistema YUTO (Modelo de Adaptatividad de Ayudas para entornos e-learning usando BCI), el cual, se propuso y desarrolló en el marco de un trabajo de maestría, producto derivado de esta tesis de doctorado.
La prueba piloto para la validación del método permitió corroborar que el uso del dispositivo Mindwave resultó cómodo para los usuarios y no interfiere con la interacción. Sin embargo, esta conclusión solo aplica a la población en particular para la que se definió el uso del método. Es necesario realizar pruebas en niños y adultos mayores a fin de poder establecer una generalización.
El reporte de evaluación de la satisfacción presentan correlación con las secciones del diseño de la lección del OA, para las cuales los usuarios participantes de la prueba piloto señalaron posibles mejoras.
Resulta conveniente incluir las observaciones de los usuarios en relación a posibles mejores del OA, lo cual sería un valor agregado de gran utilidad para el método propuesto.
Los estudiantes se muestran receptivos a participar en este tipo de pruebas y consideran que son importantes para mejorar la calidad de los materiales educativos que se usan en el Campus Virtual de la Universidad del Valle.
41
4. CAPÍTULO 4: LINEAMIENTOS PARA LA INTEGRACIÓN DE BRAIN-SATISFACTION EN EL MARCO DE UNA METODOLOGÍA ÁGIL DE
DESARROLLO DE SOFTWARE A pesar del amplio uso de las herramientas autor para la generación de OAs, existen iniciativas (especialmente desde el ámbito universitario) que prefieren establecer grupos multidisciplinarios de pedagogos, expertos del dominio, ingenieros y diseñadores, con el propósito de producir OAs de mayor calidad. En este sentido, esta sección presenta un análisis de la metodología ágil de desarrollo de software SCRUM, de amplio uso y reconocimiento en el sector de software, y establece un conjunto de lineamientos para incorporar Brain-Satisfaction en este contexto. Cabe anotar, que estos lineamientos tienen por objetivo establecer una guía en cuanto a la conformación del equipo de desarrollo y la identificación de sus responsabilidades, sin la pretensión de definir una metodología de desarrollo de software como tal, ya que esto no corresponde a los objetivos de esta tesis. Asimismo, en esta sección se responde a la pregunta de investigación 3: ¿Cómo puede el uso de una BCI coadyuvar en la identificación de problemas de usabilidad en el marco de un proceso de desarrollo de software?, y al objetivo específico 3: Diseñar una propuesta de integración del método en el contexto de un proceso de desarrollo de software ágil, mediante la definición de lineamientos y sub actividades, a fin de favorecer su utilización por parte de equipos de desarrollo de software.
4.1 ANÁLISIS DE LAS METODOLOGÍAS ÁGILES Las metodologías ágiles hacen referencia a procesos de ingeniería de software basados en el desarrollo iterativo e incremental, donde los requerimientos y el producto software evolucionan mediante la colaboración de grupos auto-organizados y multidisciplinarios. Dentro de sus principios, estas metodologías están orientadas a la satisfacción del cliente, ya que éste se involucra y participa activamente durante todo el proyecto y le apuestan a la mejora de la calidad del producto mediante la generación temprana de piezas de código que son testeadas mediante diferentes tipos de pruebas (Guang-Yong, 2011). Estas características hacen que este tipo de metodologías sean las más adecuadas para incorporar el uso de Brain-Satisfaction ya que éste trabaja sobre prototipos funcionales del OA y requiere de la participación activa del usuario. En las últimas décadas este tipo de metodologías se han impuesto sobre las tradicionales, particularmente para equipos pequeños y específicamente para la producción de software de tamaño mediano. Aunque existen diversas propuestas bajo éste enfoque ágil, XP y SCRUM han sido las de mayor uso y éxito a nivel industrial (Abrahamsson, Warsta, Siponen, & Ronkainen, 2003; Sanghoon, Myungjin, Eunseok, & Keun, 2011).
42
Finalmente, para el caso particular del desarrollo de software bajo un enfoque multidisciplinar, del conjunto de metodologías ágiles existentes, SCRUM permite una mejor adaptación, ya que resulta más flexible para la definición de roles, actividades y artefactos propios de estos contextos (Guang-Yong, 2011; Mundra, Misra, & Dhawale, 2013). 4.1.1 SCRUM. Propone el desarrollo progresivo del producto software a través de una serie de iteraciones que denomina Sprint. El Sprint es el eje fundamental del trabajo en SCRUM y debe tener una duración mínima de dos semanas y máxima de un mes. Los roles definidos en SCRUM incluyen el Product Owner (Dueño del Producto), SCRUM Master (Coordinador) y el Development Team (Equipo de desarrollo). La Tabla 6 presenta una síntesis de los mismos. Tabla 6. Roles definidos en la metodología SCRUM
ROL DESCRIPCIÓN
Product Owner Su responsabilidad es definir la lista de requisitos del producto y su orden de prioridad a fin de alcanzar los objetivos establecidos con el desarrollo del producto software.
SCRUM Master Es el encargado de velar que se cumplan las reglas de SCRUM y mediar entre el Producto Owner y el Development Team. Debe asegurar que el Product Owner establezca claramente la lista de requisitos y su prioridad, gestionar y monitorear al Development Team y resolver impedimentos para el progreso del proyecto.
Development Team Conjunto de profesionales necesarios para desarrollar el incremento del software a entregar al final de cada Sprint. Se recomienda que el número de integrantes oscile entre 3 y 9 miembros, a fin de facilitar su coordinación.
Fuente: (Rubin, 2013; Sutherland, 2014)
Las actividades definidas para SCRUM están enmarcadas en el contexto del Sprint e incluyen: Sprint Planning Metting (Reunión de planeación del Sprint), Daily SCRUM (SCRUM Diario) y Sprint Review (Revisión del Sprint). El Sprint Planning Metting es la actividad que da inicio al Sprint y tiene por objetivo establecer qué se debe entregar como incremento dentro del Sprint y cómo se logrará realizar dicho trabajo. En esta reunión el Product-Owner debe priorizar el artefacto Product-Backlog (Lista de requerimientos) y el Development Team (equipo de desarrollo) selecciona las tareas (requerimientos) que se compromete a completar durante el Sprint. Dichas tareas se consignan en el artefacto Sprint-Backlog (lista de requerimientos del Sprint). Cada día durante el Sprint se realiza una breve reunión llamada Daily SCRUM, en la cual el SCRUM-Master monitorea los avances del equipo y les ayuda a permanecer enfocados en los objetivos del Sprint. Al final del Sprint el grupo debe entregar un incremento del producto que sea utilizable y
43
potencialmente desplegable durante una reunión que se denomina Sprint Review (Reunión de Revisión del Sprint). La
Figura 18 sintetiza la metodología SCRUM.
Figura 18. Metodología SCRUM
Fuente: EPF Eclipse documentación SCRUM v 1.5.
4.2 DEFINICIÓN DE LINEAMIENTOS Y SUB-ACTIVIDADES Para la definición de los lineamientos y actividades necesarias para integrar Brain-Satisfaction en el marco de SCRUM, se tomó como base SPEM 2.015, el cual es un metamodelo para definir procesos de desarrollo de software. SPEM especifica una metodología en términos de los Contenidos del Método (elementos) y los procesos (uso de dichos elementos). La Figura 19 resume de manera gráfica SPEM y la Tabla 7 sintetiza la definición de los conceptos asociados.
Figura 19. Elementos básicos de SPEM 2.0
Fuente: Traducido de (OMG, 2008)
15 http://www.omg.org/spec/SPEM/2.0/
44
Tabla 7. Síntesis de Elementos básicos de SPEM 2.0
ELEMENTO DESCRIPCÓN
Roles Encapsulan las características, comportamientos y responsabilidades de los individuos o grupo de personas que deben llevar a cabo una tarea y que son responsables de desarrollar determinado artefacto
Productos de Trabajo Artefactos resultantes del desarrollo de cada una de las tareas propuestas en el proceso, estos pueden ser un documentos, modelos, diagramas, código, etc.
Tareas Unidades básicas del proceso y conllevan a la elaboración de un artefacto por parte de quien desempeña un rol en particular.
Categorías Elementos que permiten agrupar bajo un criterio un grupo de elementos de contenido y darles un nombre, por ejemplo Disciplinas, Dominios, Herramientas, etc.
Actividades Agrupaciones de tareas que se organizan para el cumplimiento de un objetivo intermedio dentro del proceso de software. Se definen en términos del uso de los roles, productos de trabajo y tareas.
Guías Documentación de todos los elementos antes descritos en forma de tutoriales, definiciones, explicaciones, reportes técnicos, etc. Cuyo objetivo es ayudar al usuario de la metodología a entender los elementos que la componen y su uso.
Fuente: Traducido de (OMG, 2008)
4.2.1. BRAIN-SATISFACTION EN EL MARCO DE SCRUM
El objetivo de esta sección es proponer algunos elementos básicos de contenido, como roles y tareas, a fin de establecer un marco de trabajo para la integración de Brain-Satisfaction en el contexto de la metodología SCRUM. Para esto, como primera medida fue necesario discriminar el conjunto de roles que debe conforman el Development Team (Ver Figura 20).
Figura 20. Definición de Roles para la integración de Brain-Satisfaction en SCRUM
Fuente: El autor.
45
Los Roles propuestos surgen del análisis de las características fundamentales para el desarrollo de OA’s de calidad, desde una visión holística que contemple las perspectivas Educativa, Tecnológica y de Factores Humanos. El campo Educativo está relacionado con teorías de aprendizaje, el plan de la lección y la correcta definición y uso de los conceptos a enseñar; el Tecnológico implica los aspectos computacionales y de diseño necesarios para implementar el OA y los Factores Humanos hacen referencia a los elementos de la psicología cognitiva y de experiencia de usuario (específicamente usabilidad) necesarios para comprender y evaluar la interacción entre el usuario y el OA. La Tabla 8 recopila el conjunto de responsabilidades y características asociadas a cada Rol definido para el Development Team. Los roles SCRUM Master y Producto Owner se conservan tal y como se definen en SCRUM, razón por la cual no aparecen en la tabla (Ver sección 4.1.1). Tabla 8. Definición de Roles para el uso de Brain-Satisfaction en SCRUM
ROL DESCRIPCIÓN TAREAS
El pedagogo es el experto en temas relativos a la educación y la enseñanza, tales como los Modelos pedagógicos y las Teorías de Aprendizaje.
o Identificar la necesidad Educativa
o Proponer la Teoría de aprendizaje a usar.
El diseñador instruccional es el experto en definir las experiencias de instrucción que favorezcan la apropiación de los conceptos y el desarrollo de habilidades de manera eficiente y atractiva.
Establecer el plan de lección para el OA (Diseño Instruccional)
Es el profesional que domina el tema que se quiere enseñar por medio del OA.
Redactar conceptos, ejercicios y prácticas a incorporar en el OA
Validar el uso correcto de los elementos conceptuales en los recursos multimedia a incorporar en el OA.
Profesional experto en los procesos mentales que suceden en el individuo cuando se encuentra en un contexto específico y definen su comportamiento.
Validar si la representación de la información favorece las estructuras de la memoria del usuario promoviendo la creación de representaciones mentales que conduzcan a la apropiación de los conceptos y habilidades que se pretende promover por medio del OA.
Es el experto en el conjunto de técnicas que garanticen una óptima experiencia a los usuarios en el entorno digital.
Caracterizar al Usuario Establecer las pautas para el
diseño de la Interacción. Diseñar, coordinar y analizar
pruebas de Usabilidad.
46
ROL DESCRIPCIÓN TAREAS
Es el profesional experto en el campo de la computación, con conocimientos en análisis, diseño e implementación de software.
Analizar los aspectos funcionales del OA
Generar los Diseños computacionales necesarios.
Diseñar y ejecutar pruebas funcionales.
Implementar la funcionalidad
Es experto en las tecnologías necesarias para el prototipado e implementación de interfaces de Usuario.
Crear prototipos de las Interfaces de Usuario del OA, acorde al diseño de la interacción establecido.
Fuente: El autor.
Tal como sucede con cualquier metodología de software, puede ser que un individuo en particular desempeñe varios roles, esto es, el profesor interesado en el desarrollo del OA podría llegar a desempeñar los roles de Pedagogue, Instructional Designer y Expert Domain; así como los roles de Psychologist, Usability Expert y User Interface Designer podría ser realizados por la misma persona. Lineamientos para la integración del método: A continuación se especifican el conjunto de guías o recomendaciones a tener en cuenta a fin de integrar Brain-Satisfacción en el marco de actividades definidas para SCRUM. Las pautas se proponen a manera de preguntas que deberían ser resueltas en cada tarea. La Tabla 9 sintetiza el conjunto de recomendaciones para la definición de Tareas desde la perspectiva Educativa: Tabla 9. Propuesta de Tareas desde la perspectiva Educativa
TAREA RECOMENDACIÓN
Identificar la necesidad Educativa Esta tarea tiene como finalidad establecer si es relevante o no desarrollar el OA. Se debe responder a las siguientes preguntas:
o ¿Por qué es relevante el tema a soportar con el OA? Algunos Indicadores de esta relevancia son: los estudiantes obtienen bajas notas al evaluar el tema, los estudiantes manifiestan poco entendimiento del tema. El tema requiere del uso de muchos ejemplos para su entendimiento. Los materiales usados resultan obsoletos y aburridos para el estudiante.
o ¿Existe algún estudiante con necesidades especiales? En este caso se debe determinar claramente el tipo de discapacidad a fin de determinar la viabilidad del desarrollo.
Proponer la Teoría de aprendizaje a usar
Hace referencia a la estrategia didáctica que de mejor soporte al tema en cuestión. Se recomienda tener en cuentas los siguientes aspectos:
47
TAREA RECOMENDACIÓN
o ¿El trabajo en equipo favorecería el proceso de aprendizaje del tema en cuestión? El trabajo en equipo es favorable cuando se quiere desarrollar habilidades comunicativas, se puede definir varias fases de trabajo permitiendo tiempo para el debate y el contraste de ideas, y se cuenta con opciones de evaluación, coevaluación y autoevaluación.
o ¿El tema se ve favorecido por la práctica? Cuando una amplia gama de ejercicios ayuda al estudiante a apropiar el conocimiento, lo cual puede implicar el uso del aprendizaje significativo o el aprendizaje por descubrimiento.
o ¿El tema resulta aburrido? Esto es un indicador de que debe optarse por estrategias de aprendizaje con un fuerte fundamento en la lúdica.
o ¿El tema presenta un alto grado de complejidad? La complejidad, es un fuerte indicador de que se debe optar por teorías de aprendizaje que favorezcan el aprendizaje gradual, es decir, dominando primero los aspectos más simples del aprendizaje para poder pasar después a los más complejos.
Establecer el plan de lección para el OA (Diseño Instruccional).
Se recomienda la adopción del estándar IMS y específicamente el esquema LOM para la definición del Diseño Instruccional ya que Brain-Satisfaction interpreta específicamente dicho estándar.
Redactar conceptos, ejercicios y prácticas a incorporar en el OA
Se sugiere la creación de un documento en el cual el experto del dominio consigne de manera precisa los conceptos, enunciados y soluciones de ejercicios y enunciados de preguntas y respuestas (en caso de evaluación).
Validar el uso correcto de los elementos conceptuales en los recursos multimedia a incorporar en el OA.
El experto del dominio debe aprobar los prototipos de Interfaz desarrollados desde la perspectiva del uso del vocabulario del dominio y la coherencia de las animaciones, videos o audios.
Fuente: El autor.
La Tabla 10 sintetiza el conjunto de recomendaciones para la definición de Tareas desde la perspectiva de los Factores Humanos: Tabla 10. Propuesta de Tareas desde la perspectiva de los Factores Humanos
TAREA RECOMENDACIÓN
Validar la representación de la información Consiste en determinar si la representación de la información favorece las estructuras de la memoria del usuario para la creación de representaciones mentales conducentes a la apropiación de los conceptos y habilidades que se pretende enseñar. A este respecto se propone el uso de diferentes técnicas como
48
TAREA RECOMENDACIÓN
son: Mapas Conceptuales y las Redes Semánticas para medir el grado de integración del conocimiento (Padilla, Rodriguez, & López, n.d.)
Caracterizar al Usuario
Definición clara de la población objetivo de estudio en términos demográficos, nivel de dominio de la tecnología, aspectos cognitivos y discapacidades.
Establecer las pautas para el diseño de la Interacción
Establecer la arquitectura de la información, zonas de comunicación y demás aspectos de interacción para cada entorno de despliegue del OA.
Diseñar, coordinar y analizar pruebas de Usabilidad
Elaborar Análisis de Tareas, aplicar Heurísticas de Evaluación y Guías de Estilo, aplicar Brain-Satisfaction. Analizar los resultados de las pruebas y proponer los correctivos necesarios.
Fuente: El autor. La Tabla 11 consolida el conjunto de recomendaciones para la definición de Tareas desde la perspectiva Tecnológica: Tabla 11. Propuesta de Tareas desde la perspectiva Tecnológica
TAREA RECOMENDACIÓN
Analizar los aspectos funcionales del OA Se recomienda la revisión del Product Backlog y del SPRINT Backlog de tal manera que se constate que el listado de requisitos permita establecer claramente la funcionalidad a implementar. El análisis de funcionalidad se debe plasmar en las Historias de Usuario.
Generar el Diseño computacional necesario para la implementación.
En concordancia con la filosofía de las metodologías ágiles se sugiere el desarrollo de del menor número de artefactos de diseño necesarios para guiar la implementación. Cómo diagramas mínimos se proponen: Diagrama de Clases, Diagrama de Persistencia (si la hay), Diagrama de Despliegue y/o Componentes.
Diseñar y ejecutar pruebas funcionales.
Se deben implementar pruebas de unidad y de integración en mayor preponderancia y se sugiere aplicar pruebas funcionales en los momentos de lección que Brain-Satisfaction predice con bajo nivel de satisfacción, ya que son los que presentan mayor dificultad para el usuario.
Implementar la funcionalidad Manteniendo la filosofía de las metodologías ágiles, se recomienda el uso de técnicas de documentación del código y manejo de versionamiento, así como la generación de las
49
TAREA RECOMENDACIÓN
correspondientes ayudas de usuario para cada incremento.
Crear los prototipos de las Interfaces de Usuario del OA, acorde al diseño de la interacción establecido.
La generación de prototipos de interfaz, puede darse tanto en papel (especialmente al momento de analizar el Product Backlog y el SPRINT Backlog) como digitalmente, ya cuando se está de cara a la implementación. Como recomendación se sugiere un conjunto de herramientas para el prototipado digital, como son: Invision16, Pencil17, Lumzy18 y Launch19. Estas herramientas son todas de libre distribución y en su mayoría permiten el prototipado de interfaces para el Web y para dispositivos móviles, emulan navegación y simulan la interacción.
Fuente: El autor. Para finalizar, en la Tabla 12 se propone un esquema para el desarrollo de las actividades del Development Team en cada SPRINT, enlazando con las tareas antes definidas. Tabla 12. Recomendaciones para las Actividades
ACTIVIDAD
DESCRIPCIÓN
Liberación del Plan general
En esta actividad se define el plan general para el desarrollo del OA, por lo cual se deben establecer con la mayor precisión el marco de trabajo. En este sentido se recomienda incluir las siguientes tareas; Identificar la necesidad Educativa Proponer la Teoría de aprendizaje a usar Establecer el plan de lección para el OA (Diseño Instruccional). Analizar los aspectos funcionales del OA Caracterizar al Usuario Establecer las pautas de diseño de la interacción Generar prototipos de Interfaces de Usuario
Priorización del Product Backload
En esta actividad se reúnen el Producto Owner, el SCRUM Master y el Development TEAM a fin de priorizar la lista de requisitos del Software y determinar los compromisos para el SPRINT. Se sugiere incluir las siguientes tareas, a fin lograr una mayor completitud y calidad del Product Backload: Crear prototipos de Interfaces Analizar aspectos funcionales del OA
16 http://www.invisionapp.com/ 17 http://pencil.evolus.vn/ 18 http://lumzy.com/ 19 http://getlaunch.com/
50
ACTIVIDAD
DESCRIPCIÓN
Definición del SPRINT Backload
Es esta actividad el Development Team se reúne para determinar la lista de requisitos del Sprint. Dado que esto establece el marco de trabajo para la iteración se propone incluir las tareas: Analizar aspectos funcionales del OA Crear prototipos de Interfaces Redactar conceptos, ejercicios y prácticas a incorporar en el OA
Planeación del Sprint
Esta actividad implica la identificación de responsabilidades para la implementación del incremento. Se sugieren las siguientes tareas: Diseñar, coordinar y analizar pruebas de Usabilidad Crear los prototipos de las Interfaces de Usuario del OA Generar los Diseños computacionales Diseñar y ejecutar pruebas funcionales. Implementar la funcionalidad Validar la representación de la información Validar el uso correcto de los elementos conceptuales en los recursos
multimedia a incorporar en el OA.
Fuente: El autor.
4.3 CONCLUSIONES DEL CAPÍTULO
La definición de un conjunto de roles que abarcan las dimensiones
fundamentales en el desarrollo de un OA, coadyuva a la mitigación del alto coste de tiempo que implicaría intentar incorporar aspectos de usabilidad en etapas finales del desarrollo o en un producto ya terminado.
El uso de prototipado de interfaces (físicas o digitales) durante la definición y priorización del Plan general de Trabajo, el Product Backload y el SPRINT Backload, ayudaría a disminuir la ambigüedad de estos artefactos y a establecer un marco de referencia más claro y preciso para el desarrollo del OA.
Dado que desde los inicios del proceso de desarrollo se cuenta con incrementos funcionales del software y que las filosofía ágil es dirigida por pruebas, Brain-Satisfaction provee datos sobre potenciales problemas de usabilidad, relativos al nivel de frustración o ansiedad del usuario en momentos particulares de la lección desde etapas tempranas del desarrollo del producto, permitiendo así identificar rápida de fallas en el diseño de la interacción y uso de guías de estilo.
SCRUM es un marco de trabajo fácil de extender para contextos específicos de desarrollo de software ya que facilita la definición de los roles integrantes del Development Team, la especificación de nuevas tareas y la redefinición de actividades.
Un punto débil de SCRUM y en general de las metodologías ágiles es la limitación en el uso de artefactos ya que en esquemas multidisciplinares resulta
51
complejo lograr una comunicación clara para todos los involucrados mediante el uso de unos pocos artefactos (Product Backload o SPRINT Backload).
52
5. CAPÍTULO 5: CONCLUSIONES, CONTRIBUCIONES Y TRABAJO FUTURO
5.1 CONCLUSIONES 5.1.1 Conclusiones de la revisión de la literatura La Satisfacción en el campo de la usabilidad adolece de métricas cuantitativas
calculadas en el tiempo real de la interacción. Es posible definir una relación entre la Satisfacción y variables inherentes a los
estados mentales que se producen en el usuario al momento de la interacción. Escasos Métodos de Evaluación de Usabilidad detallan con precisión las
actividades, artefactos y roles para su correcto empleo y/o integración en un proceso de desarrollo de software.
Los dispositivos BCI son una tecnología novedosa, no invasiva y relativamente económica que permite hacer inferencias sobre los estados mentales de un individuo a partir de la identificación de patrones en sus señales cerebrales.
El trabajo académico en e-learning y particularmente en OA se ha centrado en temas de catalogación y soporte al Diseño Instruccional para optimizar aspectos accesibilidad, interoperabilidad y reusabilidad. En este sentido, los estudios de usabilidad están enfocados en la valoración de los meta datos y la forma como éstos facilitan la identificación, búsqueda y localización del OA (accesibilidad), su uso o facilidad de distribución en distintos LMS (interoperabilidad) y su reutilización en distintas áreas de saber o para la generación de otros OA (reusabilidad). Por consiguiente, la usabilidad desde la perspectiva de la evaluación de la Interfaz de Usuario del OA, es un área abierta de estudio.
Esta propuesta tiene un carácter innovador e inédito, ya que se evidenció que no existen ningún método automatizado de evaluación de usabilidad basado en métricas asociadas a la satisfacción a partir de datos tomados en el tiempo real de la interacción.
5.1.2 Conclusiones sobre el establecimiento de la métrica
La variable Atención calculada a partir del monitoreo de la actividad cerebral del usuario durante el tiempo de la interacción pueden ser usada como métrica confiable para la medida de la satisfacción.
Rangos Altos de Atención [60-95] unidos a rangos neutrales-altos de Meditación [52-70], indican alto nivel de satisfacción con respecto al uso del sistema.
Rangos Bajos de Atención [7-40] y rangos bajos de Meditación [3-40], indican baja nivel de satisfacción.
Las relaciones antes citadas se mantienen independientemente de que el usuario sea novato, intermedio o avanzado en relación a su nivel de uso de las tecnologías de información.
53
Como resultado del análisis del cuestionario se observó que los usuarios avanzados son más críticos frente al sistema y sus comentarios suelen estar relacionados con aspectos que podrían llegar a mejorar la funcionalidad. Información de gran valor en el marco de un proceso de desarrollo del software.
5.1.3 Conclusiones sobre el método de evaluación de la satisfacción Brain-Satisfaction es un método innovador y novedoso para el cálculo de la
Satisfacción, ya que es el primer y único método reportado hasta el momento en la literatura, que permite establecer el nivel de Satisfacción de manera automática y usando datos capturados durante el tiempo real de la interacción.
Las variables Atención y Meditación resultan ampliamente relevantes para la métrica en el contexto de los OA, ya que están directamente relacionadas con el aspecto cognoscitivo del usuario, lo cual fundamenta el nivel de confianza de la predicción dado que relaciona de manera directa la percepción que el usuario tiene del OA y de las relaciones e interacciones entre los elementos del diseño instruccional.
Es factible extender el uso de los datos BCI y los componentes software desarrollados al campo de la adaptatividad, de modo que automáticamente (e inclusive en tiempo real) se informe al docente sobre los momentos de la lección que generan confusión en el estudiante, de tal forma que el instructor pueda proveer material de apoyo de manera síncrona o asíncrona e inclusive personalizada.
El componente software EEG-capturer y el artefacto UserBCI-data.csv pueden ser reutilizados en situaciones dónde se requiera que el sistema ejecute de manera automática acciones según sea el nivel de concentración / relajación del usuario, tal y como se logró en el sistema YUTO (Modelo de Adaptatividad de Ayudas para entornos e-learning usando BCI), el cual, se propuso y desarrolló en el marco de un trabajo de maestría, producto derivado de esta tesis de doctorado.
5.1.4 Conclusiones sobre los lineamientos para la incorporación del método propuesto en el marco de un proceso ágil de desarrollo de software. La definición de un conjunto de roles que abarcan las dimensiones
fundamentales en el desarrollo de un OA, coadyuva a la mitigación del alto coste de tiempo que implicaría intentar incorporar aspectos de usabilidad en etapas finales del desarrollo o en un producto ya terminado.
El uso de prototipado de interfaces (físicas o digitales) durante la definición y priorización del Plan general de Trabajo, el Product Backload y el SPRINT Backload, ayudaría a disminuir la ambigüedad de estos artefactos y a establecer un marco de referencia más claro y preciso para el desarrollo del OA.
Dado que desde los inicios del proceso de desarrollo se cuenta con incrementos funcionales del software y que las filosofía ágil es dirigida por pruebas, Brain-
54
Satisfaction provee datos sobre potenciales problemas de usabilidad, relativos al nivel de frustración o ansiedad del usuario en momentos particulares de la lección desde etapas tempranas del desarrollo del producto, permitiendo así identificar rápida de fallas en el diseño de la interacción y uso de guías de estilo.
SCRUM es un marco de trabajo fácil de extender para contextos específicos de desarrollo de software ya que facilita la definición de los roles integrantes del Development Team, la especificación de nuevas tareas y la redefinición de actividades.
Un punto débil de SCRUM y en general de las metodologías ágiles es la limitación en el uso de artefactos ya que en esquemas multidisciplinares resulta complejo lograr una comunicación clara para todos los involucrados mediante el uso de unos pocos artefactos (Product Backload o SPRINT Backload).
5.2. CONTRIBUCIONES 5.2.1 Del trabajo teórico: Un método automatizado (Brain-Satisfaction) para la evaluación de la
Satisfacción, basado en una métrica calculada a partir de los niveles de Atención y Relajación del usuario en el tiempo real de la interacción mediante el uso del dispositivo BCI Mindwave (Capítulo 3).
El establecimiento de las variables Atención y Meditación como medidas confiables del nivel de satisfacción del usuario (Capítulo 2).
5.2.2 Del trabajo práctico: La definición de recomendaciones necesarias para la integración del método y
en el marco de SCRUM (Capítulo 4).
5.2.3 Del trabajo empírico: El cálculo de la métrica tomada como base, así como, la caracterización del
contexto de uso óptimo para la ejecución del método propuesto (Capítulo 2) 5.3 TRABAJO FUTURO Como trabajo futuro se proponen los siguientes aspectos: Para la mejora del método: La ejecución de más experimentos controlados con otros tipos de usuarios
(niños, adulto mayor, discapacitados), a fin de proponer una métrica plena para la evaluación de la satisfacción.
El desarrollo de un método integral y automatizado para la evaluación de la usabilidad, que conjugue Brain-Satisfaction con otros métodos también automatizados pero enfocados en otras variables de la usabilidad a fin de proveer mayor completitud en la evaluación.
55
Para la extensión del método: Aplicación del método en otro tipo de aplicaciones computacionales como son
los Video Juegos, aplicaciones para dispositivos móviles y sistemas embebidos. El uso del método en contextos diferentes del educativo, como es el caso de la
evaluación del desarrollo del producto en el campo del diseño industrial, en la cual, se podrían unir los resultados del monitoreo de la actividad cerebral con otras bioseñales como lo son rata cardiaca y/o movimiento muscular.
La inclusión en el método de otros aspectos relativos a la experiencia de usuario (UX) a fin de identificar relaciones entre los datos BCI y aspectos más allá de la usabilidad.
5.4 PUBLICACIONES Y DIVULGACIÓN La divulgación de esta tesis doctoral incluyó la socialización de resultados de experimentación, la propuesta teórica y lineamientos para la incorporación y uso del método propuesto, en eventos y revistas de nivel nacional e internacional. Participación en Congresos:
Rodríguez-C Paola-J, Paternò Fabio and Jiménez Jovani. "Using BCI and VARK sensory modalities to improve Adaptivity in e-learning". VI International Conference of Adaptive and Accessible Virtual Learning Environments (CAVA 2014) - Promoting an Inclusive Learning Culture. Agosto 2014.
Reyes Javier, Rodríguez-C Paola-J, Jiménez Jovani. "YUTO: Modelo de
Ayudas Adaptativas para entornos e-learning". VI Seminario Internacional de la Ciencia de la Computación. X Jornadas Iberoamericanas de Ingeniería de Software e ingeniería del Conocimiento (JIISIC 2013). Universidad de Medellín. 2013.
Javier Reyes, Paola-J Rodríguez-C. "Pautas para la creación de ayudas de
usuario para entornos e-learning". IV Congreso Iberoamericano Soporte al Conocimiento con la Tecnología. Las TIC herramientas clave para la innovación y el crecimiento sostenible. 2012.
Publicaciones en Revistas:
Paola-J Rodríguez-C, Jovani Alberto Jiménez Builes, Fabio Paternò. Monitoreo de la Actividad Cerebral para la Evaluación de la Satisfacción. Revista de Ingeniería Universidad de los Andes. Vol. 42, pp. 16-22. ISSN 0121-4993. 2015. Indexación A2- Colciencias.
56
Libros:
Reyes, J., Rodríguez-C, Paola-J. y Jiménez, J. Capítulo V: "YUTO: modelo de ayudas adaptativas para entornos e-learning" Ingeniería de Software e Ingeniería del Conocimiento: dos disciplinas". ISBN: 978-958-8815-31-2 ed: Sello editorial Universidad de Medellín. p.83 - 95 ,2014.
Herramientas Software de Carácter Público:
Brain-SatisfactionUsability: Herramienta para Evaluación automatizada de la Satisfacción.
Reportes Técnicos de Carácter Público:
Seminario Sistemas de Control Neuronal para el apoyo a personas en situación de discapacidad. Universidad Pontifica Javeriana, Universidad del Valle, Ecole Polytechnique Federale de lausanne, CNBI, SURGIR. Enero de 2015.
Formación de Talento Humano a Nivel de Maestría:
Javier Mauricio Reyes Vera. Trabajo de Investigación: "YUTO - Modelo de Adaptatividad de Ayudas para entornos E-learning usando BCI". Título conferido: Magíster en Investigación énfasis Computación de la Universidad del Valle, graduado en Junio de 2015.
Proyectos de Investigación:
Proyecto "EMOT-BRAIN Método de Evaluación de la Experiencia de Usuario en la interacción con herramientas cotidianas a partir de los Estados Emocionales de los Usuarios". Aprobado en convocatoria de investigación interna de la Universidad del Valle. Departamento de Diseño y Escuela de Ingeniería de Sistemas y Computación. Grupo de Investigación CAMALEON.
Pasantía de Investigación:
Desarrollada en el grupo “Human Interfaces in Information Systems – HIIS”, en CNR20 de Pisa-Italia, bajo la dirección del profesor Ph.D Fabio Paternò en el periodo enero-agosto de 2014.
20 Centro Nacional de Investigación.
57
A. ANEXO: INSTRUCTIVO PARTICIPANTES ESTUDIO EXPERIMENTAL
INSTRUCTIVO PARA PARTICIPANTES PROYECTO BRAIN-SATISFACTION
Para tener en cuenta...
Esta actividad consiste en medir el patrón de tus ondas cerebrales, mientras interactúas con un objeto de aprendizaje digital.
No existen interacciones correctas o incorrectas. Los datos capturados permitirán inferir que tan concentrado y relajado
estuviste durante la interacción y serán utilizados para un análisis estadístico en el marco de un proyecto de investigación sobre Evaluación de Usabilidad.
Lo qué vas a hacer...
1. Usar el dispositivo Mindwave que realizará el monitoreo de tus ondas cerebrales. Este dispositivo no te causará ninguna incomodidad o molestia y un monitor te colaborará con su correcta postura.
2. Ingresar al navegador (Internet Explorer) y escribe la siguiente dirección web: http://localhost/brain-satisfaction/
3. Ingresa tu código y oprime el botón iniciar. 4. Inicia la actividad. 5. Cierra el navegador. 6. Pasa a la última fila de la sala. 7. Diligenciar la encuesta que encontrarás en el puesto de trabajo.
¡Agradecemos tu valiosa ayuda!
58
B. ANEXO: INSTRUCTIVO PARA OBSERVADORES DEL ESTUDIO EXPERIMENTAL
INSTRUCTIVO PARA OBSERVADORES PROYECTO BRAIN-SATISFACTION
Hora de Arribo: 8:00 a.m. Lugar: Sala Informática Departamento de Diseño - Edificio 382 piso 3. Lo que vas a realizar...
Verificar conexión a internet y acceso al objeto de aprendizaje. Ubicar encuestas (USE) en la última fila del salón de pruebas Poner el dispositivo al participante. Observar y registrar las señales corporales del participante. Verificar el diligenciamiento de la Encuesta SUE.
DESCRIPCIÓN DETALLADA
I. ANTES DE LA PRUEBA Por favor pon una X en cada actividad que vayas culminado:
ACTIVIDAD CHEQUEO
Luces de la sala encendidas Encender los equipos 5, 6 y 7
Verificar el funcionamiento del servidor local Ubicar pila de encuestas SUE en los puestos 23 y
27
II. DURANTE LA PRUEBA 1. De la bienvenida al participante y agradezca su ayuda.
2. Diligencie la siguiente información:
Participante No
Código:
59
3. Entregue el instructivo de guía al participante y pídale que lo lea. 4. Pregunte al participante si tiene alguna duda sobre el instructivo. De ser así,
resuelva la duda; si no puede resolverla llame al investigador principal, quien siempre estará afuera de la sala.
5. Ponga el dispositivo al participante: ASEGURESE DE QUE ESTÉ ENCENDIDO 6. Deje al participante solo y ubíquese en el punto de observación.
7. Diligencie la siguiente lista de chequeo:
Señal Corporal Chequeo
Ceño fruncido Cejas Elevadas
Mira desviada de la pantalla
Sonrisa Labios apretados
Suspiros, jadeos, tos Apoyar la cabeza en la
mano
Quitar la mano del ratón Reclinarse en la silla
Mover la piernas o pies Luce cansado Luce relajado
Observaciones Adicionales:
III. DESPUÉS DE LA PRUEBA
1. Verifique que el participante pase a la última fila y diligencia la encuesta USE. 2. Verifique que el código que el participante diligencia en la encuesta USE se
corresponda con el código que has registrado en la Etapa II ítem 2. 3. Agradezca al participante su colaboración en esta actividad.
4. Guarde este instrumento en el sobre que se le ha entregado para tal fin.
¡Agradecemos tu valiosa ayuda!
60
Bibliografía
Abrahamsson, P., Warsta, J., Siponen, M. T., & Ronkainen, J. (2003). New Directions on Agile Methods: A Comparative Analysis. In 25th ICSE.
Abran, A., Khelifi, A., Suryn, W., & Seffah, A. (2003). Consolidating the ISO Usability Models. In Proceedings of 11th International Software Quality Management Conference (pp. 23–25).
ADL. (2009). SCORM® 4th Edition Content Aggregation Model (CAM). Advanced Distributed Learning. Retrieved from http://www.adlnet.gov/Technologies/scorm/SCORMSDocuments/SCORM 2 004 4th Ed V1.1/Documentation Suite/SCORM_2004_4ED_v1_ 1_Doc_Suite.zip
Alanazi, A., Abbod, M., & Ullah, A. (2014). Intelligent E-Learning Repository System for Sharing Learning Resources. In International Conference on Web and Open Access to Learning (ICWOAL) (pp. 1–5). IEEE.
Al-Kilidar, H., Cox, K., & Kitchenham, B. (2005). The use and usefulness of the ISO/IEC 9126 quality standard. 2005 International Symposium on Empirical Software Engineering, 2005., 122–128. http://doi.org/10.1109/ISESE.2005.1541821
Arhippainen, L., Pakanen, M., Hickey, S., & Mattila, P. (2011). User experiences of 3D virtual learning environment. In Proceedings of the 15th International Academic MindTrek Conference on Envisioning Future Media Environments - MindTrek ’11 (pp. 222–227).
Astudillo, G. J., & Sanz, C. (2011). Análisis del estado del arte de los objetos de aprendizaje. Revisión de su definición y sus posibilidades. Universidad Nacional de la Plata. Retrieved from http://sedici.unlp.edu.ar/bitstream/handle/10915/4212/Documento_completo.pdf?sequence=1
Baker, S., Au, F., Dobbie, G., & Warren, I. (2008). Automated Usability Testing Using HUI Analyzer, 579–588. http://doi.org/10.1109/ASWEC.2008.40
Barajas, A., Muñoz, A., Alvarez, R., & M, G. (2009). Developing Large Scale Learning Objects for Software Engineering Process Model. Computer Science (ENC), 2009 Mexican International Conference on, 203–208. http://doi.org/10.1109/ENC.2009.46
61
Barritt, C., Lewis, D., & Wieseler, W. (1999). Cisco Systems Reusable Information Object Strategy. Definition, Creation Overview, and Guidelines. Cisco Systems, Inc. Recuperado a partir de. Retrieved from http://www.cisco.com/warp/public/779/ibs/solutions/learning/whitepapers/el_cis co_rio.pdf
Becker, S. A., & Mottay, F. E. (2001). A Global Perspective on Web Site Usability. In IEEE on Software.
Berger, T. W., John K Chapin, G. A. G., McFarland, D. J., Principe, J. C., Soussou, W., Taylor, D. M., & Tresco, P. A. (2008). Brain-Computer Interfaces. An International Assessment of Research and Develoment Trends. Springer.
Bevan, N. (2009). Extending Quality in Use to Provide a Framework for Usability Measurement. In Proceedings of HCI International (Vol. 9126, pp. 23 – 33).
Bias, R., & Mayhew, D. . (1994). Cost–Justifying Usability. AP Professional Cambridge, MA.
Boyle, T. (2003). Design principles for authoring dynamic, reusable learning objects. Australian Journal of Educational Technology, 19(1), 46–58. Retrieved from http://www.ascilite.org.au/ajet/ajet19/boyle.html
Card, S., Moran, T., & Newell, P. (1983). The psychology of Human–Computer Interaction. ((Lawrence Erlbaum, Ed.). Hillsdale.
Cheikhi, L., Abran, A., Suryn, W., Superieure, E. D. T., & Ouest, N. (2006). Harmonization of usability measurements in software engineering standards. In IEEE ISIE (pp. 3246–3251).
Chimalakonda, S., & Nori, K. V. (2012). A Software Engineering Perspective for Accelerating Educational Technologies. 2012 IEEE 12th International Conference on Advanced Learning Technologies, 754–755. http://doi.org/10.1109/ICALT.2012.214
De Garis, H., Shuo, C., Goertzel, B., & Ruiting, L. (2010). A world survey of artificial brain projects, Part I: Large-scale brain simulations. Neurocomputing, 74(1-3), 3–29. http://doi.org/10.1016/j.neucom.2010.08.004
De Lera, E., & Garreta, M. (2013). 10 Heurísticos Emocionales. Revista Faz, 6, 68–81. http://doi.org/ISSN 0718-526X
62
Delgado Valdivia, J., Morales, R., González Flores, S., & Chan Núñez, M. (2007). Desarrollo de objetos de aprendizaje basado en patrones. Presented at the. In Virtual Educa. Brasil.
Dornhege, G., Hinterberger, T., & Mcfarland, D. J. (2007). Toward Brain-Computer Interfacing. Cambridge, Massachsetts: MIT Press.
Els, R., & Gerrit, V. der V. (2011). Designing education for people ’ s understanding and experience. In Proceedings of ECCE 2011 Conference (pp. 24–26).
Escobar, A. E., Reyes, P., & Hilst, M. Van. (2014). Metrics for Effectiveness ofE-Learning Objects in Software Engineering Education.
Farmer, R. a., & Hughes, B. (2006). Pattern-based end-user development with learning objects.
Fazel-rezai, R. (2011). RECENT ADVANCES IN BRAIN COMPUTER INTERFACE SYSTEMS. Rijeka, Croatia: InTech Open Access Publischer.
Fernandes, P., Conte, T., & Bonif’cio, B. (2012). WE-QT: A Web Usability Inspection Technique to Support Novice Inspectors. 26th Brazilian Symposium on Software Engineering, (1), 11–20. http://doi.org/10.1109/SBES.2012.30
Fernandez, A., Insfran, E., & Abrahão, S. (2011). Usability evaluation methods for the web: A systematic mapping study. Information and Software Technology, 53(8), 789–817. http://doi.org/10.1016/j.infsof.2011.02.007
Georgouli, K. (2011). Virtual Learning Environments - An Overview. In 15th Panhellenic Conference on Informatics (pp. 63–67). IEEE Computer Society. http://doi.org/10.1109/PCI.2011.13
Goldberg, B.S., Sottilare, R.A., Brawner, K.W., Holden, H. K. . (2011). Predicting Learner Engagement during Well-Defined and Ill-Defined Computer-Based Intercultural Interactions. In: D’Mello, S., Graesser, A., Schuller, B., Martin, J.-C. (eds.) ACII 2011, Part I. LNCS, 6974, 538–547.
Gonzalez-Barbone, V., & Anido-Rifon, L. (2010). From SCORM to Common Cartridge: A step forward. Computers & Education, 54(1), 88–102.
Gonzalez-Sanchez, J., Chavez-Echeagaray, M.E., Atkinson, R., Burleson, W. . A. (2011). An agent-based software architecture for a multimodal emotion recognition frame- work. In Proc. of 9th Working IEEE/IFIP Conference on Software Architecture, WICSA.
63
Goyal, M., Yavad, D., & Alka, C. (2012). E-learning, Adaptive Learning, Personalized learning, User modeling, Intelligent tutoring system. International Journal of Computer Science. IJCSI, 9(3), 2012. ISSN (online) 1694–0814.
Granić, A., & Ćukušić, M. (2011). Usability Testing and Expert Inspections Complemented by Educational Evaluation : A Case Study of an e-Learning Platform. Educational Technology & Society, 14(2), 107–123.
Guang-Yong, H. (2011). Study and practice of import Scrum agile software development. In IEEE 3rd International Conference on Communication Software and Networks, ICCSN (pp. 217–220). http://doi.org/10.1109/ICCSN.2011.6013698
Hix, D., Hartson, H. R., & Nielsen, J. (1994). A taxonomy for developing high impact formative usability evaluation methods. ACM SIGCHI, 26(4), 20–22.
Hondrou, C., & Caridakis, G. (2012). Affective , Natural Interaction Using EEG: Sensors , Application and Future Directions. In 7th Hellenic Conference on AI, SETN 2012, Proceedings (pp. 331–338). Lamia, Greece: Springer-Verlag Berlin Heidelberg.
IEEE-LTSC/WG12. (2005). Standard for Information Technology -- Education and Training Systems - Learning Objects and Metadata. Retrieved from http://ltsc.ieee.org/wg12/
Inventado, P.S., Legaspi, R., Bui, T.D., Suarez, M. . (2010). Predicting student’s appraisal of feedback in an its using previous affective states and continuous affect labels from EEG data. In Proceedings of the 18th International Conference on Computers in Education. Putrajaya, Malaysia.
ISO/IEC-25010. (2011). Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models.
ISO/IEC-9126. (1994). Software Product Evaluation - Quality Characteristics and Guidelines for the User.
ISO-9241-11. (1998). INTERNATIONAL Ergonomic requirements for office work with visual display terminals ( VDTs ) - Part 11 : Guidance on usability.
Ivory, M. Y., & Hearst, M. a. (2001). The state of the art in automating usability evaluation of user interfaces. ACM Computing Surveys, 33(4), 470–516. http://doi.org/10.1145/503112.503114
64
Jackson, M. M., & Mappus, R. (2010). Applications for Brain-Computer Interfaces. In D. S. Tan & A. Nijholt (Eds.), Brain-Computer Interfaces, Human-Computer Interaction Series. London: Springer London. http://doi.org/10.1007/978-1-84996-272-8
Jones, R., & Boyle, T. (2009). Patrones de objetos de aprendizaje para programación informática. Revista de Educación a Distancia, Patrones de eLearning Y Objetos de Aprendizaje Generativos, IX(X), 1–15.
Koulocheri, E., Soumplis, A., Kostaras, N., & Xenos, M. (2011). USABILITY INSPECTION THROUGH HEURISTIC EVALUATION IN E- LEARNING ENVIRONMENTS : THE LAMS CASE 2. In VII International Conference on ICT in Education (pp. 617–630).
Krishnaswamy, K., & Kuber, R. (2012). Toward the Development of a BCI and Gestural Interface to Support Individuals with Physical Disabilities. ASSETS’12 - ACM, 229–230.
Laar, B. Van De, Hayrettin, G., Bos, D. P., Nijboer, F., & Nijholt, A. (2013). Towards Practical Brain-Computer Interfaces. In B. Z. Allison, S. Dunne, R. Leeb, J. Del R. Millán, & A. Nijholt (Eds.), Towars Practical Brain-Computer Interfaces, Biiological and Medical Physics, Biomedical Engineering. Berlin, Heidelberg: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-642-29746-5
Lazar, J. (2013). Special Issue of the Journal of Usability Studies : Designing Inclusive Systems. Journal of Usability Studies, 8(4), 90–92.
Lazar, J., Feng, J.-H., & Hoshheiser, H. (2010). Research Methods in Human-Computer Interaction (1st ed.). UK: John Wiley & Sons.
Lindgaard, G., & Chattratichart, J. (2007). Usability Testing : What Have We Overlooked ? In Proceedings in Usability Evaluation (pp. 1415–1424). San Jose, CA - USA: ACM.
Lund, A. (2001). Measuring usability with the USE questionnaire. Usability and user experience newsletter of the STC Usability SIG. Retrieved from http://www.stcsig.org/usability/newsletter/0110_measuring_with_use.html
Mahrin, M. N., Strooper, P., & Carrington, D. (2009). Selecting Usability Evaluation Methods for Software Process Descriptions. 2009 16th Asia-Pacific Software Engineering Conference, 523–529. http://doi.org/10.1109/APSEC.2009.33
65
Marchesi, M., & Riccò, B. (2013). BRAVO : A BRAin Virtual Operator For Education Exploiting Brain-Computer Interfaces. CHI 2013, 3091–3094.
Marcus, S. (2012). E-Learning Authoring Tools. In Encyclopedia of the Sciences of Learning (pp. 1111–1113). Springer US. http://doi.org/10.1007/978-1-4419-1428-6_961
Mirel, B. (2000). Product, process, and profit: the politics of usability in a software venture. ACM Journal of Computer Documentation (JCD), 24(4), 185 – 203.
Mohan, P., & Daniel, B. K. (2010). Towards Object-Oriented Design Patterns for Reusability of Learning Objects. Advanced Learning Technologies 2006 Sixth International Conference on, 1025–1027. http://doi.org/10.1109/ICALT.2006.1652620
Molish, R., & Nielsen, J. (1990). Heuristic evaluation of user interfaces. Proceedings of ACM CHI, 249–256.
Mundra, A., Misra, S., & Dhawale, C. A. (2013). Practical scrum-scrum team: Way to produce successful and quality software. In Proceedings of the 13th International Conference on Computational Science and Its Applications, ICCSA (pp. 119–123). http://doi.org/10.1109/ICCSA.2013.25
NeuroSky, I. (2009). Brain Wave Signal ( EEG ) of NeuroSky. NeuroSky Brain-Computer Interface Technologies.
Nicolas-Alonso, L. F., & Gomez-Gil, J. (2012). Brain computer interfaces, a review. Sensors (Basel, Switzerland), 12(2), 1211–79. http://doi.org/10.3390/s120201211
Nielsen, J. (1991). Usability metrics and methodologies. ACM SIGCHI, 23(2), 37 – 39.
Nielsen, J. (1993). Usability Engineering. Morgan Kaufmann Elsevier.
Offutt, J. (2002). Quality Attributes of Web Software Applications. In Special Issue on Software Engineering of Internet Software - IEEE (pp. 25–32).
OMG. (2008). SPEM 2.0. Software & Systems Process Engineering Meta-Model Specification. Retrieved from http://www.omg.org/spec/SPEM/2.0/
Oneto, L., Abel, F., Herder, E., & Smits, D. (2009). Making today’s Learning. Management Systems adaptive. In EC-TEL. Worshop 8.
66
Onventions, C., & Norman, D. A. (1999). Affordance, conventions, and design. Magazine Interactions, 38–42.
Padilla, V., Rodriguez, M., & López, E. (n.d.). Medición cognitiva del aprendizaje significativo. In XXXII Congreso y LXXVI Asamblea del Consejo Nacional para la Enseñanza e Investigación en Psicología. (pp. 1–12). Mexico.
Park, H., Myung, B., & Sun, K. Y. (2013). Power consumption of wireless EEG device for Bel application, (1), 100–102.
Paternò, F. (2000). Model–based design and evaluation of interactive application. Springer–Verlag, 2000.
Perakakis, M., & Potamianos, A. (2012). Affective Evaluation of a Multimodal Dialogue System Using Brain Signals. In Spoken Language Technology Workshop (SLT), IEEE (pp. 43–48). Miami, FL.
Piecha, J., & Bernas, M. (2009). The Graph Descriptors of E-content Unit Organisation and Controlling Features. In Proceedings of the IEEE International Conference on Computational Aspects of Social Networks (pp. 119–126. ISBN: 978–0–7695–3740–5).
Ranky, G. N., & Adamovich, S. (2010). Analysis of a commercial EEG device for the control of a robot arm. Proceedings of the 2010 IEEE 36th Annual Northeast Bioengineering Conference (NEBEC), 1–2. http://doi.org/10.1109/NEBC.2010.5458188
Raza, A., Capretz, L. F., & Ahmed, F. (2012). An open source usability maturity model (OS-UMM). Computers in Human Behavior, 28(4), 1109–1121. http://doi.org/10.1016/j.chb.2012.01.018
Rubin, K. S. (2013). Essential SCRUM A practical guide to the most popular agile process (1st ed.). Addison-Wesley.
Saadé, G. R., & Kira, D. (2009). Computer Anxiety in E-Learning : The Effect of Computer Self-Efficacy Development of Research Hypotheses. Journal of Information Technology Education, 8, 1–15.
Sampieri, R., Fernández-Collado, C., & Baptista, P. (2008). Metodología de la Investigación. (M. Hill, Ed.) (4th ed.).
Sanghoon, J., Myungjin, H., Eunseok, L., & Keun, L. (2011). Quality attribute driven agile development. In Proceedings - 9th International Conference on Software
67
Engineering Research, Management and Applications, SERA (pp. 203–210). http://doi.org/10.1109/SERA.2011.24
Sarasa-Cabezuelo, A., & Sierra-Rodríguez, J. L. (2013). Software engineering for eLearning. Proceedings of the First International Conference on Technological Ecosystem for Enhancing Multiculturality - TEEM ’13, 81–86. http://doi.org/10.1145/2536536.2536550
Schuller, B., Althoff, F., McGlaun, G., Lang, M., & Rigoll, G. (2002). Towards automation of usability studies. IEEE International Conference on Systems, Man and Cybernetics, vol.5, 6. http://doi.org/10.1109/ICSMC.2002.1176360
Sclater, N. (2008). Web 2.0, Personal Learning Environments, and the Future of Learning Management Systems. Research Bulletin, Issue 13. Boulder, CO: EDUCAUSE Center for Applied Research. Retrieved from available from http://www.educause.edu/ecar
Shen, L., Wang, M., & Shen, R. (2009). Affective e-Learning : Using “ Emotional ” Data to Improve Learning in Pervasive Learning Environment Related Work and the Pervasive e-Learning Platform. Educational Technology & Society, 12(2), 176–189.
Silva, M., Barbosa, E., & Maldonado, J. (2011). Model-driven development of learning objects. In Frontiers in Education Conference (FIE) (pp. F4E–1 – F4E–6). Retrieved from http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6143024
Spohrer, Norman, D. A., & C., J. (1996). Learner-centered education. Communications of the ACM, 24–27.
Sutherland, J. (2014). SCRUM The art of doing twice the work in half the time (1st ed.). New York: Crown Publishing.
Taylor, G. S., & Schmidt, C. (2012). Empirical Evaluation of the Emotiv EPOC BCI Headset for the Detection of Mental Actions. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 56(1), 193–197. http://doi.org/10.1177/1071181312561017
Tripathi, P., Pandey, M., & Bharti, D. (2010). Towards the identification of usability metrics for academic web-sites. 2010 The 2nd International Conference on Computer and Automation Engineering, ICCAE 2010, 2, 393–397. http://doi.org/10.1109/ICCAE.2010.5451569
68
Vourvopoulos, A. (2011). Brain-controlled NXT Robot : Tele-operating a robot through brain electrical activity. In Third International Conference on Games and Virtual Worlds for Serious Applications. http://doi.org/10.1109/VS-GAMES.2011.27
Vourvopoulos, A., & Liarokapis, F. (2012). Robot Navigation Using Brain-Computer Interfaces. 2012 IEEE 11th International Conference on Trust, Security and Privacy in Computing and Communications, 1785–1792. http://doi.org/10.1109/TrustCom.2012.247
Wiley, D., Waters, S., Dawson, D., Lambert, B., Barclay, M., Wade, D., & Nelson, L. (2004). Overcoming the Limitations of Learning Objects. Journal of Educational Multimedia and Hypermedia, 13(4), 507–521. Retrieved from http://www.editlib.org/p/6586
Wilson, A., & Schalk, G. (2010). Brain-Computer Interfaces. In D. S. Tan & A. Nijholt (Eds.), Brain-Computer Interfaces, Human.Computer Interaction Series (pp. 261–274). London: Springer London. http://doi.org/10.1007/978-1-84996-272-8
Wixon, d., Jones, s., Tse, l., & Casaday, g. (1994). Inspections and design reviews: framework, history, and reflection» en Usability Inspection Methods(NIELSENJ. y MACKR. L. eds.). John Wiley & Sons, New York.
Wolpaw, J.R, Birbaumer, N., et al. “. (2002). Brain–computer interfaces for communication and control. Clinical Neurophysiology: Official Journal of the International Federation of Clinical Neurophysiology, 133(6), 767– 791.
Zapata, A., Menendez, V. H., & Prieto, M. E. (2009). Discovering learning objects usability characteristics. ISDA 2009 - 9th International Conference on Intelligent Systems Design and Applications, 1126–1130. http://doi.org/10.1109/ISDA.2009.184
Zibell, K. (2000). Klare’s “useful information” is useful for Web designers. ACM Journal of Computer Documentation (JCD), 24(3), 141–147.
69