María Soledad Martínez  
Dirección de Análisis Operativo. Fuerza  
Aérea, Córdoba, Argentina.  
Daniel Ignacio Martínez  
Universidad Tecnológica Nacional,  
Córdoba, Argentina.  
Valeria Raquel Filoniuk  
Dirección de Análisis Operativo. Fuerza  
Aérea, Córdoba, Argentina.  
Gabriel Germán Chiappori  
Dirección de Análisis Operativo. Fuerza  
Aérea, Córdoba, Argentina.  
Ana Claudia Diz  
Silvia Edith Arias  
Universidad Nacional.  
Córdoba, Argentina.  
Dirección de Análisis Operativo. Fuerza  
Aérea, Córdoba, Argentina.  
RECIBIDO 17/08/2022 ACEPTADO 15/09/2022 PUBLICADO 30/09/2022  
RESUMEN  
Este artículo presenta la aplicación de la Norma ISO 9241-11 al software correspondiente a  
Simuladores de Vuelo de la Fuerza Aérea Argentina, con el fin de evaluar la usabilidad de dichos  
entrenadores. Cada organización y producto software son en general diferentes, es decir, no  
existe una prueba de usabilidad “única” que sea portable para aplicar a todos los “proyectos  
software”. Empresas de gran prestigio, como Apple, Yahoo, Microsoft, entre otras, utilizan  
diferentes técnicas de usabilidad, en función de sus necesidades específicas. El principal objetivo  
de este trabajo es tomar como referencia la Norma ISO 9241-11 y adaptarla a las necesidades  
de la organización en cuestión, formulando e implementando métricas que ayuden a evaluar la  
usabilidad de manera objetiva y finalmente contrastar, analizar y reportar los resultados  
obtenidos en esta investigación aplicada.  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
Palabras claves: Métricas, Norma ISO 9241-11, Simuladores de Vuelo, Usabilidad.  
ABSTRACT  
This article presents the application of the ISO 9241-11 Standard to the Flight Simulators  
Software of the Air Force Argentine to evaluate the usability of these simulators. Each organization  
and software product are generally different, there is not a "unique" usability test that can be  
applied to all “software projects.” Highly prestigious companies, such as Apple, Yahoo, and  
Microsoft, use different usability techniques depending on their specific needs. The main objective  
of this work is to take the ISO 9241-11 Standard as a reference and then adapt it to the  
organization´s needs, formulating and implementing metrics that help to evaluate usability  
objectively and finally contrast, analyze and report the results obtained in this applied research.  
Keywords: Metrics, Norma ISO 9241-11, Flight Simulators, Usability.  
INTRODUCCIÓN  
El diseño de software centrado en el humano es un enfoque para el desarrollo de sistemas  
interactivos que tiene como objetivo hacer que los sistemas sean utilizables y útiles, centrándose  
en los usuarios, sus necesidades, requisitos, y aplicando factores humanos, ergonomía,  
conocimientos y técnicas de usabilidad. El objetivo de esta perspectiva es mejorar la efectividad  
y la eficiencia, el bienestar humano, la satisfacción del usuario, la accesibilidad y la sostenibilidad;  
y además contrarresta los posibles efectos adversos del uso en la salud humana, la seguridad y  
el rendimiento. [1]  
El proceso de verificación y validación (V&V) aborda todas las fases del ciclo de vida del software,  
siendo utilizado para establecer si determinada etapa, tarea o producto, cumple con las  
necesidades del usuario y los requisitos establecidos para su desarrollo [2], V&V coadyuva al  
proceso de construcción proporcionando una valoración objetiva de los productos y los procesos  
que forman parte del ciclo de vida del desarrollo de software, es decir, garantiza que el producto  
final se ajuste a su respectiva especificación y que este cumple las expectativas del usuario. [3]  
Las pruebas de software son parte de un proceso más amplio de verificación y validación de  
software, y se soporta en los estándares IEEE1008 e ISO / IEC 29119. Estas pruebas nacen por  
la necesidad de garantizar un producto de calidad, descubriendo defectos que podrían contener  
los programas antes de la implantación, y demostrar que un programa hace lo que se pretende  
que haga. Al verificar se realiza retroalimentación, es decir se vuelve a repasar el funcionamiento  
del plan en el pasado o en el presente para poder tomar acciones a la salida del feedback. Al  
validar se quiere tener la certeza que el sistema alcanzará el resultado definido en un plan a  
futuro y con posibilidad de que existan revalidaciones en el proceso.  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
La norma ISO/IEC 9241 está orientada hacia la calidad en usabilidad y ergonomía para productos  
y servicios en tecnología, tanto en software como en hardware, creada por la ISO (Organización  
Internacional de Normalización) y por la IEC (Comisión Electrotécnica Internacional). Estas  
normativas se sustentan en estándares como ISO/EEC 15288:2008 e ISO/EEC 12207:2008, que  
permiten aportar al software el concepto de calidad, estableciendo si los requisitos son correctos,  
completos, precisos, consistentes y verificables.  
La norma ISO 9241 se enfoca en el diseño centrado al humano, y uno de los puntos claves es la  
usabilidad. La usabilidad se refiere a la capacidad de un software de ser comprendido, aprendido,  
usado y atractivo al usuario, en condiciones específicas de uso [4], [5].  
La usabilidad es uno de los aspectos más importantes en los últimos años, y es una consecuencia  
del constante avance tecnológico y el deseo de ofrecer un producto que ayude a cumplir las metas  
del usuario. La norma 9241 establece el concepto de usabilidad [6] aplicado a sistemas  
interactivos [7], pero no es un proceso específico en la evaluación del diseño.  
Las pruebas de usabilidad cumplen un rol fundamental en todo el proceso de V &V, siendo estas  
un atributo primordial de la calidad [8]. Sin embargo, los métodos de medición apropiados para  
evaluar la usabilidad no son obvios y son una preocupación constante para el personal involucrado  
en el desarrollo de un proyecto de software [9].  
Cada empresa y producto son diferentes, motivo por el cuál no hay una prueba de usabilidad  
“única” que sea portable para aplicar a todas las organizaciones. Empresas de gran prestigio  
como Apple, MailChimp, Yahoo, DirecTV, Microsoft, Buffer, entre otras, utilizaron diferentes  
técnicas de usabilidad en función de sus necesidades específicas [10].  
La evaluación de la usabilidad en simuladores de vuelos es una tarea compleja, donde no es  
suficiente que el software correspondiente a dicho dispositivo de entrenamiento funcione  
correctamente, sino también será necesario que el uso de éste sea satisfactorio a los pilotos. Si  
dicho dispositivo es percibido por los operadores como malo, deficiente o insatisfactorio,  
constituirá para ellos un mal sistema de adiestramiento, dificultándose en gran medida su  
capacitación mediante el mismo, razón por la cual su desarrollo sería en vano. Por tal motivo, la  
aceptación por parte del usuario será determinante para el éxito o fracaso de los simuladores de  
vuelo [11].  
No obstante, la satisfacción del usuario es un indicador blando, con un marcado componente  
subjetivo, convirtiéndose su estimación en un desafió [12], ya que está más enfocada hacia las  
percepciones y actitudes de los usuarios, que hacia criterios concretos y objetivos [11].  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
En este trabajo se presenta la formulación e implementación de dos métricas de usabilidad, que  
constituyen una medida de evaluación objetiva y de carácter supletoria a la satisfacción del  
usuario, tomando como referencia los atributos de calidad que propone la Norma ISO 9241-11.  
Materiales y métodos o Metodología computacional  
Existen numerosos métodos para evaluar la usabilidad de un software. Cada una de ellos cuenta  
con sus propias ventajas y desventajas. Cada empresa u organización deberá seleccionar el  
método que más se adecué en función de sus necesidades específicas, teniendo en cuenta las  
características del sistema en cuestión o la etapa de desarrollo, entre otros [13]. En ocasiones  
resulta conveniente combinar estos métodos, con el fin de optimizar los resultados [10].  
Según el Estándar ISO 9241-11, la usabilidad es entendida como “El grado en que un producto  
puede ser usado por usuarios específicos para lograr un objetivo con eficacia, eficiencia y  
satisfacción en un contexto de uso específico” [4], [8], [14], [15], [16], [17].  
La eficacia puede ser obtenida a partir del porcentaje de tareas ejecutadas debidamente por el/los  
usuarios escogidos. En lo que respecta a la eficiencia, puede ser medida por medio del tiempo  
empleado para realizar las tareas establecidas por el evaluador.  
En cuanto a la satisfacción, es definida como la capacidad del software para cumplir con las  
expectativas del usuario en un contexto de uso determinado. En consecuencia, la obtención de la  
satisfacción es un proceso con cierto grado de subjetividad, lo que no permite parametrizar  
cuantitativamente este atributo, algo que sí es posible con la eficacia y eficiencia [8].  
Existen gran cantidad de métodos para el proceso de diseño de producto (PDP), la selección de  
cuál escoger depende muchas veces de las necesidades específicas del equipo de desarrollo y su  
contexto.  
La investigación exploratoria se realizó mediante la búsqueda de artículos y bibliografía  
relacionada sobre las distintas técnicas existentes destinadas a evaluar la usabilidad,  
seleccionando para el desarrollo del objeto de estudio, la técnica más adecuada, con el objetivo  
de llegar a un resultado favorable en la aplicación de la misma al software de los simuladores de  
vuelo.  
La metodología elegida para realizar pruebas de usabilidad en los referenciados ut-supra, se basa  
fundamentalmente en combinar una técnica cuantitativa con una técnica cualitativa, tomando  
como referencia la Norma ISO 9241-11, adaptándola a las necesidades específicas de la  
organización en cuestión. Ante ello, se formularon e implementaron métricas correspondientes  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
destinadas a la evaluación de la eficacia y eficiencia, acompañadas por la utilización de  
cuestionarios y observación directa, como medio para la valuación de la satisfacción del usuario.  
Se ofrece en este marco a los usuarios del simulador, una metodología ágil de evaluación, basada  
en un concepto disrruptivo para la institución, de prestación y gestión de servicios, centrado en  
la mejora progresiva de procesos y en la interacción continua con los usuarios.  
Con esta nueva visión se pretende ofrecer aumentos significativos en la precisión, alcance y  
cobertura en los simuladores, por parte de los pilotos.  
Resultados y discusión  
En esta sección se presentan los resultados del proceso de investigación, obtenidos a partir de la  
formulación e implementación de las métricas que a continuación se detallan en la figura 1. Los  
resultados alcanzados, previos y posteriores a la incorporación de dichas métricas, se presentan  
mediante dos momentos.  
Al final de cada momento se presentan los aportes de la investigación general y la integración de  
los resultados, para luego dar paso a las conclusiones en el siguiente apartado.  
Medición de la Efectividad: se evalúa que el usuario cumpla de forma correcta sus objetivos. Para esta evaluación  
se elaboró el siguiente indicador:  
PTC= CTU*100 = Cantidad Tareas que realizo el usuario para cumplir el objetivo de una prueba *100  
CTDO  
Cantidad Tareas Totales que debe realizar el usuario para cumplir el objetivo de una  
prueba  
Si PTC>= 70%: Efectividad satisfactoria  
Si PTC< 70%: Eficiencia no satisfactoria  
Medición de la Eficiencia: se evalúa que el usuario cumpla con los tiempos promedios estimados para la  
realización de los ejercicios.  
TR= TpoUT*100 = Tiempo requerido por el usuario para completar las tareas en la ejecución de la prueba *100  
TEP  
Tiempo estándar de ejecución de esta prueba  
Si TR>= 70%: Eficiencia satisfactoria  
Si TR< 70%: Eficiencia no satisfactoria  
Figura 1. Métrica para evaluar Efectividad y Eficiencia  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
En la Tabla 1, se detallan los resultados alcanzados, previos a la implementación de las métricas  
descriptas en la figura 1.  
En este primer momento, el único atributo considerado para la evaluación de la usabilidad se  
determina mediante la satisfacción del usuario.  
Tabla 1. Evaluación de la usabilidad mediante la satisfacción del usuario  
Resultados obtenidos en un primer momento  
Resultado obtenido  
la Subjetividad en las  
del pruebas.  
mediante  
y
Planeación  
diseña  
Ejecución  
Análisis y Reporte  
Evaluación  
Satisfacción  
del Usuario  
Se  
un Los  
usuarios Se  
evalúa  
cuestionario destinado a completan  
evaluar la satisfacción cuestionarios.  
del usuario. analizan  
expresiones faciales observación directa.  
los satisfacción  
Se usuario  
gestos, cuestionarios  
y
actitudes  
del  
usuario  
mientras  
interactúa con el  
simulador.  
En la Tabla 2, se presentan los resultados obtenidos, posteriores a la implementación de las  
métricas mencionadas en la Figura 1.  
En este segundo momento, la usabilidad es evaluada mediante la eficiencia, eficacia y  
satisfacción, tomando como referencia la Norma ISO 9241-11.  
En ambos momentos, la evaluación se realiza tomando como base el proceso correspondiente de  
pruebas de usabilidad, que incluye las etapas de planeación, ejecución, análisis y reporte [15].  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
Tabla 2. Evaluación de la usabilidad mediante eficacia, eficiencia y satisfacción.  
Resultados obtenidos en un segundo momento  
Resultado  
obtenido  
Planeación  
Ejecución  
Análisis y Reporte  
Se diseña un ejercicio  
Los usuarios realizan  
práctico de simulación el ejercicio de  
a ejecutarse por los  
usuarios  
simulación  
propuesto por el  
Equipo de Testing.  
Este equipo, elabora  
un check list con los  
ítems que deben  
cumplirse, como así  
también los tiempos  
requeridos para la  
ejecución del  
seleccionados. El rol  
de observador es  
designado a un  
Se evalúa la eficacia y la  
eficiencia mediante las  
métricas formuladas,  
Evaluación  
eficacia y  
eficiencia  
miembro del equipo  
de Testing, cuya  
función es observar el  
comportamiento de  
los usuarios al  
descriptas en la figura 1.  
momento de resolver  
las tareas y hacer  
anotaciones.  
mismo.  
Confiabilidad,  
completitud y  
objetividad en las  
pruebas.  
Los usuarios  
completan los  
cuestionarios. Se  
Se diseña un  
Se evalúa la satisfacción  
del usuario mediante  
cuestionarios y  
Evaluación  
Satisfacción  
del Usuario  
cuestionario destinado analizan gestos,  
a evaluar la  
satisfacción del  
usuario.  
expresiones faciales  
y actitudes del  
usuario mientras  
interactúa con el  
simulador.  
observación directa.  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
Los resultados obtenidos demuestran la importancia de combinar una técnica cuantitativa, como  
lo son la eficacia y la eficiencia, con otra cualitativa, como la satisfacción del usuario, en el proceso  
de pruebas de usabilidad, con el objetivo de obtener mejores resultados en las pruebas.  
En un primer momento, la satisfacción del usuario fue tomada como única medida de prueba para  
la evaluación de la usabilidad, por considerarse a los usuarios finales los actores más importantes  
en el proceso de pruebas, quienes determinan la aceptación o rechazo del simulador, como  
instrumento de capacitación.  
Sin embargo, los resultados correspondientes a los cuestionarios, preguntas abiertas, como así  
también gestos, expresiones faciales y actitudes frente al uso del simulador, en ocasiones difirió,  
entre un usuario y otro, en función de sus percepciones, experiencias y expectativas.  
Cabe mentar, que un simulador de vuelo es un sistema que intenta replicar o simular la  
experiencia de pilotear una aeronave en particular, de la forma más realista posible. Para esto,  
se guardan los parámetros típicos del avión en vuelo, desde la velocidad de despegue, rutas,  
hasta posibles averías y accidentes.  
Esto le permite al piloto formarse y al instructor, evaluarlo. En este contexto la aceptación del  
usuario no se refiere a la apreciación estética, sino más bien a la capacidad que tiene el dispositivo  
de comportarse de manera análoga a un avión real, tanto en software como en hardware.  
Los resultados obtenidos corroboran que la denominada “satisfacción del usuario” es una medida  
subjetiva, ya que frente al uso del mismo dispositivo y bajo las mismas condiciones de uso, el  
software cumplió con las expectativas de los usuarios en distintas medidas, dependiendo en gran  
parte de sus experiencias previas frente al uso de otros simuladores. Las percepciones de similitud  
entre el simulador y la aeronave real, con respecto al hardware, varió en algunos casos, de un  
usuario a otro, valorando aspectos tales como, la sensibilidad de las palancas del tren de  
aterrizaje, de comando, como así también las pedaleras, entre otros.  
Por lo expuesto anteriormente, en un segundo momento, se considera pertinente complementar  
la satisfacción del usuario, con alguna medida de valoración objetiva, como lo son eficacia y  
eficiencia, para la valoración de la usabilidad en los simuladores de vuelo, para lo cual se  
formularon e implementaron métricas en función de las necesidades específicas de la institución.  
La implementación de las métricas, permitió cuantificar los resultados y obtener porcentajes  
correspondientes a la evaluación de la eficacia y la eficiencia. Estas métricas, junto a la  
satisfacción del usuario, resultaron ser el complemento ideal para la evaluación de la usabilidad  
de estos simuladores, logrando resultados que proporcionan un mayor nivel de confiabilidad,  
completitud y objetividad en las pruebas.  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
Conclusiones  
El propósito de esta investigación fue tomar como referencia la Norma ISO 9241-11 y adaptarla  
a las necesidades de nuestra Institución, formulando e implementando métricas que ayuden a  
optimizar las pruebas de usabilidad.  
Los resultados obtenidos en esta investigación muestran que, a pesar que la satisfacción del  
usuario es determinante para el uso de los simuladores, la evaluación de la usabilidad mediante  
este atributo, como única medida de valoración, constituye una medida subjetiva, que depende  
en gran parte de las percepciones, actitudes y expectativas del usuario.  
Este trabajo expone la formulación e implementación de dos métricas, destinadas a evaluar la  
eficacia y la eficiencia, siendo éstas medidas de evaluación objetivas y de carácter supletorias a  
la satisfacción del usuario, logrando de esta manera un mayor grado de confiabilidad, completitud  
y objetividad en las pruebas.  
Agradecimientos  
Quiero agradecer a todas las personas que nos apoyaron e hicieron posible que este trabajo se  
realice con éxito. A nuestra tutora, Esp. Ing. Silvia Arias, por su paciencia, tiempo dedicado y  
conocimientos brindados; a la profesora de inglés Gisela Codrington, por su contribución  
desinteresada en todo momento y a todo mi equipo de trabajo, que forman parte de mi labor  
diaria.  
Referencias  
[1] M. Mascheroni, C. L. Greiner, R. H. Petris, G. N. Dapozo and M. G. Estayno, “Calidad de  
software e ingeniería de usabilidad”, in XIV Workshop de Investigadores en Ciencias de la  
pp.  
1-4.  
Available:  
[2] Verificación y validación de software: una descripción general. Publicado en: IEEE Software,  
vol.6, no.1, pp.9-10, 1989. DOI: 10.1109/52.28119. Editor: IEEE  
[
3] M. D. Mosquera Pérez and L. M. Giraldo Castagno, “Formulación del modelo de gestión de  
procesos, bajo el enfoque de aseguramiento de la calidad, basado en el ciclo de mejora  
continua Phva de Edwards Deming, para el laboratorio de la industria académica en desarrollo  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
de software, para la facultad de ingeniería de la UCO,” thesis, Universidad Católica de  
Oriente, Antioquia, 2019.  
[
4] N. Vázquez Callejón, “Análisis y desarrollo de heurísticas y guías de usabilidad de RESTFUL  
APIs y aplicación a un caso práctico”, thesis, Universidade da Coruña, Coruña, 2020.  
5] D. A. Godoy, H. Bareiro, E. O. Sosa, E. Stoffel and G. Barros, “Usabilidad en simuladores web  
de redes de sensores inalámbricos,” presented at XXI Workshop de Investigadores en  
Ciencias de la Computación, San Juan, 2019.  
[
[6] W. Sánchez, “La usabilidad en ingeniería de software: definición y características,” Rep.  
Ago.  
2011.  
Available:  
[7] SHARP, ROGERS and PREECE, “Interaction Design: Beyond Human-Computer Interaction,”  
Wiley, 3rd  
[8] D. M. Delgado Agudelo, D. F. Girón Timaná, G. E. Chanchí Golondrino and K. Márceles Villalba,  
“Estimación del atributo satisfacción en test de usuarios a partir del análisis de la expresión  
facial,” Ingenieras Universidad de Medelln, vol.19, no.36, pp. 13-28, junio, 2019.  
9] J. R. Lewis, “IBM computer usability satisfaction questionnaires: psychometric evaluation and  
instructions for use,” International Journal of HumanComputer Interaction, vol.7, no.1, pp.  
[
5
7-78, 1995.  
[10] C. Bank, and J. Cao, The Guide to Usability Testing. (2014) [Online]. Available:  
[11] C. R. Martín, “La satisfacción del usuario: Un concepto en alza,” Facultad de Comunicación  
y Documentación y Servicio de Publicaciones de la Universidad de Murcia, vol. 3, pp. 139-  
1
53, 2000.  
[
[
12] A. De la Rosa Gómez, G. A. M. Díaz and S. X. M. Castillo, “Usabilidad y satisfacción de una  
aplicación móvil para el entrenamiento de competencias clínicas,” Revista Hamut'ay, no.1,  
vol.7, pp. 48-59, abril 2020.  
13] G. G. Toribio, Y. P. Saldaña, J. J. H.Mora, M. J. S .Hernández, H. Bautista, C. A .Ordóñez  
and J. A. H. Alegría, “Medición de la usabilidad del diseño de interfaz de usuario con el  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935  
método de evaluación heurística: dos casos de estudio,” Revista Colombiana de  
Computación, no.1, vol.20, pp.23-40, 2019.  
[
14] G. E. G. Chanchi, W. Y. M Campo and L. M. M. Sierra, Estudio del atributo satisfacción en  
pruebas de usabilidad, mediante técnicas de análisis de sentimientos,” Revista Ibérica de  
Sistemas e Tecnologías de Informação, no.23, pp.340-352, 2019.  
[
[
[
15] S. V. Hernández and P. Chávez Lugo, Los Recursos Humanos como Factor Detonador de la  
Competitividad. Primer Edición. México: Editorial Ciempozuelos, 2019  
16] D. Albornoz, “Sistema software para la ejecución de pruebas de usabilidad bajo el enfoque  
de mouse tracking,”. TecnoLógicas. vol.22, pp.19-31, 2019  
17] D. F. Ordoñez, and A. Bravo, “Aplicación de Heurísticas de Usabilidad de Nielsen sobre la  
Plataforma Moodle 2.8.3 + Build 20150225 de la Institución Universitaria Colegio Mayor Del  
Cauca,” presented at II Congreso Internacional de Inteligencia Ambiental, Ingeniería de  
Software y Salud Electrónica y Móvil, 2018.  
REVISTA INNOVACIÓN Y SOFTWARE  
VOL 3 Nº 2 Septiembre - Febrero 2022 ISSN Nº 2708-0935