Alta automatización de pruebas de calidad de software, cambio de paradigmas
-
Upload
software-guru -
Category
Technology
-
view
910 -
download
2
description
Transcript of Alta automatización de pruebas de calidad de software, cambio de paradigmas
Alta automatización de pruebas de calidad de software, cambio de paradigmas
Marco César Bassi
CEO
Grupo HDI
Quiénes somos !
Marco César Bassi
CEO
Grupo HDI
Onde estamos …
Escritórios: Brasil, EUA, Índia, Chile, Espanha, MéxicoRepresentantes: Peru, Colômbia, Panamá e Portugal
Headquarter
Partner Local
Filial
Em implantação
Clientes
• Banco Itaú
• Unibanco
• Bradesco
• Banco Votorantim
• Votorantim Financeira
• Banco VR
• Cielo
• Mapfre
• Tokio Marine
• Global Payment
• CITI
• Gol Linhas Aéreas
...
• Wal Mart Corp•Banco Adelante, Wal MartMéxico)
• Nextel Chile e México• Banco BICE• Corporação Corp Chile• Telefonica Perú• Banco Santander• Seguros MetLife (México e EUA)• NTT Japão• Canadian Bank• Wolkswagen Brasil, Inglaterra e Irlanda• Banco Itaú Chile
Resumen
• Cuadro de TIC en Brasil es favorable a Inversiones en Calidad de Software a finales de los 90.
• Las tecnologías existentes no tenían productividad necesaria para atender a las exigencias de certificación del “Bug del Milenio”.
• Las inversiones de Grupo HDI en Herramientas de Testeo Automatizado lograron resultados pero sin la productividad prometida por los proveedores de estas.
• El camino fue “crear” un método de aceleración para pruebas automatizadas.
5
Introducción
• Por que desarrollar métodos innovadores para acelerar el testeo automatizado de sistemas?
• Demanda de los mercados.• Inversiones poco efectivas.• Baja productividad.• Ningún caso efectivo de automatización.• Cultura de “las herramientas no testean todo”…
6
FEBRABAN / Sector Bancario
92.000 M US$ > 600.000 personas > 16.000 puestos
> 35.000 ATM / Cajeros
110.000 M / transacciones electrónicas
Problemas encontrados“… Compra de mano de obra, no de tecnología …”
SQA orientada a operación y no a estrategia de test
“ … Falta de madurez de las áreas de SQA en los clientes…”Orientada a números y no a métricas reconocidas
Tener Área de QA no es tener Procesos o Políticas de SQA
“ … Falta de especialización de mano de obra …”SQA es mas un especialista en los sistemas pero no en test
“ … Falta de métricas y estándares mundiales …”No hay como justificar inversiones en calidad.
Se reconoce calidad como necesidad pero no se miden sus resultados por eso no se generan políticas y estrategias en SQA
“ … Testes manuales para cobertura de sistemas Core, Públicos y Embebidos…”Mismo volumen de test en distintos sistemas y complejidades que ofrecen distintos riesgos
Testers
Ejecución
Manual
Arquitectos
Escenarios y
Casos
Tests Manuales
Arquitectos
Definir
Estrategia
Tests
Arquitectos
& Analistas
Análisis Testers
Análisis de
Result.
Todos
Análisis de
Impacto
Todos
Carga de
Defectos
Todos
Generación
de Métricas
Ventajas
• Fácil de Implementar• Cultura Predominante
Dificuldades
• La cobertura es directamente proporcional a la cantidad de personas
• Dependiente de la calidad de la mano de obra• Control y distribución de las informaciones
bastante difícil• Poco escalables• Poco repetibles
Todos
Carga de
Defectos
Robótica
ExecuciónTesters
Filmación
Arquitetos
Escenarios y
Casos
Tests Automatizados
Arquitectos
Definir
Estrategia
Testes
Arquitectos
& Analistas
Análisis
Analistas
Datapools
Testers
Análisis de
Result.
Arquitectos
Análisis de
Evid.
Todos
Generación
de Métricas
Arquitectos
Comparar
Ciclos
Todos
Análisis de
Impacto
Ventajas
• Repetibilidad• Es posible ejecutar tests con mayor complejidad• Es posible ejecutar tests e período extendido• Es posible escalar tests sin escalar cantidad de
personas• Costos de tests es previsibles
Dificuldades
• Depende de Personas especializadas• Retorno de la Inversión muy largo• Cuanto mayor el volumen de cambios es menos
atractivo• Fuerte cambio cultural impone modificaciones en la
forma de trabajo de todos los involucrados en el proceso de Construcción y Validación de Aplicativos
• Alteraciones en las funcionalidades obligan a que los scripts sean actualizados uno a uno para que los testssean ejecutados nuevamente
• Si el cliente cambia el “robot” todo el legado deberá ser filmado nuevamente con la nueva herramienta de tests
• Si el proveedor descontinúa/cambiarla(las) herramienta(s) de tests el cliente “puede” quedar con el legado de testware en una tecnología descontinuada
Agregando Alta Automatización
STARC
Carga de
Defectos
Robótica
ExecuciónSTARC
Filmación
STARC
Escenarios y
Casos
STARC e
Arquitectos
Estrategia
Testes
Arquitectos
& Analistas
Análisis
STARC
Datapools
STARC
Análisis de
Result.
Arquitectos
Análisis de
Evid.
STARC
Geración de
Métricas
STARC
Comparar
Ciclos
Todos
Análisis de
Impacto
Arquitectos
Modelo de
Negócio
Ventajas
• Técnicos tienen más tiempo para pensar en el negocio, ya que la operación de las herramientas de tests es casi toda automatizada.
• Feed-back constante a los desarrolladores sobre normas internacionales y mejores prácticas.
• Cambios en el sistema sobre tests generan un mínimo impacto en la productividad de la Célula.
• Operación robotizada realmente 24 X 7 con el uso de robot de monitoreo de disponibilidad del aplicativo que está siendo testeado.
• Todas las métricas de CMMI y TMM referentes a calidad son generadas automáticamente por las células de calidad.
• SETUP de la Célula en una semana. Generación de miles de casos de tests en múltiples coberturas simultáneas, es plenamente posible en la segunda semana.
• El proceso de Alta Automatización entrega los sistemas testeados y documentados con muy poco esfuerzo extra.
Generación Automática de CódigoAlta Automoción
12
Generador automático de HDI - STARC
STARC
Normas
RequerimientosMejores
Prácticas
Objetos del
Sistema
ROI
Herramientas
Métricas de
Calidad
Modelos de
Documentación
Monitor de disponibilidad
Disparo Remoto
Sentidos STARC
Generación de Datos
Generación de Código
ICR/OCRPadrones en
Imágenes
Docs.
Pantallas
Palabras clave
programación
Código
malicioso
Riesgos
Alta Automatización
Aplicaciones Prácticas
14
15
Reutilización(Datos reales, Banco global X)
Recepción de los Artefactos
Entendimiento
Arquitectura de los tests
Automatización
Ejecución del Ciclo 1
Fase 1Chile
144 horas (30 impacto)CP Ejecutados 209CP Modelados 256
Ejecución de los Ciclos 2 y 3
Fase 2Colombia
8 horas
Generación de Datos
CP Ejecutados 86(solo negocio)
Recepción de los Artefactos
Entendimiento
Arquitectura de los tests
Automatización
Ejecución del Ciclo 1
Fase 3 Colombia
1 horaCP Ejecutados 6 (negocio)CP Modelados 63 (otras)
Primeros requerimientos recibidosDepósitos en efectivo y Reversa Nuevo requerimiento
Consulta de Saldo
Testeo Funcional – Ciclos consecutivos
Testeo Funcional – Costo X Casos testeados
Testeo de SeguridadEjemplo Código Malicioso
Testeo de SeguridadEjemplo Código Malicioso
20
Homologación ComparadaUAT Asistido por Robots
Agregando sentidos humanos..
Testeo de Software Embarcado
en Hardware
Resultados
• Desarrollo de una metodología de aceleración de tests
automatizados que logra con el mismo costo de testear “a la
mano” un mínimo de 10 veces mas escenarios y casos ejecutados,
con testeo simultaneo de seguridad, mejores practicas, unitarios y
con reúso para UAT.
• Desarrollo de un nuevo modelo de tests que puede ser utilizados
para certificación de software y hardware sin cambios
significativos.
• I&D efectivamente multinacional. Uso en 11 países…