Alta automatización de pruebas de calidad de software, cambio de paradigmas

Marco César Bassi

CEO

Grupo HDI

Quiénes somos !

Marco César Bassi

CEO

Grupo HDI

Onde estamos …

Escritórios: Brasil, EUA, Índia, Chile, Espanha, MéxicoRepresentantes: Peru, Colômbia, Panamá e Portugal

Headquarter

Partner Local

Filial

Em implantação

Clientes

• Banco Itaú

• Unibanco

• Bradesco

• Banco Votorantim

• Votorantim Financeira

• Banco VR

• Cielo

• Mapfre

• Tokio Marine

• Global Payment

• CITI

• Gol Linhas Aéreas

...

• Wal Mart Corp•Banco Adelante, Wal MartMéxico)

• Nextel Chile e México• Banco BICE• Corporação Corp Chile• Telefonica Perú• Banco Santander• Seguros MetLife (México e EUA)• NTT Japão• Canadian Bank• Wolkswagen Brasil, Inglaterra e Irlanda• Banco Itaú Chile

Resumen

• Cuadro de TIC en Brasil es favorable a Inversiones en Calidad de Software a finales de los 90.

• Las tecnologías existentes no tenían productividad necesaria para atender a las exigencias de certificación del “Bug del Milenio”.

• Las inversiones de Grupo HDI en Herramientas de Testeo Automatizado lograron resultados pero sin la productividad prometida por los proveedores de estas.

• El camino fue “crear” un método de aceleración para pruebas automatizadas.

5

Introducción

• Por que desarrollar métodos innovadores para acelerar el testeo automatizado de sistemas?

• Demanda de los mercados.• Inversiones poco efectivas.• Baja productividad.• Ningún caso efectivo de automatización.• Cultura de “las herramientas no testean todo”…

6

FEBRABAN / Sector Bancario

92.000 M US$ > 600.000 personas > 16.000 puestos

> 35.000 ATM / Cajeros

110.000 M / transacciones electrónicas

Problemas encontrados“… Compra de mano de obra, no de tecnología …”

SQA orientada a operación y no a estrategia de test

“ … Falta de madurez de las áreas de SQA en los clientes…”Orientada a números y no a métricas reconocidas

Tener Área de QA no es tener Procesos o Políticas de SQA

“ … Falta de especialización de mano de obra …”SQA es mas un especialista en los sistemas pero no en test

“ … Falta de métricas y estándares mundiales …”No hay como justificar inversiones en calidad.

Se reconoce calidad como necesidad pero no se miden sus resultados por eso no se generan políticas y estrategias en SQA

“ … Testes manuales para cobertura de sistemas Core, Públicos y Embebidos…”Mismo volumen de test en distintos sistemas y complejidades que ofrecen distintos riesgos

Testers

Ejecución

Manual

Arquitectos

Escenarios y

Casos

Tests Manuales

Arquitectos

Definir

Estrategia

Tests

Arquitectos

& Analistas

Análisis Testers

Análisis de

Result.

Todos

Análisis de

Impacto

Todos

Carga de

Defectos

Todos

Generación

de Métricas

Ventajas

• Fácil de Implementar• Cultura Predominante

Dificuldades

• La cobertura es directamente proporcional a la cantidad de personas

• Dependiente de la calidad de la mano de obra• Control y distribución de las informaciones

bastante difícil• Poco escalables• Poco repetibles

Todos

Carga de

Defectos

Robótica

ExecuciónTesters

Filmación

Arquitetos

Escenarios y

Casos

Tests Automatizados

Arquitectos

Definir

Estrategia

Testes

Arquitectos

& Analistas

Análisis

Analistas

Datapools

Testers

Análisis de

Result.

Arquitectos

Análisis de

Evid.

Todos

Generación

de Métricas

Arquitectos

Comparar

Ciclos

Todos

Análisis de

Impacto

Ventajas

• Repetibilidad• Es posible ejecutar tests con mayor complejidad• Es posible ejecutar tests e período extendido• Es posible escalar tests sin escalar cantidad de

personas• Costos de tests es previsibles

Dificuldades

• Depende de Personas especializadas• Retorno de la Inversión muy largo• Cuanto mayor el volumen de cambios es menos

atractivo• Fuerte cambio cultural impone modificaciones en la

forma de trabajo de todos los involucrados en el proceso de Construcción y Validación de Aplicativos

• Alteraciones en las funcionalidades obligan a que los scripts sean actualizados uno a uno para que los testssean ejecutados nuevamente

• Si el cliente cambia el “robot” todo el legado deberá ser filmado nuevamente con la nueva herramienta de tests

• Si el proveedor descontinúa/cambiarla(las) herramienta(s) de tests el cliente “puede” quedar con el legado de testware en una tecnología descontinuada

Agregando Alta Automatización

STARC

Carga de

Defectos

Robótica

ExecuciónSTARC

Filmación

STARC

Escenarios y

Casos

STARC e

Arquitectos

Estrategia

Testes

Arquitectos

& Analistas

Análisis

STARC

Datapools

STARC

Análisis de

Result.

Arquitectos

Análisis de

Evid.

STARC

Geración de

Métricas

STARC

Comparar

Ciclos

Todos

Análisis de

Impacto

Arquitectos

Modelo de

Negócio

Ventajas

• Técnicos tienen más tiempo para pensar en el negocio, ya que la operación de las herramientas de tests es casi toda automatizada.

• Feed-back constante a los desarrolladores sobre normas internacionales y mejores prácticas.

• Cambios en el sistema sobre tests generan un mínimo impacto en la productividad de la Célula.

• Operación robotizada realmente 24 X 7 con el uso de robot de monitoreo de disponibilidad del aplicativo que está siendo testeado.

• Todas las métricas de CMMI y TMM referentes a calidad son generadas automáticamente por las células de calidad.

• SETUP de la Célula en una semana. Generación de miles de casos de tests en múltiples coberturas simultáneas, es plenamente posible en la segunda semana.

• El proceso de Alta Automatización entrega los sistemas testeados y documentados con muy poco esfuerzo extra.

Generación Automática de CódigoAlta Automoción

12

Generador automático de HDI - STARC

STARC

Normas

RequerimientosMejores

Prácticas

Objetos del

Sistema

ROI

Herramientas

Métricas de

Calidad

Modelos de

Documentación

Monitor de disponibilidad

Disparo Remoto

Sentidos STARC

Generación de Datos

Generación de Código

ICR/OCRPadrones en

Imágenes

Docs.

Pantallas

Palabras clave

programación

Código

malicioso

Riesgos

Alta Automatización

Aplicaciones Prácticas

14

15

Reutilización(Datos reales, Banco global X)

Recepción de los Artefactos

Entendimiento

Arquitectura de los tests

Automatización

Ejecución del Ciclo 1

Fase 1Chile

144 horas (30 impacto)CP Ejecutados 209CP Modelados 256

Ejecución de los Ciclos 2 y 3

Fase 2Colombia

8 horas

Generación de Datos

CP Ejecutados 86(solo negocio)

Recepción de los Artefactos

Entendimiento

Arquitectura de los tests

Automatización

Ejecución del Ciclo 1

Fase 3 Colombia

1 horaCP Ejecutados 6 (negocio)CP Modelados 63 (otras)

Primeros requerimientos recibidosDepósitos en efectivo y Reversa Nuevo requerimiento

Consulta de Saldo

Testeo Funcional – Ciclos consecutivos

Testeo Funcional – Costo X Casos testeados

Testeo de SeguridadEjemplo Código Malicioso

Testeo de SeguridadEjemplo Código Malicioso

20

Homologación ComparadaUAT Asistido por Robots

Agregando sentidos humanos..

Testeo de Software Embarcado

en Hardware

Resultados

• Desarrollo de una metodología de aceleración de tests

automatizados que logra con el mismo costo de testear “a la

mano” un mínimo de 10 veces mas escenarios y casos ejecutados,

con testeo simultaneo de seguridad, mejores practicas, unitarios y

con reúso para UAT.

• Desarrollo de un nuevo modelo de tests que puede ser utilizados

para certificación de software y hardware sin cambios

significativos.

• I&D efectivamente multinacional. Uso en 11 países…

Dudas

Marco César Bassi

mcbassi@grupohdi.com www.grupohdi.com