QA Engineer con enfoque en Calidad de Sistemas IA

OBJETIVO DEL ROL

Garantizar la calidad integral de los sistemas de software desarrollados por Hunika, con énfasis en la validación de componentes de Inteligencia Artificial, asegurando que los modelos, flujos de IA y la aplicación completa cumplan con los estándares de funcionalidad, seguridad, rendimiento, confiabilidad y comportamiento esperado.

RESPONSABILIDADES PRINCIPALES

• Diseñar y ejecutar estrategias de prueba para sistemas con componentes de IA integrados • Desarrollar casos de prueba funcionales, de regresión, de rendimiento y de seguridad • Validar el comportamiento y salidas de modelos de IA (precisión, coherencia, sesgo) • Implementar y mantener frameworks de automatización de pruebas • Usar herramientas de IA para acelerar la generación y ejecución de casos de prueba • Reportar y gestionar defectos asegurando su resolución oportuna • Definir criterios de aceptación para características con componentes de IA • Participar en revisiones de arquitectura desde la perspectiva de calidad (shift-left testing)

ACTIVIDADES DEL DÍA A DÍA

• Crear planes y estrategias de prueba para cada proyecto incluyendo pruebas de IA • Diseñar pruebas para validar outputs de LLMs (relevancia, coherencia, factualidad, seguridad) • Desarrollar scripts de automatización con Selenium, Cypress, Playwright o Pytest • Ejecutar pruebas de carga y rendimiento en sistemas con APIs de IA • Usar IA para generación asistida de casos de prueba (Copilot, herramientas especializadas) • Participar en sesiones de revisión de requerimientos y diseño para identificar riesgos de calidad • Elaborar reportes de calidad con métricas de cobertura y estado de defectos

HABILIDADES BLANDAS

✓ Atención al detalle ✓ Pensamiento crítico ✓ Comunicación de hallazgos ✓ Proactividad y prevención ✓ Colaboración con desarrolladores ✓ Curiosidad investigativa ✓ Gestión de prioridades ✓ Objetividad e imparcialidad

HABILIDADES DURAS Y HERRAMIENTAS

✓ Automatización de pruebas: Selenium, Cypress, Playwright, Pytest ✓ Pruebas de APIs: Postman, REST Assured, K6 ✓ Evaluación de modelos de IA: métricas (BLEU, ROUGE, precisión, recall, F1) ✓ Herramientas de prueba de LLMs: LangSmith, PromptFlow, Evals de OpenAI ✓ Pruebas de rendimiento: JMeter, Locust, K6 ✓ CI/CD y pruebas en pipelines (GitHub Actions, Azure DevOps) ✓ SQL para validación de datos ✓ Gestión de defectos: Jira, TestRail, Azure Test Plans

CONOCIMIENTOS ESPECIALIZADOS EN IA

• Fundamentos de Machine Learning para entender y evaluar comportamiento de modelos • Técnicas de prueba específicas para sistemas de IA: adversarial testing, red teaming, evaluación de sesgos • Seguridad en sistemas de IA: prompt injection, jailbreaking, data poisoning • Pruebas de privacidad y cumplimiento regulatorio en sistemas con datos sensibles • Principios de observabilidad y monitoreo de sistemas de IA en producción Estrategias de prueba para sistemas no-deterministas (outputs