En la medida en que más entidades usan Inteligencia Artificial (IA) para su actividad se vuelve más importante gestionar el riesgo de modelo inherente.
Riesgo de modelo se refiere a los posibles problemas o imprecisiones que pueden surgir a partir de la utilización de un modelo para tomar decisiones. Un modelo es una simplificación de la realidad que se crea para entender, analizar o predecir fenómenos complejos. Inevitablemente, todo modelo tiene limitaciones y supuestos, y el riesgo de modelo surge cuando éstas no se consideran adecuadamente.
El riesgo de modelo puede manifestarse de varias maneras, incluyendo:
- Errores de especificación, cuando el modelo no está bien estructurado para representar adecuadamente la realidad, o cuando se utilizan datos incorrectos, obsoletos o sesgados.
- Errores de estimación, cuando los parámetros del modelo se estiman incorrectamente.
- Errores de implementación, cuando el modelo no se implementa o se implementa incorrectamente.
- Uso inapropiado, cuando un modelo se utiliza en contextos para los cuales no fue diseñado.
Existen diversas estrategias para gestionar el riesgo de modelo. La base para ello es tener un inventario de modelos actualizado, y segmentarlos según su importancia. Por ejemplo, un modelo usado para aprobar los créditos del producto más importante del portafolio de un banco tendrá más relevancia que otro usado para decidir a qué hora llamar al cliente. En función de esta segmentación, se puede establecer exigencias de validación, performance, monitoreo y corrección diferenciadas.
La validación
La validación es el proceso mediante el cual una persona diferente a la que lo desarrolló revisa el trabajo para asegurarse de que no haya errores, tanto en la construcción del modelo como en su implementación. El validador también tratará de estresar el modelo, observando cómo se comporta ante casuísticas raras o extremas.
Este trabajo es indispensable para los modelos más importantes. Uno de los principales retos es que la validación no se convierta en un cuello de botella para el time-to-market.
En mi experiencia esto se puede evitar si se trabaja con en equipos multifuncionales iterando en sprints, como proponen las prácticas de ágilidad.
Una vez que el modelo se implementa, es necesario monitorearlo. Queremos asegurarnos de que la performance del modelo (por ejemplo, su capacidad de discriminación medida a través de los coeficientes de Gini o K-S) no se deteriore en el tiempo. También queremos asegurarnos de que la población a la que se aplica el modelo se mantenga estable en el tiempo. Finalmente queremos verificar que los rangos, medidas centrales y de dispersión de las variables de entrada y salida del modelo se mantengan estables en el tiempo.
Alguna observación importante en el monitoreo significará que algo se ha malogrado, y necesita atención. Podría ser que algo ha cambiado en el entorno tecnológico en el que está implementado, ha ocurrido un error en las bases de datos o ha habido cambios en la población a la que se aplica. Como no todos los modelos son iguales, la urgencia de estas revisiones y de las posibles correcciones será distinta. Queremos atender idealmente lo más importante primero.
Un modelo a seguir
En el 2023, la Superintendencia de Banca, Seguros y AFP peruana publicó un nuevo Reglamento de Gestión de Riesgos de Modelo que considero es muy completo. Aplica para modelos de riesgos de crédito, mercado, liquidez, operacional, y lavado de activos y del financiamiento del terrorismo. En él, correctamente, enfatiza la necesidad de contar con un inventario y categorización de modelos, de tal forma que la empresa supervisada puede tener una gestión diferenciada. También establece algunos requerimientos de gobierno, entre los cuales resalta la obligación de que las políticas de gestión de riesgos de modelo (no la discusión sobre modelos específicos) se realice en un comité en el nivel del directorio.
Considero contraproducente exigir que un cambio se deba aprobar previamente en este comité porque cuando se encuentra un problema importante en un modelo en uso, es más dañino seguirlo usando que asumir el posible riesgo de uno nuevo. También me parece importante la relevancia que el reglamento da a la validación y seguimiento, actividades tan o más importantes que el desarrollo en sí.
Finalmente es muy acertado que el reglamento contemple la posibilidad de que una empresa financiera use modelos de terceros, pero mantenga la responsabilidad sobre su uso y seguimiento.
Con el avance del poder computacional, están cobrando mayor importancia las técnicas más complejas y automatizadas para construir e implementar modelos. Esto es muy potente porque pone el poder de la estadística al alcance de más personas, más rápido y con hallazgos menos evidentes.
Los desafíos
Sin embargo, también nos trae nuevos retos. Uno es el de la velocidad de desarrollo. ¿Cómo balancear la mayor frecuencia de cambios con la validación y la capacidad de entender sus impactos en los portafolios?
Otro reto es el de interpretabilidad, es decir que el modelo sea intuitivo, por ejemplo, que si un cliente está más endeudado su probabilidad de incumplir será mayor. Con modelos más complejos esta relación directa puede hacerse menos evidente porque hay cientos o miles de otras variables que pueden impactar esta relación. Así, en estos casos es particularmente importante contar con herramientas que permitan interpretar estas relaciones entre las variables.
Entender qué hace cada modelo es parte fundamental de gestionar su riesgo.
Gestionar el riesgo de modelo también tiene algo de arte. Como los modelos se construyen sobre la base de data histórica, la pregunta clave es ¿el contexto futuro será igual al pasado, de tal forma que se repita la historia? Por ejemplo, ¿está cambiando la regulación, la cultura y comportamiento de las personas, la situación económica general?
Decidir esto es el arte de gestionar un modelo, y cómo no existe certeza en el futuro para ello, queda en manos de nosotros, los humanos.
Sigue toda la información de Open Hub News en X y Linkedin , o en nuestra newsletter.
