Matriz de riesgo con IA: las preguntas del supervisor que la herramienta no responde

Una matriz de riesgo puede verse impecable y no resistir la primera pregunta del supervisor. Si a un riesgo se le asigna un impacto de 4 y una probabilidad de 2, alguien en la entidad tiene que poder explicar de dónde salieron esos números. Con la inteligencia artificial la pregunta se volvió más urgente: estas herramientas producen en minutos matrices que parecen sólidas y, con la misma facilidad, rellenan con datos inventados lo que nadie les dio.

Ese fue el centro de la sesión práctica que Infolaft dedicó el 28 de octubre a la construcción de matrices con IA, en el marco de la Circular Externa 100-000020 de la Superintendencia de Sociedades, que unifica el SAGRILAFT y el PTEE. Unificar exige construir una matriz de riesgo integrada, y el plazo para completar la integración vence el 31 de mayo. Todavía no se sabe si habrá prórroga.

Una matriz que se veía bien, pero…

Durante la sesión se construyó una matriz en un Excel en blanco conectado a un asistente de IA. La instrucción fue detallada. Se le pidió actuar como consultor experto, se le indicó la norma aplicable y se definió un libro de ocho hojas con listas desplegables, fórmulas visibles en lugar de valores fijos y una arquitectura que separaba los parámetros de los valores calculados. La herramienta dividió el trabajo en nueve pasos y generó las hojas de parámetros, factores, riesgo inherente, controles y efectividad.

El resultado tenía una presentación cuidada y ahorraba mucho tiempo, pero no pasaba una verificación elemental. Los parámetros incluían niveles como «raro», «improbable» y «posible», y frecuencias como «menos de una vez en cinco años», sin ninguna indicación sobre su origen. Los riesgos también eran ficticios y no tenían relación con el contexto interno ni externo de la empresa.

Después se le pidió un memorando en PDF dirigido a un supervisor de la Superintendencia de Sociedades, con las metodologías empleadas, los supuestos normativos, las fórmulas y los parámetros. El documento advertía que no se había verificado la vigencia de la norma en la fuente oficial. No decía que los datos eran ficticios. Solo cuando se le preguntó cómo responderle al supervisor sobre el origen de las mediciones, la herramienta reconoció que había generado las calificaciones a título ilustrativo, sin datos de la compañía ni un taller documentado que las respaldara. Recomendó entonces ratificarlas o sustituirlas, levantar un acta y sustentar cada control.

El episodio muestra una tendencia de estas herramientas: cuando les falta información, en vez de hacer las preguntas pertinentes, completan los vacíos con datos inventados. Y la herramienta no responde ante el supervisor, el juez ni la alta dirección. Si hay un error, la responsabilidad recae en quien la usó, y lo primero que se va a examinar es la instrucción que recibió. Por eso el prompt también debe documentarse.

Las preguntas que una matriz debe resistir

La matriz 5 × 5 que usan muchas entidades parece fácil de leer, pero falla cuando se desconocen sus escalas. ¿Qué significa cada valor? ¿La escala es lineal, de modo que 2 equivale al doble de 1 y 4 al doble de 2, o es logarítmica? ¿A qué probabilidad se alude, si la probabilidad carece de unidades? ¿El impacto corresponde a una escala ordinal o a un scoring? Si quien presenta la matriz no puede responder, es porque la herramienta tomó esas decisiones en su lugar. En la sesión se observó, además, que el impacto debería ubicarse en el eje horizontal.

La circular ayuda a entender por qué esto importa. En la etapa de medición la norma cambió el verbo rector: dejó de hablar de medir y ahora habla de evaluar, una noción más amplia que aplicar una fórmula. Los valores de 1 a 5 se traducen en colores, y esos colores expresan en realidad políticas y apetito de riesgo. La matriz representa. La evaluación les corresponde a las personas.

Le puede interesar Matrices de LA/FT y C/ST en hojas de cálculo: una práctica poco recomendada

Dos caminos para calificar

La norma prevé mecanismos para definir las calificaciones, y las metodologías ISO describen cómo aplicarlos. La ISO 31010 propone técnicas distintas según la etapa: la lluvia de ideas sirve sobre todo para identificar riesgos, las entrevistas para evaluar controles y el método Delphi para calificar.

El método Delphi reemplaza la calificación de una sola persona, por lo general el oficial de cumplimiento, por la de varios expertos que votan de forma independiente y reservada. Con sus respuestas se calculan la mediana y el rango, y se observan la media y la moda. Si los votos oscilan entre 3 y 5, o entre 1 y 4, hay desacuerdo, y es necesario establecer qué grado de convergencia se considerará consenso. La IA puede ayudar a diseñar los cuestionarios y a tabular las respuestas.

De ahí una escala de justificaciones. Atribuir la calificación a la IA es un problema. Atribuirla a la IA guiada por un buen prompt lo atenúa. Una justificación sólida, que además puede sustentarse jurídicamente, es que la calificación se obtuvo con una metodología adecuada, con apoyo de la IA guiada por un buen prompt y alimentada con información de expertos y casos históricos.

El segundo camino se basa en datos en lugar del juicio de expertos. El scoring trabaja con grupos de variables asociados a los factores de riesgo: contraparte, producto, canal y jurisdicción, a los que pueden sumarse otros, como los activos, el comportamiento o la transaccionalidad, porque la norma establece un mínimo y no un límite. A cada grupo se le asigna una ponderación mediante algún método estadístico. De ahí resulta un puntaje agregado, sobre el cual se definen umbrales análogos a los colores de la matriz. Así pueden construirse puntajes de probabilidad, de impacto y de riesgo, y combinarlos con la segmentación y la clasificación previstas en la norma.

Los mismos datos, resultados distintos

La norma exige identificar el riesgo de manera consolidada e individual, es decir, agregada y desagregada por factor y por evento de riesgo, así que una sola matriz no alcanza. Hacen falta matrices por transacción, por segmento, por factor, por riesgo asociado (legal, reputacional, operativo y de contagio) y por entidad. Con frecuencia la junta directiva solo conoce la matriz del riesgo de la entidad y no puede remontarse a los factores que lo componen.

El método de agregación modifica el resultado. En un ejemplo presentado en la sesión, a partir de los mismos datos, el promedio simple arrojó 28,6 y el promedio ponderado por volumen, que asigna más riesgo a los segmentos con más transacciones, un valor superior. El valor máximo situó a la entidad en riesgo alto y el percentil 90, en riesgo medio. El porcentaje de clientes en riesgo alto llevó a un resultado sensiblemente distinto.

Lo mismo pasa dentro de cada factor. El factor cliente se compone de segmentos como multinacionales, PEP, personas naturales, empleados o grandes superficies, que se ubican en niveles diferentes, y la cifra que representa al factor depende de que se adopte el promedio, el máximo o la media ponderada. Es una decisión metodológica, y tomarla de forma consciente es lo que evita el efecto de caja negra.

Los riesgos, por otra parte, se agregan pero no se suman. Hay que determinar si los eventos son dependientes o independientes, si están correlacionados o si se producen en cascada. La corrupción y el soborno transnacional no son equivalentes, y cabe preguntarse si se relacionan o se excluyen. Hay casos de lavado de activos que terminan financiando el terrorismo: sumar los casos de ambos riesgos computaría dos veces su intersección.

La hoja de cálculo no define el riesgo

El supervisor también adquirirá mayor dominio de la  IA y podrá examinar con detalle los modelos de las entidades. La matriz de la demostración podía servir como punto de partida para un modelo sólido, siempre que se distinguiera con claridad lo que la herramienta inventó, lo que procede de la norma y lo que corresponde a la metodología. Pero la hoja de cálculo no define el riesgo. Lo define el oficial de cumplimiento, a quien le toca parametrizar, revisar y decidir, y defender su modelo cuando el supervisor pregunte de dónde sale el 4.

Artículo elaborado por Infolaft y corregido con IA