Por qué en SerIA Nativa preferimos encontrar los errores a decir que no los hay

Hace unas semanas monté una empresa, SerIA Nativa, para ayudar a empresas industriales a poner orden en casa antes de meter inteligencia artificial. Antes de ir a contárselo a nadie, me lo apliqué a mí mismo.

Te cuento cómo fue. Incluida la parte que hice mal, que es la que creo que vale la pena.

Qué monté

Puse toda la documentación de la empresa en una memoria consultable: el método, los contratos, los precios, las decisiones, los errores. Todo. La idea es sencilla: que yo pueda preguntarle algo y que me responda citando de dónde lo ha sacado. Si no me dice la fuente, no me sirve.

Luego le puse un examen. Veinte preguntas. Diecisiete tenían respuesta dentro de la documentación. Tres eran trampa: me las inventé, no había manera de contestarlas.

Las tres de trampa eran las importantes. Quería ver si callaba cuando no lo sabía.

Los números

Estos son, con la fecha al lado para que puedas situarlos:

  • 896 fragmentos de documentación indexados, de 98 documentos (recuento del 9 de septiembre;

    • sube cada semana porque se reindexa con cada cambio).

  • 16 aciertos sobre 17. Un 94%.
  • Ningún resultado en las tres preguntas trampa.
  • 242 milisegundos de media por respuesta (mediciones del 20 de agosto).

Y ahora la parte que normalmente no se cuenta: qué no quiere decir ese 94%. No quiere decir que la respuesta esté bien escrita. Quiere decir que encontró el documento correcto y citó la fuente. Son dos cosas distintas. La calidad de la redacción todavía no la mido, y el día que la mida lo diré con la fecha al lado, como esto.

La parte que hice mal

El examen no salió a la primera. Salió un 82%, por debajo de lo que yo mismo me había marcado.

Fui a mirar qué pasaba y me equivoqué. Di por hecho que había un documento en el índice que no existía en el disco, y lo borré. El documento existía. Estaba en una carpeta que yo no había mirado, y el sistema me había dado la ruta buena desde el principio. Miré donde me pensaba que estaba en vez de mirar donde me decía que estaba.

Se recuperó solo en la siguiente reindexación, así que no perdí nada. Pero eso fue suerte de cómo está montado, no porque yo lo hiciera bien.

La causa de verdad era aburrida: el sistema miraba los tres primeros documentos candidatos de cada búsqueda y tenía que mirar cinco. Cambié ese número y subió al 94%.

De ahí saqué una frase que ahora tengo escrita en mi propia documentación:

El riesgo no es solo que se equivoque la máquina. Es que te equivoques tú al leerla.

Esa misma semana, revisando la seguridad del servidor, aparecieron seis ficheros con claves de API que podía leer cualquier usuario de la máquina. Corregidos el mismo día. Lo cuento porque un sistema que encuentra sus propios fallos me parece más de fiar que uno que no reporta ninguno nunca.

Por qué lo cuento

Porque mi manera de trabajar es esta, y prefiero decirla antes que después.

Cuando alguien te dice que su sistema funciona perfectamente, lo más probable no es que sea perfecto. Es que no lo ha mirado lo suficiente. Los errores están igual; la única diferencia es si los has encontrado tú o los va a encontrar el cliente.

A mí lo que me interesa es encontrarlos. No porque me guste equivocarme, sino porque un error que sabes dónde está ya no es un problema: es una tarea. Lo que hace daño es lo que no sabes que tienes.

Qué hemos hecho con esto

Este mes hemos incorporado un agente al equipo que se dedica solo a esto: mirarnos el trabajo y buscarnos los agujeros, con la ISO 9001 como criterio. Le llamamos Norma, y tiene una regla que no se puede saltar: no audita nunca nada que haya escrito ella.

No es una decisión de marketing. Es que si le decimos a una empresa industrial que ordene su documentación y sus procesos, lo mínimo es tener ordenados los nuestros y que lo compruebe alguien que no sea el mismo que los ha escrito.

La primera auditoría interna la hicimos el 7 de septiembre. Encontró seis no conformidades mayores y siete menores. La mayoría eran documentos que la norma pide y que nosotros no teníamos escritos. Cuatro de las seis las cerramos el mismo día; las otras dos tienen fecha.

Lo tenemos publicado tal como salió, con el semáforo en rojo donde lo puso la auditoría: serianativa.com/es/calidad.

Y una cosa que ahí pone y que quiero repetir aquí: no estamos certificados. Tenemos el sistema construido sobre la norma, pero no hay ninguna entidad acreditada que nos haya dado ningún papel. El día que lo haya, habrá un número de certificado al lado. Si alguna vez lees «certificados ISO» en un sitio nuestro sin ese número, es mentira.

Lo que te pediría

No hace falta que te creas mis números. Lo que te pediría es que la próxima vez que alguien te enseñe los suyos, le hagas dos preguntas:

¿Qué mide exactamente ese número? ¿Y de qué fecha es?

Si no lo puede contestar en una frase, no es una medida.

Los míos, con la fecha y con el error incluido, están aquí: serianativa.com/es/caso-0.

Cinto Casals — ingeniero de IA y arquitecto de sistemas de agentes. Fundador de SerIA Nativa.