Per què a SerIA Nativa preferim trobar els errors que dir que no n'hi ha

Fa unes setmanes vaig muntar una empresa, SerIA Nativa, per ajudar empreses industrials a posar ordre a casa abans de posar-hi intel·ligència artificial. Abans d'anar a explicar-ho a ningú, m'ho vaig aplicar a mi mateix.

T'explico com va anar. Inclosa la part que vaig fer malament, que és la que crec que val la pena.

Què vaig muntar

Vaig posar tota la documentació de l'empresa en una memòria consultable: el mètode, els contractes, els preus, les decisions, els errors. Tot. La idea és senzilla: que jo pugui preguntar-li una cosa i que em respongui citant d'on ho ha tret. Si no em diu la font, no em serveix.

Després li vaig posar un examen. Vint preguntes. Disset en tenien resposta dins de la documentació. Tres eren de trampa: me les vaig inventar, no hi havia manera de contestar-les.

Les tres de trampa eren les importants. Volia veure si callava quan no ho sabia.

Els números

Aquests són, amb la data al costat perquè els puguis situar:

  • 896 fragments de documentació indexats, de 98 documents (recompte del 9 de setembre; puja

    • cada setmana perquè es reindexa a cada canvi).

  • 16 encerts sobre 17. Un 94%.
  • Cap resultat a les tres preguntes de trampa.
  • 242 mil·lisegons de mitjana per respondre (mesures del 20 d'agost).

I ara la part que normalment no s'explica: què no vol dir aquest 94%. No vol dir que la resposta estigui ben escrita. Vol dir que va trobar el document correcte i en va citar la font. Són dues coses diferents. La qualitat de la redacció encara no la mesuro, i el dia que la mesuri ho diré amb la data al costat, com això.

La part que vaig fer malament

L'examen no va sortir a la primera. Va sortir un 82%, per sota del que jo mateix m'havia marcat.

Vaig mirar què passava i em vaig equivocar. Vaig pensar que hi havia un document a l'índex que no existia al disc, i el vaig esborrar. El document existia. Era en una carpeta que jo no havia mirat, i el sistema m'havia donat la ruta bona des del principi. Vaig mirar on em pensava que era en comptes de mirar on em deia que era.

Es va recuperar sol a la reindexació següent, o sigui que no vaig perdre res. Però això va ser sort de com està muntat, no perquè jo ho fes bé.

La causa de veritat era avorrida: el sistema mirava els tres primers documents candidats de cada cerca i n'havia de mirar cinc. Vaig canviar aquell número i va pujar al 94%.

D'allà en vaig treure una frase que ara tinc escrita a la meva pròpia documentació:

El risc no és només que s'equivoqui la màquina. És que t'equivoquis tu llegint-la.

Aquella mateixa setmana, revisant la seguretat del servidor, van sortir sis fitxers amb claus d'API que podia llegir qualsevol usuari de la màquina. Corregits el mateix dia. Ho explico perquè un sistema que troba les seves pròpies errades em sembla més de fiar que un que no en reporta mai cap.

Per què ho explico

Perquè la meva manera de treballar és aquesta, i prefereixo dir-la abans que després.

Quan algú et diu que el seu sistema funciona perfectament, el més probable no és que sigui perfecte. És que no l'ha mirat prou. Els errors hi són igualment; l'única diferència és si els has trobat tu o els trobarà el client.

A mi el que m'interessa és trobar-los. No perquè m'agradi equivocar-me, sinó perquè un error que saps on és ja no és un problema: és una tasca. El que fa mal és el que no saps que tens.

Què hem fet amb això

Aquest mes hem incorporat un agent a l'equip que es dedica només a això: mirar-nos la feina i buscar-hi els forats, amb l'ISO 9001 com a criteri. Li diem Norma, i té una regla que no es pot saltar: no audita mai res que hagi escrit ella.

No és una decisió de màrqueting. És que si li diem a una empresa industrial que ordeni la seva documentació i els seus processos, el mínim és tenir ordenats els nostres i que ho comprovi algú que no sigui el mateix que els ha escrit.

La primera auditoria interna la vam fer el 7 de setembre. Va trobar sis no conformitats majors i set de menors. La majoria eren documents que la norma demana i que nosaltres no teníem escrits. Quatre de les sis les vam tancar el mateix dia; les altres dues tenen data.

Ho tenim publicat tal com va sortir, amb el semàfor en vermell on el va posar l'auditoria: serianativa.com/qualitat.

I una cosa que hi diu i que vull repetir aquí: no estem certificats. Tenim el sistema construït sobre la norma, però no hi ha cap entitat acreditada que ens hagi donat cap paper. El dia que hi sigui, hi haurà un número de certificat al costat. Si mai llegeixes «certificats ISO» en un lloc nostre sense aquest número, és mentida.

El que et demanaria

No cal que et creguis els meus números. El que et demanaria és que la pròxima vegada que algú t'ensenyi els seus, li facis dues preguntes:

Què mesura exactament aquest número? I de quina data és?

Si no ho pot contestar en una frase, no és una mesura.

Els meus, amb la data i amb l'error inclòs, són aquí: serianativa.com/cas-0.

Cinto Casals — enginyer d'IA i arquitecte de sistemes d'agents. Fundador de SerIA Nativa.