Slik bygger du en AI-chat som ikke lekker

Det tar ti minutter å få opp en AI-chat på en demo. Det tar litt lenger tid å få den til å tåle en sikkerhetsgjennomgang. Her er byggeklossene jeg bruker for å komme dit.

1. Alt går gjennom API Management

Ingen klient bør snakke direkte med modellene. API Management står i døra og gir deg:

• én plass å styre nøkler og kvoter per team
• policyer som kan stoppe eller vaske forespørsler
• logging av hvem som spurte om hva, og hvor mye det kostet

2. Et privat nettverk fra start

Start med en IP-plan før du oppretter noe som helst. Et oppdiktet eksempel:

10.0.0.0/16   vnet-eksempel
  10.0.1.0/24   snet-apim
  10.0.2.0/24   snet-app
  10.0.3.0/24   snet-private-endpoints

Foundry og andre tjenester får private endepunkter, og offentlig tilgang skrus av. Da finnes det rett og slett ingen vei inn fra internett.

3. Vern om persondata

Før en melding når modellen, bør den sjekkes for personopplysninger (PII). Det som ikke skal ut av huset, blir stoppet eller maskert.

4. Ferske svar med websøk

Modellene vet ikke hva som skjedde i går. Med grounding med websøk kan assistenten slå opp før den svarer, og vise hvor svaret kommer fra.

5. Logg alt

Til slutt samler du logger fra APIM, appen og modellene på ett sted. Når noen spør «hva skjedde her?», skal svaret være ett søk unna.

Mer om hver bit kommer i egne innlegg. Si fra hvis det er noe du vil at jeg skal grave i først.