AI & automation · 02
En uafhængig gennemgang af de løsninger, I allerede har bygget med AI: kvalitet, sikkerhed, omkostninger og drift.
Kontakt osEn AI audit er en teknisk og forretningsmæssig gennemgang af systemer, der er bygget med eller på AI: chatbots og assistenter, automatiseringer med sprogmodeller, agenter, integrationer og kode eller hele applikationer, der er skrevet med AI-værktøjer. Ydelsen findes, fordi den slags løsninger ofte er bygget hurtigt af en enkelt person eller et eksternt bureau, og ingen har siden set efter, om de svarer rigtigt, hvad de koster, og hvad der sker, når de fejler.
Vi læser kode, prompts, integrationer og logs, tester løsningen med rigtige og ondsindede input, og måler svarkvalitet, fejlrate, svartid og forbrug pr. kald. Sikkerhed gennemgås særskilt: adgang til data, prompt injection, hvad der sendes til hvilke leverandører, og om databehandleraftaler og EU AI Act er på plads. Alt dokumenteres med eksempler, så I kan se, hvad vi fandt.
I står med en rapport, der siger, hvad der virker, hvad der skal rettes nu, og hvad der bør bygges om. Hvert fund har alvor, indsats og en anbefaling. Rapporten kan bruges til at rette selv, til at stille krav til leverandøren eller som grundlag for, at vi overtager driften.
Vi aftaler, hvilke løsninger der er med, får læseadgang til kode, konfiguration og logs, og et testmiljø. I får en liste over det, vi skal bruge, og en databehandleraftale.
Vi læser kode, prompts og integrationer, kører et testsæt af rigtige henvendelser igennem og forsøger at få løsningen til at fejle: prompt injection, forkerte input, systemer der ikke svarer.
Fejlrate, svartid, forbrug pr. kald og sikkerhedsfund samles med eksempler. Hvert fund får alvor og indsats, så det kan prioriteres.
I får rapporten med fund, anbefalinger og en rækkefølge. Vi gennemgår den med jer og, hvis I vil, med jeres leverandør på et møde på en time.
Vi bygger et testsæt af rigtige henvendelser og kendte svar og kører løsningen igennem det. Resultatet er en fejlrate, ikke en fornemmelse: hvor mange svar er korrekte, hvor mange er opdigtede, og hvor mange burde være sendt til et menneske. Vi ser også på, hvordan prompts og retrieval er bygget, og hvor svarene går galt.
Vi tester, om løsningen kan lokkes til at afsløre data, følge instruktioner fra kunder eller dokumenter, eller kalde værktøjer, den ikke burde. Vi gennemgår, hvilke data der sendes til hvilke leverandører, om nøgler og adgange er afgrænsede, og om logs indeholder personoplysninger. Fund her går forrest i rapporten.
Mange AI-løsninger koster mere, end nogen har regnet på: for store modeller til små opgaver, prompts med tusindvis af unødvendige tokens, og ingen overvågning, når leverandøren fejler. Vi måler forbrug pr. kald, foreslår billigere modeller hvor kvaliteten holder, og beskriver, hvad der skal til, for at løsningen kan drives forsvarligt.
Et eksempel fra virkeligheden
En webshop havde fået bygget en kundeservice-assistent af et bureau og bad om en audit, fordi kunderne klagede over forkerte svar om levering. Testsættet på 300 rigtige henvendelser viste en fejlrate på 22 procent, primært om leveringstid og retur, fordi assistenten ikke havde adgang til ordredata. Vi fandt desuden, at hele samtalehistorikken inklusive navne og ordrenumre blev logget hos en tredjepart uden aftale. Efter rettelserne, med opslag i ordresystemet og en afgrænset log, faldt fejlraten til under 5 procent, og forbruget pr. samtale blev halveret ved at skifte til en mindre model til de simple spørgsmål.
Skræddersyet design og udvikling af møbelshop. Markedsføring gennem PPC med 200% vækst.
Se alle cases
All-around design, udvikling, branding, strategi og søgemaskineoptimering
Nyt PrestaShop site og 360 graders digital marketing med SEO og PPC annoncering.
Avanceret Google Tag Manager setup til konverteringstracking
Et digitalt sats på e-handel, der gav pote. Se vores arbejde for Werenberg, og hvordan vækstkurven blev stejl med en stabil og udviklingsdygtig webshop.
Ofte stillede spørgsmål
Chatbots og assistenter, automatiseringer i fx Make, n8n eller Zapier, agenter, RAG-løsninger, integrationer mod OpenAI, Anthropic eller Azure, og applikationer bygget med AI-kodeværktøjer. Bygget af jer selv, en freelancer eller et bureau.
Fra 20.000 kr. og typisk to uger fra adgang til rapport. En enkelt chatbot tager en uge; flere løsninger eller en hel applikation tager tre.
Læseadgang til kode og konfiguration, logs fra de sidste uger, og et testmiljø eller en aftale om, hvad vi må teste i produktion. Alt behandles under databehandleraftale, og vi ændrer ikke noget under auditen.
Med en AI-audit: en halv dags workshop og en uge med analyse. I får en prioriteret liste over processer, hvor AI giver mest, og hvad det kræver.
Vi bruger modeller og opsætninger, hvor jeres data ikke bruges til træning, og vi dokumenterer, hvor data flyder. GDPR og jeres egne politikker indgår i designet.
Nødvendige cookies får siden til at virke. Statistik og markedsføring sætter vi kun med dit samtykke. Du kan altid ændre valget nederst på siden. Læs cookiepolitikken.
