Avgränsa uppgiften och utse en ansvarig ägare
Formulera ett observerbart problem, till exempel att markera möjliga vägskador för teknisk granskning eller kontrollera om ett skannat formulär innehåller obligatoriska fält. Ange vad modellen får föreslå, vad den aldrig får avgöra och vilken person eller funktion som ansvarar för åtgärden. Dokumentera den nuvarande processen, arbetsmängden, felen och serviceutfallet innan en pilot startar. Då kan teamet jämföra teknikens faktiska bidrag med nuläget i stället för med en demonstration. Ett otydligt mål som att förbättra säkerheten eller effektivisera kommunen är inte ett mätbart användningsfall.
Välj proportionerliga användningsfall
Mindre ingripande uppgifter gäller ofta tillgångar, dokument eller miljöer snarare än identitet. Exempel är prioritering av inspektion av vägar, broar och byggnader, sortering av dokumentbilder före manuell kontroll, uppskattning av trafikflöden utan identifiering, upptäckt av översvämning eller avfall samt inventering av utrustning. Samma teknik kan dock få helt olika konsekvenser beroende på plats, syfte, lagring och om resultatet påverkar tillgång till en offentlig tjänst. Bedöm därför varje konkret process och undvik att överföra ett godkännande från ett ofarligt test till en ny och mer ingripande användning.
Behandla biometrisk identifiering som en separat högriskfråga
Objektdetektering och ansiktsigenkänning är inte samma sak. Identifiering, kategorisering eller slutsatser om personer kräver en särskild bedömning av rättslig grund, nödvändighet, proportionalitet, likabehandling, säkerhet och möjlighet att överklaga. Utöka inte en kamera för tillgångsinspektion till personanalys bara för att ansikten råkar finnas i bilden. Minimera synfält, upplösning, lagring och åtkomst till det godkända syftet och förhindra sekundär användning genom teknik, avtal och loggning. Bedöm tillämplig dataskyddslag, EU:s AI-förordning, sektorsregler och nationella krav innan insamlingen börjar.
Bygg representativa och spårbara bilddata
Kameravinkel, optik, upplösning, komprimering, ljus, väder, rörelse och skymda objekt påverkar resultatet. Definiera systemets avsedda driftområde och dokumentera källa, tid, enhet, platskategori, tillstånd och bearbetning för varje datamängd. Håll träning, validering och sluttest åtskilda så att nästan identiska bildrutor, samma plats eller samma händelse inte läcker mellan mängderna. Skriv tydliga märkningsregler och mät oenighet mellan granskare. Sällsynta men allvarliga förhållanden behöver avsiktlig provtagning; ett högt genomsnitt kan annars dölja fel under mörker, oväder eller ovanliga miljöer.
Mät fel utifrån den offentliga tjänsten
Välj mått efter beslutet och kostnaden för ett fel. För klassificering och detektering bör precision, återkallning, falska positiva och falska negativa resultat redovisas per relevant klass, plats, kamera och driftförhållande. För räkning bör absolut och relativt fel mätas vid både låg och hög volym. Testa hela kedjan från bildtagning och överföring till gränssnitt, mänsklig kontroll, eskalering och rättelse. Jämför med samma fall i dagens process och följ exempelvis missade skador, inspektionstid, säkerhet, svarstid och arbetsbelastning. En enda procentsiffra från leverantören är inte acceptansbevis.
Undersök ojämn prestanda och ojämn påverkan
När människor kan förekomma i bilder eller resultat påverkar olika områden ska prestanda och konsekvenser granskas för relevanta grupper och miljöer. NIST:s utvärderingar av ansiktsigenkänning har visat demografiska skillnader mellan algoritmer, vilket understryker behovet av att testa den valda produkten i den verkliga miljön. Teknisk delgruppsanalys räcker inte. Granska även vilka som observeras, vilka som får nytta, vilka som utsätts för falska larm och om vissa områden övervakas oftare. Om representativ utvärdering saknas bör användningen begränsas eller stoppas; frånvaro av data är inte bevis på likvärdighet.
Gör mänsklig kontroll verklig
En granskare måste ha mandat, underlag och tid att avvika från modellen. Visa källbild, relevant sammanhang, osäkerhet och den regel som gäller. Utforma inte gränssnittet så att godkännande blir standard och bedöm inte personal enbart efter hur ofta de följer systemet. Bestäm vilka resultat som endast får prioritera arbete, vilka som kräver specialistkontroll och vilka beslut som aldrig får automatiseras. Erbjud en tillgänglig alternativ väg för personer som inte kan använda eller påverkas negativt av systemet. Logga ändringar och överklaganden, men använd inte varje rättelse direkt som ny träningssanning utan kvalitetsgranskning.
Upphandla evidens och utträde, inte bara en demo
Kravställ uppgift, driftmiljö, skyddad acceptansmängd, lägsta mått, granskningsrätt och exit. Leverantören bör redovisa kända begränsningar, uppdateringsrutiner, säkerhetskontroller, underleverantörer, incidenthantering och hur tillgänglighet påverkas. Avtalet ska styra om offentliga bilder får återanvändas för leverantörens träning, kräva förhandsbesked och omtest före väsentliga modelländringar samt ge myndigheten tillgång till data, konfiguration, utvärderingar och granskningsloggar. Planera export och radering vid avslut. En välpolerad demonstration på utvalda bilder visar inte att systemet fungerar i verksamhetens kameror, väder, köer och undantag.
Skydda bildflödet genom hela arkitekturen
Kartlägg flödet från inspelning till radering. Begränsa upplösning, synfält, lagringstid och åtkomst till vad uppgiften kräver. Kryptera överföring och lagring, separera råbilder från härledda resultat där det är lämpligt, använd rollstyrd åtkomst och logga privilegierade åtgärder. Lokal behandling kan minska dataöverföring men tar inte bort behovet av patchning, enhetsskydd och fysisk säkerhet. Testa både angrepp och vanliga fel: täckt lins, ändrad skylt, manipulerad bild, sensorförskjutning, nätverksbortfall, felaktig tid och förändrad miljö. Systemets säkra läge och manuella reservprocess ska vara kända i förväg.
Genomför en styrd pilot i åtta steg
Beskriv först samhällsnytta, beslut, berörda och ett icke-automatiserat alternativ. Kartlägg därefter rättslig grund, nödvändighet, proportionalitet, dataskydd, tillgänglighet, jämlikhet och säkerhet. Fastställ nuläge samt acceptans- och stoppkriterier före testet. Bygg representativa data med proveniens och en skyddad testmängd. Kör i skuggläge så att resultat inte styr verksamheten medan fel mäts. Genomför operativ, säkerhetsmässig och rättighetsbaserad granskning. Publicera en begriplig beskrivning av syfte, gränser och ansvar där det är lämpligt. Inför slutligen begränsad användning med mänsklig kontroll, incidentrapportering, återställning och ett fast omprövningsdatum.
Övervaka tjänsten, inte bara modellen
Efter införande bör teamet följa bildkvalitet, fel, avståenden, mänskliga ändringar, klagomål, incidenter, relevanta skillnader mellan områden eller grupper, svarstid, arbetsbelastning och det ursprungliga serviceutfallet. Bryt ned måtten per driftförhållande så att ett stabilt genomsnitt inte döljer försämring. Gör om utvärderingen efter kamerabyte, modelluppdatering, ny plats, policyändring eller förändrad miljö. Sätt slut- och granskningsdatum. Pausa eller avveckla lösningen om den inte längre förbättrar tjänsten, inte kan granskas, glider utanför sitt godkända syfte eller skapar oacceptabel skada. Fortsatt drift ska vara ett aktivt evidensbaserat beslut.
När datorseende inte bör användas
Avstå när syftet är oklart, rättslig grund saknas, samma resultat kan uppnås med mindre ingripande data, representativa tester inte kan genomföras, fel inte kan rättas säkert eller meningsfull mänsklig kontroll saknas. Avstå också när allmänheten inte kan få en begriplig förklaring, rättelse eller alternativ tjänsteväg. Påstå inte att datorseende automatiskt tar bort partiskhet, sänker kostnad eller ökar tillit. NIST AI RMF och den amerikanska revisionsmyndigheten GAO:s ansvarighetsram kan strukturera styrning, data, mätning och uppföljning, men de är inte certifieringar och ersätter inte svensk eller europeisk rättslig bedömning.
Veelgestelde vragen
Vad är datorseende i offentlig sektor?
Det är programvara som hämtar avgränsad information ur myndigheters bilder eller video för en definierad uppgift, exempelvis tillgångsinspektion, dokumenttriage eller trafikräkning. Resultatet bör stödja en ansvarig process och inte bli ett oförklarat beslut om en person.
Vilka användningsfall kan vara mindre riskfyllda?
Inspektion av tillgångar, identifiering av dokumentfält, miljöövervakning och inventering kan vara mindre riskfyllda när de undviker identitet, använder proportionerliga data och behåller mänsklig validering. Den konkreta risken beror ändå på syfte, plats och följden av fel.
Hur utvärderar en myndighet en bildmodell?
Använd en skyddad och representativ testmängd från avsedd miljö, redovisa olika fel per relevant klass och förhållande, testa hela arbetsflödet och jämför tjänsteutfall med den nuvarande processen. Leverantörens genomsnittliga träffsäkerhet räcker inte.
Gör mänsklig granskning ansiktsigenkänning säker?
Nej. Mänsklig kontroll är en skyddsåtgärd men ersätter inte rättslig grund, nödvändighet, proportionalitet, representativa tester, säkerhet, transparens och möjlighet att överklaga. Vissa användningar kan vara olämpliga även med en granskare.
Vad bör ett avtal om datorseende kräva?
Kravställ acceptansdata och mått, gransknings- och exporträtt, besked och omtest vid modelländring, begränsning av dataanvändning, säkerhets- och incidentansvar, tillgänglighet, underleverantörer, radering och exitstöd.
När bör en pilot stoppas?
Stoppa eller omforma den när syfte eller rättslig grund är oklart, representativ utvärdering saknas, fel inte kan rättas säkert, tjänsten inte förbättras, rättighets- eller tillgänglighetsrisker är oacceptabla eller myndigheten inte kan driva och granska systemet självständigt.