Hvordan man måler risiko med en bedre OKR.

Jeg er blevet en stor fan af målsætningen og nøgleresultatet (OKR) hos virksomheder, der tager dem alvorligt. Jeg vil beskrive en meningsfuld metode, der passer inden for en OKR og måler reduktion (eller stigning) af en valgt risiko. Dette vil informere et holds beslutning om at reducere eller øge den tekniske indsats for at mindske den risiko fremover.

Denne metode svarer til, hvordan en meteorolog forudsiger vejret.

For dybe dykninger i OKR'er kan du læse dette, se dette eller læse dette.

OKR'er er en simpel måde at udtrykke et motiverende mål og forpligte sig til en kort liste over målbare resultater, der skubber en gruppe mod dette mål. De kaskader undertiden fra udøvende ledelse ud til alle ansatte. OKR'er er en almindelig praksis blandt tech-virksomheder og mange sikkerhedsteam, jeg arbejder med.

Tag for eksempel:

Mål: Forbedre godkendelse fra udviklere bærbare computere til produktion.

Dette mål er ikke dårligt, men mange muligheder for risikomåling går glip af.

Vi vil reducere en sjælden, påvirkelig risiko med en kvantificerbar metode.

Disse typer risici er normalt vanskelige at måle.

Historiske data (aldrig sket) informerer dårligt vores fremtid (kunne det ske?).

Med prognosemetoder og estimeringsmetoder kan vi måle, hvor sandsynligt et fremtidig scenarie kan forekomme, selvom vi ikke mangler historiske data for dette scenarie i fortiden. Vi bruger en "usikkerhed" i en gruppe som en fuldmagt til risiko, og vi måler den. Vi administrerer de kognitive forfordringer, der er forbundet med prognoser.

MÅL: Skriv et mål med et ”risikoscenario”.

Dit mål er at reducere en risiko, der kommer til udtryk i et scenarie.

Nedenfor er det tidligere nævnte mål, der blev skrevet for at reducere en risiko. Det er skrevet med noget plads til forbedring:

Mål: Forbedre godkendelse fra udviklere bærbare computere til produktion.

Dette er ikke nødvendigvis et dårligt mål, skønt det kan forbedres ved at omskrive det som et scenarie.

Mål: Reducer risikoen for "En modstander har fået adgang til produktion fra en bærbar computer i tredje kvartal."

De virker ens, ikke?

  • Den største forskel er, at et scenarie er sandsynligt. Probabilistiske sætninger kan forventes imod. Prognoser er godt undersøgt, almindeligt forstået (f.eks .: vejret), kvantitativ og måler din usikkerhed.

Usikkerhed er den ting i din hjerne, der får dig til at trække på et sæt muligheder eller føle dig stærk over en af ​​dem. Som det viser sig, kan usikkerheden i en gruppe måles på en ligefrem måde. Vi vil gøre eksperternes usikkerhed til en fuldmagt til vores mål for måling.

  • Den mindre forskel er, at scenariet belønner en ingeniørs kreativitet.

For eksempel forbedrer reduktion af mængden af ​​udviklere, der kræver produktionsoplysninger, godkendelse? Nej, det når lidt. Men det ville reducere risikoen, og nøgleresultatet er mere kompatibelt med det ændrede mål. Det var det bedre mål, så måske vil vores nøgleresultater være bedre som et resultat.

Et "risikoscenario" -mål ordinerer ikke en løsning. Det opstiller blot en ren prognose. Et scenarie kan gøre et bedre job med at definere en risiko som en fremtidig begivenhed, der skal undgås.

Et godt forudsigeligt scenario involverer en tankevækkende blanding af en trussel, en vektor, et aktiv eller en påvirkning. Du kan kreativt beslutte et specifikt omfang eller risiko ved at tilføje indsnævring eller udvide specificiteten. En prognose skal beslutte en konkret tidsramme.

Nøgleresultater: Vælg milepæle eller metrics, og forpligt dig til en prognose.

For det første de lette ting. Nøgleresultater skal være målbare. I Googles tidlige dage sagde Marisa Meyer:

"Det er ikke et nøgleresultat, medmindre det har et tal."

En enkel form for måling er binære resultater: 1 for udført, 0 hvis ikke gjort. For eksempel: "Vi føjede XYZ-forretningsapplikationen til vores Single Sign On-platform". Hvis du gjorde det, får du en “1”!

En anden er at vælge en kvantitativ måling som “fix X bugs” eller “reducere X-hændelser” eller “ansætte N-ingeniører”. Disse er nødvendige, fælles og repræsenterer projektmål og operationelle målinger. Du er sandsynligvis vant til disse. De kan også give gode nøgleresultater.

De måler dog ikke rigtig en reduktion af risikoen forbundet med vores scenarie. Snarere er de en hængende indikator for udført arbejde. Dette arbejde har skabt værdi til at afbøde en risiko, men du har faktisk ikke målt en reduktion i en risiko endnu. Du antager blot, at risikoen er faldende på grund af din indsats.

Men hvor meget? Hvad hvis det faktisk steg?

Sammenligning af en sikkerhedsmetrik versus en måling af sikkerhed

Traditionelle sikkerhedsmålinger er meget nyttige for deres informative værdi. De informerer vores usikkerhed over for en risiko, men repræsenterer ikke den sandsynlige karakter af risiko, og udtrykker ofte ikke den enorme usikkerhed, vi kan have om et specifikt scenario.

For eksempel tror jeg, at en historisk optælling af sårbarheder eller hyppighed af regressioner ikke direkte udtrykker en risiko, men det hjælper bestemt med at informere min usikkerhed om, hvorvidt et tilknyttet scenarie ville forekomme eller ikke som et resultat af disse data.

Dette skyldes, at den værdi, vi tildeler til en individuel måling, er i konstant flux.

Enhver specifik metrik er muligvis mit mest informative datapunkt ... indtil noget erstatter det. Min bedømmelse ville afskrive de tidligere data umiddelbart efter at have hørt nye oplysninger, der skrig “åh crap” i lyset af de gamle data, eller enhver skrøbelig model, vi forsøgte at skabe til den sags skyld.

Lad os nå til den "hårde del". Lad os lave denne OKR.

Dette er faktisk virkelig let, når du får fat på det.

Et eksempel på OKR, der er designet til at blive målt:

Som nævnt skal vi bygge denne OKR, så den er kompatibel til risikomåling med prognoser og estimeringsteknikker.

Her er et eksempel på OKR for et lille AWS-sikkerhedsteam:

Objektiv:

Reducer sandsynligheden for, at "AWS-produktionsoplysning blev udsat for offentligheden i 3. kvartal".

Nøgleresultater:

  1. Forpligtelser med at nævne AWS_SECRET_KEY dukker op i #sikkerhedsslak.
  2. Photobackup-rørledningen flyttes til en AWS-rolle.
  3. Komplet sikkerhedsmonkey-advarselsrørledning mod vores detektion on-call.
  4. Fuldfør en før og efter prognose, og CloudTrail-jagt.

De første nøgleresultater (1–3) kræver ikke diskussion. Disse er bare run-of-the-fabrikets ingeniørarbejde, og du kan vælge hvad du vil. Det sidste nøgleresultat (nr. 4) er det, vi vil fokusere på fremover.

For at måle dette risikoscenario vil vi bruge et prognosepanel. Dette vil styrke vores evne til at måle OKR's underliggende risikoscenario på en sandsynlig måde.

1. Før du begynder på arbejde: En "baseline" -prognose.

Lad os antage, at dette er en OKR for årets tredje kvartal. I begyndelsen af ​​juni vil nogle få forskellige og uddannede personer, der er bekendt med OKR, forudsige sandsynligheden for, at scenariet finder sted i probabilistiske termer (procentdel tro).

Vores deltagere er abe (), enhjørning (), ko () og pingvin (). Vi kalibrerer dem kort til at tænke sandsynligt (online træning). De har adgang til uanset metrics, modeller, post mortems, konsulentrevision eller infrastrukturdiagrammer, der er tilgængelige. Det hele er nyttigt og informerer deres prognose.

Ovenstående prognose har en 78% sikkerhed for, at CloudTrail-jakten ikke afslører nogen hændelse. Der er en 14% sikkerhed for, at en hændelse kan blive opdaget, og en 6% sikkerhed for, at vi er i rigtig store problemer.

Overvej nu, at et svar på 33% fra panelet for hver kategori ville have indikeret total usikkerhed, som om de bogstaveligt talt ikke har nogen information eller mening. Scenariet kunne f.eks. Være skrevet på et andet sprog. Det er ikke tilfældet her, deltagerne tror ikke, at hver mulighed er den samme. De mener, det er meget sandsynligt, at ingen hændelser ville finde sted på grund af deres viden om miljøet og mulige trusler.

Dette panel udtrykker således en sandsynlighed for, at det sandsynligvis ikke vil være en hændelse inden for denne tidsramme. Men en hændelse der opdages er ikke helt ude af spørgsmålet. Det sker hos mange andre virksomheder. De må tro, at der er en lille sandsynlighed for, at det kan ske.

Faktisk synes en paneldeltager (Monkey ) mere sikker på, at der findes noget.

Det er ok, at Monkey har en anderledes opfattelse fra gruppen. Vi diskuterer dette senere - der er ikke behov for, at panelet er enige!

2. Gør nu dit arbejde, gør fremskridt som sædvanligt.

Midt i kvartalet fokuserer på at opfylde dine mål som sædvanligt. Bare gør arbejde.

Som vores mål er nævnt, bygger teamet ud alarmering, refaktorerer en app til at bruge AWS-roller og frigiver Security Monkey. Forhåbentlig klarer de sig godt og afslutter dem alle!

Denne metode har ingen indflydelse på det daglige arbejde, du udfører. Det hjælper ganske enkelt arbejdet hen imod et målbart resultat. Angreb risikoen, men du normalt ville.

3. EOQ. Vi gjorde fremskridt! Nu sammenligner vi med baseline.

Vi har forpligtet os til at gøre to ting i slutningen af ​​kvartalet.

Først udøver vi indsats på at jage CloudTrail-logfiler med kontrol og se, om vi kan ryste ud af eventuelle P0-hændelser fra vores efterforskningsindsats.

For det andet måler panelet igen, undtagen med vores usikkerhed for næste kvartal (4. kvartal).

Vores panel er bevæbnet med ny viden. Fremgangen i dette kvartal og resultatet af CloudTrail-jakten har ændret vores synspunkter på dette scenarie meget.

Lad os antage, at holdet lykkedes med deres andre nøgleresultater, og overtrædelsesvurderingen kom tilbage ren.

Vi forudsiger igen. Her er resultaterne.

Nu kan vi se, hvor meget sikkerhed panelet har vundet eller mistet, baseret på deres indsats. I dette eksempel trender vores overbevisning gunstigt endnu længere mod sikkerhed (væk fra 33%). Påvirkede vores arbejde vores panels sikkerhed? Dette panel mener det.

I dette tilfælde forbedrede vi vores sikkerhed omkring denne risiko. Vi har en kvantitativ forbedring på 5% i den rigtige retning.

4. Foretag en ledelsesbeslutning styret af data.

Nu er du bevæbnet for effektiv beslutningstagning.

Dette ser ud til at forudsige brud i et ud af ti kvartaler.

  • Er det godt nok?
  • Vil vi forbedre det yderligere, eller bemander vi andre risici?
  • Hvad er vores acceptabel tærskel?
  • Hvilken mængde kræfter og ressource har vi brug for at overgå den?

Hvorfor denne tilgang?

Mennesker er bygget til at behandle forskellige informationskilder og hurtigt absorbere ny information for at træffe beslutninger.

I løbet af kvartalet får vi uden tvivl information, der ændrer vores sikkerhedsniveau om de risici, vi valgte.

Denne information kommer fra mange steder: Selve det praktiske arbejde, industristendenser, overtrædelser, måske sårbarhedsrapporter inden for andre infrastrukturområder, vores egen udnyttelsesundersøgelse, en tweet om offentliggørelse af bombardement osv.

Imidlertid er vores tillid til disse informationskilder dynamisk. Vi kan ikke være afhængige af individuelle, statiske målinger for at repræsentere vores risiko, fordi deres beslutningsværdi ændres hurtigt. Vi kunne bruge vores egen sikkerhed som en fuldmagt til disse risici, som er kendt for at være målelige, stærkt undersøgt, med stigende vejledning til forbedring af prognosemetoder som et måleinstrument.

Faktisk er ekspertudnyttelse en vigtig faktor i sandsynlige risikovurderinger i andre brancher, såsom nuklear, rumfart og miljø.

Det er ikke nyt, bare nyt for os.

Isolering mod risikoen for bias.

Prognoser er farlige, når det ikke tages op med strenghed. Kognitiv bias undersøges godt, og disse fund skal ofte gentages. Der er forskellige afhjælpninger for risikoen for dårlig forudsigelse.

Forskning forsvarer, at prognosen kan forbedres, når:

  1. Paneldeltagere er uddannet til at tænke sandsynligt og om bias.
  2. Paneldeltagere er slået sammen om at kombinere og udjævne virkningen af ​​bias. Mangfoldighed i perspektiv er nøglen!
  3. Paneldeltagere konfronteres gentagne gange med resultatet af deres prognoser (kalibrering). (Online træning, god dømmekraft, tillidskalibrering)
  4. Paneldeltagere opfordres til at nedbryde et scenarie i mere kornede dele og får gennemsigtig adgang til tilgængelige data, de har brug for for at forstå dem.
  5. En fast forståelse af ægte "Black Swan". De bedrager prognosemænd.
  6. Forsøg ikke at forudsige og afbøde enhver risiko, vær klar til en uundgåelig fiasko.
  7. Frakobl promovering og løn fra OKR & prognoseresultater for at undgå sandbagging, hvilket allerede er et problem i medarbejdernes præstationsstyring.

Bare at spørge paneldeltagere om "tænk hurtigt!" -Prognoser vil helt sikkert give dig dårlige resultater. En streng tilgang har en højere omkostning til måling (møder), men er langt lettere end metoder med grimme risikomatrix-regneark.

Men ... Jeg antager altid brud, så dette fungerer ikke!

Det er helt gyldigt at antage, at du er overtrådt. Jeg vil give enhver organisation en meget stor sandsynlighed (99%) for, at et eller andet sted, til enhver alvorlighed, har en form for modstridende aktivitet på et system, de ejer. Det er, hvad "antager brud" betyder for mig.

Det er dog usundt at tro, at enhver komponent i ethvert system kompromitteres af enhver modstander på hvert givet tidspunkt. Rationelle mennesker, selv FUD-slyngerne, går ikke så langt ind i den dybe ende.

Et dybt pessimistisk sind, der er rationelt, giver stadig plads til tvivl, lige mere eller mindre end andre. Hvis du har tro på, at enkeltpersoners indsats vil forbedre risici, kan du måle den reduktion af usikkerhed i sandsynlige vilkår. En pessimist tror bestemt ikke, at deres arbejde forværrer tingene f.eks.

Kort sagt kan endda en pessimistisk baseline forbedres, og at have et par pessimister i et panel er faktisk en meget, meget god ting.

Fremtiden for risikovurdering og prognoser

I løbet af mange kvartaler kan vi styrke en sandsynlig metode yderligere. Vi kan introducere røde teams, Brier Scores og indsamling af brancher for at vejlede vores prognoser. Vi kan blive enige om værdien af ​​data og se, at de svinger. Vi kan "Chatham House" eller anonymisere prognoser, der skal deles med peer-sikkerhedsteam.

Vi kan tilføre forventede resultater i Monte Carlo-simuleringer, så vi kan trække lektioner og ekspertise fra NASA, nuklear licens og andre områder, der er længere end cybersikkerhed til at forstå ekstreme risici.

Der er masser af muligheder for organisationer til at anvende en risikosprognosepraksis. Enorm energi er ikke nødvendig for at give gode resultater. At starte med små, såsom med risikobaserede OKR'er, kan påviseligt reducere risikoen for din organisation og sætte din organisation på en vej mod kvantitativ risiko.

Konklusion

OKR'er er en almindelig måde at guide et ingeniørteam. Oprettelse af OKR'er, der er kompatible med estimerings- og prognoseteknikker, kan give os mulighed for bedre at måle fremskridt inden for risikoreduktion.

Disse metoder forstyrrer ikke “hvordan” et team udfører deres arbejde, det måler blot “hvor meget” der muligvis ændrer sig som et resultat. Hvis du i øjeblikket ikke har nogen metode til måling af risiko, bør enhver kvantitativ metode klare sig bedre end hvad du har. Denne strategi har minimal indflydelse på ingeniørpraksis, mens teamet tilpasses en målbar risiko for reduktion af risikoen.

Yderligere læsning

Forudsigelse af risici: En præsentation på højt niveau af denne metode.

Enkel risikoanalyse: Et dybt dyk på prognoserisiko.

Killing Chicken Little: Undersøgelse af begrænsninger og muligheder for risikoforudsigelse.

Nedbrydning af sikkerhedsrisiko i scenarier: Opdeling af risici i et hierarki af scenarier, fra brede til mere granulære scenarier.

Tænker hurtigt og langsomt: Nobelprisvindende forskning i menneskelige erkendelsesfejl, mest i form af bias.

Superforecasting: Undersøgelse af, hvordan fejl i kognition kan dæmpes og våben til effektive prognoseteam.

Sådan måles noget i cybersikkerhedsrisiko: En god kilde til forsvar for prognoser som målemetode. Stærk debat, der fremmer målingens rolle i beslutningsprocessen.

Ryan McGeehan skriver om sikkerhed på Medium.