DFØs reviderte veiledning må fraråde normalisering

Av partner Christian Bjørtuft Ellingsen og advokat Olav E. Haukeli, Advokatfirmaet Simonsen Vogt Wiig

Et innlegg vi skrev i mars i fjor, var startskuddet for en debatt om bruken av normalisering i anskaffelser. Etter at vi senere kommenterte KOFAs stornemndsavgjørelse tidligere i år, blusset diskusjonen opp på nytt. Anbud 365 skrev i august i år at DFØ har startet arbeidet med en revidert veiledning om evalueringsmodeller. Både leverandører og oppdragsgivere vil være tjent med at veiledningen revideres, slik at anbefalingen om å normalisere endres til en anbefaling om ikke å normalisere. Selv om temaet har vært debattert relativt inngående siden mars 2020, tillater vi oss å oppsummere debatten og gjøre et ytterligere forsøk på å forklare hvorfor DFØ må fraråde normalisering.

Normalisering er en rent matematisk øvelse som skjer etter at oppdragsgiver har gjort sin innkjøpsfaglige vurdering av tilbudene og på den bakgrunn gitt poengscore. Ved normalisering justeres poengscorene forholdsmessig opp slik at beste tilbud får høyeste poengscore på skalaen, f.eks. 10 poeng, på alle kriterier. Dersom tilbud A og B er gitt 5 og 4, oppjusteres poengsummene til 10 og 8.

Hvilke metoder det er fornuftig å benytte når man setter poengene, er et annet spørsmål. Vi går her ikke nærmere inn på hva som er “best” av absolutt og relativ poengsetting. Selv om denne debatten er viktig, og har visse fellestrekk med spørsmålet om normalisering, er den langt mer nyansert. Debatten om normalisering er, slik vi ser det, enkel.

Innleggene på Anbud365 har vist at det nå synes å være enighet, i hvert fall mellom de som har deltatt i debatten, om at man ikke bør normalisere der det er gitt poeng etter en absolutt skala, altså der hvor beste tilbud ikke automatisk skal tildeles høyeste poengscore på skalaen. Dette er en viktig presisering, og gjør alene at DFØ må endre anbefalingen i veilederen.

Uenigheten synes nå å knytte seg til konkurranser med poengsetting etter en relativ skala, altså der hvor beste tilbud tildeles høyeste poengscore på skalaen, f.eks. 10 poeng. I konkurranser uten underkriterier fremstår spørsmålet om normalisering som uproblematisk. Hvis oppdragsgiver har benyttet samme skala, f.eks. 0–10, vil beste tilbud tildeles 10 poeng. Hvis oppdragsgiver av en eller annen grunn har benyttet ulike skalaer, altså 0–5 på et kriterium og 0–10 på et annet kriterium, må selvsagt skalaene og poengene gjøres sammenlignbare. Dette er imidlertid ikke normalisering.

Den reelle uenighet

Den reelle uenigheten knytter seg derfor til tilfeller med relativ poengsetting hvor poengscore gis på underkriterier (eller under-underkriterier), men der summeringen av poengscoren på underkriteriene medfører at det beste tilbudet ikke får 10 poeng på det overordnede tildelingskriteriet.

Vi noterer at Alf Amund Gulsvik fortsatt mener, senest i innlegget publisert 16. august 2021, at man i et slikt tilfelle bør normalisere. Han skriver:

“De oppdragsgivere som poengsetter evalueringskrav relativt, og som normaliserer relativt for hvert tildelingskriterium, bør fortsette med det. I de fleste norske anskaffelser bør man dermed (fortsatt) normalisere.”

Dette standpunktet medfører altså at et tilfelle hvor det beste tilbudets samlede poengscore på et tildelingskriterium er 4 poeng, og de øvrige tilbyderes samlede poengscore er 2 poeng, så skal poengene økes til henholdsvis 10 poeng for beste tilbud og 5 poeng for de øvrige tilbyderne, slik at poengforskjellen øker fra 2 til 5 poeng. Hvorfor skal små poengforskjeller lavt på skalaen få langt større vekt enn like poengforskjeller høyt på skalaen? Tanken må formodentlig være at den opprinnelige poengforskjellen på 2 poeng, som er et resultat av oppdragsgivers innkjøpsfaglige vurderinger av tilbudene, ikke gir riktig uttrykk for forskjellene mellom tilbudene.

Gulsvik synes å begrunne sitt standpunkt i at det er den forholdsmessige differansen mellom tilbudene som gir uttrykk for kvalitetsforskjellene. Det kan gjerne tenkes å være tilfellet, men det forklarer fortsatt ikke hvorfor man skal gjøre den matematiske øvelsen som normalisering er. Overskriften i Trygstads innlegg i debatten er således treffende: Hvorfor normalisere når man kan la være?

Den forholdsmessige differansen er nemlig den samme før og etter normalisering. 4 poeng er dobbelt så mye som 2 poeng, og 10 poeng er dobbelt så mye som 5 poeng. Det som endres ved normaliseringen, er den poengmessige differansen. Dette er viktig fordi det er den poengmessige differansen som blir utslagsgivende når man legger de ulike poengscorene på tildelingskriteriene sammen. Med andre ord: man legger sammen poengene, ikke forskjellene i prosent.

Vårt poeng er derfor at selv om man mener at det ene tilbudet er dobbelt så bra som det andre, forklarer ikke det hvorfor man skal øke poengdifferansen mellom tilbudene, slik at utfallet av konkurransen potensielt blir et annet.

Hvis man ikke tenker seg om, er det fort gjort å tro at poengene 10 og 9 på et kriterium gjør at kriteriet får større vekt enn et kriterium hvor det er gitt poengene 2 og 1. Det er imidlertid ikke riktig. Når man beregner den endelige poengsummen til slutt, er det bare poengdifferansen som er avgjørende – ikke hvor på poengskalaen man befinner seg. Så lenge differansen er ett poeng på begge kriteriene, vil ikke det ene kriteriet få større vekt enn det andre. Dette påviste vi ved hjelp av et eksempel i en tidligere artikkel om samme tema.

Iboende vilkårlig effekt

I Gulsviks eksempel i artikkelen fra 3. august 2021 skriver han at poengscorene 8,3 og 6,3 medfører at det siste tilbudet er 24 % dårligere enn det andre. Det er vi enige i. Oppdragsgivers poenggivning viser både at det er to poeng som skiller tilbudene og at det ene tilbudet er 24 % dårligere enn det andre. Gulsvik skriver imidlertid også:

“Dersom pris poengsettes ved at beste tilbud gis 10 poeng og et tilbud som er 24 % dyrere får 7,6 poeng, så blir det også riktig at et tilbud som er 24 % dårligere på kvalitet enn beste tilbud får 7,6 poeng på kvalitet.”

Det er her det blir feil. Det er ingen grunn til at man skal oppjustere poengene. Forskjellen på 24 % er der uansett, uavhengig av normaliseringen. Gulsvik begrunner ikke hvorfor det i en slik situasjon er “riktig” at poengforskjellen skal økes, utover å peke på prosentforskjellen. Den eneste forklaringen vi kan tenke oss, er at oppdragsgiver skulle mene at den opprinnelige poenggivningen, altså 2 poeng differanse og 24 % dårligere, ikke gir uttrykk for den innkjøpsfaglige vurderingen. Men i så fall er det jo den opprinnelige poenggivningen som er beheftet med feil. Denne feilen kan ikke korrigeres ved hjelp av en oppjustering som kun har effekten at poengforskjellene øker, slik at vekten av kvalitet også indirekte øker.

Den iboende vilkårlige effekten av normalisering vises enda klarere ved at den endelige poengdifferansen mellom to tilbud blir større eller mindre avhengig av om et tredje tilbud har bedre score på det samme kriteriet. Hvis vi tenker oss et tilfelle hvor tilbyderne har følgende samlede score på et kriterium A: 5, B: 4, C: 3 og D: 3, og hvor konkurransen i realiteten står mellom tilbyder B og C som følge av hvordan disse scores på de andre tildelingskriteriene. Her vil poengdifferansen mellom tilbyder B og C være 1 poeng basert på oppdragsgivers skjønnsmessige evalueringen av underkriteriene. Dersom det skal normaliseres, vil poengdifferansen som nevnt økes, men økningens og dermed differansens størrelse vil avhenge av om et tredje tilbud har bedre score på kriteriet, altså i ovennevnte tilfelle om tilbyder A er med i konkurransen eller ikke. Normalisering dersom A er med i konkurransen gir følgende normalisert resultatscore A: 10, B: 8, C: 6 og D: 6, og en poengdifferanse mellom B og C på 2 poeng. Dersom A ikke er med i konkurransen, vil normalisering gi følgende resultatscore: B: 10, C: 7,5 og D: 7,5, med en poengdifferanse mellom tilbyder B og C på 2,5 poeng. Hvorfor skal det tillegges vekt i evalueringen om et tredje tilbud er bedre, når man enkelt kan unngå denne vilkårligheten ved å ikke normalisere?

Så lenge man holder fast ved det viktige utgangspunktet at det er poengdifferansen som er avgjørende, og at ett poeng er ett poeng uansett hvor man er på poengskalaen, ser man samtidig at det verken er behov for eller fornuftig å normalisere.

Når DFØ skal publisere den oppdaterte veiledningen på sine nettsider, er det avgjørende at vi ikke på nytt får en oppfordring om å normalisere. Vi kan heller ikke få noen uttalelser i retning av at normalisering kan være riktig. Normalisering må frarådes på generelt grunnlag, og DFØ må få tydelig frem at det som den klare hovedregel ikke er fornuftig å normalisere.