Normalisering – kommunikasjon av vekten til tildelingskriterier

Av Alf Amund Gulsvik, assosiert partner, Kluge Advokatfirma

Kristian Trygstad skrev 11. august 2021 en artikkel her i Anbud365 om evalueringsmetoder ved offentlige anskaffelser. Artikkelen var utløst av min artikkel 3. august hvor jeg forsøkte å trenge litt mer inn ved hvilke poengsettingsmetoder man bør normalisere og ikke normalisere. Jeg mente der at dersom man benytter en poengsettingsmetode hvor man poengsetter evalueringskrav/underkriterier relativt så vil det gi mest korrekt uttrykk for vektingen av tildelingskriteriene dersom man normaliserer relativt. Dersom man har poengsatt absolutt bør man ikke normalisere relativt.

Jeg forstår at Trygstad i sin artikkel er opptatt av to forhold. For det første peker han på at relative metoder for å poengsette pris og kvalitet har svakheter. Han anbefaler absolutte metoder eller kanskje helst å prissette kvalitet. I forlengelsen av dette oppfatter jeg ham slik at han mener at relativ normalisering ved relativ poengsetting potensielt forsterker en svakhet ved relativ poengsetting, og derfor ikke er å anbefale.

Relativ og absolutt poengsetting

Som jeg uttrykte i min artikkel om man bør normalisere: «Om det er hensiktsmessig å evaluere ved å poengsette med utgangspunkt i laveste pris og beste tilbud er også en annen diskusjon [enn om man skal normalisere]».

Jeg er enig med Trygstad i at ved mange anskaffelser kan oppdragsgiver med fordel benytte metoden hvor man prissetter kvalitet. Jeg er også enig i at det er anskaffelser hvor det kan egne seg med absolutt poengsetting av kvalitet og absolutt poengsetting av pris. Som Trygstad skriver er det svært positivt at man får en debatt om evalueringsmetoder.

Mye av kritikken mot relative poengsettingsmetoder fra økonomene synes jeg imidlertid blir noe akademisk teoretisk. Trygstad viser til Lunander 2008 «En logisk fälla». Lunander peker der på en logisk svakhet ved relativ poengsetting er at styrkeforholdet mellom to reelt aktuelle tilbud (med høy kvalitet og middels pris) kan bli påvirket av et «irrelevant» tilbud som ikke kan nå opp (eksempelvis med svært lav pris og svært lav score på kvalitet). Når Lunander gjennomfører en empirisk studie for å teste om dette faktisk er en utfordring (som han med egne ord gjør for å teste om det er «ett alltför akademiskt problem utan praktisk relevans»), konkluderer han med at det bare var for en håndfull av alle de undersøkte anskaffelsene at det var en statistisk mulighet for at den logiske svakheten teoretisk sett kunne ha virket inn på resultatet.

Det er godt utgangspunkt å velge en evalueringsmodell som ikke har logiske svakheter. Alle evalueringsmodeller har imidlertid svakheter som gjør at de ved visse kombinasjoner av tilbud, innkjøpsfaglig ikke er egnet, og rettslig sett gir avlysningsplikt.

Man bør velge evalueringsmodell ut fra hva som mest sannsynlig vil gi en innkjøpsfaglig god evaluering for den aktuelle anskaffelsen, og rettslig trygg evaluering, og ikke ut fra teoretisk logiske svakheter som det er liten sannsynlighet for at skal inntre. Absolutte poengsettingsmetoder innebærer etter min erfaring i mange anskaffelser en større faktisk risiko for at de ikke er egnet, fordi man på grunn av ikke tilstrekkelig kunnskap om markedet får inn tilbud som ligger utenfor det man forventet.

Absolutt poengsetting stiller større krav til oppdragsgiver. Relativ poengsetting må ikke bli en bevisstløs sovepute, men man må samtidig ha respekt for at absolutt poengsetting, med mindre man har planlagt anskaffelsen tilstrekkelig godt kan se bedre ut på skrivebordet før kunngjøring enn etter at man mottar tilbudene og skal poengsette.

Normalisering

Gitt at man skal poengsette relativt ved å gi beste score på hvert evalueringskrav/underkriterium til beste besvarelse og så gi trekk til de andre, så er spørsmålet om man i den situasjon bør normalisere relativt.

I mitt eksempel som Trygstad har bygget videre på er det to tildelingskriterier pris og kvalitet som begge er vektet 50 %. Oppdragsgiver har kommunisert at pris og kvalitet skal telle likt. Oppdragsgiver har ikke sagt at kvalitet skal telle 50 % bare dersom beste tilbyder får høyeste score på alle evalueringskravene, men at kvalitet ellers skal telle mindre, men hvor mye mindre vil avhenge av tilbudene som kommer inn.

Trygstad argumenterer for en poengsettingsmodell hvor kvalitet skal ha synkende vekt i forhold til pris jo lavere merkvalitet det beste tilbudet tilbyr. Dersom beste tilbud har høy score på kvalitet (høy score på mange evalueringskrav) så teller kvalitet mer i forhold til pris enn om det beste tilbudet på kvalitet har lav score på kvalitet (tilbyderne er best på ulike evalueringskrav).

Etter min forståelse betyr det at man reelt sett poengsetter absolutt. Siden Trygstad anbefaler absolutt poengsetting er det forståelig at Trygstad ønsker å gjøre relativ poengsetting til å bli mest mulig absolutt poengsetting. Hvis man har sagt at man skal poengsette relativt, så må man imidlertid gjøre det. Vekten til kvalitet bør ikke da avhenge av hvor mange evalueringskrav/underkriterier man har, og om forskjellige tilbydere er best på de ulike evalueringskravene.

Hovedinnvendingen fra Trygstad er at ved normalisering i en anskaffelse hvor beste tilbud får en samlet lav score på kvalitet (fordi tilbyderne er best på ulike evalueringskrav), så vil normalisering innebære en for høy betalingsvillighet for kvalitet. Trygstads bekymring er at dersom begge tilbudene er gode, men med en i mitt eksempel 24 % kvalitetsforskjell, så er det en større kvalitetsforskjell i absolutt målestokk, enn om begge tilbudene er dårlige, men fortsatt med en 24 % kvalitetsforskjell. Det blir da feil at betalingsvilligheten i absolutt målestokk skal være den samme for å få 24 % bedre kvalitet.

I Trygstads eksempel holdes imidlertid prisen konstant på tilbudene i situasjonen med høy kvalitet på begge tilbudene og lav kvalitet på begge tilbudene. Fordelen med å poengsette relativt er at man sammenligner de innkomne tilbudene med utgangspunkt i hvordan de er. Betalingsvilligheten per kvalitetspoeng settes ut fra det laveste tilbudet som kommer inn. Hvis både tilbud A og tilbud B har lav kvalitet, så vil det praktisk sett i de aller fleste tilfeller også innebære at tilbud B har lav pris.

I Trygstad eksempel var prisen på laveste tilbud 10 000 000 både der laveste tilbud hadde lav kvalitet og der det hadde betydelig høyere kvalitet. Betalingsvilligheten er da 1 000 000 per kvalitetspoeng.

Hvis laveste pris gitt de to tilbudene som begge har lavere kvalitet er 6 600 000, og ikke 10 000 000, så vil betalingsvilligheten per kvalitetspoeng være 660 000 og ikke 1 000 000. Den totale betalingsvilligheten for kvalitet, gitt en poengforskjell på 4,3 poeng etter normalisering, er da fortsatt ca 2 830 000, som Trygstad litt tilfeldig valgt har lagt til grunn som den riktige betalingsvilligheten. Hvis man ikke normaliserer får man en betalingsvillighet på bare 1 867 000, som Trygstad mener at er for lav.

Ved relativ poengsetting av både pris og kvalitet fungerer poengsettingsmodellen som selvregulerende ved at den tilpasser betalingsvilligheten for kvalitet opp mot laveste pris.

Trygstad tar masteroppgaven til Benoninsen & Strand til inntekt for at man ikke bør normalisere relativt etter å ha poengsatt relativt på kvalitet. Oppgaven deres, som er tilgjengelig på nettsidene til NHH, anbefales til alle som har interesse i evalueringsmodeller og jeg hadde stor glede av å holde innlegg på et webinar i fjor høst hvor Benoninsen innledet om oppgaven. Benoninsen & Strand er imidlertid tydelig på at de i kapittel 6.3 Implications of normalisation drøfter om man bør foreta relativ normalisering etter å ha poengsatt absolutt. Sitatet Trygstad gjengir om at «gitt at man bruker en relativ regel, vil en relativ normalisering gjøre vondt verre» knytter seg til deres teoretiske funn om at dersom man poengsetter pris relativt, og kvalitet absolutt, så bør man ikke normalisere relativt på kvalitet. Dette er alle enige om at man ikke bør gjøre. Hvis jeg forstår oppgaven til Benoninsen & Strand riktig synes de også å holde laveste pris konstant og ikke ta høyde for den selvregulerende effekten av relativ poengsetting ved at lavere kvalitet praktisk sett innebærer lavere pris. Om man bør normalisere der det er poengsatt relativt på evalueringskrav/underkriterier med den konsekvens at ingen oppnår full score på kvalitet, fremgår det motsetningsvis av oppgavens kapittel 7.1 Conclusion, at er en problemstilling de ikke har vært kjent med.