Av advokat/partner Kristian Jåtog Trygstad, Advokatfirmaet Føyen Torkildsen AS
Difi presenterte nylig verktøy for tilbudsevaluering ved anskaffelser av bygg- og anleggsoppdrag og transportoppdrag. Tilbudsevaluering er vanskelig, og det er bra at Difi ønsker å veilede oppdragsgiverne på dette området. De anbefalte verktøyene har imidlertid svakheter som oppdragsgivere bør være klar over, fordi bruk av verktøyene kan føre til at det beste tilbudet ikke vinner konkurransen.
Difis anbefalte verktøy for tilbudsevaluering
Offentlige anskaffelser avsluttes ved at oppdragsgiver tildeler kontrakt til tilbudet med det beste forholdet mellom pris eller kostnad og kvalitet. Hvis ett tilbud har den laveste prisen og den beste kvaliteten, gir utfallet seg selv. Som regel er imidlertid oppdragsgiver nødt til å vurdere tilbud med lav pris opp mot tilbud med noe høyere pris og bedre kvalitet. Da må man finne en metode for å sammenligne tilbudenes styrker og svakheter.
Det er opp til oppdragsgiver å finne den metoden som er best egnet i den aktuelle anskaffelsen.[1] Difi anbefaler at tilbudene gis poeng ut fra hvor godt de oppfyller hvert av tildelingskriteriene, mens tilbudet med høyest samlet poengsum vinner konkurransen.
Det finnes mange måter å beregne poeng på. Difi har – på generelt grunnlag – valgt å anbefale såkalte relative metoder.[2] Disse metodene kjennetegnes ved at det beste tilbudet i bedømmelsen av et tildelingskriterium får maksimal poengsum på tildelingskriteriet, typisk 10 poeng, uavhengig av hvor godt tilbudet egentlig møter oppdragsgivers preferanser og behov.
Uttellingen skal gjenspeile relevante forskjeller mellom tilbudene
Når oppdragsgiver evaluerer tilbudene ved å holde poengscoren på hvert kriterium opp mot hverandre, sammenlignes ikke tilbudenes styrker og svakheter direkte. Sammenligningen skjer isteden indirekte, ved at et forsprang som ett tilbud får på priskriteriet som følge av lav pris, kan utlignes ved forsprang som et tilbud med bedre kvalitet får på kvalitetskriteriet. Hvis Tilbud A for eksempel får 1 (vektet) poengs forsprang på Tilbud B i bedømmelsen av priskriteriet, vil Tilbud B vinne konkurransen hvis det får 1,5 poengs (vektet) forsprang på Tilbud A i bedømmelsen av kvalitetskriteriet.
Ideelt sett skal bruk av evalueringsmetoder gi det samme utfallet som når de konkurrerende tilbudenes sterke og svake sider holdes direkte opp mot hverandre. I eksemplet foran vil i så fall Tilbud B vinne konkurransen fordi den gode kvaliteten mer enn oppveier for den høyere prisen.
For å sikre en riktig sammenligning av pris og kvalitet må oppdragsgiver sikre at det er samsvar mellom uttellingen på tildelingskriteriene. Det kronebeløpet som tilsvarer 1 poengs (vektet) forsprang på priskriteriet må altså svare til hva oppdragsgiver mener det er riktig å betale for den kvaliteten som gir 1 poengs (vektet) forsprang på kvalitetskriteriet.
Dette kan og bør oppdragsgiver styre. Som jeg kommer tilbake til nedenfor, mister imidlertid oppdragsgiver denne muligheten hvis Difis verktøy benyttes. Difis verktøy skaper derfor en unødvendig risiko for at poengene som beregnes, gir andre utslag enn oppdragsgivers reelle betalingsvillighet for kvalitetsforbedringer.
Difi har vist til at verktøyene er brukt med hell, men de evalueringsmetodene verktøyene bygger på, har svakheter som oppdragsgivere bør være kjent med. Når poengberegningsmetoder brukes til å sammenligne tilbud, er det rådende synspunktet i økonomisk teori at man isteden bør bruke såkalte absolutte metoder,[3] hvor maksimal poengsum reserveres til tilbud som er like gode som et tenkt idealtilbud.
Nedenfor viser jeg noen eksempler på hvordan bruk av relative metoder kan føre til at feil tilbud vinner konkurransen. Dette er en spisset kortversjon av den tilsvarende gjennomgangen i Tildeling av offentlige kontrakter. Gjennomgangen tar utgangspunkt i den av de lineære metodene som Difi har brukt som utgangspunkt. I verktøyet åpner Difi også for at oppdragsgiver kan velge å bruke en forholdsmessig metode. Bruk av forholdsmessige metoder gir flere uheldige utslag som oppdragsgiver må være kjent med.
Difis metode for beregning av poeng på priskriteriet
Metoden som brukes for å beregne poeng på priskriteriet, skal sikre at 1 poeng tilsvarer et kronebeløp som gir et godt grunnlag for å sammenligne pris og kvalitet.
Difi anbefaler at tilbudet med lavest pris får full uttelling, mens de øvrige tilbudenes uttelling reduseres, avhengig av hvor mye dyrere de er enn tilbudet med lavest pris. Slike metoder bygger på en forutsetning om at den laveste tilbudsprisen alltid er lik markedets beste pris, slik at den er en egnet referansepris. Det er imidlertid ikke noen nødvendig sammenheng mellom den laveste tilbudsprisen i konkurransen og den beste prisen oppdragsgiver kunne ha fått. I praksis er det derimot relativt vanlig at den laveste tilbudsprisen avviker fra markedets beste pris, og det kan være flere grunner til det.
Hvis den laveste tilbudsprisen avviker fra markedets beste pris, vil tilfeldigheter kunne påvirke uttellingen på priskriteriet. Enkle eksempler fra en konkurranse om kjøp av én PC, viser hvordan dette kan få betydning for oppdragsgivers valg av tilbud.[4] Først ser vi på et utslag i en konkurranse hvor pris og kvalitet er vektet 50 prosent hver, og hvor lavest pris er 4000 kroner:
| Tilbud | Kvalitetspoeng | Pris | Prispoeng | Sum |
| Tilbud A | 2,00 | 4000 kr | 10,00 | 12,00 |
| Tilbud B | 6,50 | 5320 kr | 6,70 | 13,20 |
| Tilbud C | 8,00 | 6000 kr | 5,00 | 13,00 |
Tilbud A har lavest pris og får 10 poeng, mens poengscoren reduseres med 1 poeng ved 10 prosent høyere pris. Det betyr at 1 poeng på priskriteriet tilsvarer 400 kroner.
Vi ser at Tilbud B og C som konkurrerer om å være tilbudet med best kombinasjon av pris og kvalitet, mens Tilbud A har for lav kvalitet til å være aktuelt. I dette eksemplet vinner Tilbud B med 13,2 poeng. Det er fordi Tilbud Bs forsprang på priskriteriet mer enn oppveier Tilbud Cs forsprang på kvalitetskriteriet. Hvis metodene gir riktige utslag, skal det være en konsekvens av at oppdragsgiver ikke er villig til å betale den prisen som er beregnet for kvalitetsforbedringene i Tilbud C.
La oss nå se hva som skjer hvis Tilbud A, som uansett ikke er i posisjon til å vinne konkurransen, øker prisen til 4600 kroner:
| Tilbud | Kvalitetspoeng | Pris | Prispoeng | Sum |
| Tilbud A | 2,00 | 4600 kr | 10,00 | 12,00 |
| Tilbud B | 6,50 | 5320 kr | 8,40 | 14,90 |
| Tilbud C | 8,00 | 6000 kr | 7,00 | 15,00 |
Rangeringen av tilbudene på priskriteriet er uendret, og Tilbud A får fortsatt 10 poeng. De andre tilbudenes uttelling på priskriteriet er derimot endret, og det får avgjørende betydning for utfallet av konkurransen. Som det fremgår av tabellen, har endringen av Tilbud As tilbudspris ført til at det er Tilbud C som er det beste tilbudet i konkurransen. Dette er en direkte konsekvens av at kronebeløpet som tilsvarer 1 prispoeng nå har økt til 460 kroner. En endring av Tilbud As pris førte altså til at oppdragsgiver de facto er villig til å betale mer for kvalitetsforbedringen i Tilbud C.
Det er ulogisk at Tilbud As pris skal få avgjørende betydning for om Tilbud B eller Tilbud C vinner konkurransen. Tvert imot ville det ha vært naturlig at det valget ble gjort ved å holde Tilbud Bs lavere pris opp mot Tilbud Cs bedre kvalitet.
Difi nevner denne risikoen for tilfeldige utslag, men etter min mening er betydningen underkommunisert. I økonomisk teori mener man at denne svakheten gjør at de relative metodene bør brukes med forsiktighet. Det bør oppdragsgivere ha et bevisst forhold til, og det kan tas til inntekt for at Difis anbefalte metoder bare bør brukes hvis de anses egnet etter en konkret vurdering. Selv om risikoen for tilfeldige og uhensiktsmessige utslag er størst når tilbudet med lavest pris ikke er blant de beste, vil de samme utfordringene også kunne gjøre seg gjeldende når tilbudet med lavest pris er et konkurransedyktig alternativ.
Difi skriver at det ikke er mulig å eliminere denne risikoen for tilfeldige utslag. Det er riktig så lenge oppdragsgiver velger å bruke relative metoder. Det finnes imidlertid en rekke andre metoder for å evaluere tilbudene hvor denne risikoen er eliminert. Velger oppdragsgiver evalueringsmetoder hvor betalingsvilligheten for kvalitetsforbedringer er konstant og bestemt av oppdragsgiver selv, unngår man å åpne for at slike tilfeldigheter avgjør konkurransen.
Difis metode for beregning av poeng på kvalitetskriterier
Difi anbefaler også relative metoder i vurderingen av kvalitetskriterier, slik at maksimal poengscore gis til tilbudet med best kvalitet, uavhengig av om oppdragsgivers behov kunne ha vært møtt på en bedre måte. På samme måte som for priskriteriet åpner denne fremgangsmåten for at tilfeldigheter avgjør konkurransen.
Et problem er at alle poengene skal fordeles, uavhengig av hvor godt det beste tilbudet er, og uavhengig av hvor store kvalitetsforskjeller det er mellom tilbudene. Hvis tilbudet med best kvalitet bare er middels godt, men likevel skal gis 10 poeng, vil det bli mange kvalitetspoeng å fordele på små kvalitetsforskjeller. Det har i og for seg ikke noe å si for bedømmelsen av kvalitetskriteriet isolert sett, siden rangeringen av tilbudene blir den samme. Risikoen er derimot at poengforskjellene ikke svarer til kvalitetsforskjellenes betydning for oppdragsgiver. Det kan ødelegge for sammenligningen av prispoeng og kvalitetspoeng, og det kan føre til at feil tilbud vinner konkurransen. Det er en av grunnene til at man i økonomisk teori også fraråder at tilbudet med best kvalitet brukes som målestokk.[5]
Hvis kvalitetskriterier deles opp i delvurderinger (underkriterier) som bedømmes hver for seg, kan det skje at tilbudet som samlet sett får flest poeng på kvalitetskriteriet, likevel ikke får 10 poeng til sammen. Da legger Difi opp til en «normalisering», hvor alle tilbudenes kvalitetspoeng oppjusteres for å sikre at tilbudet med best kvalitet får 10 poeng. I følge Difi er dette nødvendig for å beholde tildelingskriterienes vekt.
Det foreligger noen enkeltstående, eldre, avgjørelser fra Klagenemnda for offentlige anskaffelser hvor nemnda har ment at tildelingskriterienes vekt endres irregulært hvis tilbudet som er best på ett tildelingskriterium får 10 poeng, mens tilbudet som er best på et annet kriterium ikke får maksimal uttelling på det kriteriet. Dette standpunktet var imidlertid ikke begrunnet.
I den danske veilederen om evalueringsmetoder er det uten videre lagt til grunn at dette ikke er nødvendig, og at ulike evalueringsmetoder kan kombineres. I økonomisk teori er heller ikke dette ansett ulovlig eller problematisk. I senere praksis fra Klagenemnda har nemnda heller ikke ment at slike utfall i seg selv endrer tildelingskriterienes vekt.[6] Nemnda har derimot lagt til grunn at det avgjørende er om metodene gir egnede og synkroniserte utslag, altså om fortrinn på ett kriterium gis like god uttelling som tilsvarende styrker på et annet kriterium. I sak LB-2010-68992 forsto lagmannsrettens flertall regelverket på samme måte.
Difi har ikke begrunnet standpunktet sitt, og det er vanskelig å vite hvorfor Difi mener at en «normalisering» er nødvendig for å hindre at tildelingskriterienes vekt endres. Et enkelt eksempel kan imidlertid vise hvordan oppdragsgiver tvert imot risikerer å endre tildelingskriterienes vekt når tilbudene normaliseres. I tabellen nedenfor har oppdragsgiver gitt 8 poeng til det beste tilbudet i den opprinnelige kvalitetsvurderingen. Hvis oppdragsgiver da skal «normalisere» tilbudene, kan det gjøres på to måter; en oppjustering med like mange poeng (1) eller en forholdsmessig oppjustering (2):
|
Kvalitet Opprinnelig |
Kvalitet Oppjustert 1 |
Kvalitet Oppjustert 2 |
|
| Tilbud A | 8,0 | 10,0 | 10,0 |
| Tilbud B | 6,0 | 8,0 | 7,5 |
Måten oppdragsgiver oppjusterer poengene på, påvirker altså poengdifferansen mellom tilbudene. Oppjusteres tilbudene med like mange poeng, skiller det fortsatt 2 poeng mellom tilbudene etter «normaliseringen». Oppjusteres tilbudene forholdsmessig, skiller det derimot 2,5 poeng etter «normaliseringen».
Dette er en konsekvens som oppdragsgiver må ha et bevisst forhold til for å sikre at tilbudene gis riktig poengscore på kvalitetskriteriet. Ellers kan «normaliseringen» få avgjørende betydning for utfallet av konkurransen, og det kan være vanskelig å forsvare.
Disse utfordringene kan unngås
Tilbudsevaluering kan være vanskelig fordi oppdragsgiver må finne en egnet måte å sammenligne tilbudene på. Bruk av poengsystemer i evalueringen kan gjøre det utfordrende å forstå uheldige utslag, og oppdragsgiver risikerer å være lykkelig uvitende om at man velger et annet tilbud enn det beste.[7]
Selv om oppdragsgiver ikke bruker optimale evalueringsmetoder, kan det være at det beste tilbudet vinner konkurransen. Poengberegningsmetodene som Difi har anbefalt, ser imidlertid ut til å utsette oppdragsgivere for unødvendig risiko for å velge et annet tilbud enn det beste. Det er også en risiko for at de anbefalte metodene vil gjøre det lettere eller vanskeligere å få uttelling for lav pris eller høy kvalitet, slik at tildelingskriterienes vekt endres på en ulovlig måte.[8] Oppdager oppdragsgiver dette under tilbudsevalueringen, kan det være for sent. Det er begrensede muligheter for å ombestemme seg underveis, hvis man ser at metoden gir feil utslag i bedømmelsen av tilbudene som har kommet inn.
Oppdragsgivere kan redusere og kanskje også unngå denne risikoen ved å bruke andre verktøy i evalueringen. Oppdragsgivere som synes det er vanskelig å finne riktig metode for å beregne poeng på priskriteriet, kan for eksempel slippe dette problemet helt ved å bruke pris som sammenligningsgrunnlag istedenfor poeng. Tilbudsprisen inngår da direkte i evalueringen, og den justeres opp eller ned som følge av kvalitative styrker og svakheter ved tilbudene. Tilbudet med den laveste justerte evalueringsprisen vinner konkurransen. Det er slike metoder som anbefales i økonomisk teori, først og fremst fordi prisen er en målbar del av tilbudene som gir et mer presist og oversiktlig sammenligningsgrunnlag.
[1] Dette er blant annet slått fast av EU-domstolen i sak C-6/15.
[2] Slike metoder omtales gjerne også som endogene metoder.
[3] Slike metoder omtales gjerne også som eksogene metoder.
[4] Dette eksemplet er valg for å synliggjøre poengene ved evalueringen. Selv om dette eksemplet gjelder kjøp av en PC, har prinsippene fullt ut overføringsverdi til Difis verktøy for bygge- og anleggsanskaffelser og transportanskaffelser.
[5] Se for eksempel rapporten En logisk fälla – relativ poängsättning av pris vid anbudsutvärdering i offentlig upphandling
[6] Se for eksempel sak 2008/204, sak 2013/31, sak 2015/60 og sak 2016/179.
[7] Det er blant annet er påpekt i den svenske Upphandlingsutredningen, se SOU 2013:12 side 153
[8] Se for eksempel EU-domstolens avgjørelse i sak C-6/15.
Jeg vil først understreke at jeg ikke liker eller anvender relativemodeller selv. Jeg bruker i stedet modeller avledet av ROI metoden som bygger på andre grunnprisipper. Mitt valg om å bruke egenutviklet metodik er delvis på bakgrunn av de samme sakhetene som Føyen Torkilsen presenterer, samt noen til som ikke er med i artikkelen. Artikkelen går nok likevell i fellen som mange identiske tidligere artikler om samme tema, med å ensidig kritisere et tilnærming og samtidig ukritisk presentere alternative løsninger uten å se på svakhetene i disse. Absolutte metoder har i noen områder de samme sakhetene som relative metoder og andre områder andre svakheter som er like problematiske, disse er i tilegg dårlig utredet og forstått. Det er sågar slik at minst en absolutte metode, som er allminnelig i bruk, egentlig er en reversert regnet relativ metode. Gleder meg til at KOFA får en slik saken til behandling. Kistian har nok i tilegg ikke sett nøye nok på verktøyet som faktisk inneholder egen utregning for verdien av kvalitespoeng.
At relative modeller har svakheter er et faktum som har vært kjent i svært mange år. Den eldste artikkelen jeg kjenner om temaet er rundt 40 år gammel og tar opp akkurat de samme temaene som Kristian gjør, lenge før dette ble juridisk behandlet. Selv om det har vært kjent så lenge, er relative modeller de mest brukte i offentlig anskaffelse og de har mange sterke sider. De er eksempelvis forutberegnlige og etterprøvbare og godt kjent av både oppdragsgiver og tilbyder. De er derfor en godt egnet platform for å presentere og fremme bruken av miljøkriterier, som egentlig er Difi sitt formål. Det hadde vell vært mye mere treffende å skrive en artikkel om miljø i anskaffelse enn å ta opp en gammel diskusjon på relative modeller. Siden jeg er skeptisk til relative modeller, har jeg studert dette problemet nøye fra et samfunnsvitenskapelig og teknisk/økonomisk perspektiv for å forst hva problemet egentlig er. Konklusjonen er at problemet er reelt, men at det oppstår sjelden under et veldig spesifikt sett av forutsetninger. Som er lett å identifisere og kontrolleres for. Samtidig som det er lett å forebygge mot, og på en forutberegnelig måte ved å tilføye en setning i konkurransegrunnlaget. En av flere løsninger ligger i at relative modeller gir riktig rang og riktig relative forskjell mellom tilbud hvis du sammenligner kun to tilbud mot hverandre, uten å se på de andre. Det som derfor kan gjøres er å fullføre en ordinær relativ evaluering, og deretter slette alle tilbud untatt de to beste fra modellen. Hvis rangen på de to gjenværende tilbudene ikke endrer seg er tildelingsresultatet korrekt. Hvis dette beskrives i konkuransegrunnlaget er det også forutberegnelig, og hele problemet er borte. Det finnes minst tre ulike tilnærminger til relative modeller som garantert gir riktig resultat og som kan gjøres helautomatisk i KGV verktøyet. Så selv om jeg ikke bruker relative metoder selv, vil jeg oppfordre Føyen Torkilsen og andre til å se på hvordan relative modeller kan brukes trygt å riktig. I stedet for å kaste inn modeller som er like svake og i tillegg mangelfullt forstått.
Takk for innspillet!
Jeg skrev innspillet fordi Difi har valgt å anbefale relative metoder, selv om disse har svakheter. Selv om disse svakhetene har vært kjent lenge, har Difi valgt å se bort fra dem, og det har vært forholdsvis lite fokus på disse svakhetene i dialogen de siste årene. Min erfaring er derfor at svært mange innkjøpere ikke er godt nok kjent med svakhetene til å kunne ta dem i betraktning på en god nok måte.
Du tar forsåvidt ikke opp noe nytt når du nevner at også de absolutte modellene har svakheter, og jeg har litt vanskelig for å se at teksten min kan leses slik du har lest den. De metodene jeg anbefaler, er de hvor man prissetter kvalitetsforskjeller istedenfor å basere vurderingene på poeng. Heller ikke disse metodene er uten utfordringer, men de reduserer innslaget av tilfeldigheter betraktelig, og de er enklere å bruke for innkjøperne.
Jeg er ikke enig i konklusjonene dine omkring bruk av relative metoder, og det at vi er faglig uenige her er vel i seg selv nok til at dette temaet fortjener å debatteres, på lik linje med andre viktige temaer som ivaretakelse av miljø ved offentlige anskaffelser?