Masteroppgave (III): Tydeliggjøring av hva ulike evalueringsmetoder innebærer

– Vi håper at vår masteroppgave kan bidra til en tydeliggjøring av hva ulike evalueringsmetoder innebærer, og gjerne på en litt annen måte enn litteraturen før oss, sier masterstudentene Monica Benonisen og Marianne Strand ved Norges Handelshøyskole til Anbud365.I masteroppgaven sammenligner de ulike scoringregler som transformerer pris til poeng under evaluering av anbud, slik at man kan vurdere pris og kvalitet sammen som én score. De to håper på endring etter deres funn i oppgaven: At Sykehusinnkjøp kan gå i front for endring og at Digitaliseringsdirektoratet ser nærmere på hva de anbefaler.

Førsteamanuensis Malin Arve ved Norges Handelshøyskole (NHH) kan fortelle at en rekke masterstudenter i år har skrevet oppgave om anskaffelser. Et slikt tips er for godt til å la være å gripe begjærlig. Her er det snakk om rekruttering, og det er snakk om kompetanse på akademisk nivå. Begge deler avgjørende viktig for faget i tiden som kommer. Anbud365 skal derfor i noen artikler fremover presentere noen av studentene og deres oppgaver. Dette er den tredje artikkelen i serien, de to første sto hhv 9. og 10.juni.

Monica Benonisen og Marianne Strand var inspirert av en serie artikler om scoring og normalisering av score publisert i Anbud365 tidligere i år, f.eks. disse: https://anbud365.no/regelverk/en-bedre-evalueringsmodell/#_Hlk528572405 og
https://anbud365.no/regelverk/normalisering-kan-vilkarlig-endre-tildelingskriterienes-vekt/. Oppgaven bærer overskriften «How do different evaluation methods affect outcomes in procurement». Analysen er delvis motivert av diskusjoner som har vært publisert nettopp i anbud365.

Vi spør Monica og Marianne hva som gjorde at de valgte nettopp dette temaet.

– Utgangspunktet var at vi kom i kontakt med Sykehusinnkjøp som ønsket at noen skulle se nærmere på den nye evalueringsmodellen deres, kalt monetær modell. Da vi begynte å sette oss inn i litteratur om evalueringsmetoder, oppdaget vi imidlertid ganske raskt at det finnes et forbedringspotensial i de tradisjonelle evalueringsmetodene som benyttes mest i dag, både hos Sykehusinnkjøp og mer generelt. Vi ble etter hvert også av den oppfatning at det var flere ting som skurret i veiledningene som blir gitt på anskaffelser.no. Vi ble særlig overrasket over å se at Digitaliseringsdirektoratet kun anbefaler bruk av relative scoringregler ettersom dette er noe som litteraturen nærmest fraråder å bruke. I tillegg oppdaget vi tidlig at det var en pågående debatt om normalisering, som jo er et tilleggsproblem som bruken av relative regler har ført til. Vi ble dermed veldig engasjerte i å prøve å finne en måte å oppklare eventuelle misoppfatningene knyttet til scoringregler. Ønsket vårt er at vi med vår masteroppgave kan bidra til en tydeliggjøring av hva ulike evalueringsmetoder innebærer, og gjerne på en litt annen måte enn litteraturen før oss.

• Hvilke konklusjoner fra oppgaven vil dere trekke frem?

De to peker da på at ulike scoringregler har ulike egenskaper, noe som gjør at de vektlegger pris forskjellig relativt til kvalitet. – Det er nemlig slik at å belyse kjøpers preferanser, ikke bare handler om hvor høy prisscore tilbyderne får eller hvilken prosentvis vekt man gir pris og kvalitet til slutt, konstaterer de. Det handler vel så mye om at prisingsregelen i seg selv utgjør en form for vekting, og at forskjellen mellom tilbydernes prisscore derfor har noe å si for vektingen under evalueringen.

– Kanskje aller viktigst, vi er enige i at relativ normalisering fører til vilkårlige endringer i utfall/vinner av en anbudskonkurranse. Det fører også til at kvalitet vektes mer relativt til pris, i tillegg til at vektingen mellom kvalitetsdimensjoner også endres vilkårlig (ref. når tilbyderne tilbyr lik total kvalitet og pris). Vi har vist at denne effekten av normalisering særlig forekommer når tilbyderne tilbyr lav kvalitet, ifølge masterstudentene, som fortsetter:

– Man bør unngå relative scoringregler da disse verken reflekterer kjøperens preferanser eller bidrar til forutsigbarhet for tilbyder. Forutsigbarhet er jo et viktig vilkår i loven om offentlige anskaffelser, og vi ser derfor ikke hvordan bruken av relative regler slikt sett kan forsvares. Gitt at man bruker en relativ regel, vil en relativ normalisering gjøre vondt verre. Vi har vist at når man sammenligner en absolutt regel med en relativ regel, vil antall tilfeller hvor utfallet endrer seg mellom de to reglene, dobles hvis man utfører normalisering i tillegg til bruken av en relativ regel. Disse endringene har vi sett er vilkårlige og dermed uforutsigbare. Det er derfor god grunn til å stille spørsmål rundt lovligheten rundt dagens praksis.

• Hvilken betydning vil de håpe at deres oppgave kan få innenfor offentlige anskaffelser?

– Vi håper først og fremst at Digitaliseringsdirektoratet tar grep når det gjelder deres anbefalinger. I vår masteroppgave viser vi at en innkjøper ved å følge Digitaliseringsdirektoratets anbefalinger verken reflekterer sine preferanser eller gir en forutsigbar anbudskonkurranse. Både anbefalingen av relative regler og normalisering er derfor svært overraskende. Vi er redd store deler av innholdet på anskaffelser.no, er mer forvirrende enn rettledende. Så håper vi jo at Sykehusinnkjøp, som en stor aktør med mye kunnskap på dette området, kan gå i front for en slik endring.

Dypere forståelse

Førsteamanuensis Arve peker på at Monica og Marianne i oppgaven har laget algoritmer for å simulere utfall av anbudsevaluering og konstatert at de fort gir forskjellige utfall. De har også brukt avanserte statistiske analyser for å finne ut når forskjellige evalueringsmodeller gir forskjellige utfall. – Jeg har sett mange artikler og rapporter som viser et konkret eksempel hvor to evalueringsmodeller gir forskjellig utfall, fremholder hun, men Monica og Mariannes masteroppgave er det første forsøket jeg har sett som systematiserer dette for å få en dypere forståelse for hvor stort omfanget av forskjellig utfall er og når de forskjellige modellene gir forskjellige utfall.