År 2021 har EIC Accelerator blended financing (tidigare SME Instrument Fas 2, bidrag och eget kapital) avslutat sitt första år under det nya ansökningsramverket (läs: Ansökningsprocess). Med 2 cut-offs 2021 (juni och oktober), presenterade den en brant inlärningskurva för små och medelstora företag (SME), professionella författare och European Innovation Council (EIC).
En ny onlineprocess för EIC Accelerator-ansökningar rullades ut och den förbättrades kontinuerligt parallellt med de första bidragsansökningarna, vilket innebar unika utmaningar för hur EIC och konsulter kommunicerade med potentiella sökande.
Deadlines flyttades, läckt information var mer tillförlitlig än officiella EIC-pressmeddelanden och kommentarerna från utvärderarna ledde till viss kontrovers. Även om mer öppenhet generellt sett är ett positivt steg, särskilt för en offentlig institution som finansieras genom medborgarnas skatter, kan det slå tillbaka om det avslöjar betydande inkonsekvenser.
Den här artikeln syftar till att utforska några av dessa inkonsekvenser.
Ansökningsstegen
European Innovation Council och SME:s verkställande organ (EISMEA), Europeiska kommissionen (EC) och EIC har kommit fram till en ny ansökningsprocess som innefattar 3 distinkta steg (Obs: dessa är inte relaterade till faserna 2020). Den här nya processen är starkt beroende av användningen av ett inlämningsformulär online och har fasat ut de flesta av de PDF-/dokumentformat som sökande använde före 2021. Sammanfattningsvis är de nuvarande stegen:
- Steg 1: En miniapplikation (text, video, pitch däck). Minst 2 av 4 utvärderare måste godkänna ansökan för att lyckas.
- Steg 2: En lång ansökan (text, stöddokument, pitch deck). Minst 3 av 3 utvärderare måste godkänna ansökan för att lyckas.
- Steg 3: En intervju på distans eller personligen. Alla jurymedlemmar måste godkänna ansökan för att lyckas.
Nystartade företag måste klara alla tre stegen i den angivna ordningen för att få EIC Accelerator-finansieringen. Varje försökt steg, framgångsrikt eller inte, kommer på samma sätt att få detaljerade kommentarer från utvärderarna eller jurymedlemmarna.
Notera: Genom det snabbspårsprogram som implementerats av EIC kan vissa företag hoppa över vissa steg om respektive villkor är uppfyllda.
Steg 1
Steg 1 är utformad för att väcka utvärderarens intresse som EIC har uppgett. Det är en mycket kort version av en affärsplan och ger ingen detaljerad information om ekonomi, de planerade arbetspaketen eller andra kritiska delar av innovationsprojektet. Till och med pitch-däcket reduceras till ett dokument med 10 diabilder läst och faktiskt inte pitchat.
Framgångströskeln för steg 1 är mycket lätt att passera eftersom endast 2 av de 4 fjärrutvärderarna måste ge en positiv recension som gör det möjligt för en sökande att gå mot steg 2 (se framgångsfrekvenser).
Steg 2
Steg 2 är en mycket djupgående presentation av det föreslagna innovationsprojektet eftersom det kräver skapandet av en affärsplan som nästan uteslutande består av text, ger väldigt lite visuell data och ber de ansökande små och medelstora företagen att svara på många detaljerade frågor. Dessa inkluderar värdekedjan, produktbeskrivningar, teknisk bakgrund, marknadsanalyser, kommersiella strategier och många fler detaljer.
Detta steg har visat sig vara det mest selektiva och även det mest arbetsintensiva steget i EIC Accelerator.
Steg 3
Steg 3 är en fjärr- eller personlig intervju som består av en 10 minuters pitch och en 35 minuters frågestund. Intervjun kommer att baseras på den inlämnade Steg 2-ansökan och pitch-decket, men jurymedlemmarna kanske inte är väl bekanta med allt innehåll som tillhandahålls.
Linjär progression mellan steg
Medan den nya processen för EIC Accelerator-applikationer ser ut och känns modern, har den lagt till ett nytt lager av problem som är sammanlänkade med dess 3-stegsstruktur.
När man skapar en ansökningsprocess som screenar företag över flera månader är det viktigt att se till att varje utvärderingssteg visar en linjär utveckling från sin föregångare. Om bedömningarna av steg 1 och steg 2 är för olika kommer detta oundvikligen att leda till bortkastad ansträngning för både de sökande och granskarna.
För att vara öppen om detta faktum bör EIC publicera kvalitetskontrolldata där resultaten av alla tre stegen, om de är tillgängliga för varje sökande, är korrelerade för att identifiera om ett avsnitt utvärderades konsekvent över flera steg. Om alla utvärderare godkänner en mycket detaljerad affärsmodell i steg 2 men jurymedlemmarna enhälligt ifrågasätter dess kvalitet i steg 3 så skulle processen vara felaktig.
Baserat på de första ansökningarna 2021 är det tydligt att de tre stegen har olika grad av djup, olika fokus och de använder olika utvärderingspooler vilket i sig leder till betydande begränsningar. Som ett resultat är processen inte helt linjär.
Konflikter mellan utvärderingar
En linjär ansökningsprocess skulle se att ett projekt med ett perfekt betyg i steg 1 lyckas bra i steg 2. Ett projekt som har presenterat dussintals sidor om den kommersiella strategin och som har fått ett perfekt betyg av utvärderare i steg 2 bör inte ha denna granskning omvänd i steg 3. Även om skillnaden i kvantitet mellan steg 1 och steg 2 är betydande och kan leda till förändringar i den upplevda kvaliteten, bör skillnaden mellan steg 2 och steg 3 vara liten.
I en linjär process bör det aldrig finnas ett fall där en intäktsmodell betygsattes perfekt i steg 2 för att sedan avvisas med dåliga recensioner i steg 3. Men sådana fall förekommer ofta eftersom ungefär 50% av sökande kommer att vara avvisades i steg 3 de främsta skälen är kommersiella aspekter. Om projektet inte har förändrats mellan de två stegen, hur är det då möjligt att Steg 2-utvärderarna betygsätter ett projekt så annorlunda än Steg 3-juryn?
Steg 2-applikationen presenterar en aldrig tidigare skådad detaljnivå jämfört med tidigare år, så brist på innehåll skulle vara en dålig orsak till avvikelsen. Det är också osannolikt att en sökande avsiktligt kommer att lämna in falsk information eller agera bedrägligt, så hur kan ett sådant resultat förklaras?
EIC Jurors vs. Remote Evaluators
De slutliga beslutsfattarna för bidraget och kapitalfinansieringen är EIC-juryn, men dessa kommer att exponeras för projektet först i det allra sista steget. Steg 1 och steg 2 använder en pool av tusentals fjärrutvärderare men ingen av dem kommer att inkluderas i steg 3 – det viktigaste steget. Steg 3-juryn består av riskkapitalister, ängelinvesterare, chefer för lokala acceleratorer och andra affärsexperter av varierande grad. Eftersom det bara finns en handfull sådana affärsexperter tillgängliga för EU måste EIC förlita sig på distansutvärderare.
På grund av tidsbrist kan jurymedlemmarna inte delta i de storskaliga utvärderingarna i steg 1 och steg 2. Man skulle också kunna hävda att det är omöjligt att bedöma ett projekt utan en personlig pitch men de inlämnade affärsplanerna är extremt detaljerade och det ska vara möjligt att bedöma ett projekt korrekt.
Sett genom denna lins kan det ha varit för tidigt att ändra utvärderingsprocessen från en tvåstegsprocess 2020 till en trestegsprocess 2021. Det som har uppnåtts är att de viktigaste beslutsfattarna av EIC Accelerator-anslaget endast är en del av 33% av Stegen och endast exponeras för ca. 10% av alla applikationer.
Den nuvarande EIC Accelerator-processen kan bli en berg-och-dalbana för sökande som fått mycket beröm av utvärderarna i steg 1 och 2 men skarp kritik från steg 3-juryn. Detsamma kan sägas om företag som skulle ha lyckats i steg 3 men aldrig fått igenom utvärderarnas kritik i steg 1 och 2.
Framtiden för EIC Accelerator
Utmaningen som ska lösas är betydande: Hur hittar man en nål i en höstack utan för mycket ansträngning?
EIC vet att deras budget är begränsad och att det finns utmärkta företag där ute – men hur kan de hitta dem?
Att använda en mer strukturerad och automatiserad utvärderingsprocess (dvs EIC-plattform och AI-verktyg) är ett bra första steg. Här är ytterligare funktioner som kan implementeras för att ytterligare förbättra processen:
Slutet i åtanke
De slutliga utvärderingarna utförs av jurymedlemmarna i steg 3 som har en helt annan nivå av expertis och fokus jämfört med distansutvärderarna. Dessa jurymedlemmar ser bara en bråkdel av alla sökande vilket betyder att EIC tillåter att ungefär 90% av sökande avslås baserat på tvivelaktiga bedömningar.
Eftersom fjärrutvärderarna tydligt missbedömer även de mycket detaljerade steg 2-ansökningarna, bör det finnas en mekanism för att antingen inkludera juryn i de tidiga stegen eller för att ytterligare förbättra poolen av fjärrutvärderare baserat på prestationsdata. Problemet med det förra tillvägagångssättet är att antalet fjärrutvärderare är mycket begränsat medan det senare tillvägagångssättet skulle kräva betydande dataanalys.
Ändra tröskelvärdena
Utifrån de ackumulerade uppgifterna från 2021 kan man bedöma om de nuvarande tröskelvärdena är lämpliga för denna typ av finansiering. Om framgångsrika ansökningar som får 2 av 4 positiva bedömningar i steg 1 aldrig kommer till steg 3 eller klarar detta steg kan tröskeln höjas (dvs. 2/3 eller 3/4).
Detta skulle minska arbetsbelastningen för steg 2-ansökningar och skulle kunna ge utrymme för jurymedlemmar att delta i viss utsträckning (dvs. bara titta på pitchdeckarna eller en speciell 3-pager). Ett tillvägagångssätt kan vara att välja steg 2-kandidater med en 2/3 eller 3/4 tröskel och att sedan låta jurymedlemmar utföra det slutgiltiga urvalet baserat på en 3-pager eller pitchdeck redan innan intervjuinbjudningar utfärdas. Att kräva perfekt konsensus bland distansutvärderare som inte uppvisar samma sakkunskapsnivå som jurymedlemmarna kan undvikas med detta tillvägagångssätt.
Ändra typ av utvärdering
Beroende på feedbacken som erhölls i steg 3, kan utvärderingskriterierna i steg 1 och 2 ändras om huvudorsaken till avslag är mycket konsekvent bland de sökande som inte har misslyckats (dvs. otillräcklig affärsplan, bristande avbrott). Det nuvarande steg 1 fungerar som ett aptitretare för projektet, teamet och innovationen, men det kan vara bättre att fokusera på t.ex. business case, konkurrens och produkt-marknadsanpassning om det var vad de flesta Steg 3-avvisade saknade.
Detsamma gäller för steg 2 där sökande måste förbereda en stor mängd information, men om 50% av sökande fortfarande avvisas i steg 3, är det meningslöst att kräva så mycket detaljer. Om finansieringsgraden i steg 3 var 90% skulle det validera den höga informationstätheten som begärdes i steg 2, men det verkar uppenbarligen inte ge något extra värde jämfört med 2020-ansökningar förutom att det utgör en arbetsbelastningsbarriär för sökande. Att halvera mängden text som tillhandahålls i steg 2 kan vara ett vettigt tillvägagångssätt.
Analysera poolen av utvärderare
Alla EIC Accelerator-sökande har fått detaljerade kommentarer angående sin ansökan, inklusive både positiva och negativa kommentarer. Detta har gjort det möjligt för startups att få en mer transparent titt på den interna utvärderingsprocessen, men det har också avslöjat det bristfälliga system som EIC använder. Om två utvärderare i steg 2 berömmer den utmärkta affärsmodellen kan förslaget ändå avvisas om den tredje utvärderaren inte håller med. EIC:s förklaring är att man måste övertyga Allt utvärderare och det insinueras att de två positiva bedömningarna kan ha missat vad den tredje bedömningen kritiserade.
Men det finns uppenbara problem med detta förhållningssätt och resonemang. Utvärderarnas perspektiv beror i hög grad på deras bakgrund och erfarenhet. Det är klart att det finns både mycket kunniga utvärderare och de som saknar expertis inom vissa områden. Om utvärderarna var rätt domare för ett EIC-finansieringsbeslut skulle det inte behövas en jury eftersom alla Steg 2-vinnare är lika lämpliga för finansiering. Eller så kan fjärrutvärderarna delta i ett pitch-evenemang som jurymedlemmar men så är inte fallet.
Förmodligen är EIC medveten om bristerna i dess utvärderare, men den har inte meddelat hur den kommer att ingripa. Tyvärr hanteras denna pool av utvärderare på ett mycket otransparent sätt.
Analysera poolen av utvärderare: Steg 1 och 2 utvärderares poäng
En lösning på det skulle kunna vara att använda data baserad på de tusentals utvärderingar som gjordes under 2021. Eftersom betyg ges för varje nyckelsektion i ansökan och samförstånd mellan utvärderingarna är en nyckelfaktor, kan EIC segmentera utvärderare baserat på deras noggrannhet. resultat. Om en utvärderare konsekvent ger negativa betyg så kanske den utvärderaren inte är lämplig att göra sådana bedömningar, vilket också är sant för dem som konsekvent betygsätter projekt på ett positivt sätt.
Om man går längre kan AI-dataanalys användas för att identifiera de allmänna orsakerna till avslag och kontrastera dem med de andra utvärderingarna samt bakgrunden och meritlistan för respektive utvärderare. Om en utvärderare med vetenskaplig bakgrund och universitetsbakgrund kritiserar affärsmodellen medan två entreprenöriella utvärderare berömmer den, så ska den förra inte vägas in i slutresultatet och vice versa.
EIC kan be sina utvärderare att fylla i frågeformulär som:
- Har du grundat ett företag tidigare?
- Har du haft en vd-position?
- Vilken är den största finansieringen du har skaffat från investerare hittills?
- Hur skulle du bedöma din vetenskapliga kunskap inom området kemi?
- ...
Detta kan sedan användas för att bättre förstå vad ett avslag eller godkännande av en utvärderare innebär för ett projekt.
Analysera poolen av utvärderare: Steg 3 Confidence Score
Som en förlängning kan EIC införa Förtroendepoäng för utvärderare som anger hur noggrant en utvärderare bedömer ett projekt baserat på juryns bekräftelse.
För att uppnå detta kan man använda poängsättningen av Steg 3-jurymedlemmar som är de slutliga beslutsfattarna som referens och korrelera vilka Steg 2-utvärderare som inte kunde identifiera vad en bra affärsmodell eller innovation skulle vara. Denna metod kan fungera genom att utesluta några av de utvärderare som inte bedömde projektet korrekt, men tyvärr utesluter den bara de utvärderare som gör fel på det positiva snarare än det negativa.
De utvärderare som avvisar lämpliga kandidater på grund av dåligt omdöme kommer att vara mindre benägna att filtreras med detta tillvägagångssätt eftersom de avvisade projekten inte når steg 3 (såvida inte den föreslagna jury-inblandningen genomförs). För att komplettera detta kan återinlämningar användas som datakälla. Om ett projekt har avvisats i steg 2 och därefter skickats in igen bara för att lyckas nå steg 3, kan de ursprungliga steg 2-utvärderarna som avvisade projektet filtreras bort.
En begränsning för detta tillvägagångssätt är att en återinlämning till steg 2 kan ha genomfört betydande ändringar som har åtgärdat tidigare brister och därmed gjort det ursprungliga avslaget korrekt. Men med en betydande datauppsättning storlek, kan sådana fall identifieras.
Baserat på insamlad data, som använder Steg 3-bedömningar som referens, kan utvärderare betygsättas och de högt rankade kan användas i Steg 2 medan de lågt rankade kan användas i Steg 1 eller tas bort från poolen. Sökande lägger ner en betydande tid på inlämningar och återinlämningar i steg 2, vilket är anledningen till att EIC bör arbeta för att undvika motstridiga bedömningar i steg 1, 2 och 3.
