W 2021 r. projekt EIC Accelerator blended financing (dawniej SME Instrument faza 2, dotacja i kapitał własny) zakończył swój pierwszy rok w nowych ramach składania wniosków (czytaj: Proces aplikacji). Z dwoma przerwami w 2021 r. (Czerwiec i październik), umożliwiło to stromą naukę małym i średnim przedsiębiorstwom (MŚP), zawodowych pisarzy i European Innovation Council (EIC).
Wdrożono nowy proces online dotyczący wniosków EIC Accelerator, który był stale udoskonalany równolegle do składania pierwszych wniosków o dotacje, co stanowiło wyjątkowe wyzwanie dla sposobu, w jaki EIC i konsultanci komunikowali się z potencjalnymi wnioskodawcami.
Terminy zostały przesunięte, wyciekły informacje był bardziej wiarygodny niż oficjalne komunikaty prasowe EIC, a uwagi przedstawione przez oceniających wywołały pewne kontrowersje. Chociaż większa przejrzystość jest ogólnie pozytywnym krokiem, zwłaszcza w przypadku instytucji publicznej finansowanej z podatków obywateli, może ona przynieść odwrotny skutek, jeśli ujawni znaczące niespójności.
Celem tego artykułu jest zbadanie niektórych z tych niespójności.
Kroki aplikacji
European Innovation Council oraz Agencja Wykonawcza MŚP (EISMEA), Komisja Europejska (KE) i EIC opracowały nowy proces składania wniosków, który obejmuje 3 odrębne etapy (uwaga: nie są one powiązane z fazami roku 2020). Ten nowy proces w dużej mierze opiera się na wykorzystaniu formularza zgłoszeniowego online i w jego ramach wycofano większość formatów PDF/dokumentów, z których wnioskodawcy korzystali przed 2021 r. Podsumowując, obecne etapy to:
- Krok 1: Miniaplikacja (tekstowa, wideo, pokład boiska). Aby wniosek został pomyślnie przyjęty, co najmniej 2 z 4 oceniających musi zatwierdzić wniosek.
- Krok 2: Długa aplikacja (tekst, dokumenty pomocnicze, prezentacja). Aby wniosek został pomyślnie przyjęty, co najmniej 3 z 3 oceniających musi zatwierdzić wniosek.
- Krok 3: Rozmowa zdalna lub osobista. Aby odnieść sukces, wszyscy członkowie jury muszą zatwierdzić zgłoszenie.
Startupy muszą pomyślnie przejść wszystkie trzy kroki w wyznaczonej kolejności, aby otrzymać finansowanie EIC Accelerator. Każdy krok, pomyślny lub nie, będzie również szczegółowo komentowany przez oceniających lub członków jury.
Uwaga: w ramach programu przyspieszonego realizowanego przez EIC niektóre przedsiębiorstwa mogą pominąć pewne kroki, jeśli spełnione zostaną odpowiednie warunki.
Krok 1
Krok 1 ma na celu wzbudzić zainteresowanie oceniającego jak stwierdziło EIC. Jest to bardzo krótka wersja biznesplanu i nie zawiera szczegółowych informacji na temat finansów, planowanych pakietów prac ani innych kluczowych części projektu innowacyjnego. Nawet prezentacja została zredukowana do dokumentu składającego się z 10 slajdów przeczytać i tak naprawdę nie rzucać.
Próg powodzenia Etapu 1 jest bardzo łatwy do przejścia, ponieważ tylko 2 z 4 zdalnych oceniających musi przedstawić pozytywną opinię, która umożliwi wnioskodawcy przejście do Kroku 2 (zob. wskaźniki sukcesu).
Krok 2
Krok 2 to bardzo dogłębna prezentacja proponowanego projektu innowacyjnego, ponieważ wymaga stworzenia biznesplanu, który składa się prawie wyłącznie z tekstu, dostarcza bardzo mało danych wizualnych i wymaga od aplikujących MŚP odpowiedzi na wiele szczegółowych pytań. Należą do nich łańcuch wartości, opisy produktów, zaplecze techniczne, analizy rynkowe, strategie handlowe i wiele innych szczegółów.
Ten etap okazał się najbardziej selektywnym i jednocześnie najbardziej pracochłonnym etapem EIC Accelerator.
Krok 3
Krok 3 to rozmowa zdalna lub osobista, która składa się z: 10-minutowe wystąpienie i 35-minutowa sesja pytań i odpowiedzi. Rozmowa kwalifikacyjna będzie oparta na przesłanym wniosku w ramach Etapu 2 i prezentacji, ale jurorzy mogą nie być dokładnie zaznajomieni ze wszystkimi dostarczonymi treściami.
Liniowy postęp pomiędzy krokami
Chociaż nowy proces dla zastosowań EIC Accelerator wygląda i sprawia wrażenie nowoczesnego, dodał nową warstwę problemów, która jest powiązana z jego 3-etapową strukturą.
Tworząc proces aplikacyjny, w ramach którego sprawdzane są firmy przez wiele miesięcy, ważne jest, aby upewnić się, że każdy etap oceny stanowi liniowy postęp w stosunku do poprzedniego. Jeśli oceny etapu 1 i etapu 2 będą zbyt różne, nieuchronnie doprowadzi to do zmarnowanego wysiłku zarówno po stronie wnioskodawców, jak i recenzentów.
Aby zachować przejrzystość tego faktu, EIC powinna publikować dane dotyczące kontroli jakości, w których wyniki wszystkich trzech etapów, jeśli są dostępne dla każdego wnioskodawcy, są skorelowane w celu ustalenia, czy dana sekcja została oceniona spójnie na wielu etapach. Jeżeli wszyscy oceniający zatwierdzą bardzo szczegółowy model biznesowy w kroku 2, ale członkowie jury jednomyślnie kwestionują jego jakość w kroku 3, proces będzie wadliwy.
Z pierwszych wniosków złożonych w 2021 r. jasno wynika, że te trzy etapy mają różny stopień szczegółowości, inny cel i wykorzystują różne pule osób oceniających, co samo w sobie prowadzi do znacznych ograniczeń. W rezultacie proces nie jest w pełni liniowy.
Konflikty pomiędzy ocenami
Liniowy proces składania wniosków sprawi, że projekt, który uzyska doskonały wynik w kroku 1, poradzi sobie dobrze w kroku 2. Projekt, który przedstawił dziesiątki stron strategii komercyjnej i otrzymał doskonałą ocenę od osób oceniających w kroku 2, nie powinien mieć tej recenzji odwrócone w Kroku 3. Chociaż różnica ilościowa pomiędzy Krokiem 1 i Krokiem 2 jest znacząca i może prowadzić do zmian w postrzeganej jakości, różnica między Krokiem 2 i Krokiem 3 powinna być niewielka.
W procesie liniowym nigdy nie powinno się zdarzyć, że model przychodów został doskonale oceniony na etapie 2, a następnie został odrzucony z powodu słabych recenzji na etapie 3. Takie przypadki jednak zdarzają się często, ponieważ około 50% kandydatów zostanie odrzucony w kroku 3 a głównymi powodami są aspekty komercyjne. Jeżeli projekt nie uległ zmianie pomiędzy dwoma etapami, to jak to możliwe, że ewaluatorzy Kroku 2 oceniają projekt tak odmiennie od Jury Kroku 3?
Aplikacja Step 2 charakteryzuje się niespotykanym dotąd poziomem szczegółowości w porównaniu z wcześniejszymi latami, więc brak treści nie byłby złym powodem rozbieżności. Jest również mało prawdopodobne, aby wnioskodawca celowo przedstawił fałszywe informacje lub działał w sposób oszukańczy, jak więc można wytłumaczyć taki wynik?
Jurorzy EIC kontra zdalni oceniający
Ostatecznymi decydentami w sprawie dotacji i finansowania kapitałowego są członkowie jury EIC, ale oni mają kontakt z projektem dopiero na ostatnim etapie. Krok 1 i Krok 2 wykorzystują pulę tysięcy zdalnych ewaluatorów, ale żaden z nich nie zostanie uwzględniony w Kroku 3 – najważniejszym kroku. Jurorami Kroku 3 są inwestorzy kapitału wysokiego ryzyka, aniołowie biznesu, szefowie lokalnych akceleratorów i inni eksperci biznesowi różnego stopnia. Ponieważ w UE dostępnych jest zaledwie kilku takich ekspertów biznesowych, EIC musi polegać na zdalnych osobach oceniających.
Ze względu na ograniczenia czasowe członkowie jury nie mogą brać udziału w ocenach na dużą skalę w Kroku 1 i Kroku 2. Można również argumentować, że nie da się ocenić projektu bez osobistej prezentacji, ale przesłane biznesplany są niezwykle szczegółowe i powinna umożliwiać dokładną ocenę projektu.
Patrząc z tej perspektywy, zmiana procesu oceny z dwuetapowego w 2020 r. na trzyetapowy w 2021 r. mogła być przedwczesna. Udało się osiągnąć to, że najważniejsi decydenci w ramach dotacji EIC Accelerator są jedynie częścią 33% stopni i mają dostęp jedynie do ok. 10% wszystkich zastosowań.
Obecny proces EIC Accelerator może być kolejką górską dla kandydatów, którzy otrzymali wysokie pochwały od oceniających na etapie 1 i 2, ale ostrą krytykę ze strony jury na etapie 3. To samo można powiedzieć o firmach, które odniosłyby sukces w kroku 3, ale nigdy nie przeszły przez krytykę oceniających w krokach 1 i 2.
Przyszłość EIC Accelerator
Wyzwanie, któremu należy sprostać, jest znaczące: Jak znaleźć igłę w stogu siana bez większego wysiłku?
EIC wie, że jej budżet jest ograniczony i że istnieją doskonałe firmy – ale jak je znaleźć?
Korzystanie z bardziej zorganizowanego i zautomatyzowanego procesu oceny (tj Platforma EIC i narzędzie AI) to dobry pierwszy krok. Oto dodatkowe funkcje, które można wdrożyć w celu dalszego usprawnienia procesu:
Koniec w głowie
Oceny końcowe dokonują członkowie jury w kroku 3, którzy mają zupełnie inny poziom wiedzy specjalistycznej i skupienia w porównaniu do oceniających na odległość. Ci członkowie jury widzą jedynie ułamek wszystkich kandydatów, co oznacza, że EIC dopuszcza odrzucenie około 90% kandydatów na podstawie wątpliwych ocen.
Ponieważ osoby oceniające na odległość wyraźnie błędnie oceniają nawet bardzo szczegółowe wnioski z etapu 2, powinien istnieć mechanizm umożliwiający włączenie jury na wczesnych etapach lub dalsze zwiększanie puli oceniających na odległość w oparciu o dane dotyczące wyników. Problem z pierwszym podejściem polega na tym, że liczba zdalnych ewaluatorów jest bardzo ograniczona, podczas gdy drugie podejście wymagałoby znacznej analizy danych.
Zmiana progów
Na podstawie zgromadzonych danych z 2021 roku można ocenić, czy obecne progi są odpowiednie dla tego rodzaju finansowania. Jeżeli pozytywnie przyjęte wnioski, które otrzymają 2 z 4 pozytywnych ocen w etapie 1, nigdy nie przejdą do etapu 3 lub nie przejdą tego etapu, wówczas próg może zostać zwiększony (tj. 2/3 lub 3/4).
Zmniejszyłoby to obciążenie pracą przy składaniu wniosków w ramach Etapu 2 i mogłoby umożliwić członkom jury udział w pewnym stopniu (tj. jedynie oglądanie prezentacji lub specjalnego 3-stronicowego komunikatora). Rozwiązaniem mogłoby być wybranie kandydatów do etapu 2 z progiem 2/3 lub 3/4, a następnie zlecienie członkom jury ostatecznej selekcji w oparciu o 3-stronicowy raport lub prezentację jeszcze przed wystawieniem zaproszeń na rozmowę kwalifikacyjną. Dzięki takiemu podejściu można uniknąć wymagania doskonałego konsensusu wśród zdalnych oceniających, którzy nie wykazują tego samego poziomu wiedzy specjalistycznej co członkowie jury.
Zmiana rodzaju oceny
W zależności od informacji zwrotnych otrzymanych na etapie 3 kryteria oceny na etapach 1 i 2 można zmienić, jeśli główny powód odrzucenia wśród wnioskodawców, którzy nie otrzymali wniosków, jest w dużym stopniu spójny (tj. niewystarczający biznesplan, brak zakłóceń). Bieżący Krok 1 działa jak: zwiastun dla projektu, zespołu i innowacji, ale może lepiej byłoby skupić się na np. uzasadnieniu biznesowym, konkurencji i dopasowaniu produktu do rynku, jeśli tego właśnie brakowało większości osób odrzuconych w kroku 3.
To samo dotyczy etapu 2, gdzie wnioskodawcy muszą przygotować dużą ilość informacji, ale jeśli 50% wnioskodawców nadal zostanie odrzuconych na etapie 3, wymaganie tak dużej ilości szczegółów nie ma sensu. Jeżeli stopa finansowania na etapie 3 wyniosła 90%, potwierdzałoby to wysoką gęstość informacji wymaganą na etapie 2, ale wyraźnie nie wydaje się, aby zapewniała ona jakąkolwiek dodatkową wartość w porównaniu z wnioskami na rok 2020 poza barierą związaną z obciążeniem pracą dla wnioskodawców. Rozsądnym podejściem może być zmniejszenie o połowę ilości tekstu podanego w kroku 2.
Analiza puli ewaluatorów
Wszystkim wnioskodawcom EIC Accelerator przekazano szczegółowe uwagi dotyczące ich wniosku, zawierające zarówno uwagi pozytywne, jak i negatywne. Pozwoliło to start-upom uzyskać bardziej przejrzysty wgląd w proces oceny wewnętrznej, ale ujawniło również wadliwy system, z którego korzysta EIC. Jeżeli w kroku 2 dwóch ewaluatorów pochwali doskonały model biznesowy, propozycja może zostać odrzucona, jeśli trzeci ewaluator się z tym nie zgodzi. Wyjaśnienie podane przez EIC jest takie, że trzeba przekonać Wszystko oceniających i sugeruje się, że mogły mieć to dwie pozytywne oceny pominięty co skrytykowano w trzeciej ocenie.
Istnieją jednak oczywiste problemy z takim podejściem i rozumowaniem. Perspektywa ewaluatorów w dużym stopniu zależy od ich wykształcenia i doświadczenia. Oczywiste jest, że istnieją zarówno ewaluatorzy posiadający dużą wiedzę, jak i tacy, którym brakuje wiedzy specjalistycznej w niektórych obszarach. Gdyby oceniający byli właściwymi sędziami przy podejmowaniu decyzji o finansowaniu przez EIC, nie byłoby potrzeby powoływania jury, ponieważ wszyscy zwycięzcy etapu 2 w równym stopniu nadają się do finansowania. Zdalni oceniający mogliby także uczestniczyć w prezentacji jako członkowie jury, ale tak nie jest.
Prawdopodobnie EIC jest świadoma niedociągnięć swojej puli oceniających, ale nie poinformowała, w jaki sposób będzie interweniować. Niestety, obsługa tej grupy ewaluatorów jest bardzo nieprzejrzysta.
Analiza puli oceniających: Wynik oceniającego w kroku 1 i 2
Rozwiązaniem tego problemu mogłoby być wykorzystanie danych opartych na tysiącach ocen przeprowadzonych w 2021 r. Ponieważ oceny są podane dla każdej kluczowej części wniosku, a konsensus między ocenami jest kluczowym czynnikiem, EIC może dokonać segmentacji osób oceniających na podstawie dokładności ich wyniki. Jeśli jeden ewaluator konsekwentnie wystawia oceny negatywne, może nie nadawać się on do przeprowadzania takich ocen, co dotyczy również osób, które konsekwentnie oceniają projekty w sposób pozytywny.
Idąc dalej, analizę danych AI można wykorzystać do zidentyfikowania ogólnych powodów odrzucenia i porównania ich z innymi ocenami, a także historią i osiągnięciami odpowiedniego oceniającego. Jeśli ewaluator z doświadczeniem naukowym i uniwersyteckim krytykuje model biznesowy, podczas gdy dwóch ewaluatorów-przedsiębiorców go chwali, wówczas ten pierwszy nie powinien być brany pod uwagę w ostatecznym wyniku i odwrotnie.
EIC może poprosić swoich ewaluatorów o wypełnienie kwestionariuszy, takich jak:
- Czy założyłeś już firmę?
- Czy piastowałeś stanowisko dyrektora generalnego?
- Jakie jest największe finansowanie, jakie udało Ci się dotychczas pozyskać od inwestorów?
- Jak oceniasz swoją wiedzę naukową z zakresu chemii?
- ...
Można to następnie wykorzystać do lepszego zrozumienia, co odrzucenie lub zatwierdzenie osoby oceniającej oznacza dla projektu.
Analiza puli oceniających: Krok 3 Poziom zaufania
Jako rozszerzenie EIC może wprowadzić Wyniki zaufania dla ewaluatorów, który wskazuje, jak trafnie ewaluator ocenia projekt na podstawie potwierdzenia jury.
Aby to osiągnąć, można wykorzystać punktację przyznaną przez członków jury Kroku 3, którzy są ostatecznymi decydentami, jako punkt odniesienia i skorelować, którzy ewaluatorzy Kroku 2 nie byli w stanie określić, jaki byłby dobry model biznesowy lub innowacja. Metoda ta może pomóc w wykluczeniu części ewaluatorów, którzy nie ocenili projektu prawidłowo, ale niestety wykluczy jedynie ewaluatorów, którzy mylili się w kwestii pozytywnej, a nie negatywnej.
Jest mniejsze prawdopodobieństwo, że ewaluatorzy, którzy odrzucą odpowiednich kandydatów ze względu na złą ocenę, zostaną odfiltrowani przy użyciu tego podejścia, ponieważ odrzucone projekty nie przejdą do Kroku 3 (chyba że zostanie wdrożony sugerowany udział Jury). Aby to uzupełnić, jako źródło danych można wykorzystać ponowne przedłożenie. Jeśli projekt został odrzucony w Kroku 2, a następnie przesłany ponownie, aby pomyślnie przejść do Etapu 3, wówczas pierwotni ewaluatorzy z Etapu 2, którzy odrzucili projekt, mogą zostać odfiltrowani.
Ograniczeniem tego podejścia jest to, że ponowne poddanie się etapowi 2 mogło spowodować wprowadzenie istotnych zmian, które usunęły wcześniejsze niedociągnięcia, dzięki czemu początkowe odrzucenie było trafne. Ale w przypadku znacznego rozmiaru zbioru danych można zidentyfikować takie przypadki.
Na podstawie zebranych danych, dla których jako odniesienie wykorzystuje się oceny z Etapu 3, ewaluatorów można sklasyfikować, a osoby o wysokiej randze mogą zostać wykorzystane w Kroku 2, natomiast osoby o niskiej randze mogą zostać wykorzystane w Kroku 1 lub usunięte z puli. Wnioskodawcy spędzają dużo czasu na składaniu wniosków na etapie 2 i ponownym składaniu wniosków, dlatego też EIC powinna pracować nad unikaniem sprzecznych ocen na etapach 1, 2 i 3.
