En 2021, le EIC Accelerator blended financing (anciennement SME Instrument Phase 2, subvention et fonds propres) a terminé sa première année sous le nouveau cadre de candidature (lire : Processus de demande). Avec 2 coupures en 2021 (juin et octobre), il a présenté une courbe d'apprentissage abrupte pour les petites et moyennes entreprises (PME), écrivains professionnels et le European Innovation Council (EIC).
Un nouveau processus en ligne pour les candidatures EIC Accelerator a été déployé et il a été continuellement amélioré parallèlement aux premières soumissions de subventions qui présentaient des défis uniques dans la manière dont le EIC et les consultants communiquaient avec les candidats potentiels.
Les délais ont été décalés, fuite d'informations était plus fiable que les communiqués de presse officiels de EIC et les commentaires fournis par les évaluateurs ont suscité une certaine controverse. Bien qu'une plus grande transparence soit généralement une étape positive, en particulier pour une institution publique financée par les impôts des citoyens, elle peut se retourner contre elle si elle révèle des incohérences importantes.
Cet article vise à explorer certaines de ces incohérences.
Les étapes de candidature
L'agence exécutive European Innovation Council et PME (EISMEA), la Commission européenne (CE) et EIC ont mis au point un nouveau processus de candidature qui comprend 3 étapes distinctes (note : ceux-ci ne sont pas liés aux phases de 2020). Ce nouveau processus repose fortement sur l'utilisation d'un formulaire de soumission en ligne et a progressivement supprimé la plupart des formats de type PDF/Document que les candidats utilisaient avant 2021. En résumé, les étapes actuelles sont :
- Étape 1: Une mini-application (texte, vidéo, plate-forme de lancement). Au moins 2 évaluateurs sur 4 doivent approuver la candidature pour réussir.
- Étape 2: Une candidature longue (texte, documents supports, pitch deck). Au moins 3 évaluateurs sur 3 doivent approuver la candidature pour réussir.
- Étape 3: Un entretien à distance ou en personne. Tous les membres du jury doivent approuver la candidature pour réussir.
Les startups doivent réussir les trois étapes dans l'ordre désigné pour recevoir le financement EIC Accelerator. Chaque étape tentée, réussie ou non, fera également l'objet de commentaires détaillés de la part des évaluateurs ou des membres du jury.
Remarque : Grâce au programme accéléré mis en place par le EIC, certaines entreprises peuvent sauter certaines étapes si les conditions respectives sont remplies.
Étape 1
L'étape 1 est conçue pour piquer l'intérêt de l'évaluateur comme l'a indiqué le EIC. Il s'agit d'une version très courte d'un plan d'affaires et ne fournit aucune information détaillée sur les finances, les lots de travaux prévus ou d'autres éléments critiques du projet d'innovation. Même le pitch deck est réduit à un document de 10 diapositives qui sera lu et pas réellement pitché.
Le seuil de réussite de l'étape 1 est très facile à franchir puisque seuls 2 des 4 évaluateurs à distance doivent fournir un avis favorable qui permettra à un candidat de passer à l'étape 2 (voir taux de réussite).
Étape 2
L'étape 2 est une présentation très approfondie du projet d'innovation proposé car elle nécessite la création d'un plan d'affaires qui se compose presque exclusivement de texte, fournit très peu de données visuelles et demande aux PME candidates de répondre à de nombreuses questions détaillées. Ceux-ci incluent la chaîne de valeur, les descriptions de produits, les antécédents techniques, les analyses de marché, les stratégies commerciales et bien d'autres détails.
Cette étape s'est avérée être l'étape la plus sélective et aussi la plus intensive en travail du EIC Accelerator.
Étape 3
L'étape 3 est un entretien à distance ou en personne qui consiste en une Présentation de 10 minutes et session de questions-réponses de 35 minutes. L'entretien sera basé sur la candidature de l'étape 2 soumise et le pitch deck, mais les jurés pourraient ne pas être intimement familiarisés avec tout le contenu fourni.
Progression linéaire entre les étapes
Bien que le nouveau processus pour les applications EIC Accelerator ait l'air et se sente moderne, il a ajouté une nouvelle couche de problèmes qui est liée à sa structure en 3 étapes.
Lors de la génération d'un processus de candidature qui filtre les entreprises sur plusieurs mois, il est important de s'assurer que chaque étape d'évaluation présente une progression linéaire par rapport à son prédécesseur. Si les évaluations de l'étape 1 et de l'étape 2 sont trop différentes, cela conduira inévitablement à un gaspillage d'efforts tant pour les candidats que pour les évaluateurs.
Pour être transparent sur ce fait, le EIC devrait publier des données de contrôle de la qualité où les résultats des trois étapes, s'ils sont disponibles pour chaque candidat, sont corrélés pour déterminer si une section a été évaluée de manière cohérente sur plusieurs étapes. Si tous les évaluateurs approuvent un modèle d'entreprise très détaillé à l'étape 2 mais que les membres du jury remettent unanimement en question sa qualité à l'étape 3, le processus serait défectueux.
Sur la base des premières candidatures en 2021, il est clair que les trois étapes ont des degrés de profondeur différents, un objectif différent et qu'elles utilisent différents pools d'évaluateurs, ce qui entraîne intrinsèquement des limitations importantes. En conséquence, le processus n'est pas entièrement linéaire.
Conflits entre les évaluations
Un processus de candidature linéaire verrait un projet avec une note parfaite à l'étape 1 bien réussir à l'étape 2. Un projet qui a présenté des dizaines de pages sur la stratégie commerciale et qui a reçu une note parfaite par les évaluateurs à l'étape 2 ne devrait pas voir cet examen être inversée à l'étape 3. Bien que la différence de quantité entre l'étape 1 et l'étape 2 soit importante et puisse entraîner des changements dans la qualité perçue, la différence entre l'étape 2 et l'étape 3 devrait être minuscule.
Dans un processus linéaire, il ne devrait jamais y avoir de cas où un modèle de revenus a été parfaitement noté à l'étape 2 pour être rejeté avec des critiques médiocres à l'étape 3. Mais de tels cas se produisent fréquemment car environ 50% de candidats seront rejeté à l'étape 3 les principales raisons étant les aspects commerciaux. Si le projet n'a pas changé entre les deux étapes, comment est-il possible que les évaluateurs de l'étape 2 notent un projet si différemment du jury de l'étape 3 ?
L'application Step 2 présente un niveau de détail sans précédent par rapport aux années précédentes, de sorte qu'un manque de contenu serait une mauvaise raison de l'écart. Il est également peu probable qu'un candidat soumette intentionnellement de fausses informations ou agisse frauduleusement, alors comment expliquer un tel résultat ?
Jurés EIC vs évaluateurs à distance
Les décideurs finaux pour la subvention et le financement par fonds propres sont les membres du jury EIC, mais ceux-ci ne seront exposés au projet qu'à la toute dernière étape. Les étapes 1 et 2 utilisent un pool de milliers d'évaluateurs à distance, mais aucun d'entre eux ne sera inclus dans l'étape 3 - l'étape la plus importante. Les jurés de l'étape 3 sont composés de capital-risqueurs, d'investisseurs providentiels, de responsables d'accélérateurs locaux et d'autres experts commerciaux à des degrés divers. Étant donné qu'il n'y a qu'une poignée d'experts commerciaux de ce type à la disposition de l'UE, le EIC doit s'appuyer sur des évaluateurs à distance.
En raison de contraintes de temps, les membres du jury ne peuvent pas participer aux évaluations à grande échelle des étapes 1 et 2. On pourrait également affirmer qu'il est impossible d'évaluer un projet sans un pitch en personne, mais les plans d'affaires soumis sont extrêmement détaillés et il devrait être possible d'évaluer un projet avec précision.
Vu sous cet angle, il aurait peut-être été prématuré de faire passer le processus d'évaluation d'un processus en deux étapes en 2020 à un processus en trois étapes en 2021. Ce qui a été réalisé, c'est que les décideurs les plus importants de la subvention EIC Accelerator ne sont qu'une partie des 33% des étapes et ne sont exposés qu'à env. 10% de toutes les applications.
Le processus EIC Accelerator actuel peut être un tour de montagnes russes pour les candidats qui ont reçu des éloges de la part des évaluateurs aux étapes 1 et 2, mais de vives critiques de la part du jury de l'étape 3. La même chose peut être dite des entreprises qui auraient réussi à l'étape 3 mais n'ont jamais surmonté les critiques des évaluateurs aux étapes 1 et 2.
L'avenir du EIC Accelerator
Le défi à relever est important : Comment trouver une aiguille dans une botte de foin sans trop d'effort ?
Le EIC sait que son budget est limité et qu'il existe d'excellentes entreprises, mais comment les trouver ?
À l'aide d'un processus d'évaluation plus structuré et automatisé (c.-à-d. Plateforme EIC et outil IA) est une bonne première étape. Voici des fonctions supplémentaires qui pourraient être implémentées pour améliorer encore le processus :
La fin en tête
Les évaluations finales sont exécutées par les membres du jury à l'étape 3 qui ont un niveau d'expertise et de concentration très différent de celui des évaluateurs à distance. Ces membres du jury ne voient qu'une fraction de tous les candidats, ce qui signifie que le EIC autorise le rejet d'environ 90% de candidats sur la base d'évaluations douteuses.
Étant donné que les évaluateurs à distance jugent clairement mal même les candidatures très détaillées de l'étape 2, il devrait y avoir un mécanisme permettant soit d'inclure le jury dans les premières étapes, soit d'améliorer davantage le groupe d'évaluateurs à distance en fonction des données de performance. Le problème avec la première approche est que le nombre d'évaluateurs à distance est très limité tandis que la seconde approche nécessiterait une analyse importante des données.
Modification des seuils
Sur la base des données accumulées à partir de 2021, il est possible d'évaluer si les seuils actuels sont adaptés à ce type de financement. Si les candidatures retenues recevant 2 évaluations positives sur 4 à l'étape 1 ne parviennent jamais à l'étape 3 ou ne réussissent pas cette étape, le seuil pourrait être augmenté (c'est-à-dire 2/3 ou 3/4).
Cela réduirait la charge de travail pour les candidatures à l'étape 2 et pourrait permettre aux membres du jury de participer dans une certaine mesure (c'est-à-dire uniquement en visionnant les pitch decks ou un pager spécial de 3 pages). Une approche pourrait consister à sélectionner les candidats de l'étape 2 avec un seuil de 2/3 ou 3/4, puis à demander aux membres du jury d'effectuer la sélection finale sur la base d'un document de 3 pages ou d'un pitch deck avant même que les invitations aux entretiens ne soient émises. Cette approche permet d'éviter d'exiger un consensus parfait entre des évaluateurs à distance qui ne présentent pas le même niveau d'expertise que les membres du jury.
Modification du type d'évaluation
En fonction des commentaires reçus à l'étape 3, les critères d'évaluation des étapes 1 et 2 pourraient être modifiés si la principale raison des refus est très cohérente parmi les candidats ayant échoué (c.-à-d. plan d'affaires insuffisant, absence de perturbation). L'étape 1 actuelle agit comme un taquin pour le projet, l'équipe et l'innovation, mais il serait peut-être préférable de se concentrer sur l'analyse de rentabilisation, la concurrence et l'adéquation du produit au marché si c'était ce qui manquait à la plupart des personnes rejetées à l'étape 3.
Il en va de même pour l'étape 2 où les candidats doivent préparer une grande quantité d'informations mais, si 50% de candidats sont toujours rejetés à l'étape 3, il est inutile d'exiger autant de détails. Si le taux de financement à l'étape 3 était de 90%, cela validerait la densité d'informations élevée demandée à l'étape 2, mais il ne semble clairement pas apporter de valeur supplémentaire par rapport aux candidatures de 2020 en dehors de la présentation d'un obstacle à la charge de travail pour les candidats. Réduire de moitié la quantité de texte fournie à l'étape 2 pourrait être une approche sensée.
Analyse du pool d'évaluateurs
Tous les candidats EIC Accelerator ont reçu des commentaires détaillés concernant leur candidature, y compris des remarques positives et négatives. Cela a permis aux startups d'avoir un aperçu plus transparent du processus d'évaluation interne, mais cela a également révélé le système défectueux utilisé par le EIC. Si, à l'étape 2, deux évaluateurs louent l'excellent modèle commercial, la proposition peut toujours être rejetée si le troisième évaluateur n'est pas d'accord. L'explication donnée par le EIC est qu'il faut convaincre tous évaluateurs et il est insinué que les deux évaluations positives pourraient avoir manqué ce que la troisième évaluation a critiqué.
Mais il y a des problèmes évidents avec cette approche et ce raisonnement. Le point de vue des évaluateurs dépend fortement de leurs antécédents et de leur expérience. De toute évidence, il existe à la fois des évaluateurs très compétents et d'autres qui manquent d'expertise dans certains domaines. Si les évaluateurs étaient les bons juges pour une décision de financement EIC, il n'y aurait pas besoin d'un jury puisque tous les gagnants de l'étape 2 sont également éligibles au financement. Ou les évaluateurs à distance pourraient participer à un événement de pitch en tant que membres du jury, mais ce n'est pas le cas.
Vraisemblablement, le EIC est conscient des insuffisances de son pool d'évaluateurs mais il n'a pas communiqué comment il va intervenir. Malheureusement, ce pool d'évaluateurs est géré de manière très peu transparente.
Analyse du groupe d'évaluateurs : Étape 1 et 2 Note de l'évaluateur
Une solution à cela pourrait être d'utiliser des données basées sur les milliers d'évaluations effectuées en 2021. Étant donné que des notes sont données pour chaque section clé de l'application et que le consensus entre les évaluations est un facteur clé, le EIC peut segmenter les évaluateurs en fonction de la précision de leur résultats. Si un évaluateur donne systématiquement des notes négatives, cet évaluateur peut ne pas être apte à mener de telles évaluations, ce qui est également vrai pour ceux qui notent systématiquement les projets de manière positive.
Pour aller plus loin, l'analyse des données de l'IA peut être utilisée pour identifier les raisons générales des rejets et les comparer aux autres évaluations ainsi qu'aux antécédents et aux antécédents de l'évaluateur respectif. Si un évaluateur de formation scientifique et universitaire critique le modèle d'affaires alors que deux évaluateurs entrepreneuriaux le louent, alors le premier ne doit pas être pondéré dans le résultat final et vice versa.
Le EIC peut demander à ses évaluateurs de remplir des questionnaires tels que :
- Avez-vous déjà fondé une entreprise?
- Avez-vous occupé un poste de PDG?
- Quel est le financement le plus important que vous ayez levé auprès d'investisseurs à ce jour ?
- Comment évaluez-vous vos connaissances scientifiques dans le domaine de la chimie ?
- ...
Cela peut ensuite être utilisé pour mieux comprendre ce que signifie un rejet ou l'approbation d'un évaluateur pour un projet.
Analyser le pool d'évaluateurs : score de confiance de l'étape 3
En extension, le EIC peut introduire Scores de confiance pour les évaluateurs qui indique avec quelle précision un évaluateur évalue un projet sur la base de la confirmation du jury.
Pour y parvenir, on peut utiliser la notation des membres du jury de l'étape 3 qui sont les décideurs finaux comme référence et corréler quels évaluateurs de l'étape 2 n'ont pas été en mesure d'identifier ce que serait un bon modèle d'entreprise ou une innovation. Cette méthode peut fonctionner en excluant certains des évaluateurs qui n'ont pas jugé le projet avec précision mais, malheureusement, elle n'exclura que les évaluateurs qui se trompent sur le positif plutôt que sur le négatif.
Les évaluateurs qui rejettent les candidats appropriés en raison d'un manque de jugement seront moins susceptibles d'être filtrés en utilisant cette approche puisque les projets rejetés ne parviennent pas à l'étape 3 (à moins que la participation suggérée du jury ne soit mise en œuvre). Pour compléter cela, les nouvelles soumissions peuvent être utilisées comme source de données. Si un projet a été rejeté à l'étape 2 et a ensuite été resoumis juste pour atteindre avec succès l'étape 3, les évaluateurs originaux de l'étape 2 qui ont rejeté le projet peuvent être filtrés.
Une limite à cette approche est qu'une nouvelle soumission à l'étape 2 pourrait avoir mis en œuvre des changements substantiels qui ont éliminé les insuffisances précédentes, rendant ainsi le rejet initial exact. Mais avec une taille de jeu de données substantielle, de tels cas peuvent être identifiés.
Sur la base des données collectées, qui utilisent les évaluations de l'étape 3 comme référence, les évaluateurs peuvent être notés et ceux de haut rang peuvent être utilisés à l'étape 2 tandis que ceux de rang inférieur peuvent être utilisés à l'étape 1 ou retirés du pool. Les candidats passent beaucoup de temps sur les soumissions et les nouvelles soumissions à l'étape 2, c'est pourquoi le EIC devrait s'efforcer d'éviter les évaluations contradictoires aux étapes 1, 2 et 3.
