“Évaluation et qualité de la loi : quel avenir pour les études d’impact ?”

À l’heure où les Français viennent d’élire leurs représentants à l’Assemblée nationale, leur abstention massive est interprétée par les médias et la classe politique comme un désaveu à l’égard de cette dernière. Il est vrai que toutes les manifestations récentes de l’opinion publique semblent démontrer un désamour à l’égard des institutions démocratiques, voire leur remise en cause violente. Et d’aucuns de proposer de réformer le mode de scrutin, voire le principe-même de la représentation, si ce n’est de passer à une (n+1)^e République.

Pourtant, cette crise de la représentation comporte également une autre cause : les lacunes, non pas seulement dans la sélection des décideurs mais aussi dans leur conduite des politiques publiques. Celles-ci ne peuvent être efficaces que si leur élaboration et leur exécution font l’objet d’une évaluation. Or l’évaluation est l’angle mort de la vie publique française, le tabou de notre démocratie. La crise actuelle du politique devrait pourtant la mettre au premier plan du débat : évaluation ex ante, au moment de la formulation de la politique, notamment dans cet acte majeur qu’est la loi ou le règlement qui met en vigueur la décision, évaluation in itinere, tout au long de son déploiement et enfin évaluation ex-post, pour en analyser les effets. 

Pour remédier à ce silence, nous avons voulu quantifier la qualité des études d’impact (EI) législatives que le gouvernement doit publier avec tout projet de loi au moment de saisir le Parlement, en application de l’article 39 de la Constitution et de la loi organique du 15 avril 2009 (1). 

Une quantification de la (non-)qualité des études d’impact
et de leur peur d’effet sur le débat parlementaire

À partir d’un échantillon des lois présentées sur les deux premières années de la XV^e législature (juin 2017-août 2019), nous avons ainsi évalué une trentaine d’études d’impact selon les 18 éléments que requiert l’article 8 de la loi organique. Chacun de ces éléments est apprécié selon un barème qui, pour les plus basses notes, reflète simplement le respect des obligations constitutionnelles, et donc la simple effectivité de l’obligation d’étude d’impact, et pour les notes supérieures à la moyenne, la qualité de ces documents. Ces 18 critères sont regroupés en 3 grandes variables thématiques, reflétant le contenu de l’EI et les objectifs poursuivis par la loi organique : une variable “politique”, pour traduire et expliciter les choix du gouvernement ; une variable “juridique”, pour situer le projet de loi et son influence dans le contexte juridique, et une variable “d’impact”, censée traduire les différents effets des mesures proposées au législateur. Toutes les statistiques ainsi produites servent d’abord à attribuer une note globale exprimant la qualité intrinsèque du document gouvernemental. Ensuite, nous testons économétriquement les relations entre cette qualité et des indicateurs exprimant l’usage des études d’impact dans le processus parlementaire. Enfin, cette base de données permet également de tester plusieurs hypothèses pour expliquer le premier résultat de notre étude quantifiée : la grande médiocrité de la qualité des études d’impact. 

Constatée par beaucoup d’observateurs ou d’acteurs de la vie parlementaire, cette médiocrité générale est évidente : 15% seulement des études d’impact étudiées atteignent une note globale de 10/20… Cette médiocrité est même étonnante : le score de la variable d’impact – qui constitue la raison d’être des EI… – est le plus faible parmi les trois variables agrégées (60 % des EI étudiées ont une note inférieure à 5/20 pour cette variable). Le score de la variable juridique est juste médiocre : la moitié des EI ont un score de moins de 8/20. Or un score inférieur à 8/20 indique que les prescriptions de la loi organique n’ont même pas été respectées. Au contraire, le score de la variable politique est plutôt satisfaisant : plus de la moitié des EI ont un score d’au moins 13/20. 

En ce qui concerne l’origine des EI, on constate que les ministères “économiques” (incluant le ministère chargé du Travail) obtiennent un score global et un score sur la variable “impact” significativement supérieurs aux ministères “régaliens” et aux autres ministères “techniques”. La qualité des EI dépend ainsi du ministère qui porte la réforme qu’elle vient illustrer, d’autant plus que ce ministère est doté de services d’études économiques. L’évaluation semble alors gouvernée par une “logique d’offre”, l’EI apparaissant pour ces services producteurs comme un vecteur pour se distinguer les uns des autres et diffuser publiquement leurs travaux.

Le Conseil d’État opère un contrôle de l’existence et du contenu de l’EI au moment de formuler son avis sur le projet de loi. Pourtant, son intervention, lorsqu’elle se traduit par des allers-retours avec le gouvernement, n’entraîne pas une amélioration sensible de la qualité de l’EI.  

L’usage de l’EI dans le débat parlementaire est également plutôt limité, que ce soit à travers sa mention dans l’Hémicycle (0,37 % des interventions orales des députés et sénateurs chaque mois) ou dans les exposés des motifs des amendements (1,6 % à l’Assemblée, 1,2 % au Sénat). On note toutefois l’exception que constitue le projet de loi sur le régime universel de retraites, avec près de 9 % des amendements à l’Assemblée en février 2020 mentionnant l’EI. Il est vrai que, dès la transmission du projet au Parlement, l’EI avait fait l’objet de très sévères critiques dans la presse et dans le monde politique. 

À l’Assemblée, ce sont les EI de meilleure qualité qui sont les plus souvent utilisées. Plus le projet de loi est substantiel et politiquement conflictuel (comme mesuré par la taille du projet ou le nombre d’amendements, notamment), plus l’EI apparaît fournie et détaillée. La qualité de l’EI semble être proportionnelle au caractère “politique” du thème abordé par le projet de loi, comme si le gouvernement cherchait à se prémunir des critiques en publiant dans l’EI ses travaux d’expertise. Toutefois, on note que c’est l’opposition, en particulier de gauche, qui utilise davantage le contenu des EI. Alors que 54% des députés n’en avaient jamais mentionné oralement une en près de trois ans (juin 2017-février 2020), tous les membres du groupe LFI et 85 % des députés socialistes en ont mentionné au moins une sur la même période. 

Quelques explications du désintérêt pour les études d’impact

Du point de vue de la qualité générale des EI, notre analyse suggère plusieurs raisons structurelles à leur piètre qualité, les acteurs ne disposant de guère d’incitations pour prendre davantage au sérieux cette obligation constitutionnelle.  

Le relatif désintérêt des parlementaires pour ces EI, qui se perçoit par leur faible reprise dans les rapports et amendements, n’incite pas le gouvernement à faire des efforts de présentation et d’ingéniosité dans le contenu des EI, d’autant plus que d’éventuels efforts sont ensuite exploités surtout par l’opposition (en particulier à gauche). 

Le manque d’incitation, du côté du gouvernement, à l’amélioration de la qualité des EI résulte également de leur élaboration sous l’autorité du ministre porteur du texte – et non d’une entité indépendante – en parallèle à la préparation de la loi, et donc dans des délais très courts. 

Le contrôle effectué par le Conseil d’État, malgré sa vigilance dans ses avis publics, est d’un effet pratique limité, le Conseil n’ayant jamais opposé un sursis à examiner un texte de loi sur ce motif. À cet égard, il faut reconnaître que la jurisprudence du Conseil constitutionnel n’a guère pesé pour exiger des EI de qualité. Bien au contraire, sa décision n°2014-12 FNR du 1^er juillet 2014 n’exige une évaluation que de l’impact attendu par le gouvernement par rapport aux seuls objectifs que celui-ci s’est fixés, et non les impacts de toutes natures que la réforme pourrait susciter. Cette décision conforte donc le gouvernement à faire de l’EI un exercice formel.

Traditionnelle dans la V^e République, la faiblesse du Parlement face à l’exécutif se traduit ici également à deux niveaux : d’une part, le manque d’indépendance des parlementaires devant l’exécutif et d’autre part, le “fait majoritaire”, en particulier à l’Assemblée nationale, qui s’exprime au sein de la Conférence des présidents, qui a seule compétence pour contester la qualité de l’EI. 

En définitive, semble se développer un cercle vicieux : la mauvaise qualité des EI est critiquée par l’opposition, ce qui n’incite pas le gouvernement à les améliorer et du coup démobilise sa majorité à les utiliser dans le débat parlementaire.

En définitive, et même s’ils sont difficiles à quantifier scientifiquement, aucun des trois objectifs initialement assignés aux EI – amélioration de la qualité de la loi, plus grande efficience des politiques publiques et élévation du niveau de débat public – ne semble pouvoir être atteint. Toutefois, dès lors que ces trois objectifs demeurent, des pistes d’amélioration doivent être recherchées dans plusieurs directions.   

Quelques pistes d’amélioration

Au stade de la confection des EI et de leur examen, elles pourraient être élaborées plus en amont de la rédaction du texte, avant les arbitrages gouvernementaux, qui pourraient donner systématiquement lieu à une communication en Conseil des ministres, appuyée sur une EI préparatoire. De même, le Parlement pourrait disposer de plus de temps, par exemple en consacrant un débat spécifique à l’EI en commission.

Une meilleure complémentarité est également à trouver entre les évaluations ex-post, qui sont parfois nombreuses, et les évaluations ex ante – notamment les EI, qui en seraient ainsi enrichies. Les lois adoptées pourraient ainsi faire l’objet d’une évaluation systématique, par exemple trois ou cinq années après leur mise en œuvre, par des instances indépendantes, de type universitaire, sous l’égide du Parlement ou d’une autorité indépendante. À cet égard, le statut de France Stratégie, aujourd’hui service du Premier ministre, pourrait évoluer vers le rôle “d’ensemblier”, indépendant, de l’évaluation des politiques publiques ou de garant de la qualité de celle-ci.

Davantage que d’étendre le champ de l’obligation d’EI, par exemple en l’étendant aux dispositions ajoutées pendant la navette parlementaire, c’est sans doute dans le régime des incitations que résident les possibilités d’amélioration du dispositif actuel. 

Incitations négatives, d’abord. On pourrait ainsi renforcer les contrôles et sanctions de type juridictionnel. Le Conseil d’État pourrait surseoir à statuer sur le reste du projet de loi tant que l’EI n’est pas satisfaisante, exerçant ainsi sur les gouvernements la seule pression à laquelle ils sont sensibles : la pression du temps. S’il est difficile d’attendre un revirement de jurisprudence spontané de la part du Conseil constitutionnel, le Constituant pourrait “introduire de la contradiction” comme le préconise l’universitaire Bertrand-Léo Combrade (2). Cette contradiction pourrait être portée par le Parlement lui-même, qui pourrait systématiquement soumettre l’EI à contre-expertise indépendante par ses organes d’évaluation propres ou en faisant appel aux laboratoires de recherche universitaires, ou à des experts extérieurs.

À cet égard, certains ont préconisé de confier cette fonction de contre-expertise à la Cour des comptes, voire à une France Stratégie sortie du giron des services du Premier ministre. Cette contradiction pourrait également être portée par l’opposition, à travers la possibilité donnée à 60 parlementaires de contester devant le Conseil constitutionnel l’étude d’impact, en substitution de la Conférence des présidents. Le précédent des études d’impact environnementales, imposées depuis l’article 2 de la loi du 10 juillet 1976 relative à la protection de la nature, montre en effet que seule la crainte du gendarme, ou plutôt du juge, conduit l’administration à prendre l’évaluation au sérieux. 

Cependant, on peut espérer que des incitations plus positives feront évoluer la culture des responsables administratifs et politiques vis-à-vis de l’évaluation ex ante. À cet égard, seule la demande d’évaluation de la part des acteurs, et particulièrement des acteurs politiques, pourra conduire à en améliorer la qualité. 

Or l’évaluation préalable est trop souvent jugée comme un pensum inutile, au point d’avoir même pu être confiée à un consultant externe. À moins qu’elle ne soit assimilée à un contrôle de régularité qui déboucherait sur une sanction d’autant plus humiliante que le rythme propre aux travaux d’évaluation conduit à mettre en évidence les faiblesses des politiques décidées par les lointains prédécesseurs des dirigeants en place.

Certes, le désintérêt du personnel politique et administratif pour l’évaluation souffre déjà de quelques exceptions, comme le “Printemps de l’évaluation” lancé à l’Assemblé nationale par le député Jean-Noël Barrot ou la conférence annuelle “Évaluation des politiques publiques” coorganisée par la direction générale du Trésor et l’Association française de sciences économiques. 

Cependant, l’EI pourrait être érigée en moment fort de la vie politique si son élaboration était intégrée au cœur du processus de consultation des publics concernés, donc très en amont de la décision. Outre l’amélioration du contenu de la réforme et de son acceptabilité, fonder la consultation obligatoire du public sur une version préliminaire de l’EI aurait également l’avantage de sensibiliser les responsables politiques à l’évaluation. En sens inverse, cela leur donnerait plus de visibilité que le processus actuel de préparation des réformes, qui reste très interne à l’administration. Dans une certaine mesure, il s’agirait seulement de transposer à la conception de la loi ce qui existe depuis 1976 en matière de projet à impact environnemental, où l’enquête publique porte sur l’étude d’impact. 

Les comparaisons internationales en la matière, particulièrement de l’OCDE, le recommandent depuis plusieurs décennies, comme c'est par exemple le cas en Grande-Bretagne. Mais le bon sens populaire le réclame également : n’oublions pas que c’est sur un embryon d’EI alternative que le mouvement des “gilets jaunes” est né, et qu’il s’est terminé sur une vaste consultation publique (3). 

Enfin, la dynamique politique interne pourvoira peut-être à l’amélioration de la qualité de l’évaluation ex-ante. Un Parlement éventuellement gouverné par des coalitions à géométrie variable ouvrira davantage la composition de la Conférence des présidents de l’Assemblée et déplacera peut-être le débat politique sur le contenu des politiques publiques, et donc sur les évaluations. 

En tout état de cause, l’enjeu est majeur, pour au moins deux raisons immédiates. D’une part, la transition économique et sociale de la société, imposée par le changement climatique, exige de correctement appréhender tous les avantages et inconvénients écologiques de choix de politique publique toujours plus complexes, ce qui est l’enjeu même de l’évaluation. Parce que celle-ci est réflexive, en un continuum entre l’évaluation ex-post et l’évaluation ex ante, l’évaluation facilite l’anticipation et l’adaptation face à l’ampleur des chantiers nécessités par la transition. 

D’autre part, l’ampleur des chantiers suscités par cette transition vers une société plus écologique ressuscite l’intérêt pour la planification. Or celle-ci ne peut être ni impérative ni rigide dans une démocratie sociale de marché : l’évaluation en constitue donc une alternative efficace. 

* Bertrand du Marais est conseiller d’État et chercheur associé au Centre de recherche en droit public (CRDP) de Paris-Nanterre. Il est également chargé d’enseignement à l’université Paris Est-Créteil.
Il s’exprime ici à titre strictement personnel et académique et ne saurait engager les institutions auxquelles il appartient.

** Benjamin Monnery est maître de conférences en économie à l’université Paris-Nanterre et membre du laboratoire de recherche EconomiX (Paris Nanterre/CNRS).

(1) Bertrand du Marais, Benjamin Monnery, « Qualité des études d’impact et travail parlementaire », Revue d’Economie Politique, Février 2022/1 (vol. 132). La base de données construite pour cet article a été élaborée grâce à l’aide de nos étudiants de Master 2 à l’université Paris Nanterre. 

(2) Combrade, B. L. (2018) : L’étude d’impact à la croisée des chemins, Jus Politicum.

(3) B. du Marais, « Le Conseil de l’État, l’impact de la loi, l’expert et le gilet jaune », Revue française d'administration publique, n°173, 1/2020, p.69-88.