Hassen Zargouni entre le dénigrement et la réalité : quelle crédibilité pour ses chiffres ?
Les sondages sortie des urnes diffusés dimanche dernier en exclusivité par Sigma Conseil, ont suscité une nouvelle fois la polémique, sur la place des instituts de sondage en démocratie. Au centre des critiques, le patron de Sigma, accusé de manipulation orientée de l’opinion. Sachant qu’il a été le seul à avoir osé réaliser et publier ce sondage en 2018, il est utile de s’arrêter sur cette opération-kamikaze où ses concurrents ont préféré ne rien faire pour ne pas se tromper.
Comme en 2014, Hassen Zargouni, patron de l’institut Sigma Conseil, a présenté les résultats de ses sondages sortie des urnes. Et comme en 2014, il a été fortement dénigré parfois sur le fond, souvent sur la forme. On lui reproche de présenter Ennahdha 1er alors que le parti islamiste est devancé par les listes indépendantes (qui, comme leur nom l’indique, ne sont pas une coalition homogène), on lui reproche l’inexactitude de quelques résultats dans certaines municipalités et, comme en 2014, on l’accuse de manipulation des chiffres et de l’opinion publique.
Qu’en est-il réellement ? Ce qu’il faudrait rappeler, peut-être, est que les instituts de sondage, partout dans le monde démocratique, ne réalisent pas systématiquement et à chaque fois des sondages exacts. Ils ne sont pas à l’abri des caprices des électeurs et doivent, à chaque élection, affiner leur panel. Leur véritable examen national se fait à chaque scrutin et c’est cette élection nationale, et uniquement elle, qui leur permet de connaitre quel est le bureau représentatif qu’ils peuvent sonder. Ils ne sont pas à l’abri, non plus des « mensonges » des électeurs sondés qui peuvent annoncer un vote qu’ils n’ont pas réalisé, parce qu’ils ne l’assument pas publiquement. Cela s’est vu notamment aux dernières élections en France ou aux Etats-Unis où les citoyens n’assumaient pas vraiment leur choix de Marine Le Pen ou de Donald Trump. Autant d’inexactitude dans le recueil des sondages qui faussent le résultat final. Dernier point, il y a de grosses différences entre un suffrage universel comme la présidentielle, des élections législatives nationales et des élections municipales. A chacune ses spécificités que le sondeur doit prendre en considération.
En dépit des erreurs observées partout dans le monde démocratique, et en dépit de l’inexpérience totale de terrain faute d’élections antérieures, Sigma Conseil a réalisé en 2014 le véritable exploit et a diffusé des chiffres presque exacts à 0,1% près.
En 2018, Hassen Zargouni a encore une fois parié et a été un des très rares instituts de sondages tunisiens, voire le seul, à prendre le risque de réaliser des sondages et de les publier. Contrairement à 2014, il n’a pas fait l’art pour l’art en 2018 et a proposé à la vente ses sondages sortie des urnes à quelques médias de la place, afin d’amortir ses dépenses. Ce qu’il faut savoir est que le coût de réalisation de ce sondage tourne autour de 200.000 dinars. Un coût justifié par la logistique de la mobilisation de près de deux mille personnes réparties comme suit : 1728 sondeurs de terrain présents dans 864 centres électoraux, 115 agents de réception d’appel, 60 inspecteurs de terrain, 50 inspecteurs de qualité et 20 ingénieurs statisticiens.
Hassen Zargouni a contacté un certain nombre de médias et quatre ont accepté d’acheter le sondage sortie des urnes pour le diffuser après la fermeture des bureaux de vote, à savoir le journal électronique francophone Business News, le quotidien arabophone Le Maghreb, la radio Jawhara FM et la chaîne de télévision publique Watanya. L’animateur de cette dernière a beau pavaner et dire que les chiffres sont publiés en exclusivité sur Wataniya, ceci est totalement faux. Et l’animateur en question (ou sa direction) a refusé que les noms des médias formant le pool soient cités.
Cet engagement de Business News est un risque vis-à-vis de nos lecteurs, car si Hassen Zargouni se trompe, c’est la crédibilité de notre journal qui est mise sur la sellette. On se devait donc de vérifier le sérieux de l’institut au préalable et le sérieux de Sigma n’est plus à démontrer, comme en témoignent ses chiffres de 2014. Sauf que chaque élection a ses particularités et c’est un nouvel examen à chaque fois. On se devait de vérifier les chiffres de 2018 et ils sont sans appel à l’échelle nationale, en dépit de toute la polémique suscitée depuis dimanche sur les réseaux sociaux autour de la crédibilité mise en doute de Sigma et de la manipulation supposée de Hassen Zargouni.
Dans la présentation de ses résultats, Hassen Zargouni a toujours dit que l’intervalle de confiance (ou marge d’erreur) est de 3% au maximum.
Comme en témoignent les résultats préliminaires de l’ISIE, comparés aux résultats « sortie des urnes » publiés dimanche sur Business News, les chiffres nationaux sont dans cette marge et on est parfois à moins de 1% d’erreur.
C’est dans le détail des votes dans chaque municipalité que l’on trouve des écarts qui sont parfois importants dans les petites municipalités. La particularité est que plus la municipalité est grande, plus l’erreur est petite. Ce qui est normal puisque le risque d’erreur est réduit avec un panel plus important de personnes interrogées. Cela est dû à toutes les raisons cumulées évoquées plus haut.
On remarque ainsi qu’à la municipalité de Tunis, Sigma a accordé à Ennahdha 33,8% alors que le parti a obtenu 32,26%. Pour Nidaa, Sigma a accordé 29,2% contre 27,32% réellement. Attayar a obtenu 10,5% selon le sondage de Sigma et 12,38% selon l’Isie. L’Union civile a obtenu 9,41% réellement alors qu’on lui a estimé 9,7%. Le Front populaire a obtenu 6,28% contre une prévision de 6,8%.
A la municipalité de Sfax, on voit qu’Ennahdha a obtenu 30,72% contre une estimation de 31,6% ; Nidaa a obtenu 16,34% contre une estimation de 16,6% ; Attayar a obtenu 16,47% contre une estimation de 13,7 ; le parti destourien libre a obtenu 7,45% contre une estimation de 11,4% et Bani Watani a obtenu 7,81% pour une estimation de 6,4%.
S’il y a une erreur à noter dans une grande municipalité de la part de Sigma, c’est bien à Monastir qu’on peut constater que le classement de Sigma a été différent de celui de l’Isie. Sigma a accordé à Nidaa 24,2% en le plaçant premier, alors que l’Isie lui a accordé 16,07% en le plaçant 2ème. La liste Ainek ala bledek a obtenu réellement 25,49% en étant première, alors que Sigma l’a placée 2ème avec 19,1%. Le reste du classement pour Monastir demeure identique entre Sigma et l’Isie avec des écarts raisonnables.
Pour les erreurs dans les petites municipalités, on remarque de grands écarts dans un bon nombre parmi les 44 municipalités couvertes par Sigma. Et comme signalé plus haut, plus le nombre de votants est petit dans la municipalité en question, plus l’erreur est grande. A Tataouine, l’écart est proche de dix points. A Manouba, l’écart monte à 8 points, comme on le voit dans les graphiques.
A la municipalité de Zéramdine quelques différences sont à constater entre les prévisions de Sigma et les résultats préliminaires de l’Instance supérieure pour les élections. Le sondage accordait à Machrouû Tounes 20,7% contre les 21,77% de l’Isie (l’écart est ici infime). Sigma donnait 20,7% à Nidaa Tounes et l’Isie 16,98. Pour Ennahdha, l’écart avoisine les 8 points.
Quant à Sidi Hassine, l’écart est visible pour Nidaa Tounes : 22,38% chiffres de l’Isie et 17,4% Sigma. L’Isie a annoncé un résultat de 9,9% pour la liste indépendante Sidi Hassine Al Ghad, alors que les prévisions de Sigma lui donnaient 16,2%.
Pour Hassen Zargouni, Sigma a privilégié le niveau national et a essayé de limiter la casse au niveau local
Dans une déclaration à Business News, le patron de Sigma revient sur cette expérience inédite, en ces termes : « La stratégie pour élaborer un plan de sondage dépend de l’objectif visé. Or dans le cas des élections municipales, il s’agissait d’atteindre d’abord l’objectif principal à savoir l’estimation des taux nationaux obtenus par les différentes formations politiques afin de mesurer le rapport de force politique dans le pays à date, mais aussi l’objectif secondaire qui est celui d’estimer, un tant soit peu, les performances des listes au sein d’une cinquantaine de villes dont les chefs-lieux de Gouvernorat pour la symbolique politique, notamment les trois villes Tunis, Sousse et Sfax.
Ces deux objectifs sont contradictoires car, afin d’obtenir un intervalle de confiance serré pour le national, il nous faut chercher des unités de sondage d’une manière très dispersée dans le pays, un peu partout, mais suffisamment en nombre dans chaque ville visée par la publication des résultats estimatifs.
En ingénierie des sondages cela suppose qu’on essaye d’appliquer le théorème central limite en même temps que la loi des grands nombres. Ce n’est que difficilement atteignable. De fait Sigma a privilégié le niveau national et a essayé de limiter la casse au niveau local. D’où la qualité des estimations au niveau national et les quelques écarts constatés au niveau local. Il faut dire aussi que le budget et le temps alloués à l’opération n’est pas extensible à l’infini.
En outre, Sigma a procédé à une augmentation importante de l’effectif de sondage car ne disposant pas d’antériorité permettant d’affiner les redressements et autres pondérations ou modélisation qui tiendrait compte de scrutins municipaux antérieurs.
Techniquement, la technique d’échantillonnage utilisée dans cette vague de sondage sortie des urnes relève des plans à plusieurs degrés de stratifications avec tirage aléatoires des strates les plus fines (les secteurs) en fonction de la taille des communes par le nombre d’inscrits avec un tirage aléatoire séquentiel (fonction du temps le long de la journée) pour sélectionner les personnes à interviewer ».
Un statisticien de la place a estimé avant même le démarrage des élections que l’opération sondage sortie des urnes est une opération-kamikaze et qu’en aucun cas, Hassen Zargouni ne pourrait publier des pourcentages à 20h et certainement pas le classement des sièges. Il attribue cette impossibilité à la grande complexité de l’opération et des algorithmes qui exigent un minimum de temps incompressible pour la réaliser.
Alors que l’écrasante majorité des instituts de sondage et des médias ont préféré ne rien faire pour ne courir aucun risque d’erreur, Sigma et le pool des 4 médias qui ont choisi de publier les résultats le jour même du vote, à l’instar de ce qui se passe dans les démocraties, ont préféré courir le risque.
Pour Business News, si l’opération était à refaire, nous ne changerons pas d’un pas, sauf peut-être à exiger un engagement écrit de la part de Wataniya de respecter la déontologie et la notion même du pool en annonçant au public les noms de tous les commanditaires du sondage.
A l’échelle nationale, Sigma ne s’est pas trompé et a donné des résultats presque exacts et dans les normes ordinaires des intervalles de confiance. Idem dans les grandes municipalités puisque Sigma a donné les classements justes de plusieurs d’entre elles, dont les plus importantes, à savoir Tunis et Ariana.
La question qui se pose est fallait-il pour Sigma ne rien faire afin de ne subir aucune critique et injure (de la part de ceux qui n’entreprennent jamais rien généralement) comme on l’a vu tout le long de cette semaine ? C’est le meilleur moyen de ne pas se tromper et c’était l’avis des autres instituts. Hassen Zargouni se sent mu d’une mission et il préfère jouer aux kamikazes, dans l’intérêt même de son entreprise, des médias, de sa corporation, des politiques et de la démocratie tunisienne naissante.
Nizar Bahloul (avec Ikhlas Latif et Boutheïna Laâtar)
