Ce ne sont pas les personnes qui doivent être comptées, mais des informations indépendantes
Dix prévisions répétant une note ne sont pas égales à dix observations indépendantes. L'agrégation peut réduire le bruit individuel, mais ne doit pas nécessairement éliminer l'erreur globale. Pour discuter de la « sagesse des foules », demandez d’abord ce que les gens apprécient, quelles données ils ont consultées, s’ils ont répondu de manière indépendante et comment les réponses sont combinées. Le prix du marché, le questionnaire moyen et le vote majoritaire sont trois mécanismes différents, même si de nombreuses personnes sont impliquées partout.
Dans l'expérience de Lorenz et al., l'influence sociale peut avoir réduit la diversité des jugements sans une amélioration correspondante de la précision collective et une confiance accrue. Mais la discussion scientifique qui s’ensuit attire spécifiquement l’attention sur la différence entre les résultats collectifs et individuels. Ce n'est pas une raison pour déclarer une communication nuisible : le résultat dépend de la tâche et du critère d'évaluation.[1][2]
Mesures fictives d'un indicateur
Supposons que vous deviez estimer un nombre inconnu qui, après vérification, s'avère être égal à cent. Trois estimations préliminaires indépendantes - quatre-vingts, cent cent vingt ; leur moyenne est de cent. Si les participants voyaient pour la première fois l'indice erroné « plutôt cent trente » et que tous rapportaient cent trente, le désaccord disparaissait et l'erreur s'élevait à trente. L’accord entre les réponses est devenu plus fort, mais les informations sur la vérité n’ont pas augmenté.
Il s'agit d'un exemple délibérément simplifié, et non le résultat d'une expérience ou d'un modèle de devis. Cela montre qu’une petite dispersion d’opinions ne constitue pas une preuve indépendante de l’exactitude. De même, un groupe peut se tromper unanimement en raison d’un taux de conversion incorrect, d’un rapport obsolète ou de la même interprétation d’un indicateur. Tout d'abord, le fait principal est vérifié, et ensuite seulement les estimations qui en résultent sont moyennées.
Comment recueillir des avis pour tester les bénéfices
Invitez les participants à écrire d’abord indépendamment l’estimation, la plage d’incertitude et la source. Enregistrez ces réponses. Ensuite, ouvrez la discussion et créez une deuxième version expliquant ce qui a exactement changé. Après avoir révélé le fait, comparez la précision des deux étapes. Ce protocole permet de distinguer l'apprentissage d'un participant plus informé de la simple convergence de réponses sous l'influence d'une voix assurée.
N'attribuez pas de poids uniquement au volume et à la position. Des pondérations raisonnables nécessiteraient la précision disponible avant la question historique actuelle sur des problèmes comparables. Même dans ce cas, il vaut la peine de tester la robustesse de l’exclusion d’un expert et des sources de données communes. Si deux analystes utilisent la même base de données et le même algorithme, leur affiliation formelle à des organisations différentes ne garantit pas encore leur indépendance informationnelle.
Pourquoi le consensus ne capture pas toute l'incertitude
L'étude de Zarnowitz et Lambros fait la distinction entre l'accord entre les prévisions ponctuelles et l'incertitude au sein de la distribution de probabilité de chaque prévisionniste. Les gens peuvent nommer des valeurs centrales proches et accepter simultanément un très large éventail de résultats. Par conséquent, une petite répartition des chiffres centraux peut masquer une incertitude importante plutôt que de l’éliminer.[3]
Concrètement, cela signifie : demander non seulement la « croissance moyenne attendue », mais aussi une liste de scénarios et de probabilités. Lors de la combinaison, n'effacez pas les différentes bases. Deux nombres identiques, issus de prémisses opposées, peuvent réagir à de nouvelles informations de manières complètement différentes. Tester [étalonnage des prévisions] (/guides/forecast-calibration/) est plus utile que simplement montrer combien d'experts sont d'accord les uns avec les autres.
Pourquoi la bourse n'est pas un quiz ordinaire
Dans un quiz pédagogique, la bonne réponse existe souvent quel que soit le comportement des participants. Sur le marché, leurs actions peuvent modifier le prix, la liquidité et les restrictions des autres. De plus, les pondérations d’opinion sont déterminées non seulement par le nombre de participants, mais également par le montant des fonds disponibles et des transactions. Il est donc impossible de transférer le résultat du laboratoire directement dans la rentabilité de l'achat. La question des interactions est abordée dans [analyse des systèmes complexes] (/guides/complex-systems-markets/).
Lors de la lecture de la source originale, vérifiez le type de problème, la méthode d'agrégation, la disponibilité des réponses d'autres personnes et le critère de réussite. Pour votre propre discussion, il est utile de conserver des estimations initiales indépendantes et d’indiquer séparément les données d’entrée globales. Le résultat devrait être une liste de raisons vérifiables d’accord et de désaccord, et non la conviction qu’un grand groupe connaît automatiquement le prix futur.
Un exercice aux origines des notes
Faites une petite carte des cinq prévisions et tracez des flèches vers les sources utilisées. Si toutes les flèches convergent vers le même tableau original, l’augmentation du nombre de récits n’a pas augmenté le nombre d’observations. Notez ensuite les transactions indépendantes : qui a vérifié le périmètre, qui a recalculé la devise, qui a utilisé un ensemble de données différent. La diversité se situe au niveau des œuvres testées, et pas seulement au niveau des noms.
Pour l'agrégation, déterminez à l'avance si la méthode moyenne, médiane ou autre est utilisée et pourquoi. Dans un certain sens, la médiane est plus résistante à une seule réponse extrême, mais elle n’élimine pas l’erreur commune à tous les participants. Vous pouvez afficher les résultats de plusieurs méthodes présélectionnées sans choisir le gagnant comme celui qui se trouve le plus proche une fois le fait révélé. C'est ainsi que l'on teste l'organisation du processus, et non la possibilité de sélectionner rétroactivement une belle règle d'association.
Sources et limites de la vérification
[1] [Comment l'influence sociale peut saper la sagesse de l'effet de foule](https://pmc.ncbi.nlm.nih.gov/articles/PMC3107299/). Évaluations en laboratoire et influence sociale ; le report sur les prix est limité.
[2] [L'influence sociale profite à la sagesse des individus dans la foule](https://pmc.ncbi.nlm.nih.gov/articles/PMC3169111/). Distinction entre précision individuelle et collective.
[3] [Consensus et incertitude dans les prévisions économiques] (https://www.nber.org/papers/w1171). L’écart de consensus n’est pas égal à l’incertitude des prévisions individuelles.
Optimisation Ant : la mémoire est sur les bords
Dans la description de l'optimisation des fourmis par Marco Dorigo, l'itinéraire est construit de manière séquentielle : la probabilité de transition dépend de la trace de la recherche précédente et de l'attractivité locale du bord. Une fois les itinéraires construits, le sentier est mis à jour et une partie s'évapore. [RCW1] Il s'agit d'une conception algorithmique inspirée des insectes, et non d'une affirmation selon laquelle une colonie naturelle résout un problème de manière optimale.
Définissons notre option minimale. A partir du sommet i, les sommets j qui n'ont pas encore été visités sont accessibles ; poids de transition wᵢⱼ=τᵢⱼ/dᵢⱼ, où τ est la trace positive, d est la longueur donnée. La probabilité est égale au poids divisé par la somme des poids disponibles. Après un tour complet, chaque bord utilisé reçoit Q/L, où L est la longueur du tour ; l'ancienne trace est multipliée par 1−ρ. A la première fourche avec voies et distances égales 2 et 4, les poids sont 1/2 et 1/4, les probabilités sont 2/3 et 1/3. Soit Q=12, ρ=0,5, la trace originale est 1. Le bord du tour de longueur 6 recevra la trace 2,5, celui non utilisé restera à 0,5. Il s’agit d’une rétroaction positive vérifiable couplée à l’oubli.
Pour un voyageur de commerce, les villes et le coût de chaque correspondance sont précisés. Le tour doit visiter chaque ville exactement une fois et revenir au début. Dans le graphe artificiel AB=2, BC=2, CD=2, DA=2, AC=5, BD=5, la route ABCDA a une longueur 8 ; ABDCA - 14. Comparer les deux longueurs est facile ; Trouver le meilleur circuit parmi un grand nombre d'options est beaucoup plus difficile. L'algorithme est arrêté sur la base d'un budget prédéterminé des circuits construits et comparé à une simple recherche aléatoire avec le même budget. Le meilleur résultat trouvé n’est pas déclaré minimum global prouvé sans une limite inférieure distincte ou une recherche exhaustive. A force de trop renforcer l'itinéraire initial, la variété disparaît ; l'évaporation et la randomisation réduisent mais n'éliminent pas le risque de rester coincé.
Labyrinthe et recherche d'un spécialiste : combiner des informations, pas des réponses
Dans un labyrinthe, ce n'est pas la longueur moyenne des chemins des autres qui est utile, mais une carte des transitions éprouvées. Exemple de l'auteur : le premier participant a découvert les arêtes S→A de longueur 1 et A→T de longueur 9, le deuxième - S→B de longueur 4 et B→T de longueur 4, le troisième - A→B de longueur 1. Leurs itinéraires individuels peuvent être plus longs que le chemin S → A → B → T de longueur 6 dans le graphe fusionné. Un nouvel itinéraire n'est acceptable que si chaque bord a été effectivement observé, si les directions sont les mêmes et si l'état du labyrinthe n'a pas changé. Il est impossible de faire la moyenne des noms de virages : vous vous retrouverez avec un chemin que personne n'a testé.
Ici, la variété assure une couverture de l'espace, et pas nécessairement une compensation des erreurs. Si tout le monde explore le même couloir, les personnes supplémentaires n’étendront guère la carte. Si le coût de la vérification des contours est élevé, il faut comparer le gain avec les coûts de reconnaissance et de communication. Par analogie, la recherche créatrice commence par deux explications indépendantes, puis cherche une observation qui les distingue ; L’accumulation mécanique de liens de même origine ne crée pas de diversité.
Trouver un spécialiste rare est un autre défi. Au lieu de faire la moyenne des opinions, nous devons accepter les candidatures et les critères de décision vérifiables. Dans le modèle jouet, la probabilité qu’un candidat indépendant sélectionné au hasard soit capable de résoudre le problème est 0,1. Pour cinq candidats, la probabilité qu'il y ait au moins un candidat approprié est 1−0,9⁵≈40,95%. Il ne s’agit pas d’une mesure de l’efficacité des concours généraux : la dépendance des compétences, l’autosélection et le coût de la vérification modifient le calcul. Les modalités du concours doivent définir au préalable la reproductibilité de l'épreuve, les droits au résultat et au paiement ; le nombre de candidatures ne remplace pas la vérification de la solution.
Prédictions du marché et prévisions des ventes d’imprimantes éducatives
Un contrat « oui » paie une unité notionnelle si un événement prédéterminé se produit, et zéro dans le cas contraire. Étant donné un prix de 0,65 et une probabilité subjective de 0,70, son résultat monétaire attendu avant dépenses est 0,05. Interpréter le prix comme une probabilité nécessite des hypothèses supplémentaires sur les attitudes face au risque, la richesse, la liquidité et les capacités des participants. Il ne s’agit pas d’une moyenne de votes et ne constitue pas une garantie de calibrage. La source du fait, le délai, la procédure de résolution du résultat controversé et l'impossibilité de modifier le résultat en faveur personnelle doivent être déterminés.
L'étude de Chen et Plott sur les prévisions de ventes internes chez Hewlett-Packard décrit un mécanisme d'agrégation spécialement organisé, et non la supériorité universelle d'une foule quelconque. [RCW2] Conserver le mécanisme général, mais ne pas transférer le nom du produit, l'échantillon et l'exactitude historique comme preuve toute faite.
Dans notre propre exercice, nous prévoyons les ventes mensuelles d'imprimantes fictives : en dessous de 80, de 80 à 120 inclus, au-dessus de 120. Trois contrats mutuellement exclusifs en paient un chacun seulement dans leur gamme. Prix 0,2 ; 0,5; 0,3 sont additionnés à un ; l'achat d'un ensemble complet pour une unité donne une unité pour n'importe quel résultat, sans frais. Les valeurs 60, 100 et 140 peuvent être désignées comme représentatives de la plage et 104 peut être obtenue comme estimation pondérée. Cependant, les intervalles extrêmes ouverts ne définissent pas leurs propres moyens ; 104 est le résultat d’un modèle propriétaire supplémentaire, et non d’une attente mathématique, extraite sans ambiguïté des cotations.
Pour tester l’utilité, enregistrez d’abord les prévisions officielles, les probabilités de marché et le moment où elles ont été produites, puis comparez les erreurs sur la même série de mois. Les participants des ventes, des entrepôts et de la production fournissent des informations différentes ; une prime générale d'entreprise et la peur de se disputer avec la direction peuvent détruire l'indépendance. Le contrôle comprend également les mois infructueux, le coût du mécanisme et les modifications des règles. Même un avantage dans un tel test ne prouve pas l'efficacité des cours boursiers : le sujet du calcul, les paiements et l'influence des participants sur le résultat sont différents.
[RCW1] Marco Dorigo, Mauro Birattari, Thomas Stützle, « Ant Colony Optimization: Artificial Ants as a Computational Intelligence Technique », IRIDIA, Université Libre de Bruxelles, Technical Report Series, TR/IRIDIA/2006-023, septembre 2006, sections II.A–II.C, formules (2)–(5), source cr-aco-dorigo-http. Schéma formel pour la recherche probabiliste et la mise à jour des traces ; Les graphiques et les chiffres ici sont ceux de l'auteur.
[RCW2] Kay-Yut Chen, Charles R. Plott, « Mécanismes d'agrégation d'informations : concept, conception et mise en œuvre pour un problème de prévision des ventes », source cr-sales-markets. Recherche primaire d'un mécanisme d'entreprise spécifique ; les imprimantes pédagogiques et l’espacement sont un exemple à part entière.
Comment les actions séquentielles cachent les signaux privés
Dans le modèle de cascade d’informations, une personne observe les actions de ses prédécesseurs, mais pas ses informations personnelles. L’examen des évaluations indépendantes et cet apprentissage séquentiel sont des tâches différentes. Les travaux primaires de Bikhchandani, Hirshleifer et Welch montrent la possibilité d'une situation dans laquelle l'action cesse de révéler des informations privées.[1](#source-cp-cascades) L'exemple suivant est construit à nouveau ; il ne reproduit pas les cours du marché.
Il existe deux états d'un projet conditionnel : bon et mauvais, probabilités préalables divisées par deux. Les participants choisissent à tour de rôle « accepter » ou « rejeter », recevant un un pour identifier correctement la condition et un zéro pour une erreur. Le prix et les paiements ne changent pas en raison des décisions des autres. Tout le monde reçoit un signal indépendant pour un état donné : c'est vrai avec la probabilité 75%. Tout le monde connaît les règles et voit les actions précédentes, mais pas les signaux. Si les probabilités finales sont égales, nous accepterons de suivre notre signal. C'est cette règle de tirage au sort qui est importante pour l'exemple.
Le premier voit un signal positif et l’accepte. Son action révèle ce signal. Le second voit aussi le positif et l’accepte. Après deux de ces actions, le rapport des probabilités d'un bon et d'un mauvais état est (0,75/0,25)² = 9 ; la probabilité d'un bon état est 9/(1 + 9) = 90%.
Le troisième voit un signal négatif. Il réduit le rapport de cotes d’un facteur trois, mais le laisse à trois ; la probabilité finale d'un bon état est 75%. Le troisième accepte donc également, même si son observation privée est négative. Si le signal était positif, il recevrait également. Son effet est le même pour les deux signaux : il ne dit plus au participant suivant ce qu'il a exactement appris.
Le quatrième n'a pas le droit de considérer trois acceptations comme trois signaux positifs indépendants. Il sait que la troisième action n'a rien révélé et garde les cotes publiques 9 à 1. Son propre signal négatif laisse à nouveau l'avantage d'un bon état. De cette façon, les étapes suivantes peuvent être répétées sans ajouter d’informations indépendantes. Le nombre de consonnes augmente, mais pas le contenu informatif de la séquence.
La cascade peut être imparfaite et fragile
Dans un très mauvais état, les deux premiers signaux partiels peuvent encore s'avérer positifs : la probabilité d'un tel démarrage particulier est égale à 0,25² = 6,25%. Selon nos règles, cela déclenche une fausse acceptation. Il s’agit de la probabilité conditionnelle qu’une trajectoire soit en mauvais état, et non de la probabilité globale de toutes les cascades erronées, et encore moins de la fréquence des bulles boursières. Pour calculer l'indicateur global, vous devez prendre en compte tous les départs possibles, les cascades négatives, les nuls et les probabilités a priori.
Présentons maintenant un nouveau test accessible au public qui donne le rapport de vraisemblance de 20 sur 1 en faveur du mauvais état. Les chances de bien public deviendront 9/20, c'est-à-dire inférieures à un. Les nouvelles informations peuvent potentiellement détruire ce qui semblait être un consensus massif. Par conséquent, un renversement soudain ne signifie pas nécessairement que chaque participant a reçu simultanément une nouvelle observation indépendante. Dans le même temps, le modèle ne prétend pas que tout renversement s’explique par une cascade.
Séparez l'imitation informationnelle de l'imitation réputationnelle : une personne peut suivre les autres non pas pour obtenir une meilleure conclusion sur le projet, mais pour ne pas se différencier du groupe ou ne pas perdre de client. Le désir de n’avoir « pas pire que ceux des amis » ajoute un autre motif ; cela n'améliore pas la précision du signal. La popularité d’un produit ou la renommée d’une entreprise n’indiquent pas non plus si le prix déjà payé est rentable. Le plaisir de participer à une discussion et le résultat monétaire attendu sont des objectifs différents ; le prix élevé d’une histoire captivante peut laisser peu de place aux revenus ultérieurs.
La vérification pratique consiste à restituer l'origine de l'information : qui a fait une observation indépendante, qui n'a vu que l'action, qui raconte un auteur. La sauvegarde des estimations originales permet de détecter les signaux perdus, mais ne garantit pas leur exactitude. Le marché financier connaît des prix changeants, des paiements inégaux, des restrictions, des volumes partiellement informatifs et de nouvelles informations publiques. Par conséquent, ce modèle explique un mécanisme de dépendance à l’information, mais ne prédit pas la direction des prix, l’ampleur de la contagion ou le moment du renversement. Les analogies avec les animaux, la mode et les infections ne remplacent pas le test de ces conditions.