Nous sommes le Ven 24 Mar 2017 09:08


Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Mathématiques, sciences humaines, anthropologie, écologie, biologie, génétique, médecine, ou encore philologie, linguistique, grammaire et autres. La vaste partie consacrée aux sciences dans leur ensemble, et dans leur unicité.

Modérateur: W4x

Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Messagepar Adena » Ven 24 Juin 2016 13:41

:hai: Bonjour !
Je me trouve confrontée à une interrogation à laquelle je n'ai pas de réponse immédiate dans le cadre professionnel et je me dis que ça peux être intéressant de la partager ici. La problématique peut en intéresser certains et cela peut m'apporter des idées, connaissances et points de vue que je ne rencontrerai peut-être pas autrement.

Actuellement, mon travail (en plus de céphalloraptor et redresseuse de tort) c'est de créer un test psychométrique. Oui, un peu comme les échelles de Weschler, sauf que nous ne nous intéressons pas à l'efficience intellectuelle spécifiquement mais plutôt aux compétences cognitives et langagières de manière plus générale car nous créons un test de dépistage des troubles des apprentissages.

Nous avons donc créé nos épreuves, des dimensions à explorer, des types de scores, de mesures, etc (tous cela est passionnant et je pourrai y revenir dans un fil dédié si cela intéresse certains : comment créer un test psychométrique de A à Z), procédé à l'étalonnage et nous avons toutes nos données. Maintenant il faut les mettre en forme pour créer des normes et sélectionner nos items/épreuves les plus pertinents pour la version finale.

Seulement, les choix que nous allons faire maintenant vont conditionner la nature du test, sa sensibilité et sa spécificité. Et je me trouve devant des dilemmes assez difficile à résoudre. Voilà la situation.

Nous avons un échantillonnage tout venant (nous avons recruté nos enfants dans des écoles de plusieurs villes de France, avec des groupes par classe de la moyenne section maternelle jusqu'à la 5ème). Nous avons 120 enfants par classe environ.
Sont exclus :
les redoublants et ceux qui ont sauté une classe (il y a des épreuves développementales et des épreuves scolaires, un décalage entre les deux biaise l'un et l'autre)
ceux dont les parents ont refusé que leur enfant participe.
Je rappelle que notre test est un test de dépistage. Il a pour objectif de permettre d'orienter vers un bilan plus approfondi quand cela est nécessaire. Le but est d'obtenir des critères de sévérité qui permette de confirmer ou d'infirmer l'hypothèse d'un trouble spécifique. Le seuil de sévérité est de -2 écart-types par rapport à la moyenne. Le test sera utilisé par des médecins (généralistes ou pédiatre) qui ne seront pas experts et doit donc donner des résultats simples à interpréter.

Nous avons deux mesures, les scores bruts de réussite et les temps de réalisation par item et par épreuve.
Nous voulons obtenir des normes de référence mais comme dans toute distribution, nous avons des outliers, des données extrêmes, qui décalent significativement la moyenne dans un sens ou dans l'autre et augmentent la taille des écarts-types. Nous avons fait le choix de garder dans la procédure tous les enfants, quel que soit leur niveau intellectuel et leurs éventuelles pathologies. Nous avons donc des enfants porteurs de troubles des apprentissages, de troubles de l'attention, HPI, defficients, etc. et certains ont des scores vraiment extrêmes, plus souvent vers le bas que vers le haut.
Notre dilemme est le suivant :

Si on garde les données extrêmes et que l'on crée nos normes à partir de la distribution telle quelle, on prend le risque d'avoir des normes décalées vers la gauche, une moyenne de référence sous-estimée et donc de laisser passer des enfants potentiellement pathologiques qui aurait mérités un examen plus approfondi. Il est aussi possible d'avoir des données extrêmes aberrantes, parce que le sujet avait la grippe ce jour là ou a répondu n'importe quoi. C'est la raison pour laquelle notre première intention était de supprimer tous les outliers dont les scores étaient inférieur à -3 écarts-types.
Si on modifie la distribution pour la rendre moins étendue et que l'on crée ainsi notre norme de référence, ont risque de rendre le test trop sensible et d'envoyer en bilan des enfants qui ne présentais pas les critères de sévérité attendus.
Dans les deux cas, la situation est grave. C'est pourquoi on ne peut pas juste se permettre d'avoir un avis sur la question. Il nous faut de vrais outils de décision statistique ou une méthode de référence, mais très franchement, les articles d'étalonnages que je lis sont tous obscurs et j'ai l'impression que sur ce point, tous le monde fait un peu à sa sauce sans qu'une règle fasse consensus et ça me dérange beaucoup.
Cette décision conditionne notre définition de la norme et du seuil pathologique et c'est trop lourd pour faire un choix hâtif.
Que pensez-vous de ce problème, s'il y en a parmi vous qui sont sensibilisés aux statistiques ?

D'autre part, nous allons aussi procéder à ce qu'on appelle la validation interne. C'est à dire mesurer la cohérence des épreuves entre elles (tous les items évaluent-ils bien une même dimension, par exemple, l'expression syntaxique ?) et le caractère discriminant de chaque item (en gros, est-ce qu'il est échoué par les plus faibles de l'ensemble de l'épreuve et réussi par les plus forts ? à quel point ? Un item systématiquement réussi ou systématiquement échoué n'est pas discriminant). A l'issu de ces analyses, nous supprimerons certains items. Cela va modifier la distribution et donc le nombre et la nature des outliers.
La validation interne et le nettoyage de la distribution étant des procédures inter-dépendantes, l'une modifiant l'autre, dans quel ordre est-il préférable de procéder ? Nettoyage des données puis validation interne, ou le contraire ?

Voilà les deux questions principales que je me pose aujourd'hui.
Si vous avez un avis sur la question n'hésitez pas, si vous avez des questions à propos du projet, je serai ravie de développer et si vous avez des CONNAISSANCES qui peuvent apporter un éclairage utile à ces problématiques je serai extrêmement reconnaissante.

Merci d'avoir lu mes errances méthodologico-statistico-métaphysiques ! :ensoleillé:

Ce fil peut aussi faire l'objet de discussion plus vaste sur les statistiques appliqués à la psychométrie en générale, je serai heureuse d'y participer autant que possible !
S'il y a autant de neurones dans un cerveau que d'étoiles dans la galaxie, on a pas fini d'avoir des idées brillantes !
Avatar de l’utilisateur
Adena
 
Messages: 124
Âge: 27
Enregistré le: Ven 14 Aoû 2015 11:54
Localisation: Paris
Présentation: Neurocosmologiste
Profil: En questionnement
Test: NON

Re: Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Messagepar Galadriel » Ven 24 Juin 2016 15:18

Au sujet des statistiques, une vague réminiscence de mes années de Socio, me font te dire que ce doit être autour d'une valeur médiane et non pas de la moyenne que vous devez organiser vos résultats.
La valeur médiane, étant sauf erreur de ma part , celle que vous déterminerez comme étant la valeur "normale", de référence.
Enfin cela est trés lointain dans mon esprit, et je crains de ne pouvoir plus t'aider :(
Avatar de l’utilisateur
Galadriel
 
Messages: 271
Enregistré le: Jeu 23 Juil 2015 16:38
Localisation: Parmi les canards et les étoiles
Présentation: J'y wais
Profil: Diagnostic +
Test: WAIS

Re: Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Messagepar Chacoucas » Sam 25 Juin 2016 12:06

Offtopic :
Offtpic parce que je ne suis ni statisticien ni que j'ai les références épistémologiques pour appuyer ce que je dis: dans ce cadre je ne te serai d'aucune utilité (tu soulignes "connaissances"). Mais tout le concept m'évoque notre discussion, en passant :)
Par exemple dans ce cadre, "norme" demande de préciser clairement le cadre, et le but de ce cadre. Disons que le cadre est assez défini, mais le "but" manque peut être de référentiels: il s'agit d'une évaluation des difficultés d'apprentissage: ça renvoie à nos notions de pédagogie et de système scolaire, dont l'approche idéologique est assez marquée et critiquée par ailleurs. Ne serait ce que par manque de multiplicité: on évalue tout le monde à l'aune des mêmes idées et capacités. Qui ne sont en fait même pas "supposées" universelles puis que la question est à peine posée.

Donc je pencherais pour inclure toutes les subjectivités (ma définition de l'objectivité...) et ne pas trop nettoyer les échantillons. Mais aussi prendre le problème autrement et considérer d'éventuelles subjectivité scolaires et du système dans l'évaluation de capacités et handicaps. Et les interactions entre ces attentes "extérieures" à l'individu et la construction de l'individu selon sa propre "forme" (qui inclut, comme limites, ses handicaps).

En gros la question est de savoir non seulement "à qui sert le test?" (tous, selon l'idée), mais "qui le test sert-il?" (et là c'est probablement pas "tous": il y a une conception préétablie derrière: un modèle de réussite (scolaire: c'est le cadre limité et non universel, la "forme" de la scolarité et de ses buts).

Du coup, "évidemment": validation interne avant nettoyage des données, et éventuellement réflexion supplémentaire sur la validation interne une fois les deux démarches faites.

L'évaluation d'une "norme" universelle, disons que je pense que c'est déjà une des causes numéro 1 de l'échec de l'éducation présumé (il faut le présumer). Je pencherais pour une approche multiple. Si ça éclaire l'idée.

Sinon, ben bon courage: boulot passionnant et "monstre" dans tous les sens: les sujets parallèles seraient bienvenus et intéressants, même si moins utiles à ta tâche immédiate ^^
Avatar de l’utilisateur
Chacoucas
 
Messages: 925
Enregistré le: Jeu 26 Mar 2015 09:12
Profil: En questionnement
Test: NON

Re: Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Messagepar Le Renard » Lun 27 Juin 2016 14:09

Chacoucas a écrit:
Offtopic :
Donc je pencherais pour inclure toutes les subjectivités (ma définition de l'objectivité...) et ne pas trop nettoyer les échantillons.



Sans nettoyage qui s'appuie sur des maths bien carrées, et sans le reste du processus d'extrapolation statistique, les enseignements de l'échantillon ne seront correctement applicables qu'à cet échantillon (et encore), et au mieux l'équipe subira une humiliation publique par leurs pairs lors de la revue des résultats connexes à l'élaboration du test, et au pire des enfants ayant besoin d'aide se verront refuser l'aide en question parce que le test ne les aura pas identifiés correctement.

Chacoucas a écrit:
Offtopic :
Ne serait ce que par manque de multiplicité: on évalue tout le monde à l'aune des mêmes idées et capacités.



Tu parles de l'école. Mais le test en question ne vise pas à évaluer des enfants. Si je lis bien, il vise à évaluer, je cite, des "capacités cognitives et langagières". On n'évalue pas à l'aune d'une capacité. On évalue une capacité. Simplement. Dans le but, justement, de :


Chacoucas a écrit:
Offtopic :
Mais aussi prendre le problème autrement et considérer d'éventuelles subjectivité scolaires et du système dans l'évaluation de capacités et handicaps. Et les interactions entre ces attentes "extérieures" à l'individu et la construction de l'individu selon sa propre "forme" (qui inclut, comme limites, ses handicaps).

Avatar de l’utilisateur
Le Renard
 
Messages: 1494
Âge: 34
Enregistré le: Sam 10 Mar 2012 22:49
Badges: 1
Ex Jardinier (1)
Présentation: ;)
Profil: Diagnostic +
Test: WAIS

Re: Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Messagepar maxmomo » Mer 29 Juin 2016 23:05

Bonjour Adena,
J'enfonce peut-être une porte ouverte mais ne serait-ce pas intéressant de vous rapprocher des profs de stats de ton université (s'il y a une fac d'économie) pour d'une part bien mettre au clair les problèmes méthodologiques dus aux données aberrantes mais aussi pour discuter des échantillonnages (si je ne m'abuse 120 enfants par classe d'âge ne me paraît pas être un échantillon très fourni, ce qui peut créer un biais de représentativité).
Nan mais faut pas laisser ça comme ça les enfants ! (George Abitbol)

So this is how liberty dies, with thunderous applause... (Amidala)


Image
Avatar de l’utilisateur
maxmomo
 
Messages: 179
Images: 0
Enregistré le: Mar 20 Nov 2012 23:52
Profil: Diagnostic +
Test: WAIS

Re: Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Messagepar Adena » Sam 2 Juil 2016 14:31

Bonjour, désolé du temps pris pour la réponse à vos réactions, je voulais prendre le soin de construire une réponse avant de poster quelque chose et des éléments se sont ajoutés tout au long de la semaine :)

Galadriel, merci pour ta réponse, en effet, la médiane est une mesure moins sensible aux données extrême que la moyenne. Cependant, quand la distribution est normale, les deux sont très proches voire identique. Le problème n'est pas tellement de choisir entre deux moyens de rendre compte d'une même réalité mais plutôt de savoir comment on modèle cette réalité avant même de choisir l'outil qui l'analysera.

Offtopic :
Pour te répondre en partie Chacoucas, quand tu parles de normes, j'ai l'impression que tu ne fais pas la distinction entre ce qui est normatif (c'est à dire une notion sociologique d'un ensemble de connaissances et de comportements qui défini un groupe et l'école, de bien des façons, est effectivement normative) et ce qui relève de la norme statistique. Si on cherche à obtenir des normes de référence, ce n'est pas pour lisser les réponses éducatives vers un modèle standard, bien au contraire. Il s'agit de comprendre comment fonctionne l'enfant sur des points objectifs comme la vitesse de lecture, le raisonnement non-verbal ou encore la précision du geste graphique pour pouvoir lui proposer un programme adapté à son profil et à ses besoins spécifiques quand cela est nécessaire. Pour pouvoir adapter un cadre éducatif, il est important de comprendre les besoins de l'enfant. Il est très difficile pour un jeune enfant d'avoir du recul sur la manière dont il raisonne, sur ses mécanismes cognitifs. Il peut avoir des envies ou pointer des difficultés, il faut le prendre en compte bien sûr, mais pour pouvoir lui proposer des statégies éducatives efficaces, il y a des cas où l'évaluation est un outil indispensable et on ne peut avoir des données objectives que comparativement à un groupe de référence. C'est une manière de tenir compte de toutes les subjectivité sans y mettre trop de la sienne :) A la question "qui le test sert-il ?" la réponse est : les enfants qui s'éloignent de la norme et nécessitent des aménagements par rapport à un système normatif. Pas forcément dans le but de leur réussite scolaire mais surtout de leur bien être à l'école et vis à vis des apprentissages qui correspondent à des objectifs qu'on définira eux au cas par cas.


Maxmomo, nous nous serions adressé à des collaborateurs universitaires si c'était possible mais nous ne sommes rattachés à aucune université et l'accès à un conseil statistique nous est très difficile. De plus c'est une question litigieuse à propos de laquelle nous avons eu plusieurs avis contraires et assez mal documentés de la part de statisticiens que nous avons contacté. C'est pourquoi je me suis dit qu'un avis extérieur pourrait être un éclairage utile ! Par contre, 120 enfants par classe (donc plus de 1000 sujets au total) forment un groupe suffisant pour obtenir des normes avec des tests statistiques paramétriques et un niveau de confiance acceptable. C'est toujours mieux d'en avoir plus, mais on a aussi des limite matérielles et budgétaires, malheureusement. Alors on va au "suffisament bon".

Si la progression de l'enquête méthodologique vous intéresse, j'ai eu des éléments de réponse de la part d'un professeur de biostatistique, que j'ai étayé en lisant ses écrits sur le sujet.
Spoiler : il faut garder tous les outliers. Pourquoi ?
Les tests statistiques sont fondés sur le principe que dans un modèle complexe dans lequel il est impossible de contrôler toutes les variables et donc d’en isoler quelques unes, on pourra contrôler le bruit aléatoire grâce à la loi de probabilité. Toute la variabilité du bruit, si l’échantillon est suffisamment grand et surtout tiré au sort, sera lissé par la répartition aléatoire de l’expression des variables parasites.
En statistique, la probabilité que les variations mesurées soit dues au hasard se nomme par convention p. C’est le degré de confiance que l’on peut accorder à un résultat. On oppose l'hypothèse nulle (les mesures sont le fruit du hasard) à l'hypothèse non nulle (les mesures sont influencées par une variable au delà du hasard).
Un p inférieur à 0,05 (5% de chance d'accepter à tort l'hypothèse non nulle) est le seuil retenu par convention pour considérer les résultats comme significatifs.
Si p est inférieur à 0,01, la probabilité pour que le résultat soit du au hasard est devenue négligeable.
Il est donc essentiel que le groupe de sujets sur lequel est pratiqué la mesure soit tiré au sort. Sinon, la loi de probabilité ne s’applique plus. Comme il est très difficile en pratique de réunir un échantillon suffisant tiré au sort, on essayera de reproduire le plus fidèlement possible ces conditions en limitant les biais de sélection.
Si on tente de modifier notre échantillon pour le faire correspondre à notre vision de la population générale, on réduit la significativité du p. Chaque intervention consciente réduit la répartition aléatoire du bruit.
Nous garderons donc nos outliers !
S'il y a autant de neurones dans un cerveau que d'étoiles dans la galaxie, on a pas fini d'avoir des idées brillantes !
Avatar de l’utilisateur
Adena
 
Messages: 124
Âge: 27
Enregistré le: Ven 14 Aoû 2015 11:54
Localisation: Paris
Présentation: Neurocosmologiste
Profil: En questionnement
Test: NON

Re: Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Messagepar Cyrielle » Sam 2 Juil 2016 16:29

En Santé Publique, en cas de dépistage organisé, donner une sensibilité et spécificité plus ou moins grandes aux tests relève aussi de choix réfléchis.

Deux exemples :
- dépistage du VIH : est-ce que je préfère prendre le risque de rater des cas (qui vont être rassurés à tort, et contaminer d'autres partenaires), ou celui d'angoisser inutilement des non malades ?
Le choix a été fait d'une sensibilité haute en première intention (je ne rate aucun cas mais je risque de dépister à tort des non malades). Du coup, tout test de VIH positif doit obligatoirement être validé par un deuxième prélèvement.
Ça parait "de bon sens" car l'on veut aussi éviter la propagation de la maladie.

- dépistage du cancer du sein : même question, et le même choix a été fait il y a 20 ans (ne pas risquer de rater des malades).
On sait aujourd'hui que des femmes ont été traitées voire opérées pour des lésions qui n'auraient sans doute jamais évolué.
C'est ici plus gênant, car les traitements ont parfois des conséquences psychologiques et sociales lourdes. Du coup, le dépistage du cancer du sein est maintenant devenu plus ciblé et réservé aux plus de 50 ans (car les faux-positifs sont moins nombreux après 50 ans, et le rapport bénéfice/risque s'inverse).

Je ne connais pas les enjeux de ton dépistage (impact pour l'enfant, coût pour la collectivité, surcharge de travail pour les pros...), mais sache qu'on peut (qu'on doit) aussi voir la question de cette façon (et que les biostats n'ont pas du tout du tout cette vision-là ;) ).
Il s'agit ensuite d'argumenter chacun "selon son point de vue", et de trouver un équilibre entre les deux (cohérence clinique et fiabilité statistique) !

Sur le plan statistique pur, je suppose que tu sais que ça dépend aussi de la distribution de tes résultats, sauf si tu obtiens d'emblée une idéale courbe en cloche, car l'écart-type est lui aussi une moyenne et est donc malgré tout influencé par les extrêmes (moi je préfère calculer aussi les centiles, bien meilleurs indicateurs de dispersion :angel:).
En gros, si tu as deux valeurs très très extrêmes, cela donnera le même écart-type que de nombreuses valeurs très étalées.
Ça n'a pas du tout le même impact de s'en tenir à 3SD dans les deux cas (dans le premier tu supprimes deux valeurs, dans l'autre peut-être 20% de ton effectif...). C'est facile à voir juste en regardant la représentation graphique des résultats bruts.

Bon travail !
Y'a trop de monde sur les gradins... Le spectacle du monde nous appartient !
Avatar de l’utilisateur
Cyrielle
 
Messages: 922
Âge: 44
Enregistré le: Mar 24 Sep 2013 19:07
Localisation: Sud-Ouest, entre autres
Présentation: En construction...
Profil: Diagnostic +
Test: WAIS

Re: Création d'une norme en psychométrie : besoin d'un éclairage méthodologique

Messagepar Bodji » Sam 30 Juil 2016 09:55

Où en es-tu depuis que tu as déposé ton message ? je n'ai pas de réponse à t'apporter, mais le développement de votre outil m'intéresse, merci :)
Bodji
 
Messages: 115
Âge: 52
Enregistré le: Jeu 14 Juil 2016 09:51
Présentation: par là
Profil: Diagnostic +
Test: WAIS



Retourner vers Sciences

 


Articles en relation Statistiques Dernier message
Création d’un métal qu’aucune goutte d’eau ne peut toucher
par Bob Arctor » Ven 23 Jan 2015 12:08

Réponses: 10

Vus: 860

Dernier message par Hermite Voir le dernier message
Ven 6 Fév 2015 05:35
Stockage de données sur polymères : une première mondiale
par Mindblender » Dim 31 Mai 2015 09:15

Réponses: 1

Vus: 371

Dernier message par Zyghna Voir le dernier message
Dim 31 Mai 2015 10:22
Neanderthal, une autre humanité.
1, 2, 3, 4par Cyrano » Ven 25 Jan 2013 10:55

Réponses: 82

Vus: 6567

Dernier message par theudericus Voir le dernier message
Sam 25 Juin 2016 12:41

Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 1 invité