Qu’est-ce qu’un test statistique?

Qu’est-ce qu’un test statistique ?

Un test statistique permet d’évaluer à quel point les données vont à l’encontre d’une certaine hypothèse, l’hypothèse nulle aussi appelée H0. Sous H0, les données sont générées par le hasard. En d’autres termes, les processus contrôlés (manipulations expérimentales par exemple) n’ont pas d’influence sur les données. D’habitude, H0 implique une notion d’égalité (exemples : égalité entre moyennes, entre variances ou encore entre un coefficient de corrélation et zéro).

H0 est opposée à une hypothèse appelée hypothèse alternative, notée H1 ou Ha. Souvent, l’hypothèse alternative est celle à laquelle l’utilisateur souhaite aboutir. Elle implique une notion de différence (différence entre moyennes par exemple).

Si les données ne vont pas assez à l’encontre de H0, H0 n’est pas rejetée. En revanche, si les données vont assez à l’encontre de H0, H0 est rejetée et Ha considérée comme vraie avec un risque (faible) quantifié de se tromper. Les tests statistiques permettent de quantifier ce risque.

Vous souhaitez comparer deux variétés de pommes. Vous vous demandez si la taille moyenne des pommes de la variété 1 est différente de la taille moyenne des pommes de la variété 2. Voici la manière dont on pourrait énoncer les hypothèses nulle et alternative :

• H0 : taille moyenne des pommes de la variété 1 = taille moyenne des pommes de la variété 2.

• Ha : taille moyenne des pommes de la variété 1 ≠ taille moyenne des pommes de la variété 2.

Un test statistique peut être utilisé pour répondre à la question suivante : dans quelle mesure mes données sont-elles différentes de données équivalentes sous l'hypothèse H0 ? En d'autres termes, dans quelle mesure mes données sont-elles différentes de données équivalentes dans un monde où la taille de pomme ne change pas en fonction de la variété ? Cette question se rapproche en quelque sorte de notre question d'origine.

Autres exemples d'hypothèses nulles et suggestions d'hypothèses alternatives associées :

• H0 : Le taux d’insuline de patients recevant un placebo est égal au taux d’insuline de patients recevant un médicament.

• Ha : Le taux d’insuline de patients recevant un placebo est différent du taux d’insuline de patients recevant un médicament.

• H0 : La présence de l’attribut A n’affecte pas la préférence du consommateur pour ce produit.

• Ha : La présence de l’attribut A affecte la préférence du consommateur pour ce produit.

• H0 : Il n’existe pas de tendance dans cette série temporelle.

• Ha : Il existe une tendance dans cette série temporelle.

• H0 : Les champs de maïs soumis aux engrais A, B, C ou D ont des rendements équivalents.

• Ha : Au moins un engrais sur les 4 induit une différence dans le rendement.

Comment interpréter les sorties d’un test statistique : le niveau de significativité alpha et la p-value

Lors de la mise en place d’une étude, il faut spécifier un seuil de risque au-dessus duquel H0 ne doit pas être rejetée. Ce seuil est appelé niveau de significativité alpha et doit être compris entre 0 et 1. Le choix de alpha doit dépendre notamment de la réponse à la question à quel point est-il dangereux de rejeter H0 alors qu’elle est vraie ?. Par exemple, dans une étude visant à démontrer les bénéfices d’un traitement médical, alpha devrait être faible. D’un autre côté, lorsque nous cherchons à évaluer grossièrement les effets d’un grand nombre d’attributs sur l’appréciation d’un produit, des alpha plus modérés (plus élevés) peuvent être choisis. Très souvent, alpha prend une des valeurs suivantes : 0.05, 0.01 ou 0.001.

Le test statistique produit un nombre, appelé p-value (également borné entre 0 et 1). La p-value est la probabilité d’obtenir les données ou des données plus extrêmes sous l’hypothèse nulle H0.

Dans la pratique, la p-value doit être comparée à alpha :

• Si p-value < alpha, nous rejetons H0 et acceptons Ha avec un risque proportionnel à p-value d’avoir tort.

• Si p-value > alpha, nous ne rejetons pas H0, mais ceci ne veut pas dire que nous pouvons nécessairement l’accepter. Cela signifie que soit H0 est vraie, soit H0 est fausse mais notre expérience tests statistique n’étaient pas assez aptes à générer une p-value inférieure à alpha.

Dans quel cas pouvons-nous accepter H0 ? Qu’est-ce que la puissance statistique ?

Statistiquement parlant, l’aptitude d’une expérimentation / un test statistique à conduire vers un rejet de H0 est appelée puissance statistique. La puissance d’une expérience augmente avec alpha, avec la précision des mesures et avec le nombre de répétitions. La puissance change également en fonction du type de test utilisé (voir dernière section dans ce tutoriel). La puissance peut être calculée avant ou après une expérience. Elle est égale à 1 moins le risque d’avoir tort en acceptant H0 (risque bêta). Par conséquent, plus la puissance est élevée, plus le risque d’avoir tort en acceptant H0 est faible (dans le cas où p-value > alpha, bien entendu).

En résumé, si la puissance statistique est assez importante (supérieure à 0.95 par exemple), on peut accepter H0 avec un risque proportionnel à (1 – puissance) d’avoir tort. Ce risque est appelé le risque Bêta.

Différents types de tests statistiques

Un test statistique peut être :

• Bilatéral ou unilatéral.

• Pour échantillons indépendants ou appariés.

• Paramétrique ou non-paramétrique.

Conclusion : quel test choisir ?

Voici un guide qui vous permettra de choisir un test approprié en fonction de vos questions et données.