[Nathalie Villa-Vialaneix] Data Mining 1

Master 2 - Statistique & Économétrie

Data Mining 1

vendredi 4 septembre 2009

popularité : 12%

Nom du module : Data Mining 1
Thématique : Analyses factorielles, classification
Programme : ACP, AFD, AFC, AFCM, classification
Nombre d’heures : 8 heures de cours et 6 x 2 heures de TD/TP
Public : Master 2 Statistique et Économétrie

Enseignante dans ce module : 2008/2009

Évaluation finale

Devoir : Partie 1 (sur feuille)

Devoir : Partie 2 (sur machine)

L’énoncé, les données et la feuille de réponses (à remplir)
Des éléments de correction
Le barème

Devoir : 2ème session

L’énoncé
La correction (avec le barème)

Supports de TP

TP0 - Initiation à R

L’énoncé
Le fichier de données Orange.Rdata
La fonction ex_fonction.R

TP1 - ACP

L’énoncé
Le fichier de commandes R
Le fichier de données crimes.dat
Des éléments de correction pour l’Exercice 2 et le fichier de commandes associé Crimes.R
Les sorties SAS attendues pour l’Exercice 3

TP2 - AFC/AFCM

L’énoncé
Le fichier de commandes R, EtudesCSP.R
Le fichier de données csp.dat
Le fichier de commandes R, CancerSein.R
Le fichier de données canc_sein.dat
Le fichier de données cancer-sein-noms.dat

TP3 - AFD

L’énoncé
La fonction AFD.R
Le fichier de données puces.txt
Le fichier de commandes R, Puces.R
Le fichier de données QualiteVin.txt

TP4 - Classification

L’énoncé
Le fichier de données villes.csv
Le fichier de commandes R villes.R
Le fichier de données chiens.csv
Le fichier de commandes R chiens.R
La fonction R QualiVersDisjonctif.R
La fonction R afc.R
Le fichier de données cars.dat

Supports de cours

Cours 1 (Analyse en Composantes Principales) : le polycopié et les transparents.

Cours 2 (Analyse Factorielle des Correspondances) : le polycopié et les transparents.

Cours 3 (Analyse Factorielle des Correspondances Multiples) : le polycopié et les transparents.

Cours 4 (Analyse Factorielle Discriminante) : le polycopié et les transparents.

Cours 5 (Classification) : le polycopié et les transparents.

Errata du polycopié de cours

Cours 1

Page (Écarts types) : "Pour tout $j=,\ldots,n$ , on note ..." -> "Pour tout $j=,\ldots,p$ , on note ..."

Page 6 : "la somme des carrés des valeurs d’une même colonne vaut 1" -> "la moyenne des carrés des valeurs d’une même colonne vaut 1"

Page 12 (Détermination des axes principaux) : "la matrice $M^{1/2}\textrm{Var}(X) M^{1/2}$ " -> "la matrice $M^{1/2}\textrm{Cov}(X)M^{1/2}=\textrm{Cor}(X)$ "

Page 15 (Preuve, première ligne) : $\frac{1}{n}\overline{X}M\overline{X}^Tu^j = ... = \frac{1}{\sqrt{\lambda_j}}\overline{X}MVa^j$ -> $\frac{1}{n}\overline{X}M\overline{X}^Tu^j = ... = \frac{1}{\sqrt{\lambda_j}}\overline{X}MCa^j$

Page 15 (Preuve, ligne 3) : $\frac{1}{n}(u^j)^T(u^{j'}) =$ $\frac{1}{\lambda_j}(a^j)^TM\frac{1}{n} \overline{X}^T\overline{X} Ma^j =$ $\frac{1}{\lambda_j} (a^j)^TMCa^{j'} =$ $(\lambda_{j'}/\lambda_j)(a^j)^TMa^{j'} =\delta_{jj'}$ -> $\frac{1}{n}(u^j)^T(u^{j'}) =$ $\frac{1}{\sqrt{\lambda_j}\sqrt{\lambda_{j'}}}(a^j)^TM\frac{1}{n} \overline{X}^T\overline{X} Ma^{j'} =$ $\frac{1}{\sqrt{\lambda_j}\sqrt{\lambda_{j'}}} (a^j)^TMCa^{j'} =$ $\frac{\lambda_{j'}}{\sqrt{\lambda_j}\sqrt{\lambda_{j'}}}(a^j)^TMa^{j'} = \delta_{jj'}$

Cours 2

Page 5 (Interprétation des profils colonnes) : "... correspondant à la répartition des diverses modalités de la variable pour la ligne considérée." -> "... correspondant à la répartition des diverses modalités de la variable pour la colonne considérée."

Page 5 (métrique du $\chi^2$ ) : $\frac{n_{ij}}{n_{.j}}-\frac{n_{i'j}}{n_{.j}}$ -> $\frac{n_{ij}}{n_{i.}}-\frac{n_{i'j}}{n_{i'.}}$

Page 6 (métrique du $\chi^2$ ) : $\frac{n_{ij}}{n_{i.}}-\frac{n_{ij'}}{n_{i.}}$ -> $\frac{n_{ij}}{n_{.j}}-\frac{n_{ij'}}{n_{.j'}}$

Page 6 (ACP des profils lignes/colonnes) : "Profils lignes" (le deuxième) -> "Profils colonnes"

Page 7 (Coordonnées principales) : ->

Page 7 : "Contribution de la modalité à l’inertie de l’axe :" -> "Contribution de la modalité à l’inertie de l’axe :"

Page 8 (titre du graphique) : "Représentation simulatanée des modalités" -> "Représentation simultanée des modalités"

Cours 3

Page 3 (Propriétés du tableau de Burt) : "La somme des lignes (resp. des colonnes) de $\mathcal{B}$ est $m\times n_l^k$ ( $l=1,\ldots,c_k$ )" -> "La somme des éléments de la ligne (resp. de la colonne ) de $\mathcal{B}$ est $m\times n_l$ ( $l=1,\ldots,c$ )"

Page 5 (Démonstration de la relation avec l’AFC ordinaire) : $\frac{1}{2}BD\left(\frac{1}{2}\left(\begin{array}{c} b^j\\ a^j \end{array}\right)\right) =$ $\frac{1}{4}\left(\begin{array}{c} b^j +\sqrt{\lambda_j} b_k\\a^j + \sqrt{\lambda_j} a_k\end{array}\right)$ -> $\frac{1}{2}BD\left(\frac{1}{2}\left(\begin{array}{c} b^j\\ a^j \end{array}\right)\right) =$ $\frac{1}{4}\left(\begin{array}{c} b^j +\sqrt{\lambda_j} b^j\\a^j + \sqrt{\lambda_j} a^j\end{array}\right)$

Page 7 (Contribution aux axes) : "La contribution de la modalité de la variable à l’inertie de l’axe est donnée par $\frac{\frac{n_c^k}{mn}(c_i^j)^2}{\lambda_j}$ " -> "La contribution de la modalité $l (l=1,\ldots,c)$ à l’inertie de l’axe est donnée par $\frac{\frac{n_l}{mn}(c_l^j)^2}{\lambda_j}$ "

Page 7 (Retour à l’exemple jouet) : "On conserve valeurs propres (non compris la valeur propre..." -> "On conserve valeurs propres (non comprise la valeur propre..."

Cours 4

Page 3 : $\mathbf{Y}=(y_i^j)_{ij}$ est la matrice de taille $n\times p$ -> $\mathbf{Y}=(y_i^j)_{ij}$ est la matrice de taille $n\times m$

Page 3 : "L’espérance empirique de la variable conditionnelle à la classe : $\bar{g}_k^j$ ..." -> "L’espérance empirique de la variable conditionnelle à la classe : ..."

Page 5 (variances intra-classes) : $s_{jj'}^b =$ $\sum_{k=1}^m \frac{n_k}{n} (\bar{g}_j^k-\bar{x}^j) (\bar{g}_{j'}^k-\bar{x}^{j'})$ -> $s_{jj'}^b$ = $\sum_{k=1}^m \frac{n_k}{n} (g_j^k-\bar{x}^j) (g_{j'}^k-\bar{x}^{j'})$

Page 5 (variances inter-classes) : $s_{jj'}^w=$ $\frac{1}{n}\sum_{k=1}^m\sum_{i=1}^n$ $(x_i^jy_i^k-\bar{g}^k_j)(x_i^{j'}y_i^k-\bar{g}^k_{j'})$ -> $s_{jj'}^w=$ $\frac{1}{n}\sum_{k=1}^m\sum_{i=1}^n$ $(x_i^jy_i^k-g^k_j)(x_i^{j'}y_i^k-g^k_{j'})$

Page 6 : "Mesures de qualités" -> "Mesures de qualité"

Cours 5

Page 3 (Exemples de mesures de dissemblance) : "Les variables $X^1,\ldots,X^p$ sont toutes quanlitatives..." -> "Les variables $X^1,\ldots,X^p$ sont toutes qualitatives..."