\documentclass[10pt]{article}
\title{Transfinite ordinals}

\usepackage[left=1cm,right=1cm,top=2cm,bottom=2cm]{geometry}
\usepackage[utf8]{inputenc}
\usepackage{amsfonts}
\usepackage{amssymb}
\usepackage{amsmath}
\usepackage{comment}
\usepackage{verbatim}
\usepackage{graphicx}
\usepackage{hyperref}

\begin{document}

\title{Analyse en composantes principales} 
\author{Jacques Bailhache (jacques.bailhache@gmail.com)}

\maketitle

\setlength{\parindent}{0pt}

On a un tableau de données X à n lignes et p colonnes. Chaque ligne représente un individu et chaque colonne une variable. Ce tableau représente un ensemble de points dans un espace de dimension p.

L'analyse en composantes principales consiste à projeter ces points sur un sous-espace de dimension $q<p$ tel que les projections des points soient le plus écartés possible.

\section{Cas q = 1 : projection sur une droite}

Soit $u_1$ un vecteur unitaire ($^tu_1 u_1 = 1$) de cette droite.

Les projections de ces n points sur cette droits sont :

\[ C = X u_1 \]

L'écartement de ces projections est mesuré par une valeur appelée inertie que l'on calcule par la formule :

\[ ^tC C = {^tu_1} ^tX X u_1 \]

Le problème consiste donc à maximiser \( {^tu_1} ^tX X u_1 \) sous la contrainte \( ^tu_1 u_1 = 1 \).

On définit le lagrangien :

\[ L(u_1,\lambda) = {^tu_1} ^tX X u_1 - \lambda_1 (^tu_1 u_1 - 1) \]

On a alors :

\begin{itemize}

\item \( \frac{\partial L(u_1,\lambda_1)}{\partial u_1} = 0 
\Rightarrow 2 ( {^tX} X u_1 - \lambda_1 u_1) = 0 
\Rightarrow {^tX} X u_1 = \lambda_1 u_1 \)

\item \( \frac{\partial L(u_1,\lambda_1)}{\partial \lambda_1} = 0 
\Rightarrow {^tu_1} u_1 - 1 = 0 
\Rightarrow {^tu_1} u_1 = 1 \)

\end{itemize}

$u_1$ est le premier vecteur propre de $^tX X$ et $\lambda_1$ la valeur propre correspondante.


\section{Cas q = 2 : projection sur un plan}

Le plan de projection optimal, c'est-à-dire celui qui maximise l'écartement des projections, contient nécessairement la droite optimale considérée dans la section précédente. Ce plan est donc défini par le vecteur $u_1$ déterminé précédemment, et par un autre vecteur $u_2$ que nous devons trouver.

On cherche \( u_2 \) tel que \( {^tu_2} {^tX} X u_2 \) soit maximal, sous les contraintes \( {^tu_2} u_2 = 1 \) et \( {^tu_2} u_1 = 0 \).

Le lagrangien correspondant est :

\[ L(u_2,\lambda_2,\mu) = {^tu_2} {^tX} X u_2 - \lambda_2 ({^tu_2} u_2 - 1) - \mu ({^tu_2} u_1) \]

En écrivant que la dérivée partielle de ce lagrangien respectivement par rapport à \( u_2, \lambda_2, \mu \) est égale à 0, on obtient :

\begin{itemize}
\item \( {^tX} X u_2 = \lambda_2 u_2 \)
\item \( {^tu_2} u_2 = 1 \)
\item \( {^tu_1} u_2 = 0 \)
\end{itemize}

$u_2$ est le deuxième vecteur propre de ${^tX}X$ associé à la deuxième valeur propre $\lambda_2$.


\section{Cas général}

On peut montrer que le sous-espace de dimension q pour lequel les projections des points représentés par X sont le plus écartés 
est défini par les q vecteurs propres de ${^tX}X$ associés aux q plus grandes valeurs propres.


\section{Références}

\begin{itemize}

\item \url{http://cours.polymtl.ca/geo/marcotte/glq3402/chapitre3.pdf} 

ou \url{http://log.chez.com/text/math/chapitre3.pdf}

\item \url{http://www.arnaud.martin.free.fr/Doc/polyAD.pdf}

ou \url{http://log.chez.com/text/math/polyAD.pdf}

\item \url{http://www2.agroparistech.fr/IMG/pdf/AnalyseComposantesPrincipales-AgroParisTech.pdf}

ou \url{http://log.chez.com/text/math/AnalyseComposantesPrincipales-AgroParisTech.pdf}

\item \url{http://asi.insa-rouen.fr/enseignants/~gasso/public/Courses/DM/pca.pdf}

ou \url{http://log.chez.com/text/math/pca.pdf}

\item \url{https://www.lamsade.dauphine.fr/~atif/lib/exe/fetch.php?media=teaching:coursad_acp.pdf}

ou \url{http://log.chez.com/text/math/coursad_acp.pdf}

\item \url{http://hamrita.e-monsite.com/medias/files/chap2ad.pdf}

ou \url{http://log.chez.com/text/math/chap2ad.pdf}

\item \url{http://www.foad-mooc.auf.org/IMG/pdf/M03-5.pdf}

ou \url{http://log.chez.com/text/math/M03-5.pdf}

\item \url{https://www.iro.umontreal.ca/~vincentp/ift3395/cours/continuous_latent_variables_print.pdf}

ou \url{http://log.chez.com/text/math/continuous_latent_variables_print.pdf}

\item \url{http://www.math.tu-dresden.de/~gournay/SMV.pdf}

ou \url{http://log.chez.com/text/math/SMV.pdf}

\item \url{http://www.ressources-actuarielles.net/EXT/ISFA/1226-02.nsf/d512ad5b22d73cc1c1257052003f1aed/da8b20974b2986a3c1257c72004dc73d/$FILE/Me%CC%81moire%20TRIEU%20Thi%20Diep.pdf}

ou \url{http://log.chez.com/text/math/Me%CC%81moire%20TRIEU%20Thi%20Diep.pdf}


\end{itemize}



\end{document}