\documentclass[10pt]{article}

\usepackage[left=1cm,right=1cm,top=2cm,bottom=2cm]{geometry}
\usepackage[utf8]{inputenc}
\usepackage{amsfonts}
\usepackage{amssymb}
\usepackage{amsmath}
\usepackage{comment}
\usepackage{verbatim}
\usepackage{graphicx}
\usepackage{hyperref}

\begin{document}

\title{Analyse canonique} 
\author{Jacques Bailhache (jacques.bailhache@gmail.com)}

\maketitle

\setlength{\parindent}{0pt}

\section{Présentation}

L'analyse canonique consiste, à partir de données avec deux groupes de variables, à trouver une combinaison linéaire des variables du premier groupe et une combinaison linéaire des variables du deuxième groupe qui soient les plus corrélées possibles.


\section{Formulation mathématique}

Les données sont représentées par deux tableaux X et Y correspondant aux deux groupes de variables. Les deux tableaux ont n lignes (nombre d'individus). Le tableau X a p colonnes (nombre de variables du premier groupe). Le tableau Y a q colonnes (nombre de variables du deuxième groupe).

Le problème consiste à trouver a et b qui rendent maximal \( ^ta ^tX Y b \) avec les contraintes \( ^ta ^tX X a = 1 \) et \( ^tb ^tY Y b = 1 \).

Il s'agit de rendre maximal le lagrangien associé à ce problème :

\[ ^ta ^tX Y b - \lambda (^ta ^tX X a - 1) - \mu (^tb ^tY Y b - 1) \]

En écrivant que les dérivées partielles de ce lagrangien par rapport à a et b sont égales à 0, on obtient :

\begin{itemize}
\item \( ^tX Y b - 2 \lambda ^tX X a = 0 \)
\item \( ^tY X a - 2 \mu ^tY Y b = 0 \)
\end{itemize}

En multipliant respectivement par \( ^ta \) et \( ^tb \) on obtient :

\begin{itemize}
\item \( ^ta ^tX Y b = 2 \lambda \)
\item \( ^tb ^tY X a = 2 \mu \)
\end{itemize}

On a donc \( \lambda = \mu \). On pose \( \beta = 2 \lambda = 2 \mu \). On a alors :

\begin{itemize}
\item \( ^tX Y b = \beta ^tX X a \)
\item \( ^tY X a = \beta ^tY Y b \)
\end{itemize}

donc

\[ ^tY X (^tX X)^-1 ^tX Y b = {\beta^2} \ {^tY} Y b \]

Donc b est vecteur propre de 

\[ M = (^tY Y)^{-1} \ {^tY} X (^tX X)^{-1} \ {^tX} Y \]

De même, a est vecteur propre de 

\[ N = (^tX X)^{-1} \ {^tX} Y (^tY Y)^{-1} \ {^tY} X \]

et 

\[ a = \frac{1}{\beta} (^tX X)^{-1} \ {^tX} Y b \ ; \ b = \frac{1}{\beta} (^tY Y)^{-1} \ {^tY} X a \]

En multipliant respectivement par X ey Y on obtient :

\begin{itemize}
\item \( X a = \frac{1}{\beta} X (^tX X)^{-1} \ {^tX} Y b \)
\item \( Y b = \frac{1}{\beta} Y (^tY Y)^{-1} \ {^tY} X a \)
\end{itemize}

Dans ces formules apparaissent les opérateurs de projection orthogonale \( P_X = X (^tX X)^{-1} \ {^tX} \) et \( P_Y = Y (^tY Y)^{-1} \ {^tY} \).

Donc chacun des vecteurs \( X a \) et \( Y b \) est colinéaire à la projection de l'autre.


\section{Référence}

Statistique exploratoire multidimensionnelle, DUNOD, 2.1 Analyse canonique

\end{document}
