Les chaînes de Markov

Dans cette section et les suivantes, nous allons étudier des chaînes de Markov sur un ensemble fini. En fait, tout processus stochastique sur un ensemble fini, à temps discret, et jouissant de la propriété de Markov, est une chaîne de Markov. Nous commençons par étudier quelques exemples, avant de donner une définition et des propriétés générales.

$\begin{figure}{\small {\bf Figure 3.6. } Une cha\^\i ne de Markov \\lq a deux \'etats.}\end{figure}$

$\begin{example} Dans des temps tr\\lq es recul\'es, il n'y avait en France que deux... ...oportion du temps pass\'ee \\lq a regarder la premi\\lq ere cha\^\i ne. \end{example}$

$\begin{figure}{\small {\bf Figure 3.7. } La cha\^\i ne de Markov associ\'ee \\lq a la marche de l'ivrogne.}\end{figure}$

$\begin{example} Un ivrogne titube le long d'une rue. A chacun des angles de la r... ...t\'es cherch\'ees, ainsi que d'autres quantit\'es int\'eressantes. \end{example}$

Le point commun des deux exemples précédents est que la position au temps

est choisie avec une distribution de probabilité ne dépendant que de l'endroit où l'on se trouve au temps

, indépendamment de ce qui s'est passé aux temps précédents: C'est la propriété de Markov.

$\begin{definition}[Cha\^\i ne de Markov] Soit $\cX=\set{1,\dots,m}$\ un ensemble... ...in{equation} p_{ij} = \pcond{X_k=j}{X_{k-1}=i}\;. \end{equation}\end{definition}$

$\displaystyle \probin{k,i}{A}$	$\displaystyle \defby \pcond{A}{X_k=i}\;,$
$\displaystyle \probin{i}{A}$	$\displaystyle \defby \probin{0,i}{A} = \pcond{A}{X_0=i}\;.$	(3.46)

$\begin{prop} Soit $P$\ la matrice de transition d'une cha\^\i ne de Markov. Alor... ...t donn\'ee par l'\'el\'ement de matrice $ij$\ de $P^\ell$. \end{enum}\end{prop}$

D´EMONSTRATION.
$\begin{enum} \item On a \begin{equation} 1 = \probin{k,i}{X_{k+1}\in\cX} = \sum... ...ent $ij$de la matrice $P^2$. Le cas $\ell>2$\ suit par r\'ecurrence. \end{enum}$
$\qedsymbol$

Une matrice

dont tous les éléments sont non-négatifs, et telle que la somme des éléments de chaque ligne vaut

est appelée une matrice stochastique. La relation (3.3.14) s'appelle équation de Chapman-Kolmogorov. Elle signifie que les éléments de matrice de

donnent les probabilités de passer d'un état à l'autre en deux pas, celles de $P^\ell$ donnent les probabilités de passer d'un état à l'autre en $\ell$ pas.

$\begin{definition}[\'Etat atteignable] L'\'etat $j$\ est dit\/ \defwd{atteignabl... ...el\'ement de matrice $ij$\ de $P^k$\ soit strictement positif. \end{definition}$

$\begin{example} % latex2html id marker 3701Revenons \\lq a l'exemple~\ref{ex_mark... ...is le bar, puisque l'ivrogne reste au bar d\\lq es qu'il s'y trouve. \end{example}$

Dans la suite, nous allons étudier plus en détail deux types de chaînes de Markov:
$\begin{itemiz} \item les cha\^\i nes de Markov \defwd{absorbantes}\/, dans lesqu... ...ionnaire, comme c'est le cas dans l'exemple du t\'el\'espectateur. \end{itemiz}$