\documentclass[12pt,titlepage,a4paper]{article}

%
% $Log: prob1.tex,v $
% Revision 1.22  2003/01/15 15:30:25  stefan
% Tibors Korrekturen
%
% Revision 1.21  2003/01/13 10:22:57  stefan
% Changelog und Literatur
%
% Revision 1.20  2003/01/06 18:07:26  boresch
% Meine Korrekturen plus Abbildungen
%
% Revision 1.19  2003/01/03 16:22:36  stefan
% Updates Binomial coeff.
%
% Revision 1.18  2003/01/02 21:18:47  boresch
% First almost full version...
%
% Revision 1.17  2003/01/01 21:45:15  boresch
% Warning: RCS complained; don't know why...
% Added the 'trivial parts': Empirische Groessen, Fehlerfortpflanzung,
% und lineare Regression.
%
% Revision 1.16  2002/12/30 08:17:56  stefan
% a typo...
%
% Revision 1.15  2002/12/30 08:17:11  stefan
% Removed draft for working copies
%
% Revision 1.14  2002/12/29 17:05:54  boresch
% Bis auf Abbildungen sollte das jetzt ein erster kompletter
% Durchmarsch durch die Wahrscheinlichkeitsrechnung sein, fehlt
% "nur' mehr die Statistik...
%
% Revision 1.13  2002/12/13 15:55:14  stefan
% Meine und Tibis Korrekturen
%
% Revision 1.12  2002/12/06 16:06:12  stefan
% Continue with Gauss...
%
% Revision 1.11  2002/12/03 16:43:14  stefan
% Bis Normalverteilung, aber mit Luecken.  Ausserdem scheint ein
% Zachmannbeispiel einen Fehler zu enthalten :-(
%
% Revision 1.10  2002/12/01 16:29:01  boresch
% In groben Zuegen bis zum Multinomialkoeff.
%
% Revision 1.9  2002/11/29 16:55:56  stefan
% Korrektur des Teils bis Satz von BAyes, Beginn Bernoulli Schema
%
% Revision 1.8  2002/11/28 17:08:07  stefan
% Bioinformatikbeispiel...
%
% Revision 1.7  2002/11/26 09:37:33  stefan
% Tried \blacktriangleleft
%
% Revision 1.6  2002/11/22 11:54:38  stefan
% First complete draft up to Bayes (enough for before Christmas)
%
% To do: weitere Beispiele, Optik, Kopierlizenz, und natuerlich
% alles fuer den Jaenner.
%
% Revision 1.5  2002/11/21 16:37:25  stefan
% Satz von Bayes: Beispiele!
%
% Revision 1.4  2002/11/20 14:49:19  stefan
% Beginn Satz von Bayes...
%
% Revision 1.3  2002/11/20 10:30:30  stefan
% Added Stirling
%
% Revision 1.2  2002/11/19 18:09:18  stefan
% Etwas Fortschritt...
%
% Revision 1.1  2002/11/18 09:02:38  stefan
% Initial revision
%
%

\usepackage[a4paper,dvips,left=1.5cm,right=1cm,top=1.5cm,right=1.5cm]{geometry}
\usepackage[german]{babel}
\selectlanguage{german}
\usepackage{german}
\usepackage{graphics}
%\usepackage[T1]{fontenc}
\usepackage[latin1]{inputenc}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{amstext}
\usepackage{fancyhdr}
\usepackage{xspace}
%\usepackage[light]{draftcopy}
\usepackage{calc}
\usepackage{pstricks,pst-coil,pst-node,pst-text,pst-3d,pst-plot}

\setlength{\parskip}{2.5ex}
\pagestyle{fancy}
\lhead{\scshape Stefan Boresch}
\chead{}
\rhead{Kap.\ \thesubsection}
\lfoot{}
\cfoot{\thepage}
\rfoot{}

%\draftcopyFirstPage{3}
%\draftcopyLastPage{18}

\newcounter{ex}
\newcommand{\pr}[1]{\ensuremath{\mathbf{P}(#1)}\xspace}
\newcommand{\rnd}[0]{\ensuremath{\mathbf{X}}\xspace}
\newcommand{\rndd}[0]{\ensuremath{\mathbf{Y}}\xspace}
\newcommand{\rndf}[1]{\ensuremath{\mathbf{X}(#1)}\xspace}
\newcommand{\mb}[1]{\ensuremath{\mathbf{#1}}\xspace}

\begin{document}

\begin{titlepage}
\vspace*{2cm}
\begin{center}

{\huge \sffamily Wahrscheinlichkeitsrechnung und Statistik}\\[1cm]
{\large \sffamily Eine Kurzeinf\"uhrung im Rahmen der Vorlesung ``Mathematik und Statistik
f\"ur Molekularbiologen''}

\vspace{1.5cm}
{\scshape Stefan Boresch}\\
stefan@mdy.univie.ac.at, http://www.mdy.univie.ac.at/en/sbhome.html\\
Molecular Dynamics and Biomolecular Simulation Group,\\
Institut f\"ur Theoretische Chemie und Molekulare Strukturbiologie,\\
Universit\"at Wien, W\"ahringerstra{\ss}e 17, 1090 Wien, Austria

\vspace{1.5cm}
\today

\vspace{3.5cm}
%\psovalbox[linewidth=3pt]{\huge \sffamily ENTWURF}
\end{center}



\end{titlepage}

\thispagestyle{empty}


\vspace*{5cm}

\begin{center}
Copyright (c) 2002 Stefan Boresch
\end{center}

\vspace{2cm}

\noindent 
Permission is granted to copy, distribute and/or modify this document
under the terms of the GNU Free Documentation License, Version 1.2
or any later version published by the Free Software Foundation;
with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
A copy of the license is included in the section entitled ``GNU
Free Documentation License''.

\noindent Although every reasonable effort has been made to
incorporate accurate and useful information into this booklet, the
copyright holder makes no representation about the suitability of this
book or the information therein for any purpose. It is provided ``as
is'' without expressed or implied warranty. In particular, the
copyright holder declines to be liable in any way should errors result
from the use of the examples and the information given here in
practical work.


\vfill

\newpage

\section{Grundlegendes}
\label{grund}

\subsection{Der Ereignisraum}

Der Begriff Ereignisraum definiert sich aus den m\"oglichen
Ergebnissen (idealisierter) Experimente bzw.\ Beobachtungen.
Einfachste Beispiele sind der Ereignisraum f\"ur das Werfen einer
M\"unze, welcher aus zwei Elementen, K(opf) und Z(ahl), $\{K,Z\}$,
besteht, oder der Ereignisraum f\"ur das Rollen eines W\"urfels,
welcher sich aus den sechs m\"oglichen Augenziffern $\{1,2,\ldots,6\}$
zusammensetzt. 

Bei der Beschreibung von Ereignissen mu{\ss} man zwischen nicht
zusammengesetzten, sogenannten {\em Elementarereignissen} und {\em
zusammengesetzten} Ereignissen unterscheiden.  Das Ereignis
``Augenziffer 6'' ist ein Elementarereignis, das Ereignis ``gerade
Augenziffer'' hingegen kann durch die drei Elementarereignisse ``2'',
``4'', ``6'' realisiert werden und ist daher ein zusammengesetztes
Ereignis. Als weiteres Beispiel betrachten wir das Werfen zweier
W\"urfel.  Ein Elementarereignis stellt z.B.\ das Ergebnis ``$(1,5)$,
erster W\"urfel zeigt 1, zweiter 5'' dar.  Hingegen handelt es sich
bei ``Augensumme von 6'' um ein zusammengesetztes Ereignis, denn
dieses Ergebnis kann durch die f\"unf einfachen Ereignisse $(1,5)$,
$(2,4)$, $(3,3)$, $(4,2)$, $(5,1)$ realisiert werden kann.  Als
zweites Beispiel m\"oge das Alter einer Person dienen: Jeder
m\"ogliche Wert $x$ (z.B.\ 50 Jahre) ist ein einfaches Ereignis. Die
Aussage, jemand sei zwischen f\"unfzig und sechzig Jahre alt, stellt
hingegen das zusammengesetzte Ereignis $50\le x\le 60$ (Jahre) dar.

Wir k\"onnen jetzt die Definition des Begriffs ``Ereignisraum''
pr\"azisieren: Die Gesamtheit aller Elementarereignisse (Punkte) (des interessierenden Zufallsexperiments) wird
als {\em Ereignisraum} $\mathcal{S}$ bezeichnet.  Jedes denkbare
Ergebnis eines (idealisierten) Experiments (oder einer Beobachtung)
wird vollst\"andig durch ein (und genau ein) Element von $\mathcal{S}$
beschrieben.

Unsere einfachsten Beispiele (Werfen einer M\"unze, Rollen eines
W\"urfels) sind Beispiele von endlichen, diskreten
Ereignisr\"aumen. In der Praxis kommt man oft nicht mit diskreten
und/oder endlichen Ereignisr\"aumen aus: Das Gewicht eines H\"uhnereis
m\"oge zum Beispiel typischerweise zwischen 70 und 75~g liegen, es
kann aber beliebige Zwischenwerte (72.5~g, 71.315~g, \ldots)
annehmen. Der zugeh\"orige Ereignisraum kann daher nicht diskret sein,
und dar\"uberhinaus enth\"alt er unendlich viele Punkte.  Dazu kommt,
da{\ss} es in der Praxis vorteilhaft ist, auch total unsinnig
erscheinende Werte nicht auszuschlie{\ss}en (d.h.\ in unserem Beispiel
(formal) als Gewicht eines H\"uhnereis auch 500~g zuzulassen). Die
Wahrscheinlichkeit eines solchen Ereignis ist so gering, da{\ss} wir
so ein ``Ei'' in der Realit\"at nicht erwarten, die mathematische
Behandlung wird jedoch vereinfacht. {\em NB:} Ein diskreter Ereignisraum
mu{\ss} nicht endlich sein. Der Ereignisraum f\"ur das zweimalige
Werfen einer M\"unze ist {KK, KZ, ZK, ZZ}, f\"ur das dreimalige
Werfen {KKK, KKZ, KZK, ZKK, KZZ, ZKZ, ZZK, ZZZ} usw. Die Extrapolation
auf unendlich wiederholtes Werfen einer M\"unze f\"uhrt auf einen
diskreten, jedoch unendlichen Ereignisraum.  

Wir werden uns zun\"achst vornehmlich (Abschnitte
\ref{grund}--\ref{binom}) auf diskrete Ereignisr\"aume und die
Wahrscheinlichkeiten diskreter Ereignisse konzentrieren. In Abschnitt
\ref{vert} werden Verteilungsfunktionen f\"ur diskrete und
kontinuierliche Zufallsvariablen eingef\"uhrt, damit wird automatisch
der Umstieg zu kontinuierlichen Ereignisr\"aumen vorgenommen.  Diese
sind f\"ur uns prim\"ar bei der statistischen Behandlung von
Me{\ss}werten von Interesse (Abschnitt \ref{mess}.)

\subsection{Definitionen und Regeln}

\subsubsection{Ereignisse}

Gegeben sei ein Ereignisraum $\mathcal{S}$, dessen Elemente
(Elementarereignisse) mit $x$ bezeichnet werden,
d.h. $x\in\mathcal{S}$ f\"ur alle $x$.  Wir verwenden
Gro{\ss}buchstaben $A$, $B$ usw.\ um ganz allgemein ein Ereignis
(einfach oder zusammengesetzt) zu bezeichen. Die Notation $x\in A$
hei{\ss}t, da{\ss} ein Punkt $x$ im Ereignis $A$ inbegriffen ist.
(Wenn z.B. $A$ das Ereignis ``W\"urfelsumme 6 beim Rollen zweier
W\"urfel'' bezeichnet, dann gilt $(5,1)\in A$.)  Die Gleichheit zweier
Ereignisse wird durch
\[A=B\]
verdeutlicht.

Ereignisse werden durch bestimmte Bedingungen f\"ur ihre Elemente
definiert.  Wir brauchen daher ein Symbol, das den Fall beschreibt, da{\ss}
kein Element einem bestimmten Satz von Bedingungen gen\"ugt, daf\"ur
schreiben wir 
\[A=0.\]
Gilt $A=0$, so enth\"alt $A$ keinen Punkt von $\mathcal{S}$, wir sagen, da{\ss}
Ereignis $A$ ist {\em unm\"oglich}.

Weiters gibt es zu jedem Ereignis $A$ ein weiteres Ereignis, da{\ss} sich
durch die Bedingung ``A geschieht nicht'' definiert. Es enth\"alt alle
Elemente von $\mathcal{S}$, die nicht in $A$ enthalten sind. Wir sprechen
vom komplement\"aren Ergeignis $A'$ ({\em oft auch als $\bar A$ bezeichnet}). 
%(Ausgehend von unserer Definition
%von $\mathcal{S}$ mu{\ss} immer gelten $\mathcal{S}'=0$.)

\begin{figure}[h]
\begin{tabular}{p{1.5cm}p{0.4\textwidth - .5cm}p{0.6\textwidth - 0.5cm}}
& \vspace*{1cm} \noindent {\large $A\cup B$} &
\begin{pspicture*}[1](0,-4.5)(6.5,0)
\psframe[linewidth=2pt,framearc=.3](0,-4)(6,0)%
\rput(0.75,-3.5){\large$\mathcal{S}$}%
%
\pscircle[linewidth=2pt,fillstyle=solid,fillcolor=gray](2.1,-2){1.0}%
\rput(1.9,-2){\large \sffamily \bfseries A}%
%
\pscircle[linewidth=2pt,fillstyle=solid,fillcolor=gray](3.9,-2){1.5}%
\rput(3.9,-2){\large \sffamily \bfseries B}%
\pscircle[linewidth=2pt](2.1,-2){1.0}%
%
\end{pspicture*}
\\
& \vspace*{1cm} \noindent {\large $AB\;(=A\cap B)$} &
\begin{pspicture*}[1](0,-4.5)(6.5,0)
\psclip{%
\pscircle[linewidth=2pt](2.1,-2){1.0}%
\pscircle[linewidth=2pt](3.9,-2){1.5}%
}%
\psframe*[linecolor=gray](0,-4)(6,0)%
\endpsclip
%
\psframe[linewidth=2pt,framearc=.3](0,-4)(6,0)%
\rput(0.75,-3.5){\large$\mathcal{S}$}%
%
\pscircle[linewidth=2pt](2.1,-2){1.0}%
\rput(1.9,-2){\large \sffamily \bfseries A}%
%
\pscircle[linewidth=2pt](3.9,-2){1.5}%
\rput(3.9,-2){\large \sffamily \bfseries B}%
%
\end{pspicture*}
\end{tabular}
\caption{\label{durch} Vereinigung und Durchschnitt zweier Ereignisse.}
\end{figure}

Aus zwei Ereignissen $A$ und $B$ lassen sich neue Ereignisse durch
die Forderungen ``sowohl $A$ als auch $B$ treffen zu'' ({\em Durchschnitt}) und ``entweder
$A$ oder $B$ oder beide treffen zu'' ({\em Vereinigung}) definieren. Die beiden
F\"alle sind 
in Abb.\ \ref{durch} illustriert. Wir schreiben f\"ur den Durchschnitt
$AB$\footnote{Die Standardnotation f\"ur den Durchschnitt zweier Mengen
ist $A \cap B$, $AB$ ist jedoch einfacher zu schreiben.} und f\"ur die
Vereinigung $A \cup B$. Sei $A$ das Ereignis ``Augenziffer 1'' und $B$
das Ereignis ``ungerade Augenziffer''.  Dann ist $AB=\lbrace 1\rbrace$ und 
$A \cup B=\lbrace 1,3,5\rbrace$. 
Schlie{\ss}en sich $A$ und $B$ aus, dann haben sie keine gemeinsamen
Elemente, und $AB$ ist unm\"oglich. In solchen F\"allen  gilt
\[AB=0,\]
dies ist in Abb.\ \ref{disj} illustriet. Ein Beispiel ist das gleichzeitige Auftreten der Augenziffer 1 und 
einer geraden Augenziffer beim Rollen eines W\"urfels, diese beiden
Ereignisse schlie{\ss}en einander aus. Das Ereignis $AB'$ bedeutet,
da{\ss} sowohl $A$ als auch $B'$ zutreffen, d.h., $A$ aber nicht $B$ treten
ein. $A'B'$ bedeutet, da{\ss} weder $A$ noch $B$ zutreffen.  

\begin{figure}[h]
\begin{center}
\begin{pspicture*}[1](0,-4.5)(6.5,0)
\psframe[linewidth=2pt,framearc=.3](0,-4)(6,0)%
\rput(0.75,-3.5){\large$\mathcal{S}$}%
%
\pscircle[linewidth=2pt,fillstyle=solid,fillcolor=gray](1.5,-1.25){1.0}%
\rput(1.5,-1.25){\large \sffamily \bfseries A}%
%
\pscircle[linewidth=2pt,fillstyle=solid,fillcolor=lightgray](4.5,-2.75){1.0}%
\rput(4.5,-2.75){\large \sffamily \bfseries B}%
%
\end{pspicture*}
\end{center}
\caption{\label{disj}Disjunkte Ereignisse}
\end{figure}

Klarerweise lassen sich alle eben eingef\"uhrten Konzepte auf mehr als
zwei Ereignisse verallgemeinern ($ABC\ldots$, $A\cup B\cup C\cup
\ldots$). Insbesondere schlie{\ss}en sich die Ereignisse $A$, $B$, $C$
usw.\ einander aus, wenn kein einziges Ereignispaar ein gemeinsames
Element hat, d.h. $AB=0$, $AC=0$, \ldots, $BC=0$, usw.

\begin{figure}[h]
\begin{tabular}{p{1.5cm}p{0.4\textwidth - .5cm}p{0.6\textwidth - 0.5cm}}
& \vspace*{1cm} \noindent {\large $A \subset B$} &
\begin{pspicture*}[1](0,-4.5)(6.5,0)
\psframe[linewidth=2pt,framearc=.3](0,-4)(6,0)%
\rput(0.75,-3.5){\large$\mathcal{S}$}%
%
\psellipse[linewidth=2pt](3.,-2)(2.0,1.5)%
\rput(1.7,-2){\large \sffamily \bfseries B}%
%
\pscircle[linewidth=2pt,fillstyle=solid,fillcolor=gray](3.,-2){1.}%
\rput(3.,-2){\large \sffamily \bfseries A}%
%
\end{pspicture*}
\end{tabular}
\caption{\label{ober}Obermenge}
\end{figure}

Das letzte fehlende Konzept betrifft den Fall, da{\ss} A nicht eintreten
kann, ohne da{\ss} auch $B$ eintritt (wobei die Umkehrung im Allgemeinen
nicht gilt! --- ``Alle Bienen sind Insekten, aber nicht alle Insekten sind
Bienen.''). Man sagt auch, B sei die {\em Obermenge} von A (s.\ Abb.\ \ref{ober}). Wir f\"uhren die \"aquivalenten Symbole $A\subset B$ und $B\supset
A$ ein, die bedeuten, da{\ss} jedes Element von $A$ in $B$ enthalten ist
($A$ impliziert $B$, $B$ ist von $A$ impliziert). In diesem Fall f\"uhren
wir weiters die alternative Schreibweise $B-A$ f\"ur $BA'$ ein. Die
Notation $B-A$ gestattet uns auch zu schreiben $A'=\mathcal{S}-A$ und
 $A-A=0$.

{\small
\paragraph{$\blacktriangleright$ Beispiele:} (a) Wenn sich $A$ und $B$ ausschlie{\ss}en, dann
bedingt $A$ das Nichteintreten von $B$ und umgekehrt. Somit bedeuten
$AB=0$, $A\subset B'$ und $B\supset A'$ dasselbe.

(b) Das Ereignis $A-AB$ bedeutet $A$ aber nicht sowohl $A$ als auch $B$.
Somit gilt $A-AB=AB'$

(c) Bridge (jeder der vier Spieler bekommt 13 der insg.\ 52 Karten):
Die Ereignisse $A$, $B$, $C$ und $D$ bedeuten, da{\ss} der jeweilige
Spieler zumindestens ein As hat. (Da in Bridge alle Karten
ausgeteilt werden, mu{\ss} zumindestens eines der vier Ereignisse
eintreten, d.h., zumindestens ein Spieler hat mindestens ein
As.) Ein wenig \"Uberlegung zeigt, da{\ss} (i) $A\cup B\cup C \cup
D=\mathcal{S}$, d.h.  den gesamten Ereignisraum des Beispiels ergibt.
(ii) Der Fall $ABCD\not=0$ kann nur eintreten, wenn jeder Spieler
genau ein As hat. (iii) Ein Spieler (assoziiert mit Ereignis $D$)
habe alle vier Asse bekommen.  In diesem Fall k\"onnen weder $A$, $B$,
$C$ zutreffen, mit anderen Worten $A'$, $B'$ und $C'$ treten
gleichzeitig ein oder, mit noch anderen Worten, das Ereignis
$A'B'C'$ trifft zu.

\hfill$\blacktriangleleft$}


\subsubsection{Wahrscheinlichkeiten}
\label{einf:wahr}

In einfachen F\"allen ist der Begriff der Wahrscheinlichkeit
unmittelbar einsichtig. So bereitet es intuitiv keine Schwierigkeiten
dem Ereignis Kopf oder Zahl beim Werfen einer (fairen) M\"unze jeweils
die Wahrscheinlichkeit $\pr{K}=\pr{Z}=1/2$ zuzuordnen, oder die
Wahrscheinlichkeit beim W\"urfeln (mit einem fairen W\"urfel) eine
Sechs zu erhalten mit $\pr{6}=1/6$ zu pr\"azisieren. Bei beiden 
Beispielen handelt es sich um Elementarereignisse des jeweiligen Ereignisraums,
und in beiden F\"allen tritt der Sonderfall ein, da{\ss} jedes der
Elementarereignisse gleichwahrscheinlich ist.  Betrachten wir unter
diesen Voraussetzungen ein zusammengesetztes Ereignis A, so ist \pr{A} die
Summe der Wahrscheinlichkeiten der in A enthaltenen Elementarereignisse.
Sei A das Ereignis ``gerade W\"urfelzahl'', so ist A durch die Elementarereignisse ``2'', ``4'' und ``6'' realisiert.  Somit ist $\pr{A}=\frac{1}{6}+\frac{1}{6}+\frac{1}{6}=\frac{1}{2}$. Allgemein gilt f\"ur die Wahrscheinlichkeit
eines zusammengesetzten Ereignis A, das sich aus $r$ Elementarereignissen
zusammensetzt, und einem Ereignisraum $\mathcal{S}$, der aus $n$ Elementarereignissen besteht
\begin{equation}
\label{laplace}
\pr{A}=\frac{\text{F\"ur A g\"unstige F\"alle}}{\text{Insgesamt m\"ogliche F\"alle}}=\frac{r}{n}
\end{equation}
Gleichung \ref{laplace} ist die s.g.\ Laplace'sche Definition der
Wahrscheinlichkeit. Sie ist nur f\"ur endliche, diskrete
Ereignisr\"aume anwendbar und gilt {\em nur wenn die
Elementarereignisse gleichwahrscheinlich sind}.\footnote{Die
Wichtigkeit der zweiten Bedingung sieht man an folgendem Beispiel: Der
Ereignisraum f\"ur das Experiment ``Augensumme zweier W\"urfel'' ist
$\{2,\,3,\,4\,\ldots\,12\}$ Ein Versuch auf diesem Ereignisraum mit
Definiton (\ref{laplace}) zu operieren w\"urde jedoch k\"aglich
scheitern, da die Wahrscheinlichkeiten der Elementarereignisse nicht
gleich sind.  Die Wahrscheinlichkeit die ``Augensumme 2'' zu bekommen
ist z.B.\ $\frac{1}{36}$, hingegen kommt die ``Augensumme 7'' mit der
Wahrscheinlichkeit $\frac{1}{6}$ vor.}

Nehmen wir jetzt an, es interessiert Sie, ob eine M\"unze oder ein
W\"urfel wirklich fair sind.  Eine M\"oglichkeit dies herauszufinden
besteht darin, das Zufallsexperiment (Werfen der M\"unze, W\"urfeln)
$n$-mal zu wiederholen.  Ist die M\"unze fair, dann erwarten wir das
K(opf) bzw.\ Z(ahl) ungef\"ahr $n/2$-mal auftreten werden (bzw.\ f\"ur
den W\"urfel erwarten wir, da{\ss} jede Augenzahl gleich oft, d.h.\ in
einem Sechstel der F\"alle auftreten wird. Wir f\"uhren die relative
H\"aufigkeit des Ereignis A $h(A)=n_A/n$ ein, wobei $n_A\le n$
die Anzahl des Auftretens von A in $n$ Experimenten (also die absolute H\"aufigkeit) bezeichnet. Ist
die M\"unze fair, so erwarten wir da{\ss} $h(K)=h(Z)=1/2$ um so besser
erf\"ullt ist, je gr\"o{\ss}er die Anzahl der Experimente ist.
Mathematisch suggeriert das zum Grenzwert
$\lim_{n\rightarrow\infty}h(A)$ \"uberzugehen.  Dieser f\"uhrt zur
{\em statistische Definition} der Wahrscheinlichkeit, die besagt,
da{\ss} dieser Grenzwert (wenn er existiert) gleich der
Wahrscheinlichkeit des Ereignis A ist, d.h.,
\begin{equation}
\label{mises}
\lim_{n\rightarrow\infty}h(A)=\lim_{n\rightarrow\infty}\frac{n_A}{n}=\pr{A}.
\end{equation}
Im Gegensatz zu Gl.\ \ref{laplace} gilt Gl.\ \ref{mises} auch f\"ur
ungleich Wahrscheinlichkeiten der Elementarereignisse. F\"ur eine
gezinkte M\"unze k\"onnte man z.B.\ $\lim_{n-\infty}=\pr{Z}=0.55$
anstatt $\pr{Z}=1/2$ f\"ur die faire M\"unze finden.

Die moderne Wahrscheinlichkeitstheorie hat gezeigt, da{\ss} es vorteilhaft
ist, Wahrscheinlichkeiten durch
axiomatische Definitionen einzuf\"uhren.\footnote{Derartige
Definitionen gehen meist auf den russischen Mathematiker A.\ N.\
Kolmogoroff zur\"uck.} {\em In jedem
diskreten Ereignisraum $\mathcal{S}$ mit Elementarereignissen $E_1$,
$E_2\ldots$ ist mit jedem dieser Ereignisse eine Zahl assoziiert, die
wir als Wahrscheinlichkeit von $E_i$ bezeichnen und durch $\pr{E_i}$
symbolisieren.  Die Wahrscheinlichkeit ist nicht-negativ und gehorcht
der Bedingung}
\begin{equation}
\label{pr1}
\pr{E_1}+\pr{E_2}+\ldots = 1.
\end{equation}

Weiters gilt: {\em Die Wahrscheinlichkeit \pr{A} eines beliebigen
Ereignisses $A$ ist die Summe aller in $A$ enthaltenen
Elementarereignisse. Da Gl.\ \ref{pr1} aber auch besagt, da{\ss}
$\pr{\mathcal{S}}=1$, folgt daraus f\"ur jedes Ereignis $A$}
\begin{equation}
\label{pr2}
0\le\pr{A}\le 1
\end{equation}

\begin{figure}
\begin{tabular}{p{1.5cm}p{0.5\textwidth - .5cm}p{0.5\textwidth - 0.5cm}}
&\vspace*{1cm}\noindent {$\pr{A\cup B}=\pr{A_1}+\pr{A_2}-\pr{A_1A_2}$}&
\begin{pspicture*}[1](0,-4.5)(6.5,0)
%
\psframe[linewidth=2pt,framearc=.3](0,-4)(6,0)%
\rput(0.75,-3.5){\large$\mathcal{S}$}%
%
\pscircle[linewidth=2pt,fillstyle=solid,fillcolor=lightgray](2.1,-2){1.0}%
\rput(1.9,-2){\large \sffamily \bfseries A$_1$}%
%
\pscircle[linewidth=2pt,fillstyle=solid,fillcolor=gray](3.9,-2){1.5}%
\rput(3.9,-2){\large \sffamily \bfseries A$_2$}%
%
\psclip{%
\pscircle[linewidth=2pt](2.1,-2){1.0}%
\pscircle[linewidth=2pt](3.9,-2){1.5}%
}%
\psframe*[linecolor=darkgray](0,-4)(6,0)%
\endpsclip
%
\pscircle[linewidth=2pt](2.1,-2){1.0}%
\pscircle[linewidth=2pt](3.9,-2){1.5}%
\psline[linewidth=2pt]{->}(1.5,-0.5)(2.75,-2)%
\rput(1,-0.5){\large \sffamily \bfseries A$_1$A$_2$}
\end{pspicture*}
\end{tabular}
\caption{\label{add}Zum Additionssatz}
\end{figure}

Wir betrachten jetzt zwei Ereignisse $A_1$ und $A_2$.  Um die
Wahrscheinlichkeit \pr{A_1 \cup A_2} zu erhalten, m\"ussen wir
die Wahrscheinlichkeiten aller Elementarereignisse von $A_1$ und
$A_2$ aufaddieren, wobei wir zu ber\"ucksichtigen haben, da{\ss}
kein Elementarereignis doppelt gez\"ahlt wird (Punkte die sowohl in
$A_1$ als auch in $A_2$ liegen!), s.\ Abb.\ \ref{add}. Es gilt daher
\begin{equation}
\label{pr3}
\pr{A_1 \cup A_2}\le\pr{A_1}+\pr{A_2}
\end{equation}
Jedes Ereignis, da{\ss} sowohl zu $A_1$ als auch $A_2$ geh\"ort, wird
auf der rechten Seite doppelt gez\"ahlt, w\"ahrend es auf der linken
Seite nur einmal vorkommt.  Folglich gilt 
\begin{equation}
\label{pr4}
\pr{A_1 \cup A_2}=\pr{A_1}+\pr{A_2}-\pr{A_1A_2}
\end{equation}
Schlie{\ss}en sich $A_1$ und $A_2$ aus, d.h. $A_1A_2=0$, dann vereinfacht
sich Gl.\ \ref{pr4} zu
\begin{equation}
\label{pr5}
\pr{A_1 \cup A_2}=\pr{A_1}+\pr{A_2}
\end{equation}


{\small
\paragraph{$\blacktriangleright$ Beispiel:} Eine M\"unze wird zweimal geworfen. Unser
Ereignisraum besteht also aus KK, KZ, ZK, ZZ, wir gehen von einer
fairen M\"unze aus, somit hat jedes Ereignis die Wahrscheinlichkeit
$\frac{1}{4}$. Die Ereignisse $A_1$ und $A_2$ seien als ``K(opf)
im ersten bzw.\ zweiten Wurf'' definiert.  Somit enth\"alt
$A_1$ KK und KZ, $A_2$ KK und ZK.  Die Vereininung
$A=A_1\cup A_2$ besteht aus KK, ZK, KZ.  Es gilt nach Gleichung
\ref{pr4}
\[\pr{A_1\cup A_2}=\frac{1}{2}+\frac{1}{2}-\frac{1}{4}=\frac{3}{4}\]
\hfill$\blacktriangleleft$}

Gleichung \ref{pr3} hat eine Verallgemeinerung f\"ur beliebige
Ereignisse $A_1$, $A_2$, $A_3\ldots$.  Es gilt
\begin{equation}
\label{pr6}
\pr{A_1 \cup A_2\cup\ldots}\le\pr{A_1}+\pr{A_2}+\pr{A_3}+\ldots
\end{equation}
Das Gleichheitszeichen gilt nur dann wenn sich die Ereignisse $A_1$,
$A_2$, $A_3\ldots$ ausschlie{\ss}en.

\section{Einschub: Elemente der Kombinatorik}
\label{komb}

Es bietet sich an dieser Stelle an, ganz kurz ein paar Elemente der
Kombinatorik zu wiederholen.  Im Rahmen der Wahrscheinlichkeitstheorie
erm\"oglicht Kombinatorik die Anzahl der Elementarereignisse $N$ eines
endlichen, diskreten Ereignisraums zu bestimmen.  Kombinatorische
Fragestellungen tauchen aber auch im Alltag auf --- denken
Sie z.B.\ an die Frage nach der Anzahl der M\"oglichkeiten im Lotto
6 aus 45.  Gilt weiters der Spezialfall, da{\ss} jedes Elementarereignis
gleichwahrscheinlich ist, dann kann man nat\"urlich aus der Kenntnis
der Gr\"o{\ss}e des Ereignisraums unmittelbar Wahrscheinlichkeiten berechnen
(aus Gl.\ \ref{pr1} folgt in diesem Fall sofort $\pr{E_i}=1/N$ und es
gilt Gl.\ \ref{laplace}).

\subsection{Vorbemerkung(en)}
\label{kom:vorb}
 
Sie haben $m$ Elemente $a_1, a_2,\ldots,a_m$ und $n$ Elemente
$b_1,b_2,\ldots,b_n$.  Daraus lassen sich $m\times n$ Paare $(a_i,b_j)$
bilden, die jeweils ein Element jeder Gruppe enthalten. Um sich
davon zu \"uberzeugen, ordnen Sie die Paare in einem rechteckigen
Raster in Form einer Multiplikationstabelle mit $m$ Reihen und $n$
Spalten an, soda{\ss} $(a_i,b_j)$ der Schnittpunkt der $i$-ten Reihe
mit der $j$-Spalte ist.  In einer derartigen Tabelle scheint jedes
Paar einmal auf, und die Richtigkeit der Behauptung ist damit offensichtlich.

Dies l\"asst sich wie folgt verallgemeinern: F\"ur $n_1$ Elemente
$a_1,\, a_2,\,\ldots,\,a_{n_1}$, und $n_2$ Elemente $b_1,\, b_2,\,\ldots,\,b_{n_2}$, und
$n_3$ Elemente $c_1,\, c_2,\,\ldots,\,c_{n_3}$ usw.\ gibt es $n_1\times n_2
\times n_3\ldots$ Anordnungen der Form $(a_i,b_j,c_k,\ldots)$. Der
Fall eines Paars wurde bereits behandelt.  Nun ist aber jedes Triplett
$(a_i,b_j,c_k)$ auch ein Paar der Form $((a_i,b_j),c_k)$, und somit ist
der Triplettfall auf den bewiesenen Paarfall reduziert. Durch
Induktion folgt der allgemeine Beweis der Behauptung. Viele
Anwendungen beruhen auf der folgenden alternativen Formulierung diese
Theorems: {\em $r$-maliges hintereinanderfolgendes Ausw\"ahlen ($r$
hintereinanderfolgende Entscheidungen) mit genau $n_k$ M\"oglichkeiten
im $k$-ten Schritt k\"onnen $n_1\cdot n_2\cdot\ldots\cdot n_r$
unterschiedliche Resultate haben.}

{\small\paragraph{$\blacktriangleright$ Beispiele:} (i) Personen werden nach Geschlecht, Zivilstatus (verheiratet/ledig)
und Beruf klassifiziert. Unterscheidet man z.B. zwischen 17 Berufen,
dann gibt es $2\times 2\times 17=68$ unterschiedliche Klassen
(Kategorien).  

\noindent(ii) Das Legen von $i$ B\"allen in $n$
Schachteln,\footnote{Fast jedes kombinatorische Problem l\"asst sich
mit Hilfe von B\"allen und ggf.\ Schachteln illustrieren} wobei
Mehrfachbelegungen m\"oglich sind, l\"auft auf das Ausw\"ahlen einer
Schachtel ($n$ M\"oglichkeiten) f\"ur jeden Ball (die Auswahl wird
$i$-mal wiederholt) hinaus. Somit k\"onnen die $i$ B\"alle auf $n^i$
verschiedene Weisen in die $n$ Schachteln plaziert werden.
\hfill$\blacktriangleleft$}

\subsection{Permutationen}

Gegeben sind $n$ verschiedene Elemente (z.B.\ unterschiedlich
gef\"arbte B\"alle). Auf wieviele Arten kann man diese Elemente in
einer Reihe anordnen?

F\"ur den ersten Ball hat man  $n$ Pl\"atze  zur
Verf\"ugung. F\"ur den zweiten Ball bleiben dementsprechend $n-1$,
f\"ur den dritten Ball $n-2$ Pl\"atze usw.  F\"ur den $n$-ten
Ball bleibt immer genau ein Platz \"ubrig. Somit ist die
Zahl der {\em Permutationen} $P_n$ von $n$ Elementen durch
\begin{equation}
\label{per1}
P_n=n\cdot(n-n1)\cdot(n-2)\cdot\ldots\cdot 2 \cdot 1=n!
\end{equation}
gegeben.

Die bisherige Ableitung hat vorausgesetzt, da{\ss} die Elemente
unterschiedlich (bzw.\ unterscheidbar) sind (z.B.\ da{\ss} jeder Ball
eine andere Farbe hat). Nehmen wir jetzt an, da{\ss} wir wie zuvor $n$
Elemente reihen sollen, $n_1$ der $n$ Elemente aber gleich
(ununterscheidbar) seien. (5 B\"alle von denen 3 die gleiche Farbe
haben sollen auf 5 Pl\"atze angeordnet werden). Wir nehmen an, wir
kennen die gesuchte Zahl $P_{n,n_1}$ und fragen uns, um welchen Faktor
sich diese erh\"ohen w\"urde, wenn die $n_1$ gleichen Elemente
unterscheidbar w\"aren.  Dieser gesuchte Faktor ist aber nach Gl.\
\ref{per1} $n_1!$.  Somit gilt
\[P_n=n_1!\cdot P_{n,n_1}\]
womit wir sofort f\"ur $P_{n,n_1}$
\begin{equation}
\label{per2}
P_{n,n_1}=\frac{n!}{n_1!}
\end{equation}
finden.

Wenn nun von den $n$ Elementen jeweils $n_1$, $n_2$, $n_3$ usw.\ gleich
sind, so ergibt sich sofort als Verallgemeinerung von Gl.\ \ref{per2}
\begin{equation}
\label{per3}
P_{n,n_1,n_2,n_3,\ldots}=\frac{n!}{n_1!n_2!n_3!\ldots}.
\end{equation}

{\small\paragraph{$\blacktriangleright$ Beispiel:}  Was ist
die Anzahl $N$ aller f\"unfziffrigen Zahlen, die aus den Ziffern 4 und
7 bestehen. Die m\"oglichen Zahlen haben die Form 44444 ($5\times 4$, $0\times 7$), 74444 ($4\times 4$, $1\times 7$) und alle Permutationen, 77444 ($3\times 4$, $2\times 7$) und alle Permutationen usw. Das Symbol $n_4$ benenne wie oft
die Ziffer 4, $n_7$ wie oft die Ziffer 7 in der Zahl vorkommt. Es mu{\ss}
gelten $n_4+n_7=5$. F\"ur jedes Paar $(n_4,n_7)$ gibt es 
\[P_{5,n_4,n_7}=\frac{5!}{n_4!n_7!}\]
M\"oglichkeiten. Da dieser Ausdruck bez\"uglich Vertauschung von
$n_4$ und $n_7$ spiegelbildlich ist, k\"onnen wir uns ein wenig
Rechenaufwand ersparen und $N$ in folgender Weise berechnen:
\[N=2\times(P_{5,5,0}+P_{5,4,1}+P_{5,3,2})=2\times\left(\frac{5!}{5!\;0!}+
\frac{5!}{4!\;1!}+\frac{5!}{3!\;2!}\right)=32\]
(NB: $0!=1$).
\hfill$\blacktriangleleft$}

%\paragraph{Beispiel:} Es sei ein unges\"attigter, linearer Kohlenwasserstoff aus
%8 Kohlenstoffatomen gegeben, bei dem an einem Ende ein Chlor- und am anderen
%Ende ein Jod-Atom substituiert ist (letzteres dient nur um jegliche
%Symmetrie auszuschlie{\ss}en).  Das Molek\"ul hat also insgesamt 7 C-C
%Bindungen, davon seien 3 Doppelbindungen, der Rest Einfachbindungen.
%Ohne chemische Stabilit\"at zu ber\"ucksichtigen, wieviele Isomere gibt es?
%Die Antwort ist durch Gl.\ \ref{per3} gegeben, wobei $n=7$, $n_1=4$ und
%$n_2=3$.  Somit findet man $P_{n,n_1,n_2}=7!/4!3!=35$.

\subsection{Variationen}
\label{kom:var}

Gegeben sind $n$ voneinander verschiedene Elemente. Wieviele
M\"oglichkeiten gibt es, aus diesen Elementen $i$ Elemente
herauszugreifen und in verschiedener Weise anzuordnen (d.h.\ die
Reihenfolge der Anordnung ist relevant)?  Die Frage kann
auch lauten, wieviele Stichproben der Gr\"o{\ss}e $i$ aus $n$ Elementen
gezogen werden k\"onnen. 

Zur Beantwortung derartiger Fragen mu{\ss} man unterscheiden, ob die
gezogenen Elemente/B\"alle zur\"uckgelegt werden d\"urfen oder nicht,
bzw.\ ob ein Element in der Stichprobe mehrfach vorkommen darf oder
nicht.  Man spricht von {\em Variationen von $n$ Elementen zur $i$-ten Klasse}
{\em mit} ($\bar V_{n,i}$) und {\em ohne} ($V_{n,i}$) Wiederholung. Im Fall mit Wiederholung gibt es
f\"ur jede Stichprobe (jedes Ziehen) $n$ M\"oglichkeiten, da wir $i$-mal
ziehen, ergibt sich
\begin{equation}
\label{var1}
\bar V_{n,i}=n^i
\end{equation}
Das klassische Beispiel zur Illustration dieses Falles ist die
Anzahl der m\"oglichen Kodierungen f\"ur die 20 Aminos\"auren durch den Dreibuchstabencode aus den vier DNA (RNA). Dies entspricht dem Fall $n=4$ und $i=3$,
somit gibt es die wohlbekannten $4^3=64$ M\"oglichkeiten.

Bei Fragestellungen dieser Art stellt sich manchmal die Schwierigkeit was in
Gl.\ \ref{var1} $n$ und was $i$ ist. $n$ ist die Anzahl der M\"oglichkeiten
pro Auswahlschritt, $i$ ist die Anzahl der Wiederholungen des Auswahlschritts.
Im Falle des genetischen Codes sind 3 Positionen zu besetzen (es wird
dreimal gew\"ahlt, $i=3$), f\"ur jede Auswahl gibt es $n=4$ M\"oglichkeiten. 
Man vergleiche hierzu das schon erw\"ahnte Problem des Plazierens von z.B.\
4 (unterscheidbaren) B\"allen in 3 Schachteln, wobei Mehrfachbelegungen (= Wiederholungen) m\"oglich sind: Hier
wird $i=4$ mal gew\"ahlt, pro Auswahl gibt es $n=3$ M\"oglichkeiten. Daher
gibt es $3^4=81$ M\"oglichkeiten die B\"alle zu plazieren.

Wenn wir keine Wiederholung zulassen, so gibt es beim ersten Mal
ziehen $n$ M\"oglichkeiten, beim zweiten Mal $n-1$ M\"oglichkeiten,
und schlie{\ss}lich $n-i+1$ M\"oglichkeiten beim letzen (= $i$-ten)
Ziehen.  Somit ergibt sich f\"ur die Anzahl von Variationen von $n$
Elementen zur $i$-ten Klasse ohne Wiederholung
\begin{equation}
\label{var2}
V_{n,i}=n\cdot (n-1)\cdot\ldots\cdot(n-i+1)=\frac{n!}{(n-i)!}=(n)_i.
\end{equation}

{\small\paragraph{$\blacktriangleright$Beispiel:} Die Anzahl dreistelliger Zahlen, die
sich aus den Ziffern eins bis neun schreiben l\"a{\ss}t (ohne da{\ss} eine
Ziffer mehr als einmal vorkommt) ist
\[
V_{9,3}=\frac{9!}{(9-3)!}=\frac{9!}{6!}=9\cdot8\cdot7=504.
\]

\hfill$\blacktriangleleft$}

Wir wissen also, da{\ss} aus einer
Population mit $n$ Elementen $n^i$ bzw.\ $n!/(n-i)!$ Stichproben der
Gr\"o{\ss}e $i$ gezogen werden k\"onnen, je nachdem ob die Stichproben
mit oder ohne Wiederholung gezogen werden. In
Wahrscheinlichkeitstheorie und Statistik h\"ort man oft den Ausdruck
``Zufallsstichproben''. Diesen Ausdruck k\"onnen wir jetzt
pr\"azisieren: Im beschriebenen Auswahlproze{\ss} handelt es
sich genau dann um Zufallsstichproben, wenn die Wahrscheinlichkeit
jeder Stichprobe $E$ genau gleich ist, d.h. die Wahrscheinlichkeit
$\pr{E}=1/n^i$ bzw.\ $\pr{E}=(n-i)!/n!$ (mit bzw.\ ohne Wiederholung).

\subsection{Kombinationen}

Wir stellen uns dasselbe Problem wie im vorigen Unterabschnitt, nur
da{\ss} es diesmal nicht auf die Reihenfolge der Elemente in der
Stichprobe ankommt. Gegeben sind $n$ verschiedene Elemente. Auf
wieviele Arten lasses sich aus ihnen $i$ Elemente herausgreifen, wenn
es auf die Reihenfolge der herausgegriffenen Elemente nicht ankommt,
und jedes Element nur einmal vorkommen darf.  Dies entspricht der
Variation von $n$ Elementen zur $i$-ten Klasse ohne Wiederholung,
jedoch ignorieren wir die $i!$ M\"oglichkeiten die Stichprobe
anzuordnen. Man findet daher f\"ur die Anzahl der {\em Kombinationen
von $n$ Elementen zur $i$-ten Klasse}
\begin{equation}
\label{com1}
C_{n,i}=\frac{V_{n,i}}{i!}=\frac{(n)_i}{i!}=\frac{n!}{(n-i)!\,i!}={n \choose i}
\end{equation}

{\small\paragraph{$\blacktriangleright$ Beispiel:} Die Gemeindevertretung eines Ortes
setzt sich aus 18 M\"annern und 5 Frauen zusammen. Es soll eine
dreigliedrige Abordnung an die Bezirkshauptmannschaft delegiert
werden.  Berechne die Anzahl der M\"oglichkeiten, eine solche
Abordnung zu w\"ahlen, die a) nur aus M\"annern, b) aus zwei M\"annern
und einer Frau besteht:
\[\mathrm{a)}\quad{18\choose3}=816\qquad\qquad
\mathrm{b)}\quad{18\choose 2}\cdot{5\choose 1}= 765.\]
(Im Fall b) wird das in Abschnitt \ref{kom:vorb} besprochene Grundtheorem
der Kombinatorik verwendet, d.h.\ aus der M\"oglichkeit unter M\"annern
und Frauen zu w\"ahlen, wird das Produkt gebildet.)
\hfill$\blacktriangleleft$}

Der eben besprochene Fall schlie{\ss}t Wiederholungen aus. \"Ahnlich
wie bei Variationen gibt es auch bei Kombinationen den Fall der {\em
Kombination von $n$ Elementen zur $i$-ten Klasse mit Wiederholung}.
Dies ist der einzige Fall, bei dem das Ergebnis nicht unmittelbar
einsichtig ist, und man betrachtet am besten das folgende
\"aquivalente Problem: Wie k\"onnen $i$ ununterscheidbare Objekte
(z.B.\ B\"alle gleicher Farbe) auf $n$ Zellen (Schachteln) verteilt werden? Wir
stellen die $i$ B\"alle durch Sternchen und die $n$ Schachteln durch $n$
Abst\"ande zwischen $n+1$ Strichen dar.  Z.B. stellt
$\mathrm{|***|*|\;|\;|\;|****|}$ eine m\"ogliche Verteilung von $i=8$
B\"allen auf $n=6$ Schachteln dar. Diese Darstellung mu{\ss} immer
einen Strich am Anfang und am Ende enthalten, aber die verbleibenden
$n-1$ Striche (Zelltrennungen) k\"onnen in beliebiger Ordnung
auftreten. Das hei{\ss}t aber nichts anderes als da{\ss} die Anzahl
unterscheidbarer Anordnungen gleich der Anzahl von M\"oglichkeiten $i$
Positionen aus $n+i-1$ entspricht.  Diese Anzahl ist aber durch Gl.\
\ref{com1} gegeben, somit finden wir
\begin{equation}
\label{com2}
\bar C_{n,i}={n-1+i \choose i}={n-1+i \choose n-1}
\end{equation}
Eine interessante Nebenfrage ist noch, wieviele unterscheidbare Anordnungen
es gibt, in der keine Zelle leer bleibt.  In unserer symbolischen
Schreibweise bedeutet dies, da{\ss} keine zwei Striche nebeneinander stehen
d\"urfen. Die 8 B\"alle (Sterne) lassen $i-1$ Stellen, die von den
$n-1$ frei verschiebbaren Strichen eingenommen werden m\"ussen. Dies
ist genau auf ${i-1 \choose n-1}$ M\"oglichkeiten realisierbar.

{\small \paragraph{$\blacktriangleright$ Beispiele:} a) Wie viele verschiedene Augenzahlen kann man beim
W\"urfeln mit drei W\"urfeln erhalten? Jeder der drei W\"urfel kann eine
Augenzahl zwischen eins und sechs aufweisen (diese 6 M\"oglichkeiten sind
die ``Zellen'' oder ``Schachteln''). M\"ogliche Ergebnisse sind z.B.
(1,5,2) oder (2,2,6). (Wir unterscheiden nicht zwischen (1,5,2) und (1,2,5)!)
Somit l\"a{\ss}t sich die Frage umformulieren, auf wieviele Arten man
3 Werte aus insgesamt 6 Augenzahlen herausgreifen kann, wobei Wiederholungen
zugelassen sind.  Einsetzen in Gl.\ \ref{com2} mit $i=3$ und $n=6$ gibt
\[\bar C_{6,3}={6+3-1 \choose 3}={8 \choose 3}=56.\]

b) 100 Personen wurden zuf\"allig ausgew\"ahlt, und in Raucher (r) und
Nichtraucher (n) unterteilt. Weiters wird zwischen M\"annern (M) und
Frauen (F) unterschieden. Unsere Stichprobe von 100 Personen ist also
durch das Quadrupel $\mathrm{(F_r,F_n,M_r,M_n)}$
charakterisiert. Wieviele solche Quadrupel gibt es?  (NB: Diese Anzahl
ist der Ereignisraum dieses Problems) Dieses Problem ist \"aquivalent zur
Aufgabe $i=100$ B\"alle auf $n=4$ Zellen aufzuteilen. 
Einsetzen in Gl.\ \ref{com2} ergibt
\[\bar C_{100,4}={100+4-1 \choose 100}={103 \choose 100}=176851.\]

\hfill$\blacktriangleleft$}

{\small
\subsection{Binomialkoeffizienten}
\label{sec:binom}

Es wurden jetzt bereits einige Male Binomialkoeffizienten verwendet, die
hoffentlich aus der Mittelschule bekannt sind.  Der Vollst\"andigkeit
halber einige Beziehungen und Definitionen (siehe auch Ihre Formelsammlungen).
Die Definition des Binomialkoeffizienten lautet:
\[\left({n\atop i}\right)=\frac{(n)_i}{i!}=
\frac{n\cdot(n-1)\ldots(n-i+1)}{i!}=\frac{n!}{(n-i)!\,i!}\]
Aus der Definition sieht man unmittelbar, da{\ss}
\[\left({n\atop i}\right)=\left({n\atop n-i}\right).\]
Weiters f\"uhrt man folgende Definitionen ein
\[\left({n\atop 0}\right)=1\qquad {n \choose i}=0 \text{ wenn } i<0 \qquad\left({n\atop i}\right)=0\text{ wenn } i>n\]
Es gilt folgender Summensatz 
\[\left({n\atop i-1}\right)+\left({n\atop i}\right)=\left({n+1\atop i}\right)\]
Der Binomialkoeffizient ist eng mit dem binomischen Lehrsatz verkn\"upft
\[(a+b)^n=\sum_{i=0}^{n}\left({n\atop i}\right)a^i\, b^{n-i},\]
welcher f\"ur $a=b=1$ auf den interessanten Zusammenhang 
\[(1+1)^n=\sum_{i=0}^{n}\left({n\atop i}\right)=2^n\]
f\"uhrt.


{\em Der Rest dieses Abschnitt ist optional und als Vertiefung f\"ur
Interessierte gedacht und daher nicht Pr\"ufungsstoff}

Wir n\"utzen die Gelegenheit zu einem Exkurs im Exkurs und f\"uhren
eine verallgemeinerte Form des Binomialkoeffizienten ein:
\begin{equation}
\label{binom1}
{a \choose k}=\frac{a(a-1)\ldots(a-k+1)}{k!}
\end{equation}
mit $a\in\mathbb{R}$ und $k$ eine ganze Zahl.\footnote{Es gelten weiterhin
alle Definitionen, wie f\"ur den normalen Binomialkoeffizienten, s.\ oben}
Sie k\"onnen sich unschwer davon \"uberzeugen, da{\ss} sich Gl.\ \ref{binom1}
f\"ur $a=n\in\mathbb{N}$ auf den \"ublichen Binomialkoeffizienten $\frac{n!}{(n-k)!k!}$ reduziert.

Dieser verallgemeinerte Binomialkoeffizient gestattet es, die Taylorreihe
der Funktion $(1+x)^a$ (vgl.\ Abschnitt \"uber Taylorreihen!) in folgender Form
\begin{equation}
\label{binom2}
(1+x)^a=\underbrace{{a \choose 0}x^0}_1+{a \choose 1}x^1+{a \choose 2}x^2+{a \choose 2}x^3+\ldots
\end{equation}
zu schreiben. 

Weiters weisen wir auf folgende kombinatorische Interpretation der
schon erw\"ahnten Beziehung
\[{n \choose 0}+{n \choose 1}+{n \choose 2}+\ldots+{n \choose n}=2^n\]
hin: Die
linke Seite repr\"asentiert die Anzahl der M\"oglichkeiten, auf die
eine Population von $n$ Elementen in zwei Subpopulationen aufgeteilt
werden kann, wenn die Anzahl der ersten Gruppe jede Gr\"o{\ss}e
$k=0,1,\ldots,n$ annehmen kann. Umgekehrt kann man dieses Aufteilung
auch erreichen, in dem man f\"ur jedes Element der Population
entscheidet, ob es in die eine oder die andere Untergruppe f\"allt ---
dies ergibt $2^n$ M\"oglichkeiten (rechte Seite).

\subsection{Die Sterling'sche N\"aherung f\"ur $n!$}
\label{stir}

{\em Dieser Abschnitt ist optional und als Vertiefung f\"ur Interessierte
gedacht und daher nicht Pr\"ufungsstoff}

Es ist Ihnen vermutlich schon aufgefallen, da{\ss} die Fakult\"at $n!$
mit steigendem $n$ sehr rasch anw\"achst, und z.B.\ rasch die
Kapazit\"at des Taschenrechners \"ubersteigt. Dazu kommt, da{\ss} rein
prinzipiell die Berechnung von $n!=n\cdot(n-1)\cdot\ldots\cdot 2\cdot
1$ eine aufwendige Rechenoperation ist ($n-2$ Multiplikationen).  Es
ist daher von Interesse, N\"aherungsformeln f\"ur die Berechnung von
$n!$ (bzw. $\ln n!$) zur Verf\"ugung zu haben.

Wir starten mit der Definition der Fakult\"at
\[n!=1\times 2\times 3\times \ldots \times (n-1)\times n\]
und ziehen den Logarithmus
\begin{equation}
\label{stir1}
\ln n!=\ln 1 + \ln 2 + \ln 3+ \ldots + \ln(n-1) +\ln n=\sum_{m=1}^n \ln m.
\end{equation}
Wir n\"ahern nun die Summe durch das Integral
\begin{equation}
\label{stir2}
\ln n!=\sum_{m=1}^n \ln m\approx \int_1^n dx \ln x =\left[ x \ln x -x \right]_1^n = n \ln n -n +1 \approx n \ln n - n.
\end{equation}
Die N\"aherung der Summe durch ein Integral wird um so besser, je
gr\"o{\ss}er $n$, da der Logarithmus f\"ur gro{\ss}e $n$ eine sehr
langsam ansteigende, sehr langsam varierende Funktion ist.  Die letzte
Approximation in Gl.\ \ref{stir2} besteht darin, den von der unteren
Grenze stammenden Faktor 1, der im Vergleich zu gro{\ss}en $n$
unbedeutend ist, zu vernachl\"assigen. ({\em Testen Sie die G\"ute
der N\"aherung f\"ur einige $n$.  Wichtig ist der relative Fehler
$(n \ln n -n )/\ln n!$})

Der relative Fehler von Gl.\ \ref{stir2} sinkt f\"ur $n=100$ schon
unter 1\%.  Eine noch bessere N\"aherung f\"ur $n!$ (bzw.\ $\ln n!$
erh\"alt man durch die Gleichung
\begin{equation}\label{stir2a}\ln n! \approx n\ln n -n +\frac{1}{2}\ln (2\pi n),\end{equation}
in diesem Fall ist der relative Fehler f\"ur $n=10$(!) bereits kleiner als
1 Promille!

{\tiny Wir zeigen die Ableitung von \ref{stir2a}, da sie fast alle
Ihre bisher erlernten mathematischen Kenntnisse fordert.  Startpunkt
ist das (bestimmte) Integral
\[\int_0^\infty dx x^n e^{-x}.\]
Wir suchen in einer Integraltafel
nach dem Integral und finden (leicht nachrechenbar durch partielle
Integration!!)
\[\int dx x^n e^{-x}=-x^n e^{-x} + n \int dx x^{n-1}e^{-x}\qquad\mathrm{(A)} \]
Als n\"achstes setzen wir in (A) die Grenzen $0$ und $\infty$ ein.  Im
Term $\left[-x^n e^{-x}\right]_0^\infty$ gibt die untere Grenze 0
sicher Null.  Die obere Grenze mu{\ss} als Grenzwert berechnet werden,
d.h.\ $\lim_{x\rightarrow\infty}-x^n e^{-x}$. Da die
Exponentialfunktion f\"ur positive Argumente st\"arker steigt als jede
Potenz (von $x$), und f\"ur negative Argumente schneller gegen Null
geht als jede Potenz (von $x$),\footnote{Um sich das \"uberlegen,
gen\"ugt es die MacLaurin'sche Reihe der Exponentialfunktion mit einer
beliebigen Potenzfunktion zu vergleichen!} ist dieser Grenzwert aber
f\"ur jedes $n$ immer Null. Somit erh\"alt man aus (A) nach Einsetzen
der Grenzen folgende Rekursionsformel f\"ur das bestimmte Integral
\[\int_0^\infty dx x^n e^{-x}= n \int_0^\infty dx x^{n-1}e^{-x}\qquad\mathrm{(B)}.\]
Schritt (B) mu{\ss} $n-1$ mal wiederholt werden. Schlie{\ss}lich
erh\"alt man
\begin{equation}
\label{stir3}
\int_0^\infty dx x^n e^{-x}= n (n-1) \ldots 2 
\underbrace{\int_0^\infty dx e^{-x}}_1=n!,
\end{equation}
weil $\int_0^\infty dx e^{-x}=-\left[e^{-x}\right]_0^\infty=-[0-1]=1$,
wobei Einsetzen der oberen Grenze ($\infty$) eigentlich 
wieder als Grenzwert durch Grenzwertbildung berechnet werden m\"u{\ss}te.

Gl.\ \ref{stir3} hilft uns zun\"achst nicht weiter.  Wir m\"ussen uns
mit den Eigenschaften des Integranden $f(x)=x^ne^{-x}$ besch\"aftigen.
F\"ur positive $x$ (und gro{\ss}e $n$, daran sind wir ja interessiert)
ist $x^n$ eine rasch anwachsende Funktion von $x$ und $e^{-x}$ eine
(noch) rasch(er) abfallende Funktion von $x$. Die Funktion hat daher
vermutlich ein Maximum (wo sich $x^n$ und $e^{-x}$ die Waage halten),
bevor $e^{-x}$ ``gewinnt''.  Weiters wird das Maximum umso sch\"arfer
sein, je gr\"o{\ss}er der Exponent $n$. Als n\"achstes suchen wir
die Position des Maximums $x_0$. Anstatt $f(x)$ direkt zu diskutieren,
betrachten wir $\ln f(x)=\ln(x^n e^{-x})$ und finden
\[(\ln f(x))'=\frac{d}{dx}(n \ln x -x)=\frac{x}{n}-1=0\]
und somit
\begin{equation}
\label{stir4}
x_0=n.
\end{equation}
Wie schon gesagt ist $f(x)$ nur in der unmittelbaren N\"ahe dieses Maximums 
merklich von 0 verschieden, d.h., dieser Bereich tr\"agt das Meiste
zum gesuchten Integral bei.  Wir gehen jetzt wie folgt vor: Zuerst
entwickeln wir $\ln f(x)$ in
eine Taylorreihe um $x_0=n$ und behalten nur den ersten nichttrivialen
Term.  Danach wenden wir die Exponentialfunktion auf unsere N\"aherung
f\"ur $\ln f(x)$ an, und erhalten eine N\"aherung f\"ur $f(x)$.
Diese N\"aherung wird schlie{\ss}lich integriert, und damit haben
wir nach Gl.\ \ref{stir3} die gesuchte N\"aherung f\"ur $n!$.
Wir schreiben
\[x=n+\xi,\qquad\mbox{mit}\quad\xi<<n\]
und berechnen wie angek\"undigt die Taylorreihe von
\[\ln f(x)=n\ln x-x=n\ln(n+\xi)-(n+\xi)\qquad\mbox{(C)}\]
um den Entwicklungspunkt $x_0=n$.  Genauer gesagt brauchen wir uns
nur um den Term $\ln(n+\xi)$ k\"ummern,
\[\ln(n+\xi)=\ln n+\underbrace{\ln(1\;\;\;+\frac{\xi}{n})}_{\text{Formelsammlung!!}}=\;\;\;\ln n+\frac{xi}{n}-\frac{1}{2}\frac{\xi^2}{n^2}+
\ldots\qquad\mbox{(D)}\]
Einsetzen von (D) in (C) f\"uhrt auf
\[\ln f(x)=n\ln n -n-\frac{1}{2}\frac{\xi^2}{n}.\qquad\mbox{(E)}\]
(Der lineare Term in $\xi$ hebt sich weg, weil wir um das Maximum
der Funktion entwickelt haben.) Aus (E) finden wir nun sofort
\[f(x)=n^ne^{-n}e^{-1/2(\xi^2/n)}.\]
Damit k\"onnen wir Integrieren (vgl.\ Gl.\ \ref{stir3}), wobei wir
bei den Grenzen ber\"ucksichtigen m\"ussen, da{\ss} wir eine
Variablentransformation von $x$ auf $\xi$ vorgenommen haben!
\[ n! \approx\int_{-n}^\infty d\xi n^ne^{-n}e^{-1/2(\xi^2/n)}=n^n e^{-n}
\int_{-\infty}^{\infty} d\xi e^{-1/2(\xi^2/n)}=n^n e^{-n}\sqrt{2\pi
n}.\] Zur Berechnung des Integrals mu{\ss}ten wir ein wenig
``Zaubern.''  Zun\"achst einmal wird die untere Grenze $-n$ durch
$-\infty$ ersetzt.  Sie k\"onnen sich jedoch \"uberlegen, da{\ss} der
Integrand f\"ur $\xi<-n$ bereits vernachl\"assigbar klein ist, somit
die Ausweitung der Grenze keinen Einflu{\ss} hat. Das verbleibende
Integral $\int_{-\infty}^{\infty} d\xi \exp(-\xi^2/2n)=\sqrt{2\pi n}$
k\"onnen wir mit unseren Mitteln nicht beweisen.\footnote{Es gilt die
Identit\"at $\int_{-\infty}^{\infty}dx \exp(-x^2)=\sqrt{\pi}$, aus der man sich
obiges Integral durch die Substitution $\xi/\sqrt{2n}=x$ ableiten
kann; die Beziehung ist wichtig genug, da{\ss} Sie sie in Ihre
Formelsammlungen hinzuf\"ugen sollten.}

Es gilt also f\"ur gro{\ss}e $n$
\begin{equation}
\label{stirx}
n!\approx \sqrt{2\pi n}\;n^ne^{-n}
\end{equation}
}
Gleichungen \ref{stirx} bzw.\ \ref{stir2a} (und manchmal auch Gl.\ \ref{stir2}) sind
unter dem Namen {\em Stirling'sche N\"aherung} der Fakult\"at bekannt.
}

\section{Bedingte Wahrscheinlichkeit --- Statistische Unabh\"angigkeit}
\label{bedingt}

\subsection{Bedingte Wahrscheinlichkeit}

Nach diesem Einschub kehren wir zur Berechnung von
Wahrscheinlichkeiten (in diskreten Ereignisr\"aumen) zur\"uck.  Mit
Gl.\ \ref{pr4} bzw.\ dem Spezialfall Gl.\ \ref{pr5} k\"onnen bereits
viele wichtige Fragestellungen untersucht werden.  In der Praxis
stellt sich jedoch auch h\"aufig folgendes Problem: Man betrachtet
zwei Ereignisse $A$ und $H$. $H$ ist eingetroffen. Wie gro{\ss} ist
die Wahrscheinlichkeit daf\"ur, da{\ss} mit $H$ gleichzeitig auch $A$
eintritt. Man nennt diese Wahrscheinlichkeit die {\em bedingte
Wahrscheinlichkeit} von $A$ (bez\"uglich der Hypothese $H$) und
bezeichnet sie mit \pr{A|H}.

Wir betrachten eine Population von $N$ Personen, die $N_H$ Frauen und
$N_A$ Raucher umfasse. Die Ereignisse $A$ und $H$ bedeuten ``es
handelt sich um einen Raucher (eine Raucherin)'' und ``es handelt sich
um eine Frau''.  Sowohl aus unserem intuitiven Verst\"andnis von
Wahrscheinlichkeiten, als auch aus der am Ende von Abschnitt
\ref{kom:var} gegebenen Definition von Zufallstichproben folgt,
da{\ss} die Wahrscheinlichkeit, da{\ss} eine zuf\"allig ausgew\"ahlte
Person ein(e) Raucher(in) ist, $\pr{A}=N_A/N$ betr\"agt, ebenso ist
die Wahrscheinlichkeit, da{\ss} eine zuf\"allig ausgew\"ahlte Person
weiblich ist, $\pr{H}=N_H/N$. Beschr\"anken wir uns auf die
Subpopulation aller Frauen, so betr\"agt die Wahrscheinlichkeit eine
Raucherin zu w\"ahlen $N_{AH}/N_H$.  Diese Wahrscheinlichkeit ist aber
genau die bedingte Wahrscheinlichkeit,
\begin{equation}
\label{bed1}
\pr{A|H}=\frac{\pr{AH}}{\pr{H}},
\end{equation}
da{\ss} eine Person raucht, unter der Voraussetzung, da{\ss} die 
gezogene Person weiblich ist.

Gl.\ \ref{bed1} ist die Definition der bedingten Wahrscheinlichkeit. Durch
triviale Umformung gilt weiters die Beziehung
\begin{equation}
\label{bed2}
\pr{AH}=\pr{H}\cdot\pr{A|H}=\pr{HA}=\pr{A}\cdot\pr{H|A},
\end{equation}
Die weiteren Identit\"aten in Gl.\ \ref{bed2} folgen sofort aus
der Kommutativit\"at des Durchschnitts zweier Mengen ($\pr{AH}=\pr{HA}$)
und der M\"oglichkeit, die Rolle von $A$ und $H$ zu vertauschen ($\pr{H|A}$
ist die bedingte Wahrscheinlichkeit, da{\ss} $H$ eintritt unter der
Voraussetzung, da{\ss} $A$ eingetreten ist.)(NB: $\pr{A|H}\not=\pr{H|A}$!!)

Bevor wir zu einem Beispiel kommen, verallgemeinern wir noch Gl.\ \ref{bed2}.
Nehmen wir an, wir haben drei Ereignisse $A$, $B$, $C$. Wir betrachten
zun\"achst $BC=H$ als die Hypothese und wenden Gl.\ \ref{bed2} zweimal an.
Damit erhalten wir sofort
\begin{equation}
\label{bed3}
\pr{ABC}=\pr{A|BC}\cdot\pr{BC}=\pr{A|BC}\cdot\pr{B|C}\cdot\pr{C},
\end{equation}
und die weitere Verallgemeinerung zu vier und mehr Ereignissen sollte
offensichtlich sein.

{\small \paragraph{$\blacktriangleright$ Beispiel:} (a) Aus einem normalen Kartenspiel (52 Karten)
wird eine Karte gezogen. Man wei{\ss}, da{\ss} die gezogene Karte rot
ist. Wie gro{\ss} ist die Wahrscheinlichkeit, da{\ss} die gezogene
Karte ein K\"onig ist? In unserer Notation entspricht ``rot'' der
Hypothese $H$, und ``K\"onig'' dem Ereignis $A$. Es gibt 26 rote
Karten, darunter 2 K\"onige. Somit ist $\pr{AH}=2/52$ und
$\pr{H}=26/52$ und gem\"a{\ss} Gl.\ \ref{bed1}
$\pr{A|H}=\frac{2}{52}{\big /}\frac{26}{52}=1/13$.

(b) F\"ur einen Betriebsrat soll eine Person nachgew\"ahlt werden.  Es
kandidieren 5 Frauen und 8 M\"anner.  3 der Frauen und 3 der M\"anner
sind Angestellte, die restlichen Kanditat(inn)en sind Arbeiterinnen
bzw.\ Arbeiter.  Uns interessieren nicht nur die
Wahrscheinlichkeiten der Wahlausg\"ange M: ``der gew\"ahlte Kanditat ist
m\"annlich'' und A: ``der/die gew\"ahlte Kanditat(in) ist ein(e)
Arbeiter(in)'', sondern auch die bedingte Wahrscheinlichkeit \pr{A|M}, d.h.,
unter der Voraussetzung, da{\ss} der gew\"ahlte Kanditat m\"annlich ist,
wie hoch ist die Wahrscheinlichkeit, da{\ss} es ein Arbeiter ist.
Wir haben $\pr{M}=8/13$ und $\pr{AM}=3/13$. Somit finden wir gem\"a{\ss}
Gl.\ \ref{bed1} $\pr{A|M}=\frac{3}{13}\big / \frac{8}{13}=\frac{3}{8}$.
\hfill $\blacktriangleleft$}

\subsection{Statistische (stochastische) Unhabh\"angigkeit}

Ausgehend von Gl.\ \ref{bed1} sind zwei Grenzf\"alle von Interesse.
Tritt $A$ immer nur zusammen mit $H$ auf, so ist $\pr{AH}=\pr{A}$ und
wir erhalten
\begin{equation}
\label{bed4}
\pr{A|H}=\frac{\pr{A}}{\pr{H}}
\end{equation}
Dieser Spezialfall tritt z.B.\ in folgendem Beispiel ein.  Es wurde
eine gerade Augenzahl gew\"urfelt.  Was ist die Wahrscheinlichkeit,
da{\ss} es eine ``2'' ist? Im Prinzip ist das mit $A=$ ``2'' und $H =$
``gerade Augenzahl'' die bedingte Wahrscheinlichkeit \pr{A|H}, die
sich aber, weil das Ereignis ``2'' immer eine gerade Augenzahl (die
Hypothese) voraussetzt, direkt aus den Einzelwahrscheinlichkeiten
$\pr{A|H}=\pr{A}/\pr{H}=\frac{1}{6}{\big /}\frac{1}{2}=\frac{1}{3}$
berechnen l\"a{\ss}t.

Der andere Spezialfall tritt dann ein, wenn \pr{A} und \pr{H}
voneinander unabh\"angig sind.  Das bedeutet
$\pr{A|H}=\pr{A}$. (Sie werfen zwei W\"urfel hintereinander.  Der erste
zeigt ``2''. Die Wahrscheinlichkeit, mit dem zweiten eine ``5'' zu w\"urfeln,
ist davon v\"ollig unber\"uhrt, und daher $\frac{1}{6}$.

Eingesetzt in Gl.\ \ref{bed2} bedeutet dies aber
\begin{equation}
\label{bed5}
\pr{AH}=\pr{HA}=\pr{A}\cdot\pr{H}
\end{equation}
Wenn Gl.\ \ref{bed4} zutrifft, so hei{\ss}en die Ereignisse $A$ und
$H$ {\em statistisch (stochastisch) unabh\"angig}. Die
Wahrscheinlichkeit aus einem Kartenspiel mit 52 Karten einen Herz
K\"onig zu ziehen, ist einerseits $\frac{1}{52}$ --- es gibt 52
Karten, davon einen Herz K\"onig, und jede Karte ist
gleichwahrscheinlich.  Man kann sich die Wahrscheinlichkeit aber auch
als das Produkt der Wahrscheinlichkeiten, gleichzeitig eine Herz
($\frac{13}{52}=\frac{1}{4}$) und einen K\"onig
($\frac{4}{52}=\frac{1}{13}$) zu ziehen, denken,
d.h. $\frac{1}{13}\cdot\frac{1}{4}=\frac{1}{52}$.

Sehr oft ist die statistische Unabh\"angigkeit zweier Ereignisse
intuitiv klar. Als ein Beispiel, wo dies nicht offensichtlich ist,
betrachten wir Familien mit drei Kindern und interessieren uns f\"ur
das Geschlecht der Kinder (b = Bub, m = M\"adchen), wobei es auf das
Alter der Kinder ankommt. Die Notation bbg bedeutet: ``erstes
(\"altestes) Kind ein Bub, zweites Kind ein Bub, drittes (j\"ungstes)
Kind ein M\"adchen''.  Wir nehmen an, da{\ss} jede der acht
M\"oglichkeiten (bbb, bbm, bmb, mbb, bmm, mbm, mmb, mmm) gleich
wahrscheinlich ist.\footnote{Das ist eine Vereinfachung, weil die
Geburtenrate von Buben und M\"adchen nicht v\"ollig gleich ist!} Die
Hypothese $H$ sei ``Die Familie hat Kinder beiderlei Geschlechts,''
($\pr{H}=6/8$) das Ereignis $A$ sei ``\ldots aber maximal ein
M\"adchen'' ($\pr{A}=4/8$).  Das gleichzeitige Eintreffen $AH$
bedeutet eine der M\"oglichkeiten bbm, bmb, mbb.  Somit ist
$\pr{AH}=3/8=\pr{A}\cdot\pr{H}=3/4\cdot 1/2$. In Familien mit drei
Kindern sind die beiden Ereignisse $A$ und $H$ also unabh\"angig.  Sie
k\"onnen sich aber leicht \"uberzeugen, da{\ss} dies in Familien mit
zwei oder vier Kindern {\em nicht} der Fall ist!

So wie sich Gl.\ \ref{bed2} zu Gl.\ \ref{bed3} verallgemeinern
l\"a{\ss}t, gilt im Falle statistischer Unabh\"angigkeit f\"ur mehrere
Ereignisse $A$, $B$, $C$ \ldots
\begin{equation}
\label{bed6}
\pr{ABC\ldots}=\pr{A}\cdot\pr{B}\cdot\pr{C}\ldots
\end{equation}
Weiters mu{\ss} jedes Paar $AB$, $AC$, $BC$ usw.\ statistisch
unabh\"angig sein (d.h.\ Gl.\ \ref{bed5} mu{\ss} f\"ur jedes Paar
gelten). (Umgekehrt reicht die paarweise statistische Unabh\"angigkeit
dreier Ereignisse allein nicht aus, um Gl.\ \ref{bed6} zu
garantieren!)

\subsection{Der Satz von Bayes}

Wir kehren jetzt zum Rechnen mit bedingten Wahrscheinlichkeiten zur\"uck. Es
seien $n$ unvereinbare Ereignisse $A_1$, $A_2$, \ldots $A_n$ gegeben,
von denen eines immer eintreffen mu{\ss}, und ein weiteres Ereignis
$B$, das stets mit genau einem jener Ereignisse auftritt.
Es gilt also
\[B=\sum_{i=1}^n BA_i\]
bzw.\ unter Ber\"ucksichtigung von Gl.\ \ref{pr6}
\[\pr{B}=\sum_{i=1}^n\pr{BA_i}.\]
Mit Hilfe von Gl.\ \ref{bed2} gilt aber weiters
\begin{equation}
\label{bay1}
\pr{B}=\sum_{i=1}^n \pr{A_i}\pr{B|A_i}
\end{equation}
Gl.\ \ref{bay1} wird auch als der {\em Satz \"uber die totale Wahrscheinlichkeit}
bezeichnet und ist n\"utzlich, weil es oft einfacher
ist, die auftretenden bedingten Wahrscheinlichkeiten zu berechnen, als $\pr{B}$
direkt zu ermitteln.

{\small \paragraph{$\blacktriangleright$ Beispiel:} (a) Gegeben sind 3 Urnen, und zwar:\\
\hspace*{1cm} 2 Urnen mit je 4 schwarzen und 1 gelben Kugel,\\
\hspace*{1cm} 1 Urne mit 3 schwarzen und 5 gelben Kugeln.\\
Aus einer dieser Urnen, wobei nicht festgestellt wurde, aus welcher, wird
eine Kugel herausgezogen. Wie gro{\ss} ist die Wahrscheinlichkeit daf\"ur,
da{\ss} es eine gelbe ist? Wir bezeichnen das Ereignis, da{\ss} man eine
der beiden oben zuerst angef\"uhrten Urnen getroffen hat, mit $A_1$,
dasjenige, da{\ss} man die oben als dritte Urne angef\"uhrte getroffen
hat mit $A_2$. $B$ bezeichnet ``Ziehen einer gelben Kugel''. $BA_1$ 
ist dann das Ereignis eine Kugel aus einer der ersten beiden Urnen zu
ziehen, $BA_2$ das Ereignis eine Kugel aus der dritten Urne zu ziehen.
Da die gelbe Kugel aus einer der drei Urnen stammen mu{\ss}, gilt
\[BA_1+BA_2=B\]
woraus sich Gl.\ \ref{bay1} zufolge ergibt
\[\pr{B}=\pr{A_1}\pr{B|A_1}+\pr{A_2}\pr{B|A_2}.\]
Nun ist $\pr{A_1}=2/3$, das es drei Urnen gibt, von denen zwei zum
Ereignis f\"uhren. Entsprechend ist $\pr{A_2}=1/3$. Weiters ist
$\pr{B|A_1}=1/5$, da im ersten Typ von Urne 5 Kugeln liegen, von denen
nur eine gelb ist. $\pr{B|A_2}=5/8$. Wir erhalten somit
\[\pr{B}=\frac{2}{3}\cdot\frac{1}{5}+\frac{1}{3}\cdot\frac{5}{8}=\frac{41}{120}.\]

(b) Sie spielen in einem nicht ganz ehrlichen Kasino.\footnote{NB: Ich
empfehle nicht einmal Spielen in einem ehrlichen Kasino!} 99\% aller
W\"urfel sind fair (F), aber 1\% sind so gezinkt (U), da{\ss} in 50\%
aller W\"urfe eine Sechs (6) kommt. Sie nehmen einen W\"urfel aus
einem gro{\ss}en Gef\"a{\ss} voller W\"urfel. Was sind \pr{6|U},
\pr{6|F}?  Was sind \pr{6U} (=\pr{6\cap U}) und \pr{6F}? Was ist die
Wahrscheinlichkeit mit dem zuf\"allig herausgegriffenen W\"urfel eine
Sechs zu w\"urfeln?  Diese Aufgabe ist v\"ollig analog zu (a): Die
Wahrscheinlichkeit mit einem fairen W\"urfel eine Sechs zu w\"urfeln
ist $\pr{6|F}=1/6$, mit einem gezinkten W\"urfel betr\"agt die
Wahrscheinlichkeit (lt.\ Angabe) $\pr{6|U}=1/2$. Weiters gilt $\pr{6U}=
\pr{U}\pr{6|U}=1/100\cdot 1/2=1/200$ und analog $\pr{6F}=
\pr{F}\pr{6|F}=99/100\cdot 1/6=33/200$. Die Wahrscheinlichkeit
mit dem zuf\"allig gezogenen W\"urfel eine Sechs zu w\"urfeln ist
die totale Wahrscheinlichkeit $\pr{6}=\pr{U}\pr{6|U}+\pr{F}\pr{6|F}=
1/200+33/200=17/100$. \hfill$\blacktriangleleft$}


Unter den oben genannten Voraussetzungen ($n$ unvereinbare Ereignisse $A_1$,
$A_2$, \ldots, $A_n$ und ein weiteres Ereignis $B$, das stets mit genau
einem dieser Ereignisse zusammen auftreten mu{\ss}), lassen sich zwei
weitere interessante Beziehungen ableiten. Aus der Definition der
bedingten Wahrscheinlichkeit (Gl.\ \ref{bed1}) folgt
\[\pr{A_iB}=\pr{B}\pr{A_i|B}=\pr{A_i}\pr{B|A_i},\]
was nichts anderes als Gl.\ \ref{bed2} ist. In dieser Form geschrieben
l\"a{\ss}t sich aber weiter auf
\begin{equation}
\label{bay2}
\pr{A_i|B}=\frac{\pr{A_i}\pr{B|A_i}}{\pr{B}}
\end{equation}
umformen, woraus man durch Einsetzen von Gl.\ \ref{bay1} schlie{\ss}lich
\begin{equation}
\label{bay3}
\pr{A_i|B}=\frac{\pr{A_i}\pr{B|A_i}}{\sum_{i=1}^n \pr{A_i}\pr{B|A_i}}
\end{equation}
erh\"alt. Man bezeichnet Gl.\ \ref{bay2} und Gl.\ \ref{bay3} als die
{\em Formeln von Bayes} oder auch als Formeln \"uber die Wahrscheinlichkeit
von Hypothesen (Ursachen). Die Ursachen in diesem Zusammenhang sind
die Ereignisse $A_j$, deren Wahrscheinlichkeiten \pr{A_j} als bekannt
vorausgesetzt werden ({\em a priori} Wahrscheinlichkeiten). Gl.\
\ref{bay3} erm\"oglicht nun die Berechnung der
bedingten Wahrscheinlichkeiten \pr{A_j|B}, da{\ss} die Hypothesen (Ursachen)
$A_j$ zutreffen, wenn (``weil'') das Ereignis $B$ eingetreten ist. Diese
Fragestellung vertauscht die Bedeutung von Hypothese (Ursache) und
Ereignis (``Resultat'', ``Wirkung'').  Die Standardfragestellung
in diesem Zusammenhang w\"are ja \pr{B|A_j}, d.h.\ die
Wahrscheinlichkeit, da{\ss} ein Ereignis $B$ eintritt, vorausgesetzt $A_j$
trifft zu (ist eingetreten).
Man spricht in diesem Zusammenhang deshalb auch von den
{\em a posteriori} Wahrscheinlichkeiten \pr{A_j|B} der Hypothesen (Ursachen).

{\small  \paragraph{$\blacktriangleright$ Beispiel:} (a) Gegeben sind die gleichen Urnen wie im Beispiel
zur totalen Wahrscheinlichkeit. Aus einer dieser Urnen (die nichtunterscheidbar
sind) wird eine Kugel gezogen. Die Kugel ist gelb. Wie gro{\ss} ist die
Wahrscheinlichkeit, da{\ss} die Kugel aus einer der beiden ersten Urnen
stammt.  Wir verwenden die gleichen Bezeichnungen wie im vorherigen
Beispiel. Damit gilt nach dem Satz von Bayes
\[
\pr{A_1|B}=\frac{\pr{A_1}\pr{B|A_1}}{\pr{A_1}\pr{B|A_1}+\pr{A_2}\pr{B|A_2}}=
\frac{\frac{2}{3}\cdot\frac{1}{5}}{\frac{2}{3}\cdot\frac{1}{5}+\frac{1}{3}\cdot\frac{5}{8}}
=\frac{16}{41}.
\]

(b) Das folgende Beispiel ist die Fortsetzung des ``unehrlichen Kasino''
Beispiels: Sie haben nach wie vor den in der ``letzten Folge'' gezogenen
W\"urfel und w\"urfeln drei Sechsen ($3\times 6$) in Folge. Was ist
die Wahrscheinlichkeit \pr{U|3\times6}, da{\ss} der von ihnen gezogene
W\"urfel gezinkt ist. Der Satz von Bayes auf dieses Beispiel angewandt
besagt
\[\pr{F|3\times 6}=\frac{\pr{3\times 6|F}\pr{F}}{\pr{3\times 6}},\]
wobei $\pr{3\times 6}=\pr{3\times 6|F}\pr{F}+\pr{3\times 6|U}\pr{U}$ die totale Wahrscheinlichkeit 3 Sechsen zu
w\"urfeln ist. Weil es jetzt um 3 Sechsen in Folge geht, k\"onnen wir
nicht direkt die Ergebnisse von (a) verwenden. Jedes Werfen eines W\"urfel ist
ein statistisch unabh\"angiger Vorgang zu allen vorhergehenden W\"urfen, d.h.,
$\pr{3\times 6}=\pr{6}^3$. Daher ist die Wahrscheinlichkeit $\pr{3\times 6|U}=0.5^3=0.125$, und wir erhalten somit
\[\pr{F|3\times 6}=\frac{0.5^3\cdot 0.01}{\left(\frac{1}{6}\right)^3\cdot 0.99+
0.5^3\cdot 0.01}=0.21\]
Somit ist es trotz dreimaligem W\"urfelns einer Sechs noch immer wahrscheinlicher, da{\ss} wir einen fairen W\"urfel gezogen haben. \hfill$\blacktriangleleft$

\paragraph{$\blacktriangleright$ Ein biologisches Beispiel:} Bedingte Wahrscheinlichkeiten und der Satz von Bayes spielen eine
wichtige Rolle in vielen statistischen Anwendungen, u.a.\ auch in der
Bioinformatik. Nehmen wir an, es interessiert Sie die Frage, ob
extrazellul\"are Protein m\"oglicherweise eine leicht unterschiedliche
Aminos\"aurenzusammensetzung haben als intrazellul\"are Proteine.  Sie
gehen (zum Beispiel) davon aus, da{\ss} Cystein in extrazellul\"aren
Proteinen h\"aufiger vorkommt als im intrazellul\"aren Proteinen.
Versuchen wir diese Information dazu zu benutzen, um zu entscheiden ob
eine neue Proteinsequenz $x=x_1,\,x_2,\ldots,\,x_n$ (eher) auf ein
extra- oder intrazellul\"ares Protein hindeutet. Wir nehmen die
Trainingssets der {\scshape Swiss-Prot}
Datenbank\footnote{http://www.ebi.ac.uk/swissprot/} und klassifizieren
sie in extra- und intrazellul\"are Proteine.

Daraus k\"onnen wir eine Satz von H\"aufigkeiten $q^{int}_a$ f\"ur
intra- und einen entsprechenden Satz $q^{ext}_a$ f\"ur
extrazellul\"are Proteine ableiten.  Um den Satz von Bayes anwenden zu
k\"onnen, brauchen wir weiters einen Sch\"atzwert f\"ur die
Wahrscheinlichkeit, da{\ss} eine neubestimmte Sequenz extra-
($\mathbf{P}^{ext}$) bzw.\ intrazellul\"ar ($\mathbf{P}^{int}$) ist.
Wir nehmen weiters an, da{\ss} jede Sequenz entweder extra- oder
intrazellul\"ar ist, d.h. $\mathbf{P}^{int}=1-\mathbf{P}^{ext}$. (Dies
ist die Hauptschw\"ache dieses Ansatzes: Die M\"oglichkeit von
Transmembranproteinen kann nicht ber\"ucksichtigt werden!)  Die beiden
Wahrscheinlichkeiten $\mathbf{P}^{int}$ und $\mathbf{P}^{ext}$ sind
{\em a priori} Wahrscheinlichkeiten, denn Sie stellen unsere
Vermutung bez\"uglich der Rolle der Sequenz dar {\em bevor} wir die
Sequenz selbst gesehen haben.

Weiters haben wir die bedingten Wahrscheinlichkeiten
$\pr{x|\mathit{ext}}= \prod_i q^{ext}_{x_i}$ und $\pr{x|\mathit{int}}=
\prod_i q^{int}_{x_i}$.  Da wir annehmen, da{\ss} die Sequenz entweder
extra- oder intrazellul\"ar sein mu{\ss}, ist die totale
Wahrscheinlichkeit $\pr{x}=\mathbf{P}^{ext}\pr{x|\mathit{ext}}+
\mathbf{P}^{int}\pr{x|\mathit{int}}$.  Aus dem Satz von Bayes folgt
jetzt
\[\pr{\mathit{ext}|x}=
\frac{\mathbf{P}^{ext}\prod_i q^{ext}_{x_i}}
{\mathbf{P}^{ext}\prod_i q^{ext}_{x_i}+\mathbf{P}^{int}\prod_i q^{int}_{x_i}}\]
\pr{\mathit{ext}|x} ist die gesuchte 
{\em a posteriori} Wahrscheinlichkeit, da{\ss} die Sequenz extrazellul\"ar
ist und ist unsere Vermutung {\em nachdem} wir die Sequenz gesehen haben.
 \hfill $\blacktriangleleft$}


\section{Die Binomialverteilung und davon ab{\-}geleite{\-}te \\Grenz{\-}f\"alle}\label{binom}


\subsection{Binomialverteilung}
\label{sec:binomsub}

Wir interessieren uns jetzt f\"ur die Berechnung von
Wahrscheinlichkeiten von wiederholten Versuchen, die voneinander
(statistisch) unabh\"angig sind. Jeder Einzelversuch einer derartigen
Kette habe zwei m\"ogliche Ergebnisse $S$ (``success'') und $F$
(``failure''), deren Wahrscheinlichkeiten $\pr{S}=p$ und $\pr{F}=q$
\"uber die Dauer des Experiments (der gesamten Versuchskette) konstant
bleiben. Selbstverst\"andlich gilt $p+q=1$. Eine derartige
Versuchsanordnung nennt man {\em Bernoulli-Schema}.

Wir fragen jetzt nach der Wahrscheinlichkeit $\pr{\mathbf{S_n}=m}=b(m;\,n,\,p)$, da{\ss} $S$
bei $n$ Versuchen $m$-mal eintritt (und dementsprechen $F$
$(n-m)$-mal).  Wir nehmen zun\"achst an, da{\ss} eine bestimmte
Reihenfolge verlangt wird.  Wir betrachten die Ereigniskette
$SSFFSF\ldots S$.  Da die Einzelereignisse laut
Voraussetzung voneinander unabh\"angig sind, gilt f\"ur die
Wahrscheinlichkeit dieser Kette $p\times p\times q\times q\times
p\times q\times \ldots\times p$ (Gl.\ \ref{bed5}).  Insbesondere gilt
f\"ur den Fall, da{\ss} $S$ in den ersten $m$, und $F$ in den
weiteren $(n-m)$ Versuchen auftritt
\[p^mq^{n-m}=p^m(1-p)^{n-m}.\]
Dieses Produkt ist wegen der Unabh\"angigkeit der Einzelversuche aber auch die Wahrscheinlichkeit jeder Versuchskette, in
der $S$ $m$-mal und $F$ $(n-m)$-mal auftritt.  

Unsere eigentliche Frage war nach der Wahrscheinlichkeit $b(m;\,n,\,p)$,
da{\ss} $S$ bei $n$ Versuchen $m$-mal eintritt, die Reihenfolge des
Auftretens der $S$ und $F$ ist uns dabei egal. Wir \"uberlegen
uns daher, auf wieviel verschiedene Arten und Weisen man $m$
Ereignisse $S$ und $(n-m)$ Ereignisse $F$ anordnen kann. Diese
Zahl bekommt man entweder durch die Anzahl der Permutation
$P_{n,m,n-m}=n!/m!(n-m)!$ (Gl.\ \ref{per3}), oder durch Stellen der
(\"aquivalenten) Frage, wieviele Stichproben der Gr\"o{\ss}e $m$ man
aus $n$ Elementen (den Versuchen) ziehen kann --- dies ist auf
$C_{n,m}=\left({n \atop m}\right)$ Weisen m\"oglich (vgl.\ Gl.\
\ref{com1}). Die gesuchte Wahrscheinlichkeit ist jetzt die
Wahrscheinlichkeit eines Einzelereignisses $p^mq^{n-m}$ multipliziert
mit der Anzahl der M\"oglichkeiten, da{\ss} dieses realisiert wird,
d.h.
\begin{equation}
\label{binom3}
\pr{\mathbf{S_n}=m}=b(m;\,n,\,p)=\frac{n!}{m!(n-m)!}p^mq^{n-m}=\frac{n!}{m!(n-m)!}p^m(1-p)^{n-m}=\left({n\atop m}\right)p^m(1-p)^{n-m}.
\end{equation}
Wegen des Auftretens des Binomialkoeffizienten $\left({n \atop
m}\right)$ wird Gl.\ \ref{binom3} {\em Binomialverteilung} genannt.
Die Bedeutung des Begriffs ``Verteilung'' wird in Abschnitt
\ref{vert} n\"aher analysiert.

\begin{figure}[h]
\begin{center}
\begin{pspicture*}[1](-1.0,-0.5)(7.8,5)
\psset{xunit=0.6cm,yunit=12cm}%
\psaxes[Dy=.1,ticks=y]{->}(13,0.35)
\psdots[dotstyle=square*](0,0.000244141)(1,0.00292969)(2,0.0161133)(3,0.0537109)(4,0.12085)(5,0.193359)(6,0.225586)(7,0.193359)(8,0.12085)(9,0.0537109)(10,0.0161133)(11,0.00292969)(12,0.000244141)
\end{pspicture*}
\begin{pspicture*}[1](-1.0,-0.5)(7.8,5)
\psset{xunit=0.6cm,yunit=12cm}%
\psaxes[Dy=.1,ticks=y]{->}(13,0.35)
\psdots[dotstyle=square*](0,0.11215665478461515)(1,0.26917597148307637)(2,0.2960935686313839)(3,0.19739571242092258)(4,0.08882807058941516)(5,0.02842498258861285)(6,0.006632495937342998)(7,0.0011369993035445136)(8,0)(9,0)(10,0)(11,0)(12,0)
\end{pspicture*}
\end{center}
\caption{\label{fig:binom1}Binomialverteilung $b(m; 12, 1/2)$ (links) und $b(m; 12, 1/6)$ (rechts).}
\end{figure}

Gl.\ \ref{binom3} ist in Abb.\ \ref{fig:binom1} illustriert. Ist die Wahrscheinlichkeit des Einzelereignisses genau 1/2, dann ist $b(m;\,n,\,p)$ symmetrisch (linker Plot in Abb.\ \ref{fig:binom1}, entspricht dem Auftreten von $m$-mal
K(opf) beim zw\"olfmaligem Werfen mit einer fairen M\"unze), ansonsten ist $b(m;\,n,\,p)$ asymmetrisch (rechter Plot in Abb.\ \ref{fig:binom1}, entspricht der
Wahrscheinlichkeit $m$ Sechsen beim zw\"olfmaligen W\"urfeln mit einem fairen W\"urfel zu bekommen).

{\small
\paragraph{$\blacktriangleright$ Beispiel:}
Eine faire M\"unze ($\pr{K}=p=\pr{Z}=1-p=q=1/2$) wird dreimal
geworfen.  Wie hoch ist die Wahrscheinlichkeit zweimal K(opf) zu
werfen? Wir bezeichen das Ereignis K mit $S$ und Z(ahl) mit $F$,
somit l\"a{\ss}t sich die Frage durch Gl.\ \ref{binom3}
beantworten. Wir haben
\[b(2;\,3,\,\frac{1}{2})=\left({3 \atop 2}\right)\underbrace{\left(\frac{1}{2}\right)^2}_{p^2}
\underbrace{\left(\frac{1}{2}\right)}_q=\frac{3!}{2!\;(3-2)!}\times\frac{1}{8}=\frac{3}{8}.\]

Anmerkungen: (i) In diesem Beispiel kann man sich die gefragten
Wahrscheinlichkeiten nat\"urlich auch direkt \"uberlegen ({\em machen
Sie das!!}), und sich somit die Richtigkeit der allgemeinen Gl.\
\ref{binom3} verdeutlichen. Die N\"utzlichkeit von Gl.\ \ref{binom3}
wird dann klar, wenn z.B.\ $n=20$ und $m=11$. (ii) Obwohl es durch die
Ableitung klar sein sollte, betonen wir zur Sicherheit, da{\ss} Gl.\
\ref{binom3} keineswegs die Gleichwahrscheinlichkeit der
Einzelereignisse voraussetzt.  Die gleichen Rechenschritte sind auch
auf den Fall einer unfairen M\"unze anwendbar (z.B.\ $p=0.55$,
$q=1-p=0.45$). 

Gl.\ \ref{binom3} stellt weiters die Basis f\"ur kombinierte
Fragestellungen dar. Wir fragen jetzt wie hoch bei drei W\"urfen die
Wahrscheinlichkeit \pr{\mathbf{S_3}\ge2} ist, mindestens zweimal
K(opf) zu erhalten.  Dieses Ereigis tritt ein, wenn man zweimal K
($b(2;\,3,\,1/2)$) oder dreimal K ($b(3;\,3,\,1/2)$) erh\"alt. Da
$b(2;\,3,\,1/2)$ und $b(3;\,3,\,1/2)$ voneinander unabh\"angig sind,
ist die gesuchte Gr\"o{\ss}e durch
$\pr{\mathbf{S_3}\ge2}=b(2;\,3,\,1/2)+b(3;\,3,\,1/2)$ gegeben. Mit
$b(3;\,3,\,1/2)=\frac{3!}{3!\;(3-3)!}(1/2)^3(1/2)^0=1/8$ und dem
bereits bekannten $b(2;\, 3,\, 1/2)=3/8$ findet man
$\pr{\mathbf{S_3}\ge2}=3/8+1/8=1/2$.  \hfill$\blacktriangleleft$ }

Bernoulli-Schemata, deren Wahrscheinlichkeiten durch Gl.\
\ref{binom3} gegeben sind, treten in vielerlei Anwendungen auf, z.B.:
(i) Die Wahrscheinlichkeit eines fehlerhaften Produkts ist $p$. Wie
hoch ist die Wahrscheinlichkeit unter $n$ Produkten $m$ fehlerhafte zu
finden?  (ii) Wirksamkeit eines Medikaments: Ein neuer Wirkstoff
versagt nur in 10\% der F\"alle (korrekte Diagnose und Indikation
vorausgesetzt).  Was ist die Wahrscheinlichkeit, da{\ss} von $n$
Patienten genau $m$, weniger als $m$ usw.\ kuriert werden? 

Nach Gl.\ \ref{binom3} berechnete Wahrscheinlichkeiten sollten aber
immer mit der n\"otigen Sorgfalt interpretiert werden, wie das
folgende Beispiel zeigt:

{\small \noindent $\blacktriangleright$ Die Ansteckungsrate einer
Rinderkrankheit betr\"agt 25\%. Eine neuentwickelte Impfung soll
getestet werden, und $n$ (gesunden) Rindern wird der Impfstoff
verabreicht, danach kommen die Tiere in eine Umgebung, in der
Infektion m\"oglich ist.  Wie sind die Ergebnisse eines derartigen
Versuchs zu interpretieren?  Nun, f\"ur einen nichtwirksamen Impfstoff
ist die Wahrscheinlichkeit, da{\ss} genau $k$ der $n$ Tiere gesund
bleiben durch $b(k;\, n,\,0.75)$ gegeben. F\"ur $k=n=10$ ist diese
Wahrscheinlichkeit 0.056, f\"ur $k=n=12$ 0.032. Bleiben also von 10
(12) Tieren alle gesund, bleibt noch immer ein ``Restzweifel'' von 5.6 bzw.\
3.2\%.  Klarerweise ist der Fall
$k=n=12$ aussagekr\"aftiger. Vergr\"o{\ss}ert man $n$ ein wenig, so kann
man ein paar interessante ``Effekte'' sehen: Im Falle des nichtwirksamen
Impstoffs, ist die Wahrscheinlichkeit, da{\ss} von 17 Rindern maximal eines
erkrankt 0.0501 und die Wahrscheinlichkeit, da{\ss} von 23 Rindern maximal
2 erkranken 0.0492. {\em Das hei{\ss}t aber, da{\ss} der Fall ``ein
Rind von 17'' erkrankt ein st\"arkeres Indiz f\"ur die Wirksamkeit des
Impfstoffs ist (kleinerer ``Restzweifel'') als der Fall ``10 von 10 Rindern bleiben gesund''.}  Gr\"o{\ss}en von Stichproben bzw.\ Populationen sollten daher
niemals zu klein gew\"ahlt werden.
\hfill $\blacktriangleleft$}


\subsection{Multinomialverteilung}

Die Binomialverteilung ist auch auf Versuchsketten anwendbar, bei
denen jeder Einzelschritt mehr als zwei m\"ogliche Ergebnisse haben
kann, und zwar dann, wenn man prim\"ar an einem bestimmten Ereignis
interessiert ist (``Erfolg''), w\"ahrend alle anderen Ergebnisse als
``Mi{\ss}erfolg'' gewertet werden.  Das klassische Beispiel ist
W\"urfeln, wenn z.B.\ die ``Sechs'' als Erfolg (Ereignis $S$), jede
andere Augenzahl jedoch als Mi{\ss}erfolg gilt (Ereignis $F$). In
solchen F\"allen kann Gl.\ \ref{binom3} unmittelbar verwendet werden (vgl.\
Abb.\ \ref{fig:binom1}, rechts).

Es ist aber auch nicht schwer, die Betrachtungen des letzten Abschnitts
auf eine Folge von unabh\"angigen Versuchen zu verallgemeinern, bei
der in jedem Versuch eines von $k$ unvereinbaren Versuchsergebnissen
$A_1$, $A_2$, \ldots, $A_k$ eintreten kann.   Durch \"Uberlegungen, die
der Ableitung von Gl.\ \ref{binom3} analog sind kommt man auf
die Wahrscheinlichkeit daf\"ur, da{\ss} bei einer derartigen Versuchskette
von $n$ Einzelversuchen $m_1$ mal $A_1$, $m_2$ mal $A_2$, usw. \ldots
bis $m_k$ mal $A_k$ auftritt --- diese ist gegeben durch
\begin{equation}
\label{multi1}
\frac{n!}{m_1!\,m_2!\,\ldots\,m_k!}p_1^{m_1}p_2^{m_2}
\ldots p_k^{m_k},
\end{equation}
wobei gelten mu{\ss}, da{\ss} $m_1+m_2+\ldots+m_k=n$ und
$p_1+p_2+\ldots+p_k=1$. (Der Vorfaktor in Gl.\ \ref{multi1} folgt 
aus Gl.\ \ref{per3}.)

{\small\paragraph{$\blacktriangleright$ Beispiel} Was ist die
Wahrscheinlichkeit, bei 5 W\"urfen mit einem W\"urfel zweimal eine Sechs,
und dreimal eine Zwei zu erhalten? Es gibt sechs Ereignisse $A_1$ bis $A_6$, n\"amlich die sechs Augenzahlen. Es ist $m_1=m_3=m_4=m_5=0$, $m_2=3$ und $m_6=6$. Ferner ist $p_1=p_2=\ldots=p_6=1/6$. Wir erhalten somit
\[\frac{5!}{0!\,3!\,0!\,0!\,0!\,2!}
\left(\frac{1}{6}\right)^0
\left(\frac{1}{6}\right)^3
\left(\frac{1}{6}\right)^0
\left(\frac{1}{6}\right)^0
\left(\frac{1}{6}\right)^0
\left(\frac{1}{6}\right)^2=10\cdot\left(\frac{1}{6}\right)^5=0.00129\]

 \hfill$\blacktriangleleft$}

\subsection{Poissonverteilung}
\label{fisch1}

In vielen Anwendungen liegen Bernoulli-Schemata vor, bei denen $n$ (die
Anzahl der Gesamtversuche) vergleichsweise gro{\ss}, und $p$ (die Erfolgswahrscheinlichkeit eines Einzelexperiments) vergleichsweise klein ist. Das Produkt
\begin{equation}
\label{poi1}
\lambda=np
\end{equation}
sei eine endliche Zahl von eher bescheidener Gr\"o{\ss}e.  In solchen
F\"allen kann $b(m;\,n,\,p)$ in einer von Poisson zum ersten Mal abgeleiteten
Form gen\"ahert werden (da{\ss} so eine N\"aherung w\"unschenswert ist,
leuchtet jedem ein, der versucht hat Gl.\ \ref{binom3} f\"ur, sagen wir,
$n=100$ auszuwerten).

{\small \paragraph{$\blacktriangleright$ Ableitung der Poissonverteilung}
F\"ur den Fall $m=0$ erh\"alt man aus Gl.\ \ref{binom3} und \ref{poi1}
\[b(0;\,n,\,p)=(1-p)^n=\left(1-\frac{\lambda}{n}\right)^n\] 
Ziehen des Logarithmus und Anwendung der Taylorreihe
$\ln(1-x)=-[x+x^2/2+x^3/3\ldots]$ ergibt
\[\ln b(0;\,n,\,p)=n\ln\left(1-\frac{\lambda}{n}\right)=
-\lambda\;\;-
\underbrace{\frac{\lambda^2}{2n}-\ldots}_{\rightarrow 0 
\text{ wenn $n$ gro{\ss} }  }\qquad\text{(A)}\]
Erinnern Sie sich an unsere Voraussetzungen: gro{\ss}es $n$, jedoch
moderates $\lambda$, und somit kann man die Taylorreihe wie in (A)
angedeutet nach dem linearen Term abbrechen. Somit folgt aber aus (A)
\[b(0;\,n,\,p)\approx e^{-\lambda}.\qquad\text{(B)}\]

Aus Gl.\ \ref{binom3} kann man weiters folgende Absch\"atzung f\"ur
den Quotienten
\[\frac{b(m;\,n,\,p)}{b(m-1;\,n,\,p)}=\frac{(n-1+m)p}{mq}=\frac{\lambda-(1-m)p}{m(1-p)}=\frac{\lambda-(1-m)\frac{\lambda}{n}}{m(1-\frac{\lambda}{n})}\]
machen. F\"ur gro{\ss}e $n$ wird $\lambda/n$ verschwindend
klein und man kann schreiben
\[\frac{b(m;\,n,\,p)}{b(m-1;\,n,\,p)}\approx\frac{\lambda}{m}.
\qquad\text{(C)}\]
Aus Gln. (B) und (C) erh\"alt man aber jetzt sofort
\begin{eqnarray*}
b(1;\,n,\,p)&\approx&\lambda\cdot b(0;\,n,\,p)\approx \lambda e^{-\lambda}\\
b(2;\,n,\,p)&\approx&\frac{1}{2}\lambda\cdot b(1;\,n,\,p)\approx \frac{1}{2}\lambda^2 e^{-\lambda}\\
b(3;\,n,\,p)&\approx&\frac{1}{3}\lambda\cdot b(2;\,n,\,p)\approx \frac{1}{3\cdot 2\cdot 1}\lambda^3 e^{-\lambda}\\
&\ldots&\\
b(m;\,n,\,p)&\approx&\frac{1}{m}\lambda\cdot b(m-1;\,n,\,p)\approx \frac{1}{m!}\lambda^m e^{-\lambda}
\end{eqnarray*}
Die letzte Zeile ist die gesuchte N\"aherung.
\hfill$\blacktriangleleft$}

Wegen der gro{\ss}en Wichtigkeit der sogenannten {\em Poissonverteilung}
f\"uhren wir die Notation
\begin{equation}
\label{poi2}
p(m; \lambda)=e^{-\lambda}\frac{\lambda^m}{m!}
\end{equation}
ein, die, gen\"ugend gro{\ss}es $n$ vorausgesetzt, eine gute N\"aherung
f\"ur $b(m;\,n,\,\lambda/n)$ ist.

{\small\paragraph{$\blacktriangleright$ Beispiel:} Das folgende
Beispiel illustriert die gute \"Ubereinstimmung von Binomial- und
Poissonverteilung. Was ist die Wahrscheinlichkeit da{\ss} in einer
Firma mit 500 Angestellten genau $k$ ihren Geburtstag am 1.\ J\"anner
haben. Unter der Annahme, da{\ss} diese 500 Leute zuf\"allig
ausgew\"ahlt sind, handelt es sich um ein Bernoulli-Schema mit
Erfolgswahrscheinlichkeit $p=1/365$ und $n=500$. Aus Gl.\ \ref{poi1}
berechnet sich $\lambda=500/365=1.3699$. Die korrekten Wahrscheinlichkeiten
(Gl.\ \ref{binom3}) und deren Poissonn\"aherungen (Gl.\ \ref{poi2}) sind
\begin{table}[h]
\begin{center}
\begin{tabular}{cccccccc}
k & 0 & 1 & 2 & 3 & 4 & 5 & 6 \\
\multicolumn{1}{l}{Binomial} & 0.2537 & 0.3484 & 0.2388 & 0.1089 & 0.0372 & 0.0101 & 0.0023 \\
\multicolumn{1}{l}{Poisson} & 0.2541 & 0.3481 & 0.2385 & 0.1089 & 0.0373 & 0.0102 & 0.0023 
\end{tabular}
\end{center}
\end{table}

Die \"Ubereinstimmung ist aber bereits f\"ur viel kleinere $n$ als in eben
gebrachten Beispiel recht
akzeptabel. \"Uberpr\"ufen Sie dies selbst f\"ur $n=6$, $p=1/6$ und
$m=1,\,2,\,\ldots$ --- dies entspricht (z.B.) der Wahrscheinlichkeit
in sechs W\"urfen mit einem fairen W\"urfel 1, 2, usw. Sechsen zu
erhalten. 
\hfill$\blacktriangleleft$}

Wir haben bis jetzt die Poissonverteilung als N\"aherung der
Binomialverteilung betrachtet. Es gibt aber durchaus Prozesse, die
unmittelbar der Poissonverteilung gehorchen, dazu geh\"oren
z.B. radioaktiver Zerfall, Chromosomenaustausch in Zellen in Folge von
R\"ongtenbestrahlung, die Anzahl falsch verbundener Telefonanrufe(!),
die r\"aumliche Verteilung von Bakterien in einer Petrischale oder von
roten Blutk\"orperchen in einer Z\"ahlkamer usw.

%{\small\paragraph{$\blacktriangleright$ Radioaktiver Zerfall:}
%Radioaktiver Zerfall ist ein Zufallsproze{\ss}. Jedes
%Elementarereignis (z.B.\ Emission eines $\alpha$-Teilchens) l\"a{\ss}t
%sich durch einen Punkt auf der Zeitachse darstellen, und wir fragen
%nach der Verteilung dieser Punkte. Wir wollen zeigen, da{\ss} mit
%einfachsten physikalischen Annahmen $p(m; \lambda)$ (Gl.\ \ref{poi2})
%die Wahrscheinlichkeit darstellt, da{\ss} genau $m$ radioaktive
%Zerf\"alle in einem Zeitintervall von wohldefinierter Dauer stattfinden.
%
%Die zwei physikalischen Annahmen, von denen wir ausgehen, sind: (i)
%Die Bedingungen des Experiments \"andern sich nicht mit der Zeit
%(diese Bedingung ist bei hohen Halbwertszeiten in ausgezeichneter
%N\"aherung erf\"ullt!), und (ii) nicht \"uberlappende Zeitintervalle
%sind (statistisch) unabh\"angig, d.h., selbst wenn ich wei{\ss},
%wieviele $\alpha$-Emissionen es im Zeitintervall $k-1$ gegeben hat,
%kann ich daraus keinerlei R\"uckschl\"usse auf die Intervalle $k$,
%$k+1$ usw.\ ziehen. 
%
%Wir teilen jetzt ein Zeitintervall der arbitr\"aren L\"ange 1 in $n$
%Unterintervalle der L\"ange $1/n$. Die Wahrscheinlichkeit $p$ bezieht
%sich jetzt auf das Ereignis, da{\ss} es in einem der Subintervalle zu
%einem (oder mehreren)\footnote{Da wir in K\"urze zum Grenzwert
%$n\rightarrow\infty$ \"ubergehen werden, sind die relevanten
%Elementarereignisse ein oder kein Zerfall im Subintervall.}
%radioaktiven Zerf\"alle kommt (``Erfolg'').  Da wir angenommen haben,
%da{\ss} nicht \"uberlappende Zeitintervalle unabh\"angig sind, handelt
%es sich um ein Bernoulli-Schema, und $b(m;\,n,\,p)$ ist die
%Wahrscheinlichkeit, da{\ss} es in $m$ der $n$ Unterintervalle zu einem
%(oder mehreren) Zerf\"allen gekommen ist.
%
%Unser Modell wird um so besser sein, je feiner die Unterteilung, und
%somit betrachten wir den Grenzwert $n\rightarrow\infty$. Die
%Wahrscheinlichkeit, da{\ss} in keinem Unterintervall ein Zerfall
%stattfindet, betr\"agt $b(0;\, n,\,p)=(1-p)^n$ und wir erwarten,
%da{\ss} diese Gr\"o{\ss}e einem endlichen Wert zustreben.  Wir
%interessieren uns also f\"ur den Grenzwert
%$\lim_{n\rightarrow\infty}(1-p)^n$ bzw.\ f\"ur den \"aquivalenten
%Grenzwert des Logarithmus $\lim_{n\rightarrow\infty}n\ln(1-p)$. Die
%Taylorentwicklung des Logarithmus (nur linearer Term) f\"uhrt auf
%$\lim_{n\rightarrow\infty}n\ln(1-p)\approx
%\lim_{n\rightarrow\infty}np$. F\"ur unser Modell ist es also
%notwendig, da{\ss} $np$ f\"ur $n\rightarrow\infty$ definiert ist,
%d.h. da{\ss} der Grenzwert $\lim_{n\rightarrow
%\infty}np=\lambda\not=\infty$ existiert.\footnote{Der Fall
%$np\rightarrow\infty$ w\"urde bedeuten, da{\ss} noch im kleinsten
%Subintervall unendlich viele Punkte ($\alpha$-Emissionen) vorkommen
%k\"onnen, was z.B.\ bei radioaktivem Zerfall der Erfahrung
%widerspricht.} In diesem Fall ist dann die Wahrscheinlichkeit von
%genau $m$ Subintervallen mit radioaktiven Zerf\"allen durch
%$p(m;\,\lambda)$ gegeben, und da wir uns mit individuellen Ereignissen
%besch\"aftigen, stimmt die Anzahl der Subintervalle in denen ein
%Zerfall geschieht im Grenzwert (gro{\ss}es $n$, feine Unterteilung)
%mit der Anzahl der Ereignisse im Zeitintervall der L\"ange 1
%\"uberein.\hfill$\blacktriangleleft$}

Zwischen der Binomial- und der Poissonverteilung sind folgende Unterschiede
anzumerken:  In der Poissonverteilung kommt die Anzahl der Versuche $n$
nicht mehr vor, somit kann die Anzahl der Erfolge $m$ beliebig gro{\ss}e Werte annehmen, in der Binomialverteilung gilt immer $m\le n$. Aus diesem Grund
kann man von der Poissonverteilung auch nicht mehr auf relative H\"aufigkeiten
$m/n$ zur\"uckschlie{\ss}en. Wir werden im Abschnitt \ref{vert} sehen,
da{\ss} $\lambda=np$ (Gl.\ \ref{poi1}) dem wahrscheinlichsten Fall/Ergebnis
eines Bernoulli-Schemas, das durch die
Binomialverteilung beschrieben ist, entspricht (ganz genau handelt es
sich um den Erwartungswert der Zufallsvariable $\mathbf{S_n}=k$). (Illustriert ist das z.B.\
durch Abb.\ \ref{fig:binom1}. Im linken Fall ist $n=12$, $p=1/2$, der h\"aufigste Ausgang des Experiments ist $S$ in $12\cdot 1/2=6$ F\"allen. Im rechten
Fall ($n=12$, $p=1/6$) ist $np=2$, und tats\"achlich ist der Fall ``2 mal $S$''
am wahrscheinlichsten.) \label{fischbinom} Man spricht daher bei Problemen, die durch die Poissonverteilung (zumindestens n\"aherungsweise) beschrieben werden, oft davon, da{\ss}
$S$ {\em im Mittel} $\lambda$-mal vorkommt.  Die Bedeutung von $\lambda=np$ mu{\ss} immer klar von der Wahrscheinlichkeit des Einzelereignis $p$ eines Bernoulli-Schemas unterschieden werden.

\subsection{Gaussverteilung}
\label{norm1}

Wir haben die Poissonverteilung als N\"aherung der Binomialverteilung f\"ur
gro{\ss}e $n$ und kleine $p$ abgeleitet.  Eine weitere wichtige
N\"aherung erh\"alt man f\"ur gro{\ss}e $n$ unter der Bedingung, da{\ss}
$p$ ungef\"ahr gleich 1/2 ist (wobei im Grenzwert $n\rightarrow\infty$
beliebige $p$ m\"oglich sind, numerisch ist f\"ur kleine (gro{\ss}e) $p$
allerdings dann die Poissonverteilung vorzuziehen). Es gilt dann\footnote{Beweis wird bei Gelegenheit ins Skriptum aufgenommen}
\begin{equation}
\label{gau1}
b(m;\,n,\,p)\approx\frac{1}{\sqrt{2\pi n p (1-p)}}e^{-\frac{(m-np)^2}{2np(1-p)}}
\end{equation}
Gl.\ \ref{gau1} ist der sogenannte Grenzwertsatz von Moivre-Laplace.
Gl.\ \ref{gau1} ist eine Gau{\ss}sche Glockenkurve, deren Maximum bei
$m=np$. Mit den Abk\"urzungen
\begin{equation}
\label{gau2}
\sigma^2=n p (1-p)
\end{equation}
und
\begin{equation}
\label{gau3}
\mu=np
\end{equation}
l\"a{\ss}t sich dies auch kompakter als 
\begin{equation}
\label{gau4}
b(m;\,n,\,p)\approx\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(m-\mu)^2}{2\sigma^2}}
\end{equation}
schreiben.

{\small\paragraph{$\blacktriangleright$ Beispiel:}
Was ist die Wahrscheinlichkeit mit einer fairen M\"unze in 100 W\"urfen
40 Mal K(opf) zu bekommen.  Da in diesem Fall $p=1/2$ gilt, haben wir
einen idealen Testfall f\"ur Gl.\ \ref{gau1} und finden
\[b(m;\,n,\,p)\approx\frac{1}{\sqrt{2\pi\cdot 100\cdot 0.5\cdot (1-0.5)}}e^{-\frac{(40-100\cdot 0.5)^2}{2\cdot 100 \cdot 0.5 \cdot (1-0.5)}}=0.010798\]
Zum Vergleich: Der exakte Wert nach Gl.\ \ref{binom3} betr\"agt
0.010844.  \hfill$\blacktriangleleft$}

N\"aherung (\ref{gau1}) bzw.\ \ref{gau4} ist aber nicht nur f\"ur $p\approx 1/2$verwendbar.
\begin{figure}[ht]
\begin{center}
\begin{minipage}{\textwidth - 2cm}
\begin{center}
\begin{pspicture*}[1](-1.5,-.5)(8.,5)
\psset{xunit=0.6cm,yunit=12cm}%
\psaxes[Dy=.1,ticks=y]{->}(0,0)(-1,0)(13,0.35)
\psline[linestyle=dashed,linewidth=0.5pt](-.5,0)(-.5,0.107374)
\psline[linewidth=0.5pt](-.5,0.107374)(.5,0.107374)
\psline[linestyle=dashed,linewidth=0.5pt](.5,0)(0.5,0.268435)
\psline[linewidth=0.5pt](0.5,0.268435)(1.5,0.268435)
\psline[linestyle=dashed,linewidth=0.5pt](1.5,0)(1.5,0.30199)
\psline[linewidth=0.5pt](1.5,0.30199)(2.5,0.30199)
\psline[linestyle=dashed,linewidth=0.5pt](2.5,0)(2.5,0.30199)
\psline[linewidth=0.5pt](2.5,0.201327)(3.5,0.201327)
\psline[linestyle=dashed,linewidth=0.5pt](3.5,0)(3.5,0.201327)
\psline[linewidth=0.5pt](3.5,0.0880804)(4.5,0.0880804)
\psline[linestyle=dashed,linewidth=0.5pt](4.5,0)(4.5,0.0880804)
\psline[linewidth=0.5pt](4.5,0.0264241)(5.5,0.0264241)
\psline[linestyle=dashed,linewidth=0.5pt](5.5,0)(5.5,0.0264241)
\psdots[dotstyle=square*](0,0.107374)(1,0.268435)(2,0.30199)(3,0.201327)(4,0.0880804)(5,0.0264241)(6,0.005505)%
% Gauss Naeherung an b(k,10,1/5), i.e. mu=2 sigma=3.2
\psplot[plotpoints=200,linewidth=0.5pt]{-1}{6}{2.71828 x 2 sub 2 exp  3.2 div neg exp 0.315392 mul }\end{pspicture*}
\end{center}
\caption{\label{binom-skewed} Vergleich zwischen $b(k;\, 10,\, 1/5)$ und der
N\"aherung durch Gl.\ \ref{gau1}}
\end{minipage}
\end{center}
\end{figure}
Abbildung \ref{binom-skewed} zeigt den Vergleich zwischen einer
Binomialverteilung $b(k;\, 10,\, 1/5)$ (die Stufenfunktion) und der
N\"aherung durch Gl.\ \ref{gau1} (stetige Funktion) --- obwohl
$p\not=1/2$ und $n$ klein, ist die N\"aherung \"uberraschend gut.

Wir interessieren uns jetzt f\"ur die Wahrscheinlichkeit, da{\ss} $m$
zwischen zwei Werten $a$ und $b$ liegt. F\"ur ein Bernoulli-Schema
m\"u{\ss}ten wir exakterweise die Summe $\sum_{\nu=a}^b b(\nu;\, n,\,
p)$ bilden (vgl.\ Gl.\ \ref{binom3}). Wenn wir Gl.\ \ref{gau4} (bzw.\ Gl.\
\ref{gau1})
ausn\"utzen wollen, so m\"ussen wir die Summe durch das bestimmte Integral
\"uber die rechte Seite von Gl.\ \ref{gau4} ersetzen. Wir erhalten also die
N\"aherung
\begin{equation}
\label{ngau1}
\sum_{\nu=a}^b b(\nu;\, n,\, p)\approx\frac{1}{\sigma\sqrt{2\pi}}
\int_{a}^{b} dm\, e^{-\frac{(m-\mu)^2}{2\sigma^2}}.
\end{equation}
Der Vollst\"andigkeit sollte hinzugef\"ugt werden, da{\ss} die
mathematische Literatur eigentlich Gl.\ \ref{ngau1} bzw.\
Grenzwertdarstellungen, die zeigen da{\ss} der Fehler f\"ur
$n\rightarrow\infty$ gegen Null geht als Grenzwertsatz von
Moivre-Laplace bezeichnet. 

Wir betrachten zun\"achst prinzipielle Eigenschaften dieses Integrals.
Durch die Variablensubstitution $t=m-\mu/\sigma$ erh\"alt das zu berechnende
Integral die Form ({\em vollziehen Sie das nach, inklusive \"Anderung
der Grenzen!!})
\[\frac{1}{\sqrt{2\pi}}\int_{(a-\mu)/\sigma}^{(b-\mu)/\sigma} dt\,e^{-t^2/2}\]

Wir haben schon im Abschnitt \"uber Integration darauf hingewiesen, da{\ss}
es f\"ur Integranden des Typs $\exp(a x^2)$ keine (in geschlossener Form
schreibbare) Stammfunktion
gibt. Integrale der Form
\begin{equation}
\label{gau5}
\Phi(z)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^z dt \exp(-t^2/2)
\end{equation}
sind aber (wie wir noch sehen werden) in Wahrscheinlichkeitstheorie und Statistik von extremer Wichtigkeit
und daher in detaillierten Tabellen verf\"ugbar, bzw.\ heutzutage am
Computer mit beliebiger Genauigkeit numerisch berechenbar. Man bezeichnet
Gl.\ \ref{gau5} als {\em Gau{\ss}sche Wahrscheinlichkeitsfunktion} oder auch
als {\em Standard-Normalverteilung $N(0,1)$}.
Unter Ausnutzung von Gl.\ \ref{gau5} l\"a{\ss}t sich jetzt die L\"osung
unserer Frage
in kompakter Form als
\begin{equation}\label{gau5a}
\sum_{\nu=a}^b b(\nu;\, n,\, p)\approx\left[\Phi((b-\mu)/\sigma)-
\Phi((a-\mu)/\sigma)\right].
\end{equation}
schreiben. Die Werte von $\Phi$ bekommt man wie schon gesagt aus Tabellen
(z.B.\ ``kleiner Bartsch'')
oder durch numerische Integration. F\"ur die Benutzung der Tabellen
mu{\ss} man blo{\ss} wissen, da{\ss} wegen der Symmetrie des Integranden
$\exp(-t^2/2)$ die Beziehung
\begin{equation}\label{gau6}
\Phi(-z)=1-\Phi(z)
\end{equation}
gilt, weswegen $\Phi(x)$ nur f\"ur positive $x$ tabelliert ist.

{\small\paragraph{$\blacktriangleright$ Beispiel:}In Fortsetzung des
obigen Beispiels fragen wir jetzt, was die Wahrscheinlichkeit ist,
da{\ss} mit der fairen M\"unze zwischen 45 und 55 mal Kopf geworfen
wird. Wir finden mit Gl.\ \ref{gau5a} und $\mu=np=100\cdot 0.5=50$ und $\sigma^2=100\cdot0.5\cdot0.5=25$
\[\sum_{\nu=45}^{55} b(\nu;\, 100,\, 1/2)\approx
\Phi((55-50)/\sqrt{25})-\Phi((45-50)/\sqrt{25})=\Phi(1)-\Phi(-1)=2\Phi(1)-1=0.68.\]
Der nach Gl.\ \ref{binom3} berechnete exakte Wert ist 
allerdings $0.73$, der Fehler der N\"aherung ist also nicht gerade klein.  \hfill$\blacktriangleleft$}

Wegen des im eben gerechneten Beispiel erhaltenen Fehler ist es notwendig,
N\"aherung (\ref{gau5a}) nochmals zu diskutieren. Leitet man alle Schritte,
die zu (\ref{ngau1}) bzw.\ (\ref{gau5}) f\"uhren sorgf\"altig ab, so sieht man, da{\ss} im
Grenzwert $n\rightarrow\infty$ der Fehler Null wird.  Wie das Beispiel
drastisch verdeutlicht, ist aber ``$100\not=\infty$''.  Es w\"are daher
w\"unschenswert, wenn wir eine Version von Gln.\ \ref{ngau1}/\ref{gau5a} h\"atten, die
eine bessere N\"aherung f\"ur endliche $n$ darstellt.  Zu diesem Zweck
betrachten wir nochmals Abb.~\ref{binom-skewed}. Das bestimmte Integral ist
der Fl\"acheninhalt unter der Glockenkurve, die die Binomialverteilung
ann\"ahert. Interessieren tut uns aber eigentlich der Fl\"acheninhalt
unter der Stufenfunktion. Betrachtet man die Stufenfunktion aber genauer,
so sieht man, da{\ss} an jedem Punkt $\nu$ der Funktionswert $b(\nu;\, n,\, p)$f\"ur das Intervall $(\nu-1/2,\nu+1/2]$ aufgetragen ist. Das bedeutet aber,
da{\ss} wir f\"ur die Summe $a\le\nu\le b$ (linke Seite in (\ref{ngau1}) 
eigentlich als Integrationsgrenzen  $a-1/2$ und $b+1/2$ nehmen sollten, d.h.
\begin{equation}
\label{ngau2}
\sum_{\nu=a}^b b(\nu;\, n,\, p)\approx\frac{1}{\sigma\sqrt{2\pi}}
\int_{a-1/2}^{b+1/2} dm\, e^{-\frac{(m-\mu)^2}{2\sigma^2}}=\Phi((b+1/2-\mu)/\sigma)-\Phi((a-1/2-\mu)/\sigma).
\end{equation}

{\small\paragraph{$\blacktriangleright$ Beispiel:} Als Test, ob Gl.\
\ref{ngau2} tats\"achlich besser als (\ref{gau5a}) ist, berechnen wir
nochmals die Wahrscheinlichkeit, da{\ss} mit der fairen M\"unze
zwischen 45 und 55 mal Kopf geworfen wird. Wir finden mit
$\mu=np=100\cdot 0.5=50$ und $\sigma^2=100\cdot0.5\cdot0.5=25$
\[\sum_{\nu=45}^{55} b(\nu; 100, .5)\approx
\Phi((55-50+1/2)/\sqrt{25})-\Phi((45-50-1/2)/\sqrt{25})=\Phi(1.1)-\Phi(-1.1)=2\Phi(1.1)-1=0.73,\]
in ausgezeichneter \"Ubereinstimmung mit dem exakten Wert.
\hfill$\blacktriangleleft$}

F\"ur endliche $n$ und h\"ochste Genauigkeit sollte also Gl.\
\ref{ngau2} verwendet werden, um die Binomialverteilung zu n\"ahern.
Die St\"arke der Gau{\ss}schen N\"aherung der Binomialverteilung liegt
genau in Fragestellungen vom Typ Gl.\ \ref{ngau1}. Nicht nur, da{\ss}
f\"ur gro{\ss}e $n$ die Berechnung eines Werts $b(k;\,n,\,p)$ m\"uhsam
wird, die Berechnung von $\sum_{k=\alpha}^{\beta}b(k;\,n,\,p)$ mit der
Binomialverteilung Gl.\ \ref{binom3} w\"urde $\beta-\alpha$ derartige
Berechnungen erfordern.  Gl.\ \ref{gau5a} (bzw.\ (\ref{ngau2}))
reduziert diese Rechnung auf das Nachschauen zweier tabellierter Werte.

%\noindent{\bfseries Beweis}

\section{Verteilungen, Erwartungswert und Varianz}
\label{vert}

\subsection{Zufallsvariablen}

Bis jetzt haben wir versucht, Wahrscheinlichkeiten von Elementar- oder
zusammengesetzten Ereignissen eines Ereignisraums zu berechnen. Eine
H\"urde dabei war, da{\ss} Ereignisse oft m\"uhsam mit Worten
beschrieben werden mu{\ss}ten, was anderseits sicherlich der
Vorstellung zutr\"aglich war. Als n\"achstes f\"uhren wir einen
Abstraktionsschritt durch, der es in Folge gestattet, den vollen
mathematischen Apparat auf Probleme der Wahrscheinlichkeitsrechung
(und Statistik) anzuwenden (allerdings um den Preis, da{\ss}
Vorstellbarkeit verlorengeht, und man sich mit etwas arkanen Bezeichnungen
anfreunden mu{\ss}).  

Die zentrale Idee besteht darin,
Funktionen (im mathematischen Sinn) einzuf\"uhren, die als
Definitionsmenge den Ereignisraum eines interessierenden
Zufallsexperiments haben.
Eine Funktion \rnd, die jedem Elementarereignis $E_i$ des
Ereignisraums $\mathcal{S}$ eines Zufallsexperiments eine reelle Zahl
zuordnet, hei{\ss}t Zufallsvariable.\footnote{In vielen Lehrb\"uchern
hei{\ss}t es, da{\ss} man besser von Zufallsfunktion sprechen
sollte, aber die Gewohnheit \ldots} Die Definitionsmenge von \rnd ist
der Ereignisraum $\mathcal{S}$, die Wertemenge $W$ ist eine Teilmenge
von $\mathbb{R}$:
\[\rnd:\;\mathcal{S}\rightarrow W, E_i\mapsto \rndf{E_i}\]

Man unterscheidet zwischen {\em diskreten}, {\em stetigen} und {\em
allgemeinen} Zufallsvariablen. Wir beschr\"anken uns auf diskrete und
stetige Zufallsvariable, diese reichen f\"ur die von Ihnen gebrauchten
Anwendungen von Wahrscheinlichkeitsrechnung und Statistik. Die
Behandlung allgemeiner Zufallsvariablen w\"urde viel mehr
mathematisches R\"ustzeug (Ma{\ss}theorie, die ihrerseits wieder einen
verallgemeierten Integralbegriff voraussetzt) erfordern (und somit
\"uberlassen wir dieses Gebiet gerne den Mathematikern).

{\em Diskrete} Zufallsvariablen\footnote{Achtung: Manche
Mittelschulb\"ucher, z.B.  Laub, ``Lehrbuch der Mathematik'', 4.\
Band, Seite 114 (Ausgabe von 1981) verwendet einen eingeschr\"anktere
Definition von diskreten Zufallsvariablen. Die dort getroffene
Unterscheidung erscheint ein wenig spitzfindig und macht die
Behandlung stetiger Zufallsvariablen komplizierter. Die hier
verwendete Unterscheidung folgt [Bosch99]} sind Funktionen, deren
Wertemenge abz\"ahlbar oder abz\"ahlbar unendlich\footnote{Das
klassische Beispiel abz\"ahlbar unendlicher Mengen ist
$\mathbb{N}_0$. Eine abz\"ahlbar unendliche Menge mu{\ss} auf
$\mathbb{N}_0$ zur\"uckf\"uhrbar sein, dies ist z.B.\ f\"ur
$\mathbb{Z}$ und $\mathbb{Q}$ der Fall, nicht jedoch f\"ur
$\mathbb{R}$, bei der es sich um eine \"uberabz\"ahlbar unendliche
Menge handelt} sind. Beispiele von diskreten Zufallsvariablen sind
z.B.\ n-maliges Werfen einer M\"unze oder eines W\"urfels, die dabei
entstehenden Ereignisse sind diskret, wenngleich der Ereignisraum (und
somit die Wertemengen von darauf definierten
Zufallsvariablen) mit steigendem n rasch sehr gro{\ss} werden
k\"onnen.  Durch den Grenz\"ubergang $n\rightarrow\infty$ gelangt man
zu Beispielen von diskreten Zufallsvariablen mit abz\"ahlbar
unendlichen Ereignisr\"aumen bzw.\ Wertemengen. Eine diskrete
Zufallsvariable mit abz\"ahlbar unendlicher Wertemenge ist z.B.\
die Anzahl von W\"urfelversuchen (``Mensch \"argere Dich nicht!'' Spiel!),
die ben\"otigt wird, um zum ersten Mal eine Sechs zu w\"urfeln ($\rnd=1,\,2,\,
\ldots,\,k$). Es gibt hierbei
keine obere Grenze f\"ur die Anzahl $k$ der W\"urfe, die dazu ben\"otigt
wird, und somit f\"ur den Wert den \rnd annehmen kann,  wenngleich die Wahrscheinlichkeit mit steigendem $k$ sehr
stark abnimmt $\pr{\rnd=k}= (5/6)^{k-1}(1/6)$

Um sich {\em stetige} Zufallsvariable vorzustellen denken Sie an ein
\label{roulette} Roulettespiel, dessen Ergebnis (Ereignisraum) nicht 
die Zahlen von 0 bis 36 sind, sondern der mit arbitr\"arer
Genauigkeit\footnote{Wir halten uns hier nicht mit Problemen auf, die
uns hierbei irgendwann aus der Unsch\"arferelation der Quantenmechanik
erwachsen w\"urden.}  gemessene Winkel $\theta$ zwischen 0 und
360$^\circ$ ($0<\theta\le 2\pi$).  Klarerweise ist der zu diesem
Zufallsexperiment geh\"orende Ereignisraum nicht diskret, und die zur
beschriebenen Zufallsvariable geh\"orende Wertemenge ist
\"uberabz\"ahlbar unendlich.  

\subsection{Diskrete Zufallsvariablen}
Wir verweilen noch kurz bei diskreten Ereignisr\"aumen und
Zufallsvariablen, denn diese eignen sich sehr gut, die n\"achsten
wichtigen Konzepte, Wahrscheinlichkeitsverteilung (Abschnitt \ref{wahr1}),
Verteilungsfunktion (Abschnitt \ref{vert1}) und Erwartungswerte (Abschnitt \ref{erwa1}), einzuf\"uhren. In Abschnitt \ref{stetig} werden diese Konzepte
dann f\"ur stetige Zufallsvariablen besprochen.

\subsubsection{Wahrscheinlichkeitsverteilung --- Wahrscheinlichkeitsfunktion}
\label{wahr1}


Es sei \rnd eine Zufallsvariable (oder besser
Zufallsfunktion), die die Werte $x_1$, $x_2$, $x_3$, \ldots annehmen
kann. Die Anh\"aufung aller Ereignisse f\"ur die \rnd einen
bestimmten Wert $x_i$ annimmt bildet das Ereignis $\rnd=x_i$, wir
bezeichnen seine Wahrscheinlichkeit mit $\pr{\rnd=x_i}=f(x_i)$.  Die
Funktion
\begin{equation}
\label{eq:w1}
\pr{\rnd=x_i}=f(x_i)\qquad(i=1,2,\ldots)
\end{equation}
wird als {\em Wahrscheinlichkeitsverteilung} oder auch als {\em Wahrscheinlichkeitsfunktion} der Zufallsvariablen \rnd bezeichnet.  Aus den Eigenschaften
von Wahrscheinlichkeiten (Abschnitt \ref{einf:wahr}) folgen sofort die folgenden Eigenschaften von
$f(x_i)$
\begin{equation}
\label{eq:w2}
f(x_i)\ge 0
\end{equation}
und
\begin{equation}
\label{eq:w3}
\sum f(x_i)=1.
\end{equation}

\begin{table}[!h]
\begin{center}
\begin{minipage}{\textwidth - 2cm}
\begin{center}
\begin{tabular}{|l| c| c|}
\hline
 g\"unstige Ereignisse  & \rnd & $\pr{x_i}=f(x_i)$ \\
\hline
(1,1)                              &2 & 1/36\\
(1,2);(2,1)                        &3 & 2/36\\
(1,3);(2,2);(3,1)                  &4 & 3/36\\
(1,4);(2,3);(3,2);(4,1)            &5 & 4/36\\
(1,5);(2,4);(3,3);(4,2);(5,1)      &6 & 5/36\\
(1,6);(2,5);(3,4);(4,3);(5,2);(6,1)&7 & 6/36\\
(2,6);(3,5);(4,4);(5,3);(6,2)      &8 & 5/36\\
(3,6);(4,5);(5,4);(6,3)            &9 & 4/36\\
(4,6);(5,5);(6,4)                  &10& 3/36\\
(5,6);(6,5)                        &11& 2/36\\
(6,6)                              &12& 1/36\\
\hline
&  & $\Sigma f(x_i)=1$ \\
\hline
\end{tabular}
\end{center}
\caption{\label{tab1} Illustration von Zufallsvariable
$\rnd=2,3,\ldots,12$ und Wahrscheinlichkeitsverteilung $f(x_i)$ am
Beispiel der Augensumme beim W\"urfeln  mit zwei (unterscheidbaren)
W\"urfeln.}
\end{minipage}
\end{center}
\end{table}
Als Beispiel einer Wahrscheinlichkeitsfunktion betrachten wir
das W\"urfeln mit zwei W\"urfeln unterschiedlicher Farbe.  Die
Zufallsvariable \rnd ist die Augenzahl, die  Werte zwischen 2 und 12
annehmen kann. Die f\"ur eine Augenzahl g\"unstigen Ereignisse, die
Augenzahl (d.h.\ die Zufallsvariable) und die Wahrscheinlichkeitsverteilung
(Wahrscheinlichkeitsfunktion) sind in Tabelle \ref{tab1} (S.\ \pageref{tab1}) dargestellt.
Die Summe $\sum f(x_i)$ ist wie lt.\ Gleichung \ref{eq:w3} gefordert
gleich 1.

\subsubsection{Verteilungsfunktion}
\label{vert1}

Die eben eingef\"uhrte Wahrscheinlichkeitsverteilung $f(x_i)$ gibt die
Wahrscheinlichkeit $\pr{\rnd=x_i}$ an, mit der die Zufallsvariable \rnd
den Wert $x_i$ aus ihrer Wertemenge annimmt. Oft interessiert man
sich f\"ur die Wahrscheinlichkeit daf\"ur, da{\ss} eine Zufallsvariable
\rnd Werte annimmt, die nicht gr\"o{\ss}er als ein fest vorgegebener
Wert $x$ sind, d.h.\ f\"ur $\pr{\rnd\le x}$. L\"a{\ss}t man $x$ die
Zahlengerade $\mathbb{R}$ durchlaufen, so wird durch 
\begin{equation}
\label{eq:v1}
F(x)=\pr{\rnd\le x},\qquad x\in\mathbb{R}
\end{equation}
eine reellwertige Funktion $F$ erkl\"art. Diese Funktion $F$, die
durch\ die Zufallsvariable \rnd bestimmt ist, hei{\ss}t {\em
Verteilungsfunktion} von \rnd.\footnote{Bitte verwechseln Sie nicht
eine {\em Wahrscheinlichkeitsverteilung} $f(x_i)$ mit einer {\em
Verteilungsfunktion} $F(x)$. Wegen dieser Verwechslungsgefahr
verwenden manche Lehrb\"ucher den Ausdruck
``Wahrscheinlichkeitsfunktion'' f\"ur $f(x_i)$.} F\"ur diskrete
Zufallsvariablen berechnet sich $F(x)$ gem\"a{\ss}
\begin{equation}
\label{eq:v2}
F(x)=\pr{\rnd\le x}=\sum_{x_i\le x}\pr{\rnd=x_i}=\sum_{x_i\le x}f(x_i)
\end{equation}
Der Zusammenhang zwischen $f(x_i)$ und $F(x)$ ist in Abb.\ \ref{fig:wuerfel}
f\"ur den bereits in Tabelle \ref{tab1} diskutierten Fall der Augensumme
zweier (unterscheidbarer) W\"urfel illustriert.

Jede Verteilungsfunktion $F(x)$ einer diskreten Zufallsvariablen \rnd
besitzt folgende Eigenschaften, die unmittelbar aus der Definition
(\ref{eq:v2}) bzw.\ den Eigenschaften der
Wahrscheinscheinlichkeitsverteilung $f(x_i)$, Gln.~\ref{eq:w2} und
\ref{eq:w3}, folgen: $F(x)$ ist eine Treppenfunktion, die nur an den
Stellen $x_i$ aus der Wertemenge $W$ von \rnd Spr\"unge der H\"ohe
$f(x_i)=\pr{\rnd=x_i}$ besitzt. Weiters folgt aus 
\begin{equation}
\label{eq:v3}
x<\hat x \quad\Rightarrow\quad F(x)\le F(\hat x).
\end{equation}
$F(x)$ kann also nie kleiner werden (wenn sie auch
zwischen den $x_i$ konstant bleibt), man bezeichnet dieses Verhalten
als {\em monoton nichtfallend}.  Dieses Verhalten ist sehr sch\"on in
Abb.\ \ref{fig:wuerfel} f\"ur unser Beispiel der Augensumme zweier W\"urfel
illustriert. Weiters werden die Funktionswerte $F(x)$ beliebig klein,
wenn nur $x$ klein genug gew\"ahlt wird (in Abb.\ \ref{fig:wuerfel} z.B.\ ist
F(x)=0 f\"ur alle $x<2$.  Andererseits geht $F(x)$ f\"ur gro{\ss}e $x$ gegen
1 (in Abb.\ \ref{fig:wuerfel} z.B.\ ist dies f\"ur $x\ge 12$ der Fall). Formal
l\"a{\ss}t sich dieses Verhalten durch die beiden Grenzwerte
\begin{equation}
\label{eq:v4}
\lim_{x\rightarrow-\infty}F(x)=0,\qquad\lim_{x\rightarrow+\infty}F(x)=1
\end{equation}
ausdr\"ucken.

\begin{figure}[!htp]
\begin{center}
\begin{minipage}{\textwidth - 2cm}
\begin{center}
\begin{pspicture*}[1](-1.5,-0.5 )(8.,5.5)
\psset{xunit=0.6cm,yunit=12cm}%
\psaxes[Dy=.1,ticks=y]{->}(0,0)(0,0)(14,0.25)
% 2
\psline(2,0)(2,0.02778)
\psdots[dotstyle=square*](2,0.02778)
% 3
\psline(3,0)(3,0.05556)
\psdots[dotstyle=square*](3,0.05556)
% 4
\psline(4,0)(4,0.08333)
\psdots[dotstyle=square*](4,0.08333)
% 5
\psline(5,0)(5,0.11111)
\psdots[dotstyle=square*](5,0.11111)
% 6
\psline(6,0)(6,0.13889)
\psdots[dotstyle=square*](6,0.13889)
% 7
\psline(7,0)(7,0.16667)
\psdots[dotstyle=square*](7,0.16667)
% 8
\psline(8,0)(8,0.13889)
\psdots[dotstyle=square*](8,0.13889)
% 9
\psline(9,0)(9,0.11111)
\psdots[dotstyle=square*](9,0.11111)
% 10
\psline(10,0)(10,0.08333)
\psdots[dotstyle=square*](10,0.08333)
% 11
\psline(11,0)(11,0.05556)
\psdots[dotstyle=square*](11,0.05556)
% 12
\psline(12,0)(12,0.02778)
\psdots[dotstyle=square*](12,0.02778)
\rput(0,0.3){$f(x_i)$}
\end{pspicture*}
\begin{pspicture*}[1](-1.5,-1.5)(8.,8)
\psset{xunit=0.6cm,yunit=6cm}%
\psaxes[Dy=.1,ticks=y]{->}(0,0)(0,0)(14,1.1)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](0,0)(2,0)
% 2
\psdots[dotscale=1.5](2,0.02778)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](2,0.02778)(3,0.02778)
% 3
\psdots[dotscale=1.5](3,0.08333)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](3,0.08333)(4,0.08333)
% 4
\psdots[dotscale=1.5](4,0.16667)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](4,0.16667)(5,0.16667)
% 5
\psdots[dotscale=1.5](5,0.27778)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](5,0.27778)(6,0.27778)
% 6
\psdots[dotscale=1.5](6,0.41667)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](6,0.41667)(7,0.41667)
% 7
\psdots[dotscale=1.5](7,0.58333)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](7,0.58333)(8,0.58333)
% 8
\psdots[dotscale=1.5](8,0.72222)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](8,0.72222)(9,0.72222)
% 9
\psdots[dotscale=1.5](9,0.83333)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](9,0.83333)(10,0.83333)
% 10
\psdots[dotscale=1.5](10,0.91667)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](10,0.91667)(11,0.91667)
% 11
\psdots[dotscale=1.5](11,0.97222)
\psline[linewidth=2pt,arrowscale=0.5,arrows=-)](11,0.97222)(12,0.97222)
% 12
\psline[linewidth=2pt](12,1.)(13,1.)
\psdots[dotscale=1.5,dotstyle=*](12,1)
\rput(0,1.2){$F(x)$}
\end{pspicture*}
\end{center}
\caption{\label{fig:wuerfel}$f(x_i)$ und $F(x)$ f\"ur die
Zufallsvariable ``Augensumme zweier unterscheidbarer W\"urfel'' (siehe
auch Tabelle \ref{tab1})}
\end{minipage}
\end{center}
\end{figure}

Verteilungsfunktionen spielen in der Wahrscheinlichkeitstheorie eine
zentrale Rolle.  Einer der Gr\"unde daf\"ur ist, da{\ss} aus der
Kenntnis der Verteilungsfunktion $F(x)$ (im Falle einer diskreter
Zufallsvariablen \rnd) sowohl die Wertemenge $W$ von \rnd als auch die
Wahrscheinlichkeitsverteilung $f(x_i)$ abgeleitet werden kann.
Erf\"ullt n\"amlich eine Treppenfunktion die im vorigen Absatz beschriebenen
Eigenschaften, insb.\ Gln.~\ref{eq:v3} und \ref{eq:v4}, so besteht $W$
aus den Sprungstellen dieser Funktion (d.h.\ der Verteilungsfunktion) und
$f(x_i)=\pr{\rnd=x_i}$ ist gleich der Sprungh\"ohe an der Stelle $x_i$. Weiters lassen sich aus $F(x)$ sehr einfach die Wahrscheinlichkeit daf\"ur
berechnen, da{\ss} \rnd Werte aus einem Intervall annimmt. Es gilt
\begin{equation}
\label{eq:v5}
\pr{a<\rnd\le b}=F(b)-F(a)
\end{equation}
\begin{equation}
\label{eq:v6}
\pr{a\le\rnd\le b}=F(b)-F(a-o)
\end{equation}
\begin{equation}
\label{eq:v7}
\pr{a<\rnd}=1-F(a).
\end{equation}
Die Notation $F(a-o)$ bezeichnet den linksseitigen Grenzwert von $F(x)$ an
der Stelle $a$: Dieser ist gleich $F(a)$, wenn $a$ keine Sprungstelle ist, und
sonst gleich dem Wert der Treppenstufe, die unmittelbar {\em links} neben
dem Punkt $a$ liegt. 
%TODO: Beweis; Erlaeuterung
%Die Eigenschaften (\ref{eq:v5})--(\ref{eq:v7}) sind  unmittelbar 
%einsichtig,
%soda{\ss} ein formaler Beweis nicht notwendig erscheint.

\subsubsection{Erwartungswerte}
\label{erwa1}

Die letzten beiden Abschnitte haben hoffentlich verdeutlicht, da{\ss}
Kenntnis der Wahrscheinlichkeitsverteilung bzw.\ der
Verteilungsfunktion die vollst\"andige Information \"uber die einem
Zufallsexperiment zugeordneten Werte der Zufallsvariable und deren
Wahrscheinlichkeiten beinhaltet. Ausgew\"ahlte, sogenannte {\em
Erwartungswerte} der Zufallsvariablen \rnd bzw.\ von Funktionen von
\rnd, $\phi(\rnd)$, dienen nun dazu die Wahrscheinlichkeitsverteilung
bzw.\ Verteilungsfunktion in m\"oglichst kompakter Form zu
charakterisieren.

\noindent{\small {\bfseries Vorbemerkung bzw.\ ``Disclaimer'':} Die
folgenden Definitionen beinhalten {\em Reihen} der Form
$E(\phi(\rnd))=\sum\phi(x_i)f(x_i)$.  Im Rahmen dieser Vorlesung war
es nicht m\"oglich, Reihen in systematischer Form zu behandeln und uns
mit deren Konvergenz zu besch\"aftigen.  Wir setzen daher von jetzt an
stillschweigend voraus, da{\ss} die auftretenden Reihen {\em absolut
konvergent} sind,\footnote{d.h.\ da{\ss} nicht nur die Reihe, sondern auch
$\sum|\phi(x_i)|f(x_i)$ konvergiert.} nur in diesem Fall existiert der
entsprechende Erwartungswert $E(\phi(\rnd))$.  }

Wir f\"uhren zun\"achst den Erwartungswert einer Zufallvariablen \rnd
ein. Es sei \rnd eine Zufallsvariable mit Werten $x_1$, $x_2$, \ldots
und korrespondierenden Wahrscheinlichkeiten $f(x_1)$, $f(x_2)$, \ldots
Dann bezeichnet man
\begin{equation}
\label{eq:e1}
E(\rnd)=\sum x_i f(x_i)
\end{equation}
als den Erwartungswert von \rnd. \"Uberlegen wir uns einmal, was Gl.\
\ref{eq:e1} hei{\ss}t.  Jeder Wert der Zufallsvariable wird mit seiner
Wahrscheinlichkeit (NB: $f(x_i)=\pr{\rnd=x_i}$) multipliziert
(gewichtet), und alle Terme werden summiert.  Die entspricht genau der
Berechnungvorschrift eines gewichteten Mittelwerts, d.h., wenn jeder
Wert nicht gleich h\"aufig auftritt bzw.\ nicht gleichwahrscheinlich
ist. (Ein praktisches Beispiel eines gewichteten Mittelwerts ist die
Berechnung des Notendurchnitts: 
\[\frac{1\times n_1+2\times n_2+3\times
n_3+4\times n_4+5\times
n_5}{n}=1\times\frac{n_1}{n}+2\times\frac{n_2}{n}+3\times\frac{n_3}{n}+
4\times\frac{n_4}{n}+5\times\frac{n_5}{n},\]
 d.h.\ eins mal der
relativen H\"aufigkeit der Eins $(n_1/n)$ plus zwei mal der relativen
H\"aufigkeit der Zwei usw.)  Die Berechnung dieses empirischen
Notenmittelwerts ist v\"ollig analog der Berechnung des
Erwartungswerts von \rnd in unserem Modellbeispiel Augensumme zweier
W\"urfel (s.\ Tabelle \ref{tab1}): Jede m\"ogliche Augensumme (= Werte
der Zufallsvariablen) wird mit ihrer entsprechenden Wahrscheinlichkeit
multipliziert und diese Produkte werden multipliziert.  Aufgrund
der \"Ahnlichkeit zwischen einem gewichteten (empirischen) Mittelwert
und dem Erwartungswert einer Zufallsvariablen bezeichnet
man 
\begin{equation}
\label{eq:e2}
E(\rnd)=\mu
\end{equation}
auch als Mittel- oder Durchschnittswert und auch als Mittelwert der Verteilung. Weitere, in
Anwendungen gebr\"auchliche Abk\"urzungen sind $<\!\rnd\!>$ und $\bar \rnd$.

Wendet man eine beliebige Funktion $\phi$ auf eine Zufallsvariable an, so
erh\"alt man die neue Zufallsvariable $\phi(\rnd)$.  In Verallgemeinerung
von Gl.\ \ref{eq:e1} definiert man den Erwartungswert dieser neuen
Zufallsvariablen als
\begin{equation}
\label{eq:e3}
E(\phi(\rnd))=\sum \phi(x_i) f(x_i)
\end{equation}
In der mathematischen Wahrscheinlichkeitstheorie sind die sogennanten
$r$-ten Momente der Zufallsvariablen \rnd um den Ursprung, $E(\rnd^r)=\sum x_i^rf(x_i)$ von gro{\ss}em Interesse. Wir begn\"ugen uns mit dem
zweiten Moment $E(\rnd^2)$, ersetzen jedoch \rnd durch die Abweichung vom
Mittelwert $\rnd-\mu$.  Wir berechnen also
\[E((\rnd-\mu)^2)=\sum_i(x_i^2-2\mu x_i +\mu^2)f(x_i)=
\underbrace{\sum_i x_i^2 f(x_i)}_{=E(\rnd^2)}-
2\mu\underbrace{\sum_i x_if(x_i)}_{=\mu}+
\mu^2\underbrace{\sum_i f(x_i)}_{=1},\]
wobei wir im zweiten Schritt ausgen\"utzt haben, da{\ss} wir Terme, die
nicht von der Z\"ahlvariablen abh\"angen, aus der Summation herausheben
k\"onnen, und Gln.\ \ref{eq:e3}, \ref{eq:e1} sowie \ref{eq:w3} angewandt haben. Nach
dem Zusammenfassen der Terme erh\"alt man
\begin{equation}
\label{eq:e4}
E((\rnd-\mu)^2)=E(\rnd^2)-\mu^2=\mathrm{Var}(\rnd)=\sigma^2.
\end{equation}
Man bezeichnet diese Gr\"o{\ss}e als {\em Varianz} von \rnd,
$\mathrm{Var}(\rnd)=\sigma^2$.  Die positive Wurzel der Varianz
$\sigma$ bezeichnet man als Standardabweichung.

{\small\paragraph{$\blacktriangleright$ Beispiel:} Mit Hilfe
von Tabelle \ref{tab1} berechnen wir $\mu$ und $\sigma^2$
unseres Beispiels Augenzahl zweier W\"urfel:
\[\mu=\sum_{j=2}^{12} j \;\pr{\rnd=j}=2\times\frac{1}{36}+3\times\frac{2}{36}+\ldots=7\]
\[\sigma^2=\sum_{j=2}^{12} j^2 \;\pr{\rnd=j}-\mu^2=2^2\times\frac{1}{36}+3^2\times\frac{2}{36}+\ldots-7^2\approx5.83\]
\hfill$\blacktriangleleft$}

Um dieses Kapitel abzuschlie{\ss}en betrachten wir noch die
Eigenschaften von $\mu$ und $\sigma$ unter der linearen Transformation
$\rnd \rightarrow a\rnd+b$, wobei $a$ und $b$ Konstanten sind.
Es gilt 
\begin{equation}
\label{eq:e5}
E(a\rnd+b)=aE(\rnd)+b
\end{equation}
und
\begin{equation}
\label{eq:e6}
\mathrm{Var}(a\rnd+b)=a^2\mathrm{Var}(\rnd).
\end{equation}
Um Gleichungen \ref{eq:e5} und \ref{eq:e6} zu beweisen, berechnen wir
zun\"achst den Erwartungswert einer Konstanten $E(c)$,
\[E(c)=\sum c f(x_i)=c\sum f(x_i)=c.\]
(Hinweis: Gl.\ \ref{eq:w3}!) Somit erhalten wir f\"ur
\[E(a\rnd+b)=\sum (a x_i +b)f(x_i)=\sum a x_i f(x_i)+\sum b f(x_i)= a \sum x_i f(x_i)+b\sum f(x_i)=aE(\rnd)+b\]
womit Gl.\ \ref{eq:e5} bewiesen ist. Um Gl.\ \ref{eq:e6} zu verifizieren,
n\"utzen wir gleich Gl.\ \ref{eq:e5}:
\[\mathrm{Var}(a\rnd+b)=E((a\rnd+b-E(a\rnd+b))^2)=
E((a\rnd+b-(aE(\rnd)+b))^2)=\]
\[=E((a(\rnd-E(\rnd)))^2)=E(a^2(\rnd-\mu)^2)=a^2E((\rnd-\mu)^2))=a^2\mathrm{Var}(\rnd).\]
Intuitiv ist es logisch, da{\ss} sich der Mittelwert durch Multiplikation bzw.\ Verschiebung des Ursprungs ver\"andert, gleichzeitig ist es verst\"andlich,
da{\ss} eine Verschiebung des Ursprungs keinen Einflu{\ss} auf die Varianz
hat.

Gleichungen \ref{eq:e5} und \ref{eq:e6} sind einerseits f\"ur Beweise
\label{standardisierte} in Zusammenhang mit Mittelwerten und Varianzen 
wichtig, andererseits verwendet man sie, um die sogenannte {\em
Standardisierte} $\rnd^*$ der Zufallsvariablen \rnd einzuf\"uhren.
Hat eine Zufallsvariable \rnd Mittelwert $\mu$ und Varianz $\sigma^2$,
so folgt aus Gl.\ \ref{eq:e5}, da{\ss} $\rnd-\mu$ den Mittelwert 0 hat
($E(\rnd-\mu)=E(\rnd)-\mu=0$). Die Zufallsvariable
$\frac{\rnd-\mu}{\sigma}$ hat weiters nach Gl.\ \ref{eq:e6} die
Varianz $\frac{1}{\sigma^2}\sigma^2=1$, wegen dieser Eigenschaften
bezeichnet man
\begin{equation}
\label{eq:e7}
\frac{\rnd-\mu}{\sigma}=\rnd^*
\end{equation}
als Standardisierte von \rnd.

%Die \"Ahnlichkeit zwischen Erwartungswert einer Zufallsvariablen und
%dem (empirischen) Mittelwert, zwischen der Varianz und der (empischen)
%Varianz einer Stichprobe (Streuung der Strichprobenwerte um den
%empirischen Mittelwert) deutet darauf hin, da{\ss} es zwischen diesen
%Gr\"o{\ss}en enge Zusammenh\"ange gibt.  Wir schlie{\ss}en diesen
%Abschnitt daher mit einem ersten Vorausblick auf die Statistik.
%Kenntnis von Mittelwert und Varianz, zusammen mit dem prinzipiellen
%Wissen um die Art der Verteilungsfunktion, sind beinahe \"aquivalent
%zur vollst\"andigen Kenntnis von $F(x)$.  In der Statistik versucht
%man daher, aus Stichproben Sch\"atzwerte f\"ur $\mu$ und $\sigma^2$ zu
%bekommen um, in Kombination mit Wissen (Vermutung) \"uber die Natur
%der Verteilungsfunktion, die Grundgesamtheit, aus der die Stichproben
%gezogen wurden, m\"oglichst exakt zu beschreiben.

\subsubsection{Binomialverteilung revisited}
\label{binom:rev}

In diesem und dem n\"achsten Abschnitt betrachten wir einige
Eigenschaften der in Abschnitt \ref{binom} eingef\"uhrten Binomial-
bzw.\ Poissonverteilung (Absch.\ \ref{fisch2}) unter den in diesem
Kapitel eingef\"uhrten Gesichtspunkten (Zufallsvariable,
Wahrscheinlichkeitsverteilung, Erwartungswerte).

Die Zufallsvariable \rnd sei $\mathbf{S_n}$, die Anzahl der Erfolge
in einem n-mal durchgef\"uhrten Bernoulli\-experiment. Die Wertemenge
von $\mathbf{S_n}$ ist demzufolge $\mathbf{S_n}=0,1,2,\ldots,n$ und
\begin{equation}
\label{eq:p21}
\pr{\mathbf{S_n}=m}=b(m;\,n,\,p)=f(m)
\end{equation}
wobei $p$ die Wahrscheinlichkeit $\pr{S}=p$ des Erfolgs des
Einzelexperiments ist (vgl.\ \ref{sec:binomsub}). Nachdem durch Gl.\
\ref{eq:p21} $b(m;\,n,\,p)$ als Wahrscheinlichkeitsfunktion
identifiziert wurde, erkl\"art sich auch warum man von
Binomial{\em{}verteilung} spricht. Die zugeh\"orige
Verteilungsfunktion $F(x)$ ist durch
\[F(x)=\sum_{\nu\le x}b(\nu;\,n,\,p)\]
gegeben. (F\"ur $x<0$ gilt klarerweise $F(x)=0$, f\"ur $x>n$ $F(x)=1$, dies
braucht nicht extra definiert werden, sondern folgt aus den Eigenschaften
des Binomialkoeffizienten (s.\ Abschnitt \ref{sec:binom}, 
S.\ \pageref{sec:binom}).

Als n\"achstes beweisen wir die G\"ultigkeit von Gl.\ \ref{eq:w3} f\"ur
die Binomialverteilung:
\[\sum_{\nu=0}^{n}b(\nu;\,n,\,p)=\sum_{\nu=0}^{n}{n \choose \nu}p^\nu q^{n-\nu}=(p+q)^n=(p+(1-p))^n=1^n=1;\]
diese folgt unmittelbar aus dem binomischen Lehrsatz $(a+b)^n=\sum_{j=0}^n{n\choose j}a^j b^{n-j}$.

Weiters interessieren wir uns f\"ur Mittelwert und Varianz. ({\em Achtung:}
Die technischen Details der folgenden Ableitung sind ziemlich kompliziert.
Dasselbe Ergebnis wird in Abschnitt \ref{mehr} nochmals abgeleitet, die
dortige Rechnung erfordert zwar mehr theoretischen Background, ist aber
technisch um vieles einfacher.)
\[\mu=\sum_{\nu=0}^{n}\nu {n \choose \nu}p^\nu q^{n-\nu}=\sum_{\nu=1}^{n}\nu {n \choose \nu}p^\nu q^{n-\nu},\]
da der erste Term wegf\"allt. Wir heben jetzt $np$ aus der Summe und k\"urzen
durch $\nu$:
\[\mu=\sum_{\nu=1}^{n}\nu \frac{n!}{\nu!(n-\nu)!}p^\nu q^{n-\nu}=
n p\sum_{\nu=1}^{n}\frac{(n-1)!}{(\nu-1)!(n-\nu)!} p^{\nu-1}
q^{n-\nu}\] Als n\"achstes \"andern wir jetzt den Summationsindex und
setzen $\nu-1=j$, diese Summationsvariable beginnt daher bei $j=0$ und
endet bei $j=n-1$.  An allen Stellen wo noch $\nu$ vorkommt, ersetzen
wir $\nu$ durch $j+1$.\label{binomexp}
\[\mu=
n p\sum_{\nu=1}^{n}\frac{(n-1)!}{(\nu-1)!(n-\nu)!} p^{\nu-1}
q^{n-\nu}=
n p\sum_{j=0}^{n-1}\frac{(n-1)!}{j!(n-(j+1))!} p^j
q^{n-(j+1)}=n p \underbrace{\sum_{j=0}^{n-1}{n-1\choose j}p^j q^{n-1-j}}_{(p+q)^{n-1}=1}\]
In den letzten Schritten haben wir $n-(j+1)$ zu $(n-1)-j$ umgruppiert.

{\small Die Berechnung der Varianz erfolgt analog, wir zeigen
die Rechnung mit Zwischenschritte, aber ohne weitere Erl\"auterungen:}

{\tiny
\[\sigma^2=\sum_{\nu=0}^n\nu^2{n\choose\nu}p^\nu q^{n-\nu}-\mu^2=\sum_{\nu=1}^n\nu^2{n\choose\nu}p^\nu q^{n-\nu}-\mu^2=n p \sum_{\nu=1}^n\nu \frac{(n-1)!}{(\nu-1)!(n-\nu)!} p^{\nu-1} q^{n-\nu}-\mu^2=
n p \sum_{\nu=1}^n(\nu-1+1) \frac{(n-1)!}{(\nu-1)!(n-\nu)!} p^{\nu-1} q^{n-\nu}-\mu^2=\]
\[n p \big(\sum_{\nu=2}^n(\nu-1) \frac{(n-1)!}{(\nu-1)!(n-\nu)!} 
p^{\nu-1} q^{n-\nu}+\underbrace{\sum_{\nu=1}^n \frac{(n-1)!}{(\nu-1)!(n-\nu)!} 
p^{\nu-1} q^{n-\nu}}_{=1}\big )-\mu^2=
np\Big((n-1)p\sum_{\nu=2}^n \frac{(n-2)!}{(\nu-2)!(n-\nu)!} 
p^{\nu-2} q^{n-\nu} +1\Big)-\mu^2=\]
\[np\big((n-1)p\underbrace{\sum_{j=0}^{n-2} \frac{(n-2)!}{j!(n-2-j)!} 
p^j q^{n-2-j}}_{=(p+q)^{n-2}=1} +1\big)-\mu^2=np((n-1)p+1)-(np)^2=np(1-p)=npq\]
} 


Wir fassen zusammen: Mittelwert und Varianz einer binomialverteilten Zufallsvariablen sind durch
\begin{equation}
\label{eq:p22}
\mu=np\qquad\sigma^2=npq=np(1-p)
\end{equation}
gegeben.

\subsubsection{Poissonverteilung revisited}
\label{fisch2}

In Abschnitt \ref{fisch1} wurde die Poissonverteilung einerseits als
Grenzfall der Binomialverteilung f\"ur gro{\ss}e $n$ und
kleine $p$ abgeleitet, weiters wurde
darauf hingewiesen, da{\ss} viele Prozesse der Poissonverteilung
selbst gehorchen (z.B.\ radioaktiver Zerfall). Wir zeigen zun\"achst,
da{\ss} die Poissonverteilung $p(m;\,\lambda)=e^{-\lambda}\frac{\lambda^m}{m!}$ der Bedingung (\ref{eq:w3}) gen\"ugt, d.h., da{\ss} es sich um eine
Wahrscheinlichkeitsverteilung handelt.  
\[\sum_{m=0}^{\infty}e^{-\lambda}\frac{\lambda^m}{m!}=e^{-\lambda}
\sum_{m=0}^{\infty}\frac{\lambda^m}{m!}=e^{-\lambda}e^\lambda=1\]
Ich hoffe, Sie haben die Reihe $\sum_{m=0}^\infty x^m/m!$ als die
Taylorreihe der Exponentialfunktion $e^x$ um den Entwicklungspunkt $x_0=0$
erkannt! Es handelt sich also bei der Poissonverteilung tats\"achlich
um eine Wahrscheinlichkeitsverteilung $p(m;\,\lambda)=f(m)$.  Die Zufallsvariable ist wie im Falle der Binomialverteilung das m-malige Eintreten
des interessierenden Ereignisses (z.B.\ m radioaktive Zerf\"alle). \rnd
kann die Werte 1, 2, 3, \dots annehmen.  Im Gegensatz zu binomialverteilten
Ereignissen, sind bei Prozessen, die der
Poissonverteilung gehorchen sowohl der Ereignisraum, als
auch die Wertemenge von \rnd (abz\"ahlbar) unendlich.

Da die Berechnung von Mittelwert und Varianz der Poissonverteilung
im Vergleich zur Binomialverteilung einfacher ist, skizzieren wir 
kurz die notwendigen Schritte:

{\small
\[\mu=\sum_{m=0}^{\infty}m \,e^{-\lambda}\frac{\lambda^m}{m!}=
\sum_{m=1}^{\infty}m\, e^{-\lambda}\frac{\lambda^m}{m!}=
e^{-\lambda}\lambda\sum_{m=1}^\infty\frac{\lambda^{m-1}}{(m-1)!}=
e^{-\lambda}\lambda\sum_{j=0}^\infty\frac{\lambda^j}{j!}=\lambda\]
\[\sigma^2=\Big(\sum_{m=0}^\infty m^2 e^{-\lambda}\frac{\lambda^m}{m!}\Big)-\lambda^2=
\lambda\Big(\underbrace{\sum_{m=1}^\infty (m-1) e^{-\lambda}\frac{\lambda^{(m-1)}}{(m-1)!}}_{=\lambda}+\underbrace{\sum_{m=1}^\infty e^{-\lambda}\frac{\lambda^{(m-1)}}{(m-1)!}}_{=1}\Big)-\lambda^2=\lambda\]
}

Wir fassen zusammen: Mittelwert und Varianz einer Poisson-verteilten
Zufallsvariablen sind durch
\begin{equation}
\label{eq:p23}
\mu=\lambda\qquad\sigma^2=\lambda
\end{equation}
gegeben. Dieses Ergebnis f\"ur den Mittelwert $\mu=\lambda=np$ (vgl.\
Gl.\ \ref{poi1}) erkl\"art im \"ubrigen auch warum man bei
(ann\"ahernd) Poisson-verteilten Prozessen davon spricht, ein Ereignis
trete {\em im Mittel} $\lambda=np$ mal auf (vgl.\ Seite
\pageref{fischbinom}).


\subsection{Stetige Zufallsvariablen}
\label{stetig}
\subsubsection{Verteilungsfunktion --- Dichte}
\label{vert2}
Genauso wie wir uns die sehr allgemeinen Konzepte
Wahrscheinlichkeitsverteilung, Verteilungsfunktion und Erwartungswerte
f\"ur diskrete Zufallsvariablen zun\"achst am einfachen Beispiel der
Augenzahl zweier W\"urfel verdeutlicht haben, verwenden wir zun\"achst
das Beispiel des fiktiven, ``kontinuierlichen'' Roulettespiels von
Seite \pageref{roulette}, um den Fall stetiger Zufallsvariablen zu
behandeln. Die Wertemenge der Zufallsvariablen $\rnd=\theta$ dieses modifizierten Roulettespiels umfasst
wie gesagt das halboffene Intervall $I:\;0<\theta\le2\pi$, diese Wertemenge
ist \"uberabz\"ahlbar unendlich und somit kann es sich bei $\theta$ um
keine diskrete Zufallsvariable handeln.

Wir \"uberlegen uns nun, wie f\"ur dieses Beispiel eine in Analogie zu
Gl.\ \ref{eq:v1} eingef\"uhrte {\em Verteilungsfunktion} $F(x)$
aussieht, $F(x)=\pr{\theta\le x}$, $x\in\mathbb{R}$. Da nur Winkel aus
dem Intervall $0<\theta\le 2\pi$ m\"oglich sind, m\"ussen folgende
Wahrscheinlichkeiten gelten: $\pr{0<\theta\le 2\pi}=1$, $\pr{\theta\le
0}=0$ und $\pr{\theta> 2\pi}=0$. Weiters gehen wir davon aus, da{\ss}
unser Roulette fair ist, somit mu{\ss} f\"ur jedes $x\in I$ die
Verh\"altnisgleichung
\[\pr{\theta\le x}\,:\,\pr{\theta\le 2\pi}=x\,:\,2\pi\]
gelten. Zu diesen \"Uberlegungen pa{\ss}t folgende Verteilungsfunktion
\[F(x)=
\begin{cases}
0              & \text{f\"ur $x\le 0$}\\
\frac{x}{2\pi} & \text{f\"ur $0<x\le 2\pi$}\\
1              & \text{f\"ur $x>2\pi$}
\end{cases}
\]

Wir verkn\"upfen jetzt diese \"Uberlegung bez\"uglich der
Verteilungsfunktion in unserem Beispiel mit folgender Definition: {\em
Eine Zufallsvariable \rnd hei{\ss}t {\em stetig}, wenn eine
nichtnegative, integrierbare Funktion $f$ existiert, so da{\ss} f\"ur
ihre Verteilungsfunktion $F(x)=\pr{\rnd\le x}$ die Integraldarstellung
\begin{equation}
\label{eq:s1}
F(x)=\pr{\rnd\le x}=\int_{-\infty}^x du\,f(u) 
\end{equation}
gilt.} Eine derartige Funktion $f$ hei{\ss}t {\em Dichte} der stetigen Zufallsvariablen
\rnd.

F\"ur unser Beispiel findet man (z.B.\ durch Differentiation nach $x$)
sofort die zu $F(x)$ geh\"orige Dichte
\[f(x)=
\begin{cases}
0              & \text{f\"ur $x\le 0$}\\
\frac{1}{2\pi} & \text{f\"ur $0<x\le 2\pi$}\\
0              & \text{f\"ur $x>2\pi$}
\end{cases}
\]
Der Zusammenhang zwischen $f(x)$ und $F(x)$ f\"ur
das Beispiel des ``kontinuierlichen Roulettespiels ist in Abb.\ \ref{fig:rou}
dargestellt.
\begin{figure}[!htp]
\begin{center}
\begin{minipage}{\textwidth - 2cm}
\begin{center}
\begin{pspicture*}[1](-3,-3)(8.,8)
\psset{xunit=0.6cm,yunit=6cm}%
\psaxes[Dy=.1,ticks=y]{->}(0,0)(-4,0)(10,1.1)
\psline[linewidth=2pt](-4,0)(0,0)
\psline[linewidth=2pt](0,0)(6.283,1)
\psline[linewidth=2pt](6.283,1)(10,1)
\rput(0,1.2){$F(x)$}
\psline[linewidth=0.5pt]{->}(6.283,0.2)(6.283,0)
\rput(6.283,0.25){$2\pi$}
\psline{<->}(4,0)(4,0.63662)
\rput(4,0.32){\psframebox*{$F(x)$}}
\end{pspicture*}

\begin{pspicture*}[1](-3,-3)(8.,5)
\psset{xunit=0.6cm,yunit=12cm}%
\psframe[fillstyle=solid,fillcolor=gray](0,0)(4,0.15915)
\rput(2,0.08){$F(x)$}
\psaxes[Dy=.1,ticks=y]{->}(0,0)(-4,0)(10,0.3)
\psline[linewidth=2pt](-4,0)(0,0)
\psline[linewidth=2pt](0,0)(0,0.15915)
\psline[linewidth=2pt](0,0.15915)(6.283,0.15915)
\psline[linewidth=2pt](6.283,0.15915)(6.283,0)
\psline[linewidth=2pt](6.283,0)(10,0)
\rput(0,0.35){$f(x)$}
\rput(6.9,0.15915){$\displaystyle{\frac{1}{2\pi}}$}
\end{pspicture*}

\end{center}
\caption{\label{fig:rou} Dichte und Verteilung des ``kontinuierlichen
Roulettespiels''}
\end{minipage}
\end{center}
\end{figure}



Welche Eigenschaften haben nun Verteilungsfunktion und Dichte stetiger
Zufallsvariablen, welche Unterschiede (wenn \"uberhaupt) gibt es
zu diskreten Zufallsvariablen?  $F(x)$ ist die Wahrscheinlichkeit \pr{\rnd\le x}, da{\ss} \rnd kleiner oder gleich $x$ ist. Gem\"a{\ss} der Definition
Gl.\ \ref{eq:s1} f\"angt die Wertemenge von \rnd bei $-\infty$ an (ist die
Wertemenge von \rnd wie in unserem Beispiel auf ein Intervall $a<x\le b$
beschr\"ankt, so gilt automatisch f\"ur alle $x\le a$, da{\ss}  $F(x)=
\pr{\rnd\le x\, |\, x\le a} = 0$.  Wenn wir jetzt das Argument von $F$
gegen $+\infty$ gehen lassen, so \"uberdecken wir ganz sicher die
komplette Wertemenge von \rnd, d.h., es handelt sich um das sichere
Ereignis, und somit gilt $\lim_{x\rightarrow\infty}F(x)=\lim_{x\rightarrow\infty}\pr{\rnd\le x}=1$. Zusammen mit Gl.\ \ref{eq:s1} hei{\ss}t das aber
\begin{equation}
\label{eq:s2}
\int_{-\infty}^{+\infty}dx\,f(x)=1.
\end{equation}
Gleichung \ref{eq:s2} ist das Analogon zu Gleichung \ref{eq:w3} f\"ur
stetige Zufallsvariable.

F\"ur $F(x)$ gelten weiters folgende Eigenschaften:
\begin{equation}
\label{eq:s3}
\pr{a<\rnd\le b}=F(b)-F(a)=\int_a^b du\,f(u)
\end{equation}
und
\begin{equation}
\label{eq:s4}
\pr{\rnd> c}=\int_c^{+\infty}du\,f(u)=
\underbrace{\int_{-\infty}^c du\,f(u)+\int_c^{+\infty}du\,f(u)}_{=1}-\int_{-\infty}^{c}du\,f(u)=1-F(c)
\end{equation}
Der Beweis der beiden Beziehungen (wenn nicht ohnedies angedeutet) folgt
unmittelbar aus den Eigenschaften des bestimmten Integrals. 

Die Verteilungsfunktion stetiger Zufallsvariablen ist {\em stetig}
(einer der gro{\ss}en Unterschiede zu allgemeinen Zufallsvariablen).
Die Dichte hingegen mu{\ss} nicht stetig sein, wie man schon an
unserem Beispiel sieht (Sprungstellen bei 0 und $2\pi$). Um die
Dichte $f(x)$ besser zu verstehen, fragen wir jetzt nach der
Wahrscheinlichkeit \pr{\rnd=x_0}.  Wir beginnen mit dem
Hilfskonstrukt
\[\pr{x_0-h<\rnd\le x_0}=F(x_0)-F(x_0-h)=\int_{x_0-h}^{x_0}du\,f(u)\]
welches sicher gr\"o{\ss}er als die gesuchte Wahrscheinlichkeit \pr{\rnd=x_0}
ist. Machen wir $h$ beliebig klein ($\lim_{h\rightarrow 0}$), so
erhalten wir zun\"achst das verbl\"uffende Ergebnis
\[\pr{\rnd=x_0}=\lim_{h\rightarrow 0}\int_{x_0-h}^{x_0}du\,f(u)=\int_{x_0}^{x_0}du\,f(u)=0\]
f\"ur jedes(!) $x_0\in\mathbb{R}$. Die Betrachtung sollte klar machen,
da{\ss} $f(x_0)$ {\em nicht} die Wahrscheinlichkeit ist, mit der \rnd
den Wert $x_0$ annimmt, dies ist ein gro{\ss}er Unterschied zwischen
einer Dichte $f(x)$ und einer (diskreten) Wahrscheinlichkeitsverteilung $f(x_i)$.
Da es sich nicht um eine Wahrscheinlichkeit handelt, kann die Dichte
auch Werte gr\"o{\ss}er als 1 annehmen! F\"ur stetige Zufallsvariablen
ist der Begriff der Wahrscheinlichkeit nur mehr f\"ur Intervalle der
Form $\delta x=x_0-(x_0-h)$ (auch wenn diese arbitr\"ar klein
werden k\"onnen), nicht jedoch f\"ur den isolierten Punkt $x_0$
sinnvoll.  Das Produkt $\delta x\,f(x_0)=[x_0-(x_0-h)]f(x_0)=h\,f(x_0)$ 
ist die Rechtecksn\"aherung
des Integrals $\int_{x_0-h}^{x_0}du\,f(u)$. Im Grenz\"ubergang von
Summation zu Integration wird das $\delta x=h$ zum $dx$ des
Integrals.



\subsubsection{Erwartungswerte}
\label{erwa2}
Wir ignorieren in diesem Abschnitt mathematische Feinheiten (insbesondere
Unstetigkeiten der Dichte) und erarbeiten
die f\"ur uns wichtigen Ergebnisse durch Analogieschlu{\ss} vom Fall
diskreter Zufallsvariabeln.  Im letzten Abschnitt hatten wir gesehen, da{\ss}
die Summation, die von einer (diskreten) Wahrscheinlichkeitsverteilung $f(x_i)$ auf
eine (diskrete) Verteilungsfunktion $F(x)$ f\"uhrte, bei stetigen
Zufallsvariablen durch ein Integral \"uber
eine entsprechende Dichte ersetzt wurde.  Wenngleich eine Dichte nicht eins
zu eins einer Wahrscheinlichkeitsverteilung entspricht, so \"ubt sie doch
die gleiche Funktion aus.  Dies legt nahe, einen Erwartungswert $E(\phi(\rnd))$
einer stetigen Zufallsvariablen durch
\begin{equation}
\label{eq:es1}
E(\phi(\rnd))=\int_{-\infty}^{+\infty}dx\,\phi(x)f(x)
\end{equation}
zu definieren (vorausgesetzt, das Integral existiert).  Der \"Ubergang
von Summation zu Integration bietet sich ja auch aus der Ableitung
des (einzigen uns bekannten Riemannschen) Integralbegriffs an. Wir
belassen die Grenzen des Integrals bei $\pm \infty$.  Ist, wie bei unserem
Roulettebeispiel, die Dichte nur auf einem Intervall ungleich Null, so
tragen alle Bereich au{\ss}erhalb dieses Intervalls nicht zu $E(\phi(\rnd))$
bei; alternativ k\"onnen  dann nat\"urlich als Integrationsschranken auch die Intervallgrenzen
verwendet werden.

Insbesondere definieren wir wieder Mittelwert und Varianz durch
\begin{equation}
\label{eq:es2}
E(\rnd)=\mu=\int_{-\infty}^{+\infty}dx\,x\,f(x)
\end{equation}
und
\begin{equation}
\label{eq:es3}
E((\rnd-\mu)^2)=\sigma^2=\int_{-\infty}^{+\infty}dx\,(x-\mu)^2 f(x)=E(\rnd^2)-\mu^2.
\end{equation}
Die letzte Identit\"at in Gl.\ \ref{eq:es3} folgt unmittelbar aus den
Eigenschaften des Integrals, Definition (\ref{eq:es2}) und Gl.\ \ref{eq:s2}. Die
positive Wurzel der Varianz hei{\ss}t wie im diskreten Fall
Standardabweichung.  F\"ur den Erwartungswert $E(\rnd)$ gilt weiters
f\"ur beliebige reelle Zahlen $a$, $b$ die Identit\"at
\begin{equation}
\label{eq:es4}
E(a\rnd+b)=aE(\rnd)+b\,;
\end{equation}
auch hier folgt der Beweis sofort aus den Eigenschaften des Integrals und
Gl.\ \ref{eq:s2}.

\subsubsection{Normalverteilung revisited}
\label{norm2}

Die wichtigste stetige Verteilung ist die Gau{\ss}sche
Normalverteilung.  Wir haben bereits gesehen, da{\ss} sie als
Grenzwert der Binomialverteilung f\"ur gro{\ss}e $n$
auftritt.\footnote{Sogar die Poisonverteilung kann durch die
Normalverteilung angen\"ahert werden, wenn $\lambda=np$ gro{\ss} ist.}
Die wirkliche Relevanz und Allgemeinheit der Normalverteilung folgt
aus dem zentralen Grenzwertsatz (s.\ Kap.\ \ref{clt}).  Da wir bei den
in Zusammenhang mit der Normalverteilung auftretenden Integralen an
die Grenzen unserer Kenntnisse sto{\ss}en, ist dieser Unterabschnitt
nicht viel mehr als eine Rekapitulation von Kapitel \ref{norm1} mit
Betonung der Konzepte Verteilung und Erwartungswerte (Mittelwert,
Varianz).

Die sogenannte $N(0,1)$ Gau{\ss}sche Normalverteilung
wurde bereits in Kapitel \ref{norm1} durch
\begin{equation}
\label{eq:g1}
N(0,1)(x)=\Phi(x)=
\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}du\,e^{-\frac{1}{2}u^2}
\qquad\qquad
\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x^2}
\end{equation}
eingef\"uhrt, wobei $\varphi(x)$ die zu $\Phi(x)$ geh\"orige
Dichte ist. $\Phi(x)$ kann nicht analytisch berechnet werden, wegen
seiner gro{\ss}en Wichtigkeit ist es extensiv tabelliert (z.B. ``kleiner
Bartsch S.\ 232) bzw.\ kann heute einfach durch numerische Integration
berechnet werden (sogar von vielen Taschenrechnern).  
Eine wichtige Eigenschaft von $\varphi(x)$ ist die Symmetrie bez\"uglich
des Ursprungs, d.h.
\[\varphi(-x)=\varphi(x)\]
Daraus folgt die f\"ur die
Benutzung von Tabellen wichtige Beziehung
\begin{equation}
\label{eq:g1a}
\Phi(-x)=\int_{-\infty}^{-x}du\,\varphi(u)=\int_{x}^{+\infty}du\,\varphi(u)=1-\int_{-\infty}^{x}du\,\varphi(u)=1-\Phi(x),
\end{equation}
wobei sich die zweite Identit\"at aus der eben erw\"ahnten Symmetrie von
$\varphi(x)$ ergibt. Der letzte Schritt folgt aus
Gl.\ \ref{eq:s4}.



Da uns der mathematische Apparat fehlt, um Gl.\ \ref{eq:s2}
f\"ur $N(0,1)$ explizit zu beweisen, verwenden wir Gl.\ \ref{eq:s2}
um folgende Beziehung zu beweisen
\begin{equation}
\label{eq:g2}
\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}du\,e^{-\frac{1}{2}u^2}=1
\quad\Rightarrow\quad
\int_{-\infty}^{+\infty}du\,e^{-\frac{1}{2}u^2}=\sqrt{2\pi}
\quad\Rightarrow\quad
\int_{-\infty}^{+\infty}dt\,e^{-at^2}=\sqrt{\frac{\pi}{a}},
\end{equation}
wobei man die letzte Identit\"at durch die Variablensubstitution
$u/\sqrt{2}=\sqrt{a}t$ bekommt (Gl.\ \ref{eq:g2} wird z.B.\ f\"ur den
Beweis der vollst\"andigen Stirling'schen N\"aherung f\"ur $n!$
ben\"otigt (Abschn.\ \ref{stir}). Wir geben jetzt ohne weiteren Beweis
die Ausdr\"ucke f\"ur Mittelwert und Varianz der $N(0,1)$ Verteilung
an.
\begin{equation}
\label{eq:g3}
\mu=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}dx\,x\,e^{-\frac{1}{2}x^2}=0
\end{equation}
\begin{equation}
\label{eq:g4}
\sigma^2=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}dx\,(x-\mu)^2\,e^{-\frac{1}{2}x^2}=1
\end{equation}
(Gl.\ \ref{eq:g3} erh\"alt man ohne jegliche Integration aus der Eigenschaft
des bestimmten Integrals einer ungeraden Funktion  $\int_{-\gamma}^{+\gamma}dx\,f(x)=0$ wenn $f(-a)=-f(a)$. Gl.\ \ref{eq:g4} kann man sich selbst durch
partielle Integration und Gln.\ \ref{eq:g2},  \ref{eq:g3} herleiten.)

Beim \"Ubergang von der Binomial- auf die Gau{\ss}verteilung sind
wir zun\"achst auf folgende Dichte der allgemeinen Gau{\ss}verteilung gekommen
\begin{equation}
\label{eq:g5aa}
\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(u-\mu)^2}{2\sigma^2}}.
\end{equation}
Die zugeh\"orige Verteilung 
\begin{equation}
\label{eq:g5}
N(\mu,\sigma^2)(x)=\frac{1}{\sqrt{2\pi \sigma^2}}\int^x_{-\infty}du\,e^{-\frac{(u-\mu)^2}{2\sigma^2}}
\end{equation}
l\"a{\ss}t sich aber durch die
Substitution $t=\frac{u-\mu}{\sigma}$ immer auf die
Standardnormalverteilung $\Phi(\frac{x-\mu}{\sigma})$
zur\"uckf\"uhren. Durch diese Vorschrift gen\"ugt die Tabellierung der
Standardnormalverteilung $N(0,1)$ zur Berechnung beliebiger $N(\mu,\sigma^2)$
Verteilungen. Die Variablentransformation entspricht der f\"ur den diskreten Fall (S.\
\pageref{standardisierte}) besprochenen Einf\"uhrung der
Standardisierten der zu (\ref{eq:g5}) geh\"origen
Zufallsvariablen. Der Vollst\"andigkeit geben wir Mittelwert und
Varianz der $N(\mu,\,\sigma^2)$-Verteilung an:
\begin{equation}
\label{eq:g6}
\mu=\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{+\infty}dx\,x\,e^{-\frac{(x-\mu)^2}{2\sigma^2}}=\mu
\end{equation}
\begin{equation}
\label{eq:g7}
\sigma^2=\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{+\infty}dx\,(x-\mu)^2\,e^{-\frac{(x-\mu)^2}{2\sigma^2}}=\sigma^2
\end{equation}
Diese Eigenschaften zusammen mit Gln.\ \ref{eq:g3}, \ref{eq:g4} erkl\"aren
die weitverbreitete Notation $N(\mu,\sigma^2)$ f\"ur die allgemeine, und
$N(0,1)$ f\"ur die Standardnormalverteilung.

\subsection{Zu Wahrscheinlichkeitsverteilungen und Erwartungswerten mehrerer Zufallsvariablen}
\label{mehr}

Wir beschr\"anken uns auf diskrete Zufallsvariablen. Die
Verallgemeinerung auf stetige Zufallsvariablen durch
Analogieschlu{\ss} ist unproblematisch (Summation $\rightarrow$
Integral), bringt aber inhaltlich wenig Neues. Dar\"uberhinaus wurden
die mathematischen Grundlagen von Doppel- und Mehrfachintegralen nie
besprochen.  Des weiteren bringen wir alle Ableitungen f\"ur den
Spezialfall zweier Zufallsvariablen \rnd und \rndd, die
Verallgemeinerung auf $n$ Zufallsvariablen $\mathbf{X_1}$,
$\mathbf{X_2}$, \ldots, $\mathbf{X_n}$ ist immer offensichtlich.

Eine Zufallsvariable ist eine Funktion, die als Definitionsmenge den
Ereignisraum eines Zufallexperiments hat.  Es gibt keinen Grund, nicht
mehr als eine Zufallsvariable auf demselben Ereignisraum zuzulassen.
Die Zufallsvariablen \rnd und \rndd seien zwei derartige Funktionen,
die auf einem Ereignisraum definiert sind.  (Als Beispiel denken Sie
an unsere zwei W\"urfel: \rnd sei die Augensumme, \rndd das Produkt
der Augenziffern.)  Die zu \rnd und \rndd geh\"origen
Wahrscheinlichkeitsverteilungen (Wahrscheinlichkeitsfunktionen) bezeichnen
wir als $f(x_i)$ und $g(y_i)$. Die Funktion
\begin{equation}
\label{eq:m1}
\pr{\rnd=x_j,\rndd=y_k}=p(x_j,y_k)\qquad(j,k=1,2,\ldots)
\end{equation}
wird dann als gemeinsame (Wahrscheinlichkeits)Verteilung von \rnd und \rndd
bezeichnet, sie besitzt folgende Eigenschaften
\begin{equation}
\label{eq:m2}
p(x_j,y_k)\ge 0\qquad\qquad\sum_{j,k}p(x_j,y_k)=1.
\end{equation}
Dar\"uberhinaus findet man f\"ur festgehaltenes $j$ bzw. $k$
\begin{equation}
\label{eq:m3}
\sum_kp(x_j,y_k)=\pr{\rnd=x_j}=f(x_j)\qquad
\sum_jp(x_j,y_k)=\pr{\rndd=y_k}=g(y_k)
\end{equation}
wieder $f(x_j)$ und $g(y_k)$, die man auch als
Randverteilungen bezeichet.

Wir kommen jetzt auf unser Konzept der bedingten Wahrscheinlichkeit
zur\"uck. Unter Verwendung der Notation aus Gl.\ \ref{eq:m1} ist
die bedingte Wahrscheinlichkeit des Ereignis $\rndd=y_k$ unter der
Voraussetzung $\rnd=x_i$ durch
\begin{equation}
\label{eq:m4}
\pr{\rndd=y_k\,|\,\rnd=x_i}=\frac{p(x_i,y_k)}{f(x_i)}
\end{equation}
gegeben (vorausgesetzt $f(x_i)>0!$). Gilt jedoch $p(x_j,y_k)=f(x_j)g(y_k)$ f\"ur alle $x_j$, $y_k$, dann sind die Ereignisse $\rnd=x_j$ und $\rndd=y_k$
stochastisch (statistisch) unabh\"angig, \rnd und \rndd werden dann
als unabh\"angige Zufallsvariablen bezeichnet. Wir reformulieren also
das Konzept der statistischen Unabh\"angigkeit in der Sprache von
Zufallsvariablen 
\begin{equation}
\label{eq:m5}
\pr{\rnd=x_i,\rndd=y_j,\ldots}=\pr{\rnd=x_i}\cdot\pr{\rndd=y_j}\cdot\ldots
\end{equation}

Was k\"onnen wir nun \"uber die Erwartungswerte f\"ur zwei (oder mehr)
auf demselben Ereignisraum definierten Zufallsvariablen sagen? Uns
interessiert zun\"achst $E(\rnd)+E(\rndd)$, wobei \rnd und \rndd die
gemeinsame Verteilung $p(x_i,y_j)$ haben. Es gilt
\[E(\rnd)+E(\rndd)=\sum_{i,j}x_i p(x_i,y_j)+\sum_{i,j}y_j p(x_i,y_j)=
\sum_{i,j}(x_i+y_j) p(x_i,y_j)=E(\rnd+\rndd)\]
Um den ersten Schritt zu rechtfertigen bzw.\ mit der gew\"ohnlichen
Definition von $E(\rnd)$ in Einklang zu bringen, betrachten wir den Terme $\sum_{i,j}x_i p(x_i,y_j)$ genauer. Nach Gl.\ \ref{eq:m3} gilt n\"amlich
\[\sum_{i,j}x_i p(x_i,y_j)=\sum_i x_i \sum_j p(x_i,y_j)= \sum_i x_i f(x_i),\]
und analoges gilt f\"ur die Summe $\sum_{i,j}y_j p(x_i,y_j)=\sum_j y_j g(y_j)$. F\"ur 
$n$ Zufallsvariablen gilt
ganz allgemein 
\begin{equation}
\label{eq:m6}
E(\mathbf{X_1}+\mathbf{X_2}+\ldots+\mathbf{X_n})=E(\mathbf{X_1})+E(\mathbf{X_2})+\ldots
+E(\mathbf{X_n})
\end{equation}

F\"ur das Produkt $E(\rnd\rndd)$ gibt es keine allgemeine Entsprechung zu
Gl. \ref{eq:m6}, d.h., im allgemeinen gilt $E(\rnd\rndd)\not=E(\rnd)E(\rndd)$.
{\em Sind \rnd und \rndd jedoch stochastisch unabh\"angig}, so findet man
\begin{equation}
\label{eq:m7}
E(\rnd\rndd)=\sum_{i,j}x_iy_jp(x_i,y_j)=\sum_{i,j}x_iy_jf(x_i)g(y_j)=
\sum_i x_i f(x_i)\sum_j y_j g(y_j)=E(\rnd)E(\rndd)
\end{equation}
mit entsprechender Verallgemeinerung f\"ur $n$ Zufallsvariablen.

Es bleibt uns noch Gesetzm\"a{\ss}igkeiten f\"ur die Varianz
$\mathrm{Var}(\rnd+\rndd)$ zweier auf demselben Ereignisraum
definierter Zufallsvariablen zu untersuchen. Gesucht ist also
$\mathrm{Var}(\mathbf{\rnd+\rndd})=
E((\rnd+\rndd-(\mu_x+\mu_y))^2)$. Wir berechnen zun\"achst
\[((\rnd+\rndd)-(\mu_x+\mu_y))^2=
((\rnd-\mu_x)+(\rndd-\mu_y))^2=(\rnd-\mu_x)^2+(\rndd-\mu_y)^2+
2(\rnd-\mu_x)(\rndd-\mu_y).\]
Nimmt man von dieser Gr\"o{\ss}e den Erwartungswert, so bekommt man
(unter impliziter Verwendung von Gl.\ \ref{eq:m6})
\[E(((\rnd+\rndd)-(\mu_x+\mu_y))^2)=E((\rnd-\mu_x)^2)+E((\rndd-\mu_y)^2)+2E((\rnd-\mu_x)(\rndd-\mu_y))\]
Die ersten beiden Erwartungswerte auf der rechten Seite sind aber
$\mathrm{Var}(\rnd)$ und $\mathrm{Var}(\rndd)$.  F\"ur den letzten
Erwartungswert f\"uhrt man die Bezeichnung {\em Kovarianz}
$\mathrm{Cov}(\rnd,\rndd)$ ein. Es gilt
\begin{equation}
\label{eq:m8}
\mathrm{Cov}(\rnd,\rndd)=E((\rnd-\mu_x)(\rndd-\mu_y))=E(\rnd\rndd)-
\mu_xE(\rndd)-\mu_yE(\rnd)+\mu_x\mu_y=E(\rnd\rndd)-\mu_x\mu_y
\end{equation}

{\em Sind \rnd und \rndd stochastisch unabh\"angig, d.h., gilt $E(\rnd\rndd)=
E(\rnd)E(\rndd)$, dann verschwindet die Kovarianz und es gilt}
\begin{equation}
\label{eq:m9}
\mathrm{Cov}(\rnd,\rndd)=0
\end{equation}
{\em Achtung:} Die Umkehrung gilt nicht, nur weil die Kovarianz verschwindet
m\"ussen die entsprechenden Zufallsvariablen {\em nicht} unabh\"angig
sein. Diesselbe Problematik existiert f\"ur den mittels der Kovarianz definierten
{\em Korrelationskoeffizienten}
\begin{equation}
\label{eq:m10}
\rho(\rnd,\rndd)=\frac{\mathrm{Cov}(\rnd,\rndd)}{\sigma_x \sigma_y}.
\end{equation}
Sind \rnd und \rndd stochastisch unabh\"angig, so verschwindet $\rho$,
hingegen  bedeutet $\rho=0$ nicht zwingend die stochastische Unabh\"angigkeit
von \rnd und \rndd.

Nach diesem Exkurs \"uber die Kovarianz k\"onnen wir jetzt f\"ur
$\mathrm{Var}(\rnd+\rndd)$ kompakt schreiben
\begin{equation}
\label{eq:m11}
\mathrm{Var}(\rnd+\rndd)=\sigma_x^2+\sigma_y^2+2\mathrm{Cov}(\rnd,\rndd)
\end{equation}
bzw.\ im Falle der stochastischen Unabh\"angigkeit von \rnd und \rndd
\begin{equation}
\label{eq:m12}
\mathrm{Var}(\rnd+\rndd)=\sigma_x^2+\sigma_y^2
\end{equation}
Sind $n$ Zufallsvariablen $\mathbf{X_1}$, $\mathbf{X_2}$, \ldots,
$\mathbf{X_n}$ stochastisch unabh\"angig, so gilt f\"ur die Varianz
ihrer Summe $\mathbf{S}_n=\sum_i \mathbf{X_i}$
\begin{equation}
\label{eq:m13}
\mathrm{Var}(\mathbf{S}_n)=\sigma_{x_1}^2+\sigma_{x_2}^2+\ldots=\sum_i 
\sigma_{x_i}^2.
\end{equation}

Eigenschaften \ref{eq:m6} und \ref{eq:m13} werden noch von
gro{\ss}er Wichtigkeit sein, wenn die Me{\ss}situation in der
Sprache der Wahrscheinlichkeitsrechnung ausgedr\"uckt werden wird. (Jede
Messung unterliegt dem sogenannten statistischen Fehler, ist also in dieser
Hinsicht die
Realisierung eines Zufallsexperiment, und somit ist das Me{\ss}ergebnis
eine Zufallsvariable.  Weiters nimmt man an, da{\ss} eine Messung von
denen davor und danach stochastisch unabh\"angig ist.)

{\small\paragraph{$\blacktriangleright$ Beispiel:} Die Berechnung 
von $\mu$ und $\sigma^2$ der Binomialverteilung (S.\ \pageref{binomexp})
war einigerma{\ss}en m\"uhsam. Unter Verwendung von (\ref{eq:m6}) und (\ref{eq:m13}) k\"onnen wir diese Gr\"o{\ss}en nun viel einfacher ableiten.
Die Zufallsvariable der Binomialverteilung \mb{S_n} ist die
Summe der Zufallsvariablen \mb{X_i} der Einzelexperimente des
Bernoullischemas. Kennen wir aber $E(\mb{X_i})$ und $\mathrm{Var}(\mb{X_i})$,
so erh\"alt man gem\"a{\ss} (\ref{eq:m6}) und (\ref{eq:m13}) 
$E(\mb{S_n})=n\,E(\mb{X_i})$ und $\mathrm{Var}(\mb{S_n})=n\,\mathrm{Var}(\mb{X_i})$.  

Die Zufallsvariable eines Einzelexperiments \mb{X_i} kann nur die Werte
0 und 1 annehmen, und $f(0)=q=1-p$, $f(1)=p$. Somit ist
\[E(\mb{X_i})=0\times (1-p)+1\times p=p,\]
\[\mathrm{Var}(\mb{X_i})=E(\mb{X_i}^2)-E(\mb{X_i}^2=\left[0^2\times (1-p)+1^2\times p\right]-p^2=p(1-p)\]
woraus unmittelbar das schon auf S.\ \pageref{binomexp} erhaltene Ergebnis
\[E(\mb{S_n})=np,\qquad \mathrm{Var}(\mb{S_n})=np(1-p)\]
folgt.
\hfill$\blacktriangleleft$}


\subsection{Gesetzm\"a{\ss}igkeiten f\"ur gro{\ss}e Zahlen}
\label{vert:gz}

In diesem Abschlu{\ss}kapitel der Wahrscheinlichkeitsrechnung
besch\"aftigen wir uns mit Eigenschaften der Verteilung von
Zufallsvariablen $\mb{S}_n$, die die {\em Summe} von $n$ (stochastisch
unabh\"angigen (auf dem gleichen Ereignisraum definierten))
Zufallsvariablen $\mb{X_i}$ sind,
\[\mb{S}_n=\sum_{i=1}^n\mb{X_i},\]
wenn die Anzahl der Variablen gro{\ss} wird, oder, mathematisch
formultiert, wenn $n\rightarrow\infty$. Manchmal ist an Stelle
von $\mb{S}_n$ auch die davon abgeleitete Gr\"o{\ss}e $\mb{S}_n/n$
von Interesse.  Laut Voraussetzung gelten
f\"ur den Erwartungswert und die Varianz von $\mb{S}_n$ Gln.\
\ref{eq:m6} und \ref{eq:m13}.

Qualitativ lassen sich die Aussagen
folgenderma{\ss}en formulieren: (i) Aus je mehr Summanden $\mb{X_i}$ sich
die Zufallsvariable $\mb{S}_n$
zusammensetzt, desto
unwichtiger werden die Abweichungen vom Erwartungswert 
$E(\mb{S}_n/n)$.
Zumindestens indirekt kann man aus diesem Ergebnis erkennen, warum
statistische Betrachtungen f\"ur das Studium makroskopischer
Gr\"o{\ss}en als Funktion mikroskopischer Eigenschaften so wichtig und
zielf\"uhrend sind (dies ist das Arbeitsgebiet der Statistischen Mechanik).  
Makroskopische Gr\"o{\ss}en k\"onnen (oft) als
Erwartungswerte formuliert werden, wobei \"uber alle Teilchen (Atome,
Molek\"ule) gemittelt (summiert) wird.  Da die Anzahl der Teilchen
in der Gr\"o{\ss}enordnung von $N_L$ (der Loschmidtzahl) liegt, ist
die Vorraussetzung gro{\ss}er $n$ ``hinreichend'' erf\"ullt.

(ii) Der sogenannte {\em zentrale Grenzwertsatz} 
steigert die erste Aussage insofern, da{\ss} er nicht nur den
Erwartungswert von $\mathbf{S}_n$, sondern die Verteilungsfunktion
von $\mathbf{S}_n$ selbst beschreibt. {\em  Fast alle
Stichprobenverteilungen streben beim Vergr\"o{\ss}ern ihres Umfangs
einer Normalverteilung zu.} Dieser Satz
ist unter anderem
die wahrscheinlichkeitstheoretische Grundlage von vielen statistischen Anwendungen.
%Zur Verdeutlichung ein Gedankenexperiment
%(sollten Sie Gelegenheit haben, es zu realisieren, so teilen Sie mir
%bitte die Ergebnisse mit): Sie besuchen eine Biologenvorlesung im
%vollgepackten H\"orsaal I der chemischen Institute (im Mittel ung.\
%500 H\"orer(innen)). Sie erfragen den Geburtstag und notieren nur den
%Tag des Geburtsmonats, 1, 2, 3, usw.\ (der Monat und das Jahr sind
%egal). Sie haben, wenn Sie so wollen, eine Zufallsvariable mit Werten 1, 2, \ldots, 31. Wir erwarten, da{\ss} mit Ausnahme des 31.\ die Anzahl der
%Personen, die an einem bestimmten Tag des Monats Geburtstag hat, in
%etwa gleichverteilt ist, die an einem 31.\ Geborenen schlie{\ss}en wir
%der Einfachheit halber aus unserer Statistik aus.  Jetzt greifen wir
%aus allen im H\"orsaal Anwesenden Gruppen von 5 Leuten {\em
%zuf\"allig} heraus (wir ziehen Stichproben der Gr\"o{\ss}e 5), und
%verwerfen wiederum alle Gruppen, in denen ein oder mehrere Personen an
%einem 31.\ Geburtstag haben. Jetzt mitteln wir \"uber die Geburtstage
%der F\"unfergruppen, d.h., haben die 5 Personen z.B.\ am 3., 5., 17.,
%28., und 29.  Geburtstag, so ist der Mittelwert 16.4. Wenn wir jetzt
%die Verteilung dieser Mittelwerte betrachten, so sind diese nicht mehr
%gleichverteilt, sondern werden einer Normalverteilung um $\mu=15$
%\"ahneln. Vergr\"ossern wir die Anzahl der Personen in einer
%Stichprobe, so wird die \"Ahnlichkeit mit einer Gau{\ss}verteilung
%noch ausgepr\"agter.
Etwas exakter formuliert lautet der zentrale Grenzwertsatz: Eine Summe
von sehr vielen unabh\"angigen Zufallsvariablen
($\mathbf{S}_n=\sum_{i=1}^n \mathbf{X_i}$, $n$ gro{\ss}) hat eine
nahezu normale Verteilung $N(\mu,\sigma^2)$, wenn die Varianzen der
einzelnen Zufallsvariablen gegen\"uber der Varianz ihrer Summe klein
sind (die einzelnen $\mathbf{X_i}$ m\"ussen keineswegs normalverteilt
sein, noch die gleiche Verteilung besitzen!).

{\em Der Rest dieses Abschnitts versucht eine zumindest
exakte mathematische Formulierung dieser Aussagen (wenngleich oft
ohne Beweis), er ist optional und als Vertiefung f\"ur Interessierte
gedacht und daher nicht Pr\"ufungsstoff}

{\small 
\subsubsection{Tschebyscheffsche Ungleichung}
\label{tsch}

Ist die Verteilung bzw.\ die Verteilungsfunktion einer Zufallsvariablen \rnd
bekannt, so l\"a{\ss}t sich die Wahrscheinlichkeit \pr{|\rnd-\mu|\ge a}
exakt berechnen. H\"aufig kennt man jedoch die Verteilungsfunktion von \rnd
nicht, wohl aber $\mu$ und $\sigma^2$. Die Varianz ist wie immer (und
unabh\"angig von der Wahrscheinlichkeitsverteilung) durch
$\sigma^2=\sum(x_i-\mu)^2 f(x_i)$ gegeben. Summieren wir jetzt nur
\"uber $x_i$ f\"ur die $|x_i-\mu|\ge a$, so gilt sicher folgende
Ungleichung
\[\sigma^2\ge\sum_{|x_i-\mu|\ge a}(x_i-\mu)^2 f(x_i)\]
F\"ur jeden einzelnen Summanden auf der rechten Seite gilt weiters
\[(x_i-\mu)^2 f(x_i)\ge a^2 f(x_i)\]
wodurch umso mehr gelten mu{\ss}
\[\sigma^2\ge a^2\sum_{|x_i-\mu|\ge a} f(x_i).\]
Division durch $a^2$ f\"uhrt auf
\begin{equation}
\label{eq:t1}
\sum_{|x_i-\mu|\ge a} f(x_i)=\pr{|\rnd-\mu|\ge a}\le\frac{\sigma^2}{a^2}.
\end{equation}
Gleichung \ref{eq:t1} ist als Tschebyscheffsche Ungleichung bekannnt.
F\"ur $a\le\sigma$ ist (\ref{eq:t1}) inhaltslos, da die rechte Seite dann
$\ge 1$ wird. Interessant wird (\ref{eq:t1}) f\"ur $a=k\sigma$, $k>1$,
denn dann erh\"alt man
\[\pr{|\rnd-\mu|\ge k\sigma}\le\frac{1}{k^2}.\]

\subsubsection{Schwaches Gesetz der gro{\ss}en Zahlen}
\label{sgg}

Ein Zufallsexperiment werde $n$-mal unter denselben Bedingungen
durchgef\"uhrt.  Bei jeder Wiederholung nimmt die Zufallsvariable \rnd
einen Wert aus ihrer Wertemenge an.  Wir bezeichen die so erhaltenen
Werte als $\hat x_1$, $\hat x_2$, \ldots $\hat x_n$ (wobei durchaus
auch gleiche Werte auftreten k\"onnen). Der Wert $\hat x_i$ ist also
die Realisierung von \rnd bei der i-ten Versuchsdurchf\"uhrung. Wir
fassen jetzt die n-maliger Durchf\"uhrung der Einzelexperimente zu
einem neuen Zufallsexperiment mit Zufallsvariable $\mb{Z_n}=1/n\sum_i\mb{X_i}$ zusammen (es handelt sich also um ein
verallgemeinertes Bernoulli-Schema, bei dem wir die Bedingungen des
Einzelexperiments offenlassen). Die $\hat x_i$ sind daher
Realisierungen von stochastisch unabh\"angigen Zufallsvariablen
$\mathbf{X_i}$.  Aufgrund der Konstruktion stimmen
Verteilungsfunktion, Erwartungswerte und Varianzen der
Zufallsvariablen $\mathbf{X_i}$ und \rnd \"uberein, es sei
$E(\mathbf{X_i})=\mu$ und $\mathrm{Var}(\mathbf{X_i})=\sigma^2$.

Das arithmetische Mittel
\[\bar{\hat x}=\frac{\sum_i \hat x_i}{n}\]
ist dann weiters die Realisierung der Zufallsvariablen $\mathbf{Z}_n$. Es gilt 
\[E(\mathbf{Z}_n)=\frac{1}{n}\sum_i E(\mathbf{X_i})=\frac{n\mu}{n}=\mu\]
und weiters wegen der stochastischen Unabh\"angigkeit der $\mathbf{X_i}$ auch
\[\mathrm{Var}(\mathbf{Z}_n)=\frac{1}{n^2}\sum_i \mathrm{Var}(\mathbf{X_i})=
\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}.\]
(Wegen des ersten Schritts s.\ Gl.\ \ref{eq:e6}.)

Nach Gl.\ \ref{eq:t1} gilt aber jetzt f\"ur jedes $\epsilon>0$
\begin{equation}
\label{eq:gr1}
\pr{|\mathbf{Z}_n-\mu|\ge\epsilon}\le\frac{\mathrm{Var}(\mathbf{Z}_n)}{\epsilon^2}=\frac{\sigma^2}{n\epsilon^2}.
\end{equation}
Die rechte Seite wird aber jetzt f\"ur ein beliebiges (fixes!) $\epsilon>0$
beliebig klein, wenn nur $n$ {\em gro{\ss}} genug ist.  Die Wahrscheinlichkeit,
da{\ss} die Zufallsvariable $\mathbf{Z}_n=\frac{1}{n}\sum_i \mathbf{X_i}$
Werte annimmt, die von $\mu$ mehr als $\epsilon$ abweichen, ist somit f\"ur
gro{\ss}e $n$ sehr klein. Diese Tatsache (die man noch als $\lim_{n\rightarrow\infty}$ formulieren k\"onnte), wird als {\em schwaches Gesetz der gro{\ss}en
Zahlen} bezeichnet.

Gleichung \ref{eq:gr1} impliziert weiters, da{\ss} $\bar{\hat x}$ meistens
in der N\"ahe des Erwartungswerts $\mu$ liegt. Diese Eigenschaft erm\"oglicht
es, N\"aherungswerte f\"ur $\mu$ mit Hilfe von Zufallsexperimenten (darunter
f\"allt auch Stichproben ziehen, Messungen durchf\"uhren usw.) zu gewinnen.


\subsubsection{Zentraler Grenzwertsatz}
\label{clt}

Einziges Ziel dieses Unterabschnitts, ist den zentralen Grenzwertsatz
mathematisch zu formulieren, ein Beweis liegt au{\ss}erhalb unserer
M\"oglichkeiten. Wir betrachten wieder $n$ Zufallsvariablen $\mathbf{X_1}$,
$\mathbf{X_2}$, \ldots, $\mathbf{X_n}$ die stochastisch unabh\"angig
sind, und jedes $\mathbf{X_i}$ besitze Mittelwert $\mu_i$ und Varianz $\sigma_i$ (die nicht gleich zu sein haben!).  Gem\"a{\ss} Abschnitt \ref{mehr}
gilt dann f\"ur Summenvariable $\mathbf{S}_n=\sum_i \mathbf{X_i}$
\[E(\mathbf{S}_n)=\sum_i\mu_i\]
\[\mathrm{Var}(\mathbf{S}_n)=\sum_i \sigma_i^2.\]
Wir erinnern uns an die Standardisierte einer Zufallsvariablen (s.\ S.\ \pageref{standardisierte}) $\rnd^*=(\rnd-E(\rnd))/\sqrt{\mathrm{Var}(\rnd)}$.
Der zentrale Grenzwertsatz besagt jetzt, da{\ss} die Standardisierte
$\mathbf{S}_n^*$ der Zufallsvariablen $\mathbf{S}_n$,
\[\mathbf{S}_n^*=\frac{\sum_i(\mathbf{X_i}-\mu_i)}{\sqrt{\sum_i \sigma_i^2}}\]
\begin{sloppypar}\noindent
f\"ur gro{\ss}e $n$ unter extrem schwachen Voraussetzungen (die in der
Praxis typischerweise keinerlei Einschr\"ankung bedeuten)  ungef\"ahr
$N(0,1)$-verteilt ist.  Mathematisch l\"a{\ss}t sich das in der Form\end{sloppypar}
\begin{equation}
\label{eq:clt1}
\lim_{n\rightarrow\infty}\pr{\mathbf{S}^*_n\le x}=\Phi(x)=\frac{1}{\sqrt{2\pi}}
\int_{-\infty}^x du\, e^{-u^2/2}
\end{equation}
ausdr\"ucken. 

}
\subsection{Testverteilungen}
\label{test}

In der mathematischen Statistik spielen drei weitere stetige
Wahrscheinlichkeitsverteilungen eine gro{\ss}e Rolle, die f\"ur
bestimmte Funktionen von Zufallsvariablen \rnd (bzw.\ Funktionen
mehrerer Zufallsvariablen $\mathbf{X_1}$, $\mathbf{X_2}$, \ldots)
auftreten, wobei die $\mb{X_i}$ selbst $N(0,1)$ bzw.\ Chi-Quadrat-verteilt
(s.u.) sind.  Diese Verteilungen bzw.\ ihre Dichten sind
mathematisch ziemlich kompliziert, soda{\ss} wir hier nur der
Vollst\"andigkeit halber die Namen erw\"ahnen: Es handelt sich um die
{\em Chi-Quadrat-Verteilung}, die {\em Studentsche t-Verteilung}, und die
{\em F-Verteilung} von Fisher.  Alle drei sind \"ahnlich wie die
$N(0,1)$ Verteilung ausf\"uhrlich tabelliert.  Ein wichtiger
Unterschied zu $N(0,1)$ Tabellen besteht darin, da{\ss} in diese
Verteilungen noch die Anzahl der sogenannten {\em Freiheitsgrade}
eingeht.  F\"ur eine typische Anwendung der t-Verteilung ist die
Anzahl der Freiheitsgrade z.B.\ die Anzahl der Stichproben oder
Me{\ss}ergebnisse {\em minus} 1 (s.\ Abschnitt \ref{mess:w:fehl}).

\section{Die statistische Behandlung experimenteller Daten}
\label{mess}

\subsection{\label{mess:intro}Einleitung}

Wir verlassen jetzt endg\"ultig die Wahrscheinlichkeitsrechnung und
wenden uns der Statistik, oder genauer der statistischen Behandlung
von Me{\ss}daten, illustriert an ein paar Standardsituationen, zu. Dieser
letzte Abschnitt ist folgenderma{\ss}en organisiert. In diesem
Unterabschnitt (Abschn.\ \ref{mess:intro}) folgen ein paar
Betrachtungen \"uber Arten von Fehlern, und eine Pr\"azisierung des
Begriffs ``Genauigkeit''. 
Abschnitt \ref{mess:nw} beginnt mit der Einf\"uhrung empirischen
Kenngr\"ossen zur Beschreibung eines Datensatzes, wie Mittelwert und
Ausma{\ss} der Streuung der Daten um diesen Mittelwert (empirische
Varianz). Danach folgen zwei wichtige Verfahren, die nicht unmittelbar
mit der Wahrscheinlichkeitsrechnung verkn\"upft sind,
Fehlerfortpflanzung und lineare Regression.  Abschnitt \ref{mess:w}
nimmt schlie{\ss}lich den Faden der Wahrscheinlichkeitstheorie wieder
auf, und versucht die Prinzipien zu erkl\"aren, auf denen einige
statistischen Methoden beruht, wie z.B.\ die Berechnung
von Vertrauensbereichen oder statistische Tests.


Sobald man Messungen durchf\"uhrt, ist man vor Fehlern nicht
gefeit. F\"ur die Behandlung der aus Messungen erhaltenen Daten, die
m\"oglicherweise nicht fehlerfrei sind, ist es wichtig, sich \"uber
die Arten von Fehlern im klaren zu sein. F\"ur die erste Art von
Fehlern gibt es keine einheitliche Bezeichnung.  Manche Lehrb\"ucher
sprechen von ``verbotenen'' Fehlern, vielleicht w\"aren auch ``trivialer Fehler''
oder ``dummer Fehler'' zutreffende Bezeichnungen.  Gemeint ist
folgendes: Wenn man eine neue Methode zum erstenmal verwendet, hat man
oft die Arbeitsanleitung nicht v\"ollig verstanden und produziert
``Hausnummern''.  Manchmal mi{\ss}t man zwar richtig, macht aber beim
Einsetzen in Gleichungen, mit denen man aus den Daten die gew\"unschte
Gr\"o{\ss}e extrahiert, Unsinn (z.B. Eintippen von Grad in den
Taschenrechner und Berechnen der Winkelfunktion, wenn der
Taschenrechner auf Radiant eingestellt ist, oder z.B. Vermengen von
Einheiten). Im Normalfall merkt man derartige Fehler rasch und sie
sind leicht zu korrigieren.

\paragraph{Systematische Fehler} Etwas schwieriger wird es bei
den sogenannten {\em systematischen} Fehlern.  Diese treten auf, wenn
man im Prinzip alles richtig macht, nur z.B.\ vergi{\ss}t, einen
Parameter, der auf die Me{\ss}daten Einflu{\ss} hat zu
ber\"ucksichtigen. Beispiel:  Sie messen die Abh\"angigkeit der
Reaktionsgeschwindigkeit von der Konzentration eines Reaktanden. Bei
Vergleich mit Literaturwerten f\"ur \"ahnliche Systeme stellen Sie fest,
da{\ss} Ihre Ergebnisse zwar qualitativ gut \"ubereinstimmen, die
quantitative \"Ubereinstimmung jedoch schlecht ist.  Schlie{\ss}lich
lesen Sie den ``Kleindruck'': Die Literaturdaten wurden bei
25$^\circ$~C gemessen, Sie mu{\ss}ten aber (aus welchen Gr\"unden auch
immer) bei 15$^\circ$~C arbeiten. Wenn Sie wissen, wie sich die
betreffende Reaktionsgeschwindigkeit als Funktion der Temperatur
\"andert, k\"onnen Sie ggf.\ Ihre Daten korrigieren, und somit mit den
Referenzdaten vergleichen.  Wichtig ist (daher die Bezeichnung), da{\ss} ein
derartiger Fehler unter Ihrer Kontrolle ist: Sie k\"onnen Ihn entweder
vermeiden oder Sie k\"onnen die Auswirkung dieses Fehlers berechnen
und daf\"ur korrigieren.  Systematische Fehler verf\"alschen ein
Resultat in eine bestimmte Richtung (``zu hoch'', ``zu niedrig''), das
unterscheidet Sie von den oben erw\"ahnten ``dummen
Fehlern''\footnote{Ein wirklich ``dummer'' Fehler in Zusammenhang mit
dem Reaktionskinetikbeispiel w\"are, \"uberhaupt nicht auf die
Temperatur zu achten, dann k\"onnen Sie auch nicht mehr nachtr\"aglich
korrigieren und Ihre Messung ist tats\"achlich wertlos.} und den sogenannten
zuf\"alligen Fehlern.

\paragraph{Zuf\"allige (statistische) Fehler} Sie machen ``alles richtig.''
Die systematischen Fehlerquellen haben Sie ausgeschaltet bzw.\ Sie
wissen, wie Sie daf\"ur korrigieren k\"onnen.  Sie wiederholen Ihr
Experiment, und jede Wiederholung gibt Ihnen ein leicht anderes
Ergebnis (wenn Sie z.B.  jemals versucht haben, so genau als m\"oglich
zu titrieren, dann wird Ihnen das beschriebene Ph\"anomen nicht
unbekannt sein). Vorausgesetzt, Sie sitzen wirklich keinem ``dummen''
oder versteckten systematischen Fehler auf, dann haben Sie soeben
Bekanntschaft mit dem {\em zuf\"alligen} (oder auch {\em
statistischen}) Fehler gemacht. In jeden Me{\ss}ablauf schleichen sich
Fluktuationen ein, die {\em nicht} kontrollierbar sind. Wenn Sie eine
Konzentration na{\ss}chemisch bestimmen, m\"ussen Sie in der Regel
ein- oder mehrmals pipettieren und titrieren. Da Sie kein Roboter
sind, und Konzentrationen immer nur bis zu einer gewissen Genauigkeit
ablesen k\"onnen, werden Sie beim Wiederholen
der Prozedur auf leicht andere Ergebnisse kommen. Messen Sie die
Konzentration photometrisch, dann sollte im Idealfall die Probe
thermostatisiert sein.  Was die G\"ute und Effizienz des Thermostaten
betrifft, m\"ussen Sie sich aber auf das Ger\"at verlassen, und
Schwankungen in der Thermostatisierung k\"onnen Ihr Ergebnis
beeinflu{\ss}en.  Diese zuf\"alligen Fehler gilt es durch Statistik zu
charakterisieren und zu bestimmen. Wie Sie sehen werden  k\"onnen Sie
in letzter Konsequenz den zuf\"alligen Fehler nur durch mehr Messungen
verkleinern.

\paragraph{``Genauigkeit''} Was hei{\ss}t jetzt in Hinblick auf das eben
Gesagt, so ``genau als m\"oglich''
zu messen?  Wann ist eine Messung ``genauer'' als eine andere.  Das
Wort Genauigkeit ist in Hinblick auf die eben erfolgte Diskussion von
systematischem und zuf\"alligem Fehler doppeldeutig.  Das Englische
kennt zwei Worte f\"ur Genauigkeit: {\em accuracy} und {\em
precision}.  Im normalen (englischem) Sprachgebrauch sind die beiden
W\"orter v\"ollig synonym, womit dasselbe Problem wie im
Deutschen existiert.  Die Statistiker haben jedoch die Gelegenheit
ausgen\"utzt, und verwenden {\em accuracy} in Zusammenhang mit dem
systematischen Fehler, und {\em precision} in Zusammenhang mit dem
zuf\"alligen Fehler. {\em Accuracy} bezeichnet den Grad der Abweichung
vom ``wahren Wert'' (wobei man nat\"urlich in den seltensten F\"allen
den wahren Wert kennt).  Etwas holprig k\"onnte man also im Deutschen
das Wort Korrektheit oder Richtigkeit verwenden. {\em Precision} hat
mit der Gr\"o{\ss}e des statistischen Fehlers zu tun, also wie sehr
die einzelnen Me{\ss}ergebnisse streuen. Wenn zwei Studenten die
Konzentration der gleichen Probe bestimmen, und einer bekommt aus
f\"unf Me{\ss}ungen Konzentrationen, die zwischen 0,13 und 0.14 mol/l
liegen, der zweite aus f\"unf Me{\ss}ungen Konzentrationen, die
zwischen 0,12 und 0.15 mol/l liegen, so hat der erste ``more precisely''
gemessen. Nichstdestotrotz k\"onnten beide falsch (``inaccurately'')
gemessen haben, dann n\"amlich wenn die Konzentration der vom Saalassistenten
ausgegebenen Probe bei 0,11 mol/l liegt! Eine Messung sollte nat\"urlich
immer {\em accurate} und {\em precise} sein.  Eine {\em precise} Messung
kann (durch das Auftreten eines systematischen Fehlers) falsch sein und ist
damit wertlos.  Zu niedrige {\em precision} wiederum kann die Aussagekraft
einer {\em accurate} Messung sehr erniedrigen.

Statistik kann nichts gegen systematische Fehler machen, die
Vermeidung (bzw.\ Korrektur) von systematischen Fehlern fordert
das Fachwissen und Geschick des jeweiligen Experten
auf seinem Gebiet.  Hingegen ist die Charakterisierung des
zuf\"alligen Fehlers Aufgabe der Statistik, und wir kommen darauf in
Abschnitt \ref{mess:w} zur\"uck. 


\subsection{Empirische Behandlung und Methoden, die nicht direkt mit
Wahrscheinlichkeitstheorie verkn\"upft sind}
\label{mess:nw}

Wie schon in der Einleitung angesprochen, ist dieses Kapitel in gewisser
Weise ein Exkurs.  Zuerst wenden wir unseren Hausverstand an, um Me{\ss}ergebnisse
kompakt zusammenzufassen und zu beschreiben (die tiefere Bedeutung dieser
Gr\"o{\ss}en und ihre Verkn\"upfung mit der Wahrscheinlichkeitsrechnung wird in Kapitel \ref{mess:w:sch} klar werden). Danach stellen  wir zwei Methoden
zur Datenbehandlung vor, deren Ableitung zwar einige Mathematikkenntnisse,
jedoch keine wahrscheinlichkeitstheoretischen Ergebnisse voraussetzt.

\subsubsection{Empirischer Mittelwert, empirische Varianz und Kovarianz}
\label{empi}

Sie haben eine Messung f\"unfmal durchgef\"uhrt. Welcher der Werte $x_i$ ($i=1,\dots,\,5$) ist
der wahre Wert, dem wahren Wert am n\"achsten? Wie bringen Sie Ihr
Ergebnis in eine kompakte Form (besonders interessant, wenn Sie statt f\"unf
50 Me{\ss}ergebnisse haben)?  

Da es keinen Grund gibt, ein Me{\ss}ergebnis zu
bevorzugen,\footnote{Wenn es einen solchen gibt, dann sollten Sie Ihren
Me{\ss}vorgang {\em sehr} kritisch \"uberdenken!} ist ganz sicher das
arithmetische Mittel
\begin{equation}
\label{nw:mw}
\bar x = \frac{1}{n}\sum_{i=1}^n x_i
\end{equation}
eine gute Wahl, um Ihre Messungen in einem Wert zusammenzufassen. Man
bezeichnet Gl.\ \ref{nw:mw} als {\em (empirischen) Mittelwert}.\footnote{
Das Adjektiv empirisch dient dazu, um $\bar x$ formal von $\mu=E(\rnd)$,
dem Erwartungswert einer Zufallsvariablen,
abzugrenzen, kann aber entfallen, wenn keine Verwechslungsgefahr besteht. Zum
Zusammenhang zwischen $\bar x$ und $\mu$ siehe Abschnitt \ref{mess:w:sch}.}

{\small Bei der Behandlung von Me{\ss}daten ist $\bar x$ die ideale
Wahl, um die einzelnen Me{\ss}ergebnisse zu repr\"asentieren. In
anderen Anwendungen k\"onnen aber alternative, sogenannte {\em
Lageparameter} die Stichprobe besser beschreiben: F\"ur den {\em
Median (Zentralwert)} einer Stichprobe ordnet man die $x_i$ nach
Gr\"o{\ss}e. F\"ur ungerade $n$ ist der Median $\tilde x$ genau der
Wert $x_i$, f\"ur den gilt, da{\ss} genausoviele Werte kleiner (gleich) 
und 
gr\"o{ss}er (gleich) sind als $\tilde x$, d.h.\ $\tilde x=x_i$ mit $i=\frac{n+1}{2}$.  (Wenn Ihre nach Gr\"o{\ss}e geordneten
Me{\ss}werte 1.1, 1.3, 1.4, 1.8, 1.9~mmol/l seien, dann ist der Median
$\tilde x = 1.4$~mmol/l, zum Vergleich der Mittelwert ist $\bar
x=1.5$~mmol/l.) F\"ur gerade $n$ gilt $\tilde x=\frac{x_{n/2}+x_{n/2+1}}{2}$.

Haupts\"achlich f\"ur diskrete Stichproben, die durch ganze Zahlen
charakterisiert sind, verwendet man auch den {\em Modalwert (Modus,
Mode)} der Stichprobe. Der Modalwert ist derjenige Wert der
Stichprobe, der am h\"aufigsten vorkommt. (F\"ur eine Stichprobe mit
Werten 1, 2, 2, 2, 3, 3, 4  ist 2 der Modalwert.)}

Als n\"achste Kenngr\"o{\ss}e ist die Abweichung der einzelnen
Me{\ss}werte $x_i$ vom Mittelwert $\bar x$ von Interesse, dieses (noch
festzulegende Ma{\ss} der Streuung innerhalb der Me{\ss}werte gibt
Aufschlu{\ss} \"uber die {\em precision} der Daten.)  Da immer gilt
\[\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)=\frac{1}{n}\left(\sum_{i=1}^n x_i - n\bar x\right)=\bar x - \frac{1}{n}n\bar x=0\]
brauchen wir einen besseren Ansatz. Eine M\"oglichkeit ist an Stelle der Abweichungen
$(x_i-\bar x)$ \"uber
den Betrag der Abweichungen {$|x_i\!-\!\bar x|$}  zu summieren. Ebenso m\"oglich ist Summation \"uber die
Abweichungsquadrate $(x_i-\bar x)^2$, und dies ist die in der Praxis
(der Me{\ss}datenanalyse) bevorzugte Vorgehensweise.  Konkret
verwendet man die {\em empirische
Varianz} $s^2$
\begin{equation}
\label{nw:var}
s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar x)^2=
\frac{1}{n-1}\left[\sum_{i=1}^nx_i^2-n\bar x^2\right]
=\frac{1}{n-1}\left[\sum_{i=1}^{n} x_i^2-\frac{1}{n}\left(\sum_{i=1}^{n}x_i\right)^2 \right].
\end{equation}
Der erste Ausdruck ist die Definition, die 
Ausdr\"ucke weiter rechts (Um\-for\-mungen bit\-te selbst durch\-f\"uhren) dienen
der rechnerischen Effizienz (soferne man heute noch in die
ungl\"uckliche Lage kommt, derartige Gr\"ossen mit der Hand oder dem
Taschenrechner ausrechnen zu m\"ussen). Die positive Quadratwurzel $s$
hei{\ss}t {\em empirische Standardabweichung}. Die Verwendung des
Faktors $1/(n-1)$ an Stelle des vielleicht erwarteten $1/n$ erkl\"art
sich daraus, da{\ss} die $n$ $x_i$ und $\bar x$ wegen (\ref{nw:mw}) ja
nicht unabh\"angig sind, und daher hat man nur $n-1$ sogenannte Freiheitsgrade.
Weitere theoretische Vorz\"uge des Faktors $1/(n-1)$ werden in
Abschn.~\ref{mess:w:sch} besprochen.

Die Analogie zwischen $s^2$ und $\mathrm{Var}(\rnd)$ ist nicht zu
\"ubersehen (auf den tats\"achlichen Zusammenhang wird nochmals auf
Abschn.\ \ref{mess:w:sch} verwiesen. In Abschnitt \ref{mehr} wurde
f\"ur zwei Zufallsvariablen die Kovarianz eingef\"uhrt. Hat man es in
einer Messung mit Wertepaaren zu tun (z.B.\ Konzentration und
Temperatur als Funktion der Zeit), so ist es naheliegend f\"ur
Me{\ss}daten der Form $(x_i,y_i)$ mit Mittelwerten $\bar x$ und $\bar
y$ die {\em empirische Kovarianz}
\begin{equation}
\label{nw:cov}
s_{xy}=\frac{1}{n-1}\sum_{i=1}(x_i-\bar x)(y_i-\bar y)
\end{equation}
einzuf\"uhren. Achtung, wir schreiben im Gegensatz zu
den Varianzen $s_x^2$, $s_y^2$ nur $s_{xy}$ (nicht
$s_{xy}^2$, kein Tippfehler!).\footnote{Manchmal ist allerdings auch
die Schreibweise $s_{xy}^2$ in Verwendung\ldots} Weiters sei noch der {\em empirische
Korrelationskoeffizient}
\begin{equation}
\label{nw:rho}
r_{xy}=\frac{s_{xy}}{s_x s_y}
\end{equation}
erw\"ahnt.


\subsubsection{Propagierung von Unsicherheiten / Standardabweichungen (Fehlerfortplanzung)}
\label{fehler}



Folgende Situation tritt im Laboralltag vermutlich t\"aglich auf.  Die
durch Mittelwert $\bar x$ und Standardabweichung $s_x$ beschriebenen
Me{\ss}ergebnisse, werden in eine Formel eingesetzt, aus der die
eigentlich interessierende Gr\"o{\ss}e $w=w(x)$ berechnet wird.  Was
sind $\bar w$ und $s_w$. Knifflig wird das Problem, wenn $w$ eine
Funktion von mehr als einer Me{\ss}gr\"o{\ss}e ist, d.h.\
$w=w(x,\,y,\ldots)$. Ein ganz simples Beispiel ist das Volumen $V$
eines Quaders, wenn wir einmal annehmen, da{\ss} es f\"ur jede der
drei Kantenl\"angen $a$, $b$, $c$ eine Standardabweichung $s_a$,
$s_b$, $s_c$ gibt.\footnote{F\"ur so etwas simples wie eine L\"ange
mag eine Standardabweichung ungew\"ohnlich erscheinen.  Jedoch
erinnern Sie sich, da{\ss} die Standardabweichung ein Ma{\ss} f\"ur
die {\em precision} ist.  Sie k\"onnen z.B.\ mit einem Ma{\ss}band
nicht viel genauer als $\pm$0,5~mm ablesen, d.h. diese 0,5~mm sind
eine realistische Absch\"atzung der {\em precision} ihrer
L\"angenmessung.  Alternativ denken Sie an das Volumen von
quaderf\"ormigen Schachteln, die fabriksm\"a{\ss}ig erzeugt werden.
Durch Fluktuationen im Fabrikationsproze{\ss} wird nicht jede
Schachtel exakt gleich sein, und somit kommen Sie ebenfalls auf
Standardabweichungen in den Schachtell\"angen.}  Eine M\"oglichkeit,
die Standardabweichungen (Fehler) zu propagieren, besteht darin, die
Extremf\"alle zu betrachten, d.h.\
$w_{\mathit{min}}=w(x_{\mathit{min}},\,y_{\mathit{min}},\ldots)$
und $w_{\mathit{max}}=w(x_{\mathit{max}},\,
y_{\mathit{max}},\ldots)$ zu berechnen, wobei die Subskripte min und max
die jeweils kleinsten bzw.\ gr\"o{\ss}ten Werte von $x$, $y$ \ldots und
in Folge $w$ bezeichen. Die Differenz $w_{\mathit{max}}-w_{\mathit{min}}$
ist ein Ma{\ss} f\"ur die Unsicherheit. Diese Vorgehensweise ist legitim, aber
in vielen F\"allen zu pessimistisch, denn es kann zu
Fehlerkompensation kommen. 

In vielen F\"allen kann man mit Taylorentwicklungen (die man beim
linearen Glied (Glied 1.\ Ordnung) abbricht) zu einer vern\"unftigen
Absch\"atzung kommen.  Wir illustrieren die Methode zun\"achst im
eindimensionalen Fall und betrachten $\bar w=w(\bar x)$ sowie
$w_i=w(x_i)$, die Werte der interessierenden Gr\"o{\ss}e $w$ als
Funktion des Mittelwerts $x$ bzw.\ als Funktion eines
Einzelme{\ss}werts $x_i$.  Wir entwickeln jetzt $w_i$ in eine
Taylorreihe erster Ordnung um den Entwicklungspunkt $\bar x$:
\[w_i=w(x_i)= w(\bar x)+\left(\frac{d w}{d x}\right)_{\bar x}(x_i-\bar x)+\ldots\qquad\text{(A)}\]
und brechen (wie gezeigt) die Reihe nach dem linearen Term (wie
gezeigt) ab. Uns interessiert die Absch\"atzung f\"ur $s_w^2=1/(n-1)\sum
(w_i-\bar w)^2$.  Aus (A) folgt
\[w_i-\bar w\approx \left(\frac{d w}{d x}\right)_{\bar x}(x_i-\bar x)\qquad\text{(B)}\]
und somit ist
\[s_w^2=\frac{1}{n-1}\sum_{i=1}^n (w_i-\bar w)^2\approx
\frac{1}{n-1}\sum_{i=1}^n
\left[\left(\frac{d w}{d x}\right)_{\bar x}(x_i-\bar x)\right]^2=\]
\[=
\left(\frac{d w}{d x}\right)_{\bar x}^2\underbrace{\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar x)^2}_{s_x^2}=
s_x^2\left(\frac{d w}{d x}\right)_{\bar x}^2.\quad\text{(C)}\]

Als n\"achstes wiederholen wir die Schritte (A) bis (C) f\"ur den
Fall, da{\ss} $w$ eine Funktion von zwei Variablen $x$ und $y$ ist, die
aus Messungen ermittelt werden (die weitere Verallgemeinerung ist
dann hoffentlich trivial). In diesem Fall entwickeln wir
$w_i=w(x_i,\,y_i)$ in eine Taylorreihe um den Punkt $(\bar
x,\,\bar y)$.
\[
w_i=w(x_i,\,y_i)= w(\bar x,\,\bar y)+
\left(\frac{\partial w}{\partial x}\right)_{\bar x,\bar y}(x_i-\bar x)+
\left(\frac{\partial w}{\partial y}\right)_{\bar x,\bar y}(y_i-\bar y)+
\ldots\qquad\text{(D)}
\]
woraus
\[w_i-\bar w\approx 
\left(\frac{\partial w}{\partial x}\right)_{\bar x,\bar y}(x_i-\bar x)+
\left(\frac{\partial w}{\partial y}\right)_{\bar x,\bar y}(y_i-\bar y)
\ldots\qquad\text{(E)}
\]
folgt. F\"ur $s_w^2$ folgt daraus
\[s_w^2=\frac{1}{n-1}\sum_{i=1}^n (w_i-\bar w)^2\approx
\frac{1}{n-1}\sum_{i=1}^n
\left[\left(\frac{\partial w}{\partial x}\right)_{\bar x,\bar y}(x_i-\bar x)+
\left(\frac{\partial w}{\partial y}\right)_{\bar x,\bar y}(y_i-\bar y)\right]^2
=\]
\[=\frac{1}{n-1}\sum_{i=1}^n\left[
(x_i-\bar x)^2\left(\frac{\partial w}{\partial x}\right)^2_{\bar x,\bar y}+
(y_i-\bar y)^2\left(\frac{\partial w}{\partial y}\right)^2_{\bar x,\bar y}+
2(x_i-\bar x)(y_i-\bar y)
\left(\frac{\partial w}{\partial x}\right)_{\bar x,\bar y}
\left(\frac{\partial w}{\partial y}\right)_{\bar x,\bar y}
\right]
\]

\begin{equation}
\label{fehler:1}
s^2_w\approx s_x^2\left(\frac{\partial w}{\partial x}\right)^2_{\bar x,\bar y}+
  s_y^2\left(\frac{\partial w}{\partial y}\right)^2_{\bar x,\bar y}+
  2\,s_{xy}\left(\frac{\partial w}{\partial x}\right)_{\bar x,\bar y}
\left(\frac{\partial w}{\partial y}\right)_{\bar x,\bar y}
\end{equation}
Die gew\"ohnlichen Ableitungen des eindimensionalen Falls wurden
durch partielle Ableitungen ersetzt. Zum Schlu{\ss} wurde im
gemischten Term Gebrauch von in Kapitel \ref{empi} eingef\"uhrten
(empirischen) Kovarianz Gl.\ \ref{nw:cov} gemacht.  Ist die Kovarianz
Null bzw.\ ist keine Information dar\"uber vorhanden, so f\"allt der
Term weg bzw.\ wird notgedrungenerweise vernachl\"assigt.

Die Verwendung nur des linearen Terms kann nat\"urlich eine zu
grobe N\"aherung sein, dennoch ist Gl.\ \ref{fehler:1} die
Standardmethode der Fehlerfortpflanzung.

{\small\paragraph{$\blacktriangleright$ Beispiele:}
(i) Die Fl\"ache eines Kreises berechnet sich nach $A=\pi r^2$.
Was ist die Standardabweichung der Fl\"ache, wenn $\bar r=10$~cm und
$s_r=3$~mm? F\"ur $s_A$ gilt
\[s_A^2=\left(\frac{dA}{dr}\right)^2 s_r^2=
s_r^2 (2 \pi \bar r)^2=0.3^2(2\pi 10)^2=0.09\cdot 400\pi^2=36\pi^2\]
Somit ist $s_A=6\pi$~cm$^2$.

(ii) Was ist nun die oben angesprochene Standardabweichung des
Volumens eines Quaders.  Es gilt $V=a\times b\times c$, und somit
f\"ur $s_V$
\[s_V^2=s_a^2\cdot (\bar b\,\bar c)^2+s_b^2\cdot (\bar a\,\bar c)^2+
s_c^2\cdot (\bar a\,\bar b)^2+
2 s_{ab} (bc)(ac)+2 s_{bc} (ac)(ab)+2 s_{ac} (bc)(ab)\]
wobei die letzten drei Terme nur von Interesse sind, wenn die
drei Kantenl\"angen (bzw. die Fehler, die in ihrer Bestimmung
auftreten) korreliert sind.

(iii) Eine Gr\"o{\ss}e $\xi$ berechne sich als Funktion von
$u$ und $v$ gem\"a{\ss} $\xi=u^2+v^2$.  Wenn $s_u$, $s_v$, $s_{uv}$
bekannt sind, was ist $s_\xi$? Es ist $\partial \xi/\partial u=2u$,
$\partial \xi/\partial v=2v$. Somit ist
\[s_\xi^2=4\bar u^2s_u^2+4\bar v^2s_v^2+8\,\bar u \bar v\,s_{uv}.\]

\hfill$\blacktriangleleft$
}

\noindent{\em Hinweis:} Viele Formelsammlungen behandeln nur den
Fall unkorrelierter Gr\"o{\ss}en, d.h.\ Verschwinden aller Kovarianzen.
\"Uberpr\"ufen Sie Ihre Formelsammlung und f\"ugen Sie ggf.\ die
allgemeine Gl.\ \ref{fehler:1} hinzu!

%
% Als Warnung nichtlineares Beispiel
%

\subsubsection{Lineare Regression}
\label{linreg}

Die in diesem Abschnitt behandelte Technik geh\"ort eigentlich in die
statistische Behandlung zweidimensionaler Datens\"atze.  Da im Rahmen
dieser Vorlesung allerdings die Zeit fehlt, die Behandlung
mehrdimensionaler Datens\"atze systematisch auf
wahrscheinlichkeitstheoretischer Grundlage zu behandeln, begn\"ugen wir
uns mit einem wichtigen Spezialfall, den wir mit unserem Wissen
\"uber mehrdimensionale Differentialrechnung behandeln k\"onnen.

Folgende Problemstellung: Sie messen eine Gr\"o{\ss}e $y=y(x)$ als
Funktion von $x$ (Verd\"unnungsreihe f\"ur photometrische Messungen
(also Absorption als Funktion der Konzentration), Konzentration als
Funktion der Zeit (Reaktionskinetik) usw.)  In vielen F\"allen gilt
nun zwischen $y$ und $x$ eine lineare Beziehung
\[y=a\,x+b\qquad\text{(A)}\]
{\em oder} Sie k\"onnen durch eine geeignete Umformung auf eine
lineare Beziehung kommen (H\"aufigstes Beispiel ist vermutlich
Logarithmieren $y$, d.h., $Y=\ln y=a\,x + b$. Was ist die ``ideale
Gerade,'' die Sie durch Ihren Datensatz $\lbrace (x_i, y_i) \rbrace$
legen k\"onnen. Wenn Ihre Messungen in Ordnung sind, und die
gemessenen Gr\"o{\ss}en theoretisch der Beziehung (A) gehorchen, dann
ist zwar optisch (durch Plotten der Datenpunkte) klar, da{\ss} die
Daten idealerweise auf einer Gerade liegen sollten, aber wie diese
Gerade konstruiert werden soll, verlangt mehr als
Intuition.\footnote{Der Autor zieht es vor, die vor allem in Praktika
der analytischen Chemie vorkommende Meinung nicht weiter zu
kommentieren, da{\ss} jeder, der versucht durch mehr als zwei
Datenpunkte eine Gerade zu legen, selber schuld sei.}$^,$\footnote{\em
Der Autor empfiehlt unbedingt, in der Praxis die Daten zu plotten:
Wenn diese nicht wie eine Gerade aussehen, dann ist die im Folgenden
beschriebene Prozedur vermutlich Zeitverschwendung!!}

Die Idee, die hinter den meisten {\em Regressionsanalysen} steht, ist
die Minimierung der Summe der Abweichungsquadrate
\begin{equation}
\label{chi2}
\chi^2=\sum_{i=1}^n(y_i-y_i^{\mathit{id}})^2.
\end{equation}
Die $y_i$ sind die tats\"achlich gemessenen Werte von $y=y(x)$, w\"ahrend
die $y^{\mathit{id}}_i$ die Werte sind, die aus der zu suchenden Fitfunktion
berechnet werden. F\"ur den Fall einer linearen Abh\"angigkeit (A) soll
also
\[\chi^2=\sum_{i=1}^n(y_i-(a\,x_i+b))^2=\mathrm{min} \qquad\text{(B)}\]
minimiert werden.

Anders ausgedr\"uckt sind also die Werte $\hat a$ und $\hat b$ gesucht, 
f\"ur die (B) ein Minimum hat.  Nach dem in den Kapiteln \"uber Funktionen
mehrerer Variablen gesagtem, hei{\ss}t das aber, da{\ss} wir das
Gleichungssystem
\begin{eqnarray*}
\frac{\partial \chi^2}{\partial a}&=&0=\frac{\partial \sum_{i=1}^n(y_i-(a\,x_i+b))^2}{\partial a}\\
\frac{\partial \chi^2}{\partial b}&=&0=\frac{\partial \sum_{i=1}^n(y_i-(a\,x_i+b))^2}{\partial b}
\end{eqnarray*}
l\"osen m\"u{\ss}en (wobei wir nicht \"uberpr\"ufen werden, ob die
gefundene Kanditatenstelle tats\"achlich ein Minimum ist).  Die
partiellen Ableitungen ergeben\footnote{Lassen Sie sich beim Ableiten
nicht von den Summationszeichen irritieren.  Da immer gilt $\partial
(f+g)/\partial a=(\partial f/\partial a)+(\partial g/\partial a)$,
gen\"ugt es f\"ur einen Term abzuleiten, z.B.\ $\partial (y_i-(a
x_i+b))^2/\partial a=$ [{\em Kettenregel!!}] $2 (y_i-(a x_i+b))
(\partial (y_i-(a x_i+b))/\partial a) = $ [{\em innere Ableitung
ausrechnen!!}] $2 (y_i-(a x_i+b))(-x_i)=2(-x_iy_i+ax_i^2+bx_i)$. Danach
stellen Sie einfach das Summationszeichen voran }
\begin{eqnarray*}
\frac{\partial \chi^2}{\partial a}&=&
2\left(\sum_{i=1}^n \big(y_i-(a\,x_i+b)\big)(- x_i)\right)=0\\
\frac{\partial \chi^2}{\partial b}&=&2\left(\sum_{i=1}^n \big(y_i-(a\,x_i+b)\big) (-1)\right)=0
\end{eqnarray*}
oder
\begin{eqnarray*}
\sum_{i=1}^n x_i\,y_i-a\sum_{i=1}^n x_i^2-b\sum_{i=1}^nx_i&=&0\\
\sum_{i=1}^n y_i-a\sum_{i=1}^n\,x_i-nb&=&0.
\end{eqnarray*}
Aus der zweiten Gleichung folgt aber
\begin{equation}
\hat b=\frac{1}{n}\sum_{i=1}^n y_i-a\,\frac{1}{n}\sum_{i=1}^nx_i=\bar y-a\bar x
\end{equation}
womit man in die erste Gleichung einsetzen kann:
\[\sum_{i=1}^n x_i y_i=a\sum_{i=1}^n x_i^2+(\bar y -a \bar x)\sum_{i=1}^n x_i \]Aufl\"osen nach $a$ f\"uhrt auf
\begin{equation}\hat a=\frac{\sum_{i=1}^nx_iy_i-n\bar x\bar y}{\sum_{i=1}^nx_i^2-n\bar x^2}=\frac{s_{xy}}{s_x^2}\end{equation}
{\em Hinweis:} Die Ausdr\"ucke f\"ur $a$ und $b$ k\"onnen auf vielerlei
Art geschrieben werden, machen Sie sich mit der Darstellung Ihrer Formelsammlung\ vertraut.  Die Ausarbeitung  der letzten Darstellung von $\hat a$ als Funktion
von Varianz und Kovarianz bleibt dem Leser \"uberlassen.

Die eben gezeigte Methode l\"a{\ss}t sich \"ubrigens auf
allgemeine lineare Zusammenh\"ange erweitern.  F\"ur
Funktionen der Form $y=a_0 x^n +a_1 x^{n-1}+\ldots+a^{n-1}x+a_n$ kann man wie
f\"ur den eben behandelten Spezialfall $y=a_0 x +a_1=a x+b$ analytische
Ausdr\"ucke f\"ur die Koeffizienten $a_0$, $a_1$, \ldots $a_n$ finden.

{\small\paragraph{$\blacktriangleright$ Beispiel:}
Die Reaktionsgeschwindigkeit einer Reaktion 1.\ Ordnung
(A $\rightarrow$ Produkte) gehorcht der
Differentialgleichung
\[
-\frac{d c_A(t)}{dt}=k\, c_A(t)
\]
mit der Anfangsbedingung $c_A(t=0)=c_{A,0}$. Die Symbole bedeuten
die Konzentration der Ausgangssubstanz A, $c_A$, zur Zeit $t$. Die
Substanzmenge zu Beginn des Experiments ($t=0$) ist $c_{A,0}$. Die
f\"ur die Art der Reaktion spezifische Gr\"o{\ss}e ist die
Geschwindigkeitskonstante $k$.\\[1ex]
(a) L\"osen Sie die Differentialgleichung!\\[1ex]
(b) Die nachstehende Tabelle enth\"alt ``Me{\ss}''ergebnisse\footnote{Ergebnisse
wurden am Computer generiert, daher die Anf\"uhrungszeichen!} f\"ur
eine solche Reaktion 1.\ Ordnung. Gegeben ist $c_A$ als Funktion der Zeit (in
Minuten) (die Anfangskonzentration ($c_{A,0}$) betr\"agt 1~mol/l).
Ermitteln Sie unter Verwendung von linearer (!) Regression die
Geschwindigkeitskonstante. 

\begin{tabular}{c|l@{,}l}
$t$/min & \multicolumn{2}{c}{$c_A(t)$} \\
\hline
0 & 1 & 000 \\
1 & 0 & 599 \\
2 & 0 & 358 \\
3 & 0 & 215 \\
4 & 0 & 128 \\
5 & 0 & 077 \\
6 & 0 & 046 \\
7 & 0 & 028 \\
8 & 0 & 017 \\
9 & 0 & 010 \\
10 & 0 & 006
\end{tabular}

\noindent Die Differentialgleichung
\[
-\frac{d c_A(t)}{dt}=k\, c_A(t)
\]
wird durch Trennung der Variablen auf
\[
\frac{d c_A}{c_A}=-k\,dt
\]
umgeformt, woraus man nach Integration
\[
\ln c_A=-k t+\alpha'
\]
bzw.
\[
c_A=\alpha\exp(-k t)
\]
erh\"alt. Aus der Anfangsbedingung $c_A(t=0)=c_{A,0}$ folgt $\alpha=c_{A,0}$
und somit
\[
c_A(t)=c_{A,0}\exp(-k t).
\]

Der entscheidende Schritt zur Verwendung {\em linearer} Regression
besteht in der Verwendung der logarithmierten Form der L\"osung von
(a)
\[
\ln c_A(t)=\ln c_{A,0} -k t = d - k t.
\]
Eine Auftragung des Logarithmus der Konzentration als Funktion
der Zeit ist also (von Abweichungen durch Me{\ss}fehler bzw. -ungenauigkeiten
abgesehen) eine Gerade. Aus der Angabe $c_{A,0}=1$~mol/l folgt
weiters $d=0$. Lineare Regression ergibt die Koeffizienten
der Geradengleichung
\[
y=a+b t,
\]
und somit ergibt sich aus dem Vergleich mit der vorigen Gleichung, da{\ss}
$d=a$ und $k=-b$.
 
Im folgenden eine Tabellierung der wichtigsten
Zwischenergebnisse, wie sie f\"ur die Berrechnung der Regressionsgeraden
mit einem einfachen Taschenrechner notwendig sind.

\begin{tabular}{lr@{,}l}
$\sum t_i$ & 55 & 0 \\
$\sum t_i^2$ & 385 & 0 \\
$\sum y_i$ & -28 & 2 \\
$\sum y_i^2$ & 101 & 3 \\
$\sum y_i \, t_i$ & -197 & 5 \\
$\Delta=N\sum t_i^2 - (\sum t_i)^2$ & 1210 & 0 \\
$a=\frac{1}{\Delta} (\sum t_i^2 \sum y_i - \sum t_i \sum t_i\, y_i)$ & 0 & 0 \\
$b=\frac{1}{\Delta} (N\sum y_i\, t_i-\sum t_i \sum y_i)$ & -0  & 513
\end{tabular}

Somit findet man eine Reaktionskonstante von $0,513\;\text{min}^{-1}$.
\hfill$\blacktriangleleft$
}

Die Berechnung von linearer Regression ist heute nat\"urlich trivial und
besteht aus dem Dr\"ucken einer Maustaste am Computer. Das vielleicht
interessanteste Element des eben vorgerechneten Beispiels ist daher die 
R\"uckf\"uhrung eines nichtlinearen Problems auf den Fall linearer
Regression. Numerisch sind auch beliebige nichlineare Fitprobleme $y=f(x)$,
also z.B.\ $y=b \exp(a x)$ l\"osbar, oft ebenfalls per Mausdruck.  Dennoch
ist in F\"allen wie diesen Linearisierung vorzuziehen.  Die analytische
L\"osung des linearen Problems $\ln y=ax+b$ ist exakt, w\"ahrend der Versuch
$y=b\,\exp(ax)$ zu fitten, u.U.\ numerisch instabil sein kann. Daher sollte
man Probleme, die auf eine lineare Fragestellung reduzierbar sind, auch
auf eine solche umformen, anstatt blindlinks eine Computerfunktion aufzurufen.



\subsection{Aus der Wahrscheinlichkeitsrechnung folgende Methoden}
\label{mess:w}

Dank der rapiden Entwicklung der Computertechnologie (und Open Source
Programmpaketen wie z.B. http://www.r-project.org) sind heute
statistische Methoden, die wegen ihres Rechenaufwands (oder Preises)
fr\"uher nur Experten zug\"anglich waren, heute f\"ur jedermann
verf\"ug- und anwendbar.  Die gr\"o{\ss}te Schwierigkeit besteht heute
daher darin, die f\"ur ein Problem korrekte Methode auszuw\"ahlen.

Im folgenden beschr\"anken wir uns auf eindimensionale
Problemstellungen.  Zun\"achst wollen wir die in Abschn.\
\ref{mess:nw} eingef\"uhrten empirischen Gr\"o{\ss}en mathematisch
begr\"unden, um ein Gef\"uhl f\"ur die Zusammenh\"ange zwischen
Wahrscheinlichkeitsrechnung und Statistik zu schaffen.. Danach stellen
wir uns die (empirisch nicht l\"osbare) Frage, wie wir z.B.\ die
Unsicherheit einer durch Mittelwertbildung gewonnenen Gr\"o{\ss}e
(also z.B. des Mittelwerts von f\"unf Messungen der Konzentration
eines Schadstoffs) pr\"azisieren k\"onnen. Schlie{\ss}lich
illustrieren wir anhand einfachster Beispiele die Theorie, die
statistischen Tests zu Grunde liegt.


\subsubsection{Parametersch\"atzung}
\label{mess:w:sch}

Es ist zun\"achst einmal notwendig, die Sprache der Wahrscheinlichkeitsrechnung
(``Zufallsvariable, Erwartungswert, Verteilung'') und die reale
Situation (``Tabelle mit Me{\ss}daten'') zur Deckung zu bringen.
Gegen Ende von Abschnitt \ref{vert}, insbesondere im Unterkapitel
\ref{vert:gz} wurde einige Male von einer Zufallsvariablen
$\mathbf{S}_n$ gesprochen, welche die Summe von $n$ (stochastisch)
unabh\"angigen Zufallsvariablen $\mathbf{X_1}$, $\mathbf{X_2}$, \ldots
$\mathbf{X_n}$ ist. Kapitel \ref{vert:gz} besch\"aftigte sich mit
einigen allgemeinen Grenzwerten f\"ur Erwartungswerte von
$\mathbf{S}_n$ bzw.\ $\mathbf{Z}_n=\mathbf{S}_n/n$. Die Statistik
fa{\ss}t jede Einzelmessung als Zufallsexperiment auf, das
von den Messungen davor und danach (stochastisch) unabh\"angig
ist.\footnote{Soweit die Pr\"amisse der mathematischen Statistik, die
in der Praxis nat\"urlich hinterfragt bzw.\ realisiert werden mu{\ss}} Ein konkret
erhaltener Me{\ss}wert $\hat x_i$ ist die Realisierung der
Zufallsvariablen $\mathbf{X_i}$.  Damit ist aber die Br\"ucke zwischen
Wahrscheinlichkeitsrechnung und konkreter Me{\ss}situation geschlagen:
Es gilt z.B.\ der zentrale Grenzwertsatz, d.h., w\"urde ich unendlich
viele Messungen durchf\"uhren, so w\"are $\mathbf{S}_n$
$N(\mu,\sigma^2)$-verteilt. In der Praxis trifft das schon ab $n>30$
in ausreichend guter N\"aherung zu, und aus diesem Grund ist der
zentrale Grenzwertsatz so wichtig f\"ur die statistischen Theorie.
Durch die Korrespondenz 
\[\text{Me{\ss}wert $\hat x_i$ $\Leftrightarrow$
Realisation der Zufallsvariablen $\mathbf{X_i}$}\]
 k\"onnen weiters viele
theoretische Erkenntnisse der Wahrscheinlichkeitsrechnung auf die
angewandte Statistik \"ubertragen werden (hierbei spielen die in
Abschnitt \ref{test} zumindestens erw\"ahnten
Testverteilungen eine gro{\ss}e Rolle).

\paragraph{Exkurs: Bernoulli-Experimente: }Aus Gr\"unden der Anschaulichkeit machen wir jetzt gewisserma{\ss}en
einen weiteren Exkurs und betrachten ein im Vergleich zur Behandlung
von Me{\ss}daten einfacheres Problem: Stichproben werden auf ein
Qualit\"atskriterium hin getestet.  Dieser Vorgang (der auch auf viele
andere Situationen zutrifft) ist ein Bernoulli-Schema (vgl.\ Abschn.\
\ref{sec:binomsub}) Die Zufallsvariable, die einer Stichprobe
entspricht, kann nur zwei Werte annehmen, 0 (Qualit\"atskriterium
nicht erf\"ullt) und 1 (Qualit\"atskriterium erf\"ullt).  Was kann ich
aus der H\"aufigkeit, mit der in diesen Stichproben das Kriterium
erf\"ullt bzw.\ nicht erf\"ullt ist, \"uber die Qualit\"at der
Gesamtheit (z.B.\ Wahrscheinlichkeit von Ausschu{\ss} in einer
Produktion, Wahrscheinlichkeit der Wirksamkeit eines neuen
Arzneistoffs) sagen.  Die folgenden Betrachtungen verwenden in
intensiver Weise Material der Abschnitte \ref{sec:binomsub},
\ref{binom:rev} und \ref{vert:gz}.

Sie erinnern sich, da{\ss} der Begriff der Wahrscheinlichkeit entweder
\"uber die relative H\"aufigkeit 
\[h(A)= \frac{\text{Anzahl der Versuche, in denen
A eintritt}}{\text{Gesamtanzahl der Versuche}}\] eingef\"uhrt werden
kann, oder da{\ss} die axiomatisch eingef\"uhrte Wahrscheinlichkeit
Eigenschaften besitzt, die denen von $h(A)$ analog sind.  Es liegt
also nahe, die in dem Bernoulli-Experiment gefundene relative
H\"aufigkeit, da{\ss} das Kriterium A erf\"ullt ist, als Sch\"atzwert
f\"ur die Wahrscheinlichkeit von A zu verwenden
\[p=\pr{A}\approx h_A.\qquad\text{(A)}\]
Zieht man ein paar mal $n$ Stichproben, so werden die daraus gewonnenen
relativen H\"aufigkeiten im allgemeinen variieren. Wie berechtigt
ist die Absch\"atzung (A)?

Zu dem beschriebenen Bernoulliexperiment geh\"ort zum i-ten Versuch
die Zufallsvariable
\[\mb{X_i}=\begin{cases}1, & \text{Kriterium erf\"ullt}\\ 
0, & \text{sonst}\end{cases}\]
der die Realisierung 
\[x_i=\begin{cases}1, & \text{Kriterium erf\"ullt}\\ 
0, & \text{sonst}\end{cases}\]
zugeordnet ist. Die zu \mb{X_i} geh\"orige Verteilungsfunktion $f$ 
hat die Werte $f(0)=1-p$, $f(1)=p$.  Damit erh\"alt man die
Erwartungswerte (s.\ Abschn.\ \ref{erwa1})
\[E(\mathbf{X_i})=0\cdot(1-p)+1\cdot p=p=\mu\]
\[\mathrm{Var}(\mathbf{X_i})=0^2\cdot(1-p)+1^2\cdot p-\mu^2=p-p^2=p(1-p)=\sigma^2\]
Die Summe $\mb{S_n}=\sum \mb{X_i}$ ist nach Abschnitt \ref{binom:rev}
binomialverteilt mit $E(\mb{S_n})=np$ und
$\mathrm{Var}(\mb{S_n})=np(1-p)$. Diese neue Zufallsvariable \mb{S_n} hat
in einem Bernoulliexperiment vom
Umfang $n$ die absolute H\"aufigkeit, mit der das Kriterium erf\"ullt wird,
als Realisierung.  Die relative H\"aufigkeit 
\[h(A)=\frac{1}{n}\sum_{i=1}^n x_i\]
ist somit die Realisierung der Zufallsvariablen $\mb{\bar X}=1/n\,\mb{S_n}$.
Was sind jetzt $E(h(A))$ und $\mathrm{Var}(h(A))$?
\[E(h(A))=E(\mb{\bar X})=E(\frac{1}{n}\mb{S_n})=\frac{1}{n}E(\mb{S_n})=
\frac{1}{n}\,np=p\qquad\text{(B)}\]
und 
\[\mathrm{Var}(h(A))=\mathrm{Var}(\mb{\bar X})=\mathrm{Var}(\frac{1}{n}\mb{S_n})=\frac{1}{n^2}\mathrm{Var}(\mb{S_n})=
\frac{1}{n^2}\,np(1-p)=\frac{p(1-p)}{n}\qquad\text{(C)}\]
Die Umformungen bedienen sich der Eigenschaften von $E$ und Var (s.\ S.\ \pageref{eq:e5}).  Gl.\ (B) zeigt aber, da{\ss} Ansatz (A) begr\"undet war:
Der Erwartungswert von $h(A)$ ist die gesuchte (unbekannte) 
Wahrscheinlichkeit $p$, mit der das fragliche Kriterium in 
der Gesamtheit erf\"ullt ist. Man bezeichnet $h(A)=\mb{\bar X}$ als
{\em erwartungstreue Sch\"atzfunktion} f\"ur den Parameter $p$, der
Zahlenwert $h(A)$ hei{\ss}t Sch\"atzwert. 

Ganz fertig sind wir jedoch noch nicht. Gl.\ (B) ist zwar sch\"on und gut,
aber nichtsdestotrotz werden konkrete Realisierungen von \mb{\bar X},
d.h.\ Zahlenwerte $h(A)$, mehr oder weniger stark fluktuieren. Gefragt
ist daher eine {\em konsistente} Sch\"atzfunktionen f\"ur p, f\"ur
die f\"ur beliebiges $\epsilon>0$ gilt:
\[\lim_{n\rightarrow\infty}\pr{|h(A)-p|>\epsilon}=0\]
Wenn Sie sich Abschnitt \ref{vert:gz} im Detail durchgelesen haben,
dann sollten Sie in dieser Bedingung Gl.\ \ref{eq:gr1} wiedererkennen,
das schwache Gesetz der gro{\ss}en Zahlen.  Gem\"a{\ss} diesem
allgemeinen Gesetz ist $h(A)$ also sicher auch eine konsistente
Sch\"atzfunktion f\"ur p.  Man kann sich das aber auch leicht aus Gl.\ (C)
ableiten, die besagt, da{\ss} $\mathrm{Var}(h(A))=\frac{p(1-p)}{n}$.
Die rechte Seite wird aber f\"ur $p=1/2$ maximal, und somit gilt
die Ungleichung
\[\mathrm{Var}(h(A))=\frac{p(1-p)}{n}\le\frac{1}{4n}\]
Kombiniert man diese Ungleichung mit der Tschebyscheffschen Ungleichung 
(Gl.\ \ref{eq:t1}, S.\ \pageref{eq:t1})
\[\pr{|h(A)-E(h(A))|> \epsilon}<\frac{\mathrm{Var}(h(A))}{\epsilon^2}\]
so erh\"alt man
\[\pr{|h(A)-\underbrace{E(h(A))}_p|> \epsilon}<\frac{1}{4 n \epsilon^2}\]
wobei die rechte Seite f\"ur $n\rightarrow\infty$ nat\"urlich verschwindet.

\paragraph{Begr\"undung der empirisch eingef\"uhrten 
Gr\"o{\ss}en Mittelwert $\bar x$ und Varianz $s^2$:}

Wir betrachten jetzt die in Abschnitt \ref{empi} eingef\"uhrten
Gr\"o{\ss}en $\bar x$ und $s^2$ als Realisierung der Zufallsvariablen
$\mb{\bar X}=1/n\sum \mb{X_i}$ und
$\mb{S^2}=1/(n-1)\,\sum(\mb{X_i}-\mb{\bar X})^2$, wobei die \mb{X_i}
paarweise (stochastisch) unabh\"angige Zufallsvariablen mit
Realisierungen $x_i$ sind. Die \mb{X_i} haben alle denselben
Erwartungswert $\mu=E(\mb{X_i})$ und dieselbe Varianz
$\sigma^2=\mathrm{Var}(\mb{X_i})$. (Jetzt sind wir bei der konkreten
Situation von Me{\ss}daten: jede Messung ist ein Zufallsexperiment mit
Zufallsvariable \mb{X_i}; der in einer Messung erhaltene Me{\ss}wert
$x_i$ ist eine Realisierung von \mb{X_i}.)
Wir zeigen nun die Richtigkeit der folgenden drei Gleichungen:
\begin{equation}
\label{eq:mean}
E(\mb{\bar X})=\mu
\end{equation}
\begin{equation}
\label{eq:varmean}
\mathrm{Var}(\mb{\bar X})=\frac{\sigma^2}{n}
\end{equation}
\begin{equation}
\label{eq:var}
E(\mb{S^2})=\sigma^2
\end{equation}

{\small\noindent\paragraph{$\blacktriangleright$ Beweis:} Zur Erinnerung
die Voraussetzungen: 
\[E(\mb{X_i})=\mu\qquad\qquad\mathrm{Var}(\mb{X_i})=\sigma^2\qquad\qquad\text{f\"ur alle $i$}\]
Somit gilt
\[E(\mb{\bar X})=E\left(\frac{1}{n}\sum_i\mb{X_i}\right)=\frac{1}{n}\sum_iE(\mb{X_i})=
\frac{1}{n}\,n\,\mu=\mu\]
womit (\ref{eq:mean}) bewiesen ist. Der Beweis von (\ref{eq:varmean})
st\"utzt sich auf die Additivit\"at der Varianz von stochastisch
unabh\"angigen Zufallsvariablen:
\[\mathrm{Var}(\mb{\bar X})=\mathrm{Var}\left(\frac{1}{n}\sum_i\mb{X_i}\right)
=\frac{1}{n^2}\mathrm{Var}\left(\sum_i\mb{X_i}\right)
=\frac{1}{n^2}\sum_i\mathrm{Var}(\mb{X_i})=
\frac{1}{n^2}\,n\,\sigma^2=\frac{\sigma^2}{n}\]
Um (\ref{eq:var}) zu beweisen, formen wir zun\"achst  $\mb{S^2}=1/(n-1)\,\sum(\mb{X_i}-\mb{\bar X})^2$ um
\[(n-1)\,\mb{S^2}=\sum_i(\mb{X_i}-\mb{\bar X})^2=\sum_i \mb{X_i}^2-2\sum\mb{X_i}\mb{\bar X}+n\mb{\bar X}^2=\sum_i\mb{X_i}^2-n \mb{\bar X}^2\]
Bei der Einf\"uhrung der Varianz (Gl.\ \ref{eq:e4}, S.\ \pageref{eq:e4}) haben wir
ganz allgemein gefunden, da{\ss} f\"ur eine beliebige Zufallsvariable \mb{Z}
gilt $\mathrm{Var}(\mb{Z})=E(\mb{Z}^2)-\left(E(\mb{Z})\right)^2
=E(\mb{Z}^2)-\mu_Z^2$, woraus
\[E(\mb{Z}^2)=\mathrm{Var}(\mb{Z})+\left(E(\mb{Z})\right)^2\]
folgt. Insbesondere gilt dann aber
\[E(\mb{X_i}^2)=\mathrm{Var}(\mb{X_i})+\left(E(\mb{X_i})\right)^2=\sigma^2+\mu^2\]
\[E(\mb{\bar X}^2)=\mathrm{Var}(\mb{\bar X})+\left(E(\mb{\bar X})\right)^2=\frac{\sigma^2}{n}+\mu^2\]
Mit diesen Vorergebnissen ausgestattet berechnen wir jetzt
\[E((n-1)\,\mb{S^2})=E\left(\sum_i\mb{X_i}^2-n\mb{\bar X}^2\right)=
\sum_iE(\mb{X_i}^2)-nE(\mb{\bar x}^2)=
\sum_i\left(\sigma^2+\mu^2\right)-n\left(\frac{\sigma^2}{n}+\mu^2\right)=\]
\[=n\sigma^2+n\mu^2-\sigma^2-n\mu^2=(n-1)\,\sigma^2=(n-1)\,E(\mb{S}^2).\]
Division durch $(n-1)$ beweist Gl.\ \ref{eq:var}. Die Rechnung zeigt
weiters die Notwendigkeit des Faktors $1/(n-1)$ in der Definition von
$s^2$.  H\"atten wir nur $1/n$ genommen, h\"atten wir anstelle von
$E(\mb{S}^2)=\sigma^2$ den nicht erwartungstreuen Sch\"atzwert
$\sigma^2-\sigma^2/n$ bekommen.  \hfill$\blacktriangleleft$}

Der Sch\"atzwert $\bar x$ f\"ur $\mu$ ist \"ubrigens nicht nur
erwartungstreu, sondern auch konsistent. Dies folgt entweder direkt
aus dem schwachen Gesetz der gro{\ss}en Zahlen (Abschn.\ \ref{sgg})
oder durch Kombination von Gl.\ \ref{eq:varmean} mit der
Tschebyscheffschen Ungleichung (\ref{eq:t1}),
\[\pr{|\mb{\bar X}-\mu|>\epsilon}\le\frac{\mathrm{Var}(\mb{\bar X})}
{\epsilon^2}=\frac{\sigma^2}{n\epsilon^2}.\]
Der obige Ausdruck geht f\"ur beliebige $\epsilon>0$ gegen Null, wenn
nur $n$ gro{\ss} genug ist.

%
% Allgemeine Theorie von Sch\"atzwerten, Maximum Likelihood Ansatz
%

\subsubsection{Fehlerbalken, Konfidenzintervalle f\"ur den Mittelwert}
\label{mess:w:fehl}

Gleichungen \ref{eq:mean}--\ref{eq:var} zusammen mit dem schwachen
Gesetz der gro{\ss}en Zahlen zeigen, da{\ss} die Verwendung der
zun\"achst empirisch eingef\"uhrten Gr\"o{\ss}en $\bar x $ und $s^2$
zu konsistenten Sch\"atzwerten f\"ur $E(\mb{\bar X})=\mu$ und
$\mathrm{Var}(\mb{\bar X})$ f\"uhrt.  Dennoch wird der empirische
Mittelwert $\bar x$ im allgemeinen nicht exakt mit $\mu$
\"ubereinstimmen.  In vielen Anwendungen ist es aber w\"unschenswert
sagen zu k\"onnen, in welchem Intervall $I:\;\bar x - z \le \bar x
\le \bar x + z $ sich $\mu$ befindet. Man kann $z$ zwar nicht exakt
bestimmen, aber es ist m\"oglich, Werte f\"ur $z$ zu bestimmen,
soda{\ss} $\mu$ mit einer gewissen Wahrscheinlichkeit (typischerweise
95\% oder 99\%) innerhalb des Intervalls $I$ liegt.

\paragraph{``Vor\"ubung'':} Wie schon im letzten Abschnitt \"uber
Parametersch\"atzung beginnen wir mit einem vereinfachten Beispiel,
das einerseits die Verkn\"upfung mit der Wahrscheinlichkeitsrechnung
zeigt, und andererseits an einem verst\"andlichen Beispiel gestattet,
die in dieser Beziehung etwas esoterische Sprache der Statistik
einzuf\"uhren.  Wir betrachten eine Zufallsvariable \rnd, die
$N(\mu,\sigma^2)$-verteilt sei, d.h.\ die Verteilung von \rnd ist
durch Gl.\ \ref{eq:g5} gegeben (die korrespondierende Dichte ist der
Integrand (samt Vorfaktor) in (\ref{eq:g5})).  Wir wissen, da{\ss} die
Dichte bei $\mu$ ein Maximum hat, andererseits wissen wir auch,
da{\ss} wie bei jeder stetigen Verteilung die Wahrscheinlichkeit an
einem Punkt gleich Null ist, d.h., es gilt auch $\pr{\rnd=\mu}=0$. Es
ist daher nur sinnvoll, sich f\"ur die Wahrscheinlichkeit zu
interessieren, da{\ss} \rnd Werte auf einem um $\mu$ zentrierten
Intervall einnimmt.  Die Antwort kennen wir bereits seit Abschnitt
\ref{norm2}, es gilt
\[\pr{\mu-z\le\rnd\le\mu+z}=\pr{|\rnd-\mu|\le z}=\frac{1}{\sqrt{2\pi \sigma^2}}\int^{\mu+z}_{\mu-z}du\,e^{-\frac{(u-\mu)^2}{2\sigma^2}}\]
In Abschnitt \ref{norm2} wurde weiters gezeigt, da{\ss} jede
Aufgabenstellung, die eine $N(\mu,\sigma)$ Verteilung involviert,
durch die Substitution $t=(x-\mu)/\sigma$ mit Hilfe der
$N(0,1)$ Standardnormalverteilung ausgedr\"uckt und gel\"ost werden kann.
Es gilt
\[N(\mu,\sigma^2)(x)=\Phi\left(\frac{x-\mu}{\sigma}\right),\]
wobei $\Phi(x)$ durch Gl.\ \ref{eq:g1} gegeben ist, und somit ist
die gesuchte Wahrscheinlichkeit
\[\pr{|\rnd-\mu|\le z}=\Phi(z/\sigma)-\Phi(-z/\sigma)=2\Phi(z/\sigma)-1.\]
(Die letzte Umformung folgt aus Gl.\ \ref{eq:g2}.) Die
Wahrscheinlichkeit h\"angt klarerweise von $z$ ab ($\sigma$ ist ja
vorgegeben).  Man kann die Fragestellung aber auch umdrehen, und 
denjenigen Wert von $z$ suchen, f\"ur den die Wahrscheinlichkeit einen
bestimmten Wert annimmt, d.h.
\begin{equation}
\label{vert:1}
\Phi(z/\sigma)=\frac{1+\pr{|\rnd-\mu|\le z}}{2}.
\end{equation}

{\small\paragraph{$\blacktriangleright$ Beispiel:} Am besten setzen wir jetzt einmal mit konkreten Zahlen ein. F\"ur
den Mittelwert $\mu=10.0$ und $\sigma^2=0.25$ sei der Bereich $\mu\pm z$
zu bestimmen, in dem sich 95\% aller m\"oglichen Werte der
N(10,0.25)-verteilten Zufallsvariable befinden.
Es mu{\ss} gelten
\[\Phi(z/0.5)=\Phi(c)=\frac{1.95}{2}=0.975.\]
Mit einer Tabelle der Standardnormalverteilung findet man $c=1.96$,
oder $z=c\cdot\sigma=1.96\cdot0.5=0.98$. Mit anderen Worten, auf dem
Intervall $9.02\le\rnd\le10.98$ (oder $10\pm0.98$) befinden sich 95\%
aller Werte, die die Zufallsvariable \rnd einnehmen kann. 
\hfill$\blacktriangleleft$} 

Statistiker bezeichnen Zielwahrscheinlichkeiten der Form \pr{|\rnd-\mu|\le z}
als {\em Konfidenzniveau} $\gamma$, und die Gr\"o{\ss}e $c$ ($=z/\sigma$)
wird auch das $\displaystyle{\frac{1+\gamma}{2}}$-{\em Quantil} der
$N(0,1)$ Standardnormalverteilung genannt.

\paragraph{Konfidenzintervall f\"ur den Erwartungswert $\mu$ einer
normalverteilten Stichprobe bei bekannter Varianz $\sigma_0^2$:} Was
hat das Ganze mit unserer urspr\"unglichen Fragestellung zu tun?  Zur
Beantwortung dieser (berechtigten) Frage betrachten wir jetzt folgende
Situation.  Sie f\"uhren Messungen einer Gr\"o{\ss}e durch, deren
Gesamtheit normalverteilt sei,\footnote{Erinnern Sie sich an den
zentralen Grenzwertsatz. Er garantiert, da{\ss} die Annahme einer
Normalverteilung der stochastisch unabh\"angigen Zufallsvariablen
\mb{X_i} mit Realisierung $x_i$ (=Me{\ss}werte!) in vielen F\"allen
(zumindest in guter N\"aherung) gerechtfertigt ist!}  die Me{\ss}werte
bezeichnen wir wie \"ublich mit $x_1$, $x_2$, \ldots, $x_n$.  Ihr
bester Sch\"atzwert f\"ur den Erwartungswert $\mu$ der Probe ist $\bar
x=1/n\,\sum x_i$. Wir behandeln insofern einen Spezialfall, als die
Varianz der Me{\ss}werte $\mathrm{Var}(\mb{X_i})=\sigma_0^2$ bekannt
sei. Dieser Fall kann in der Praxis auftreten, z.B.\ bei
(gutkalibrierten) Automatpipetten: Sie geben die auszugebende Menge
vor.  Die Varianz der ausgegebenen Menge h\"angt nicht von der
Einstellung ab, sondern ist eine Charakteristik des Produkts, die
Ihnen entweder der Hersteller garantiert, oder die Sie aus Erfahrung
kennen. Die Zufallsvariable \mb{\bar X} ist also normalverteilt,
$E(\mb{\bar X})=\mu$ k\"onnen wir sch\"atzen, und
$\mathrm{Var}(\mb{\bar X}) =\sigma_0^2/n$ ist bekannt. Somit k\"onnen
wir aber den Vertrauensbereich zu einem bestimmten Konfidenzniveau
$\gamma$ v\"ollig analog zur ``Vor\"ubung'' durchf\"uhren. Ganz in
Analogie zu Gl.\ \ref{vert:1} bestimmen wir ein $z$ gem\"a{\ss}
\begin{equation}
\label{vert:2}
\Phi(z\sqrt{n}/\sigma_0)=\Phi(c)=\frac{1+\pr{|\mb{\bar X}-\mu|\le z}}{2}\approx\frac{1+\pr{|
\mb{\bar X}-\bar x|\le z}}{2}.
\end{equation}
{\em Achtung:} Der Faktor $\sqrt{n}$ in $c=z\sqrt{n}/\sigma_0$ kommt
daher, weil die interessierende Zufallsvariable $\mb{\bar X}$
$N(\mu,\sigma_0^2/n)$-verteilt ist! F\"ur ein vorgegebenes
Konfidenzniveau $\gamma=\pr{|\mb{\bar X}-\mu|\le z}=\pr{|\mb{\bar
X}-\mu|\le \sigma_0 c/\sqrt{n}}$ bestimmen Sie wieder
$c=\sqrt{n}z/\sigma_0$ mit Hilfe einer Tabelle der $N(0,1)$ Verteilung
und berechnen sich dann $z$ um das gesuchte Intervall $\bar x-z\le\bar
x\le \bar x+z$ zu bestimmen. Die Zufallsvariable \mb{T}, die der
$N(0,1)$ Verteilung gen\"ugt ist
\begin{equation}\label{vert:3}\mb{T}=\sqrt{n}\frac{\mb{\bar X}-\mu}{\sigma_0},\end{equation}
wobei f\"ur $\mu\approx\bar x$ verwendet wird.

{\small\paragraph{$\blacktriangleright$ Beispiel:} 
Eine Automatpipette wird auf 0.1~ml Ausgabemenge eingestellt.  Die
bekannte (von der eingestellten Menge unabh\"angige) Varianz betrage $\sigma_0^2=0.001$~ml$^2$. Was ist der Vertrauensbereich zum Konfidenzniveau 0.99
f\"ur den Mittelwert von 100 mit dieser Pipette entnommenen Proben?
Es mu{\ss} gelten
\[\Phi(\sqrt{100}z/\sqrt{0.001})=\Phi(c)=\frac{1.99}{2}=0.995.\]
\begin{sloppypar}\noindent Mit einer Tabelle der Standardnormalverteilung findet man $c=2.575$,
oder $z=c\cdot\sigma_0/\sqrt{n}=2.575\cdot\sqrt{0.001}/10=0.008$. Das
empirische Konfidenzintervall f\"ur den Mittelwert der 100 Proben ist
daher [0.092,0.108]~ml.  \hfill$\blacktriangleleft$\end{sloppypar}}

\paragraph{Konfidenzintervall f\"ur den Erwartungswert $\mu$ einer
normalverteilten Stichprobe bei unbekannter Varianz:}
Der in der Praxis viel realistischere Fall ist, da{\ss} man weder
Mittelwert noch Varianz kennt, und nur die
Sch\"atzwerte $\bar x$, $s^2$ zur Verf\"ugung hat. Es bleibt einem
nicht viel anderes \"ubrig, als $\sigma$ durch $s$ zu ersetzen.  Dann
gehorcht aber die Gl.\ \ref{vert:3} analoge Zufallsvariable
\begin{equation}\label{vert:4}\mb{T}=\sqrt{n}\frac{\mb{\bar X}-\mu}{\mb{S}},\end{equation}
nicht mehr  einer $N(0,1)$ Verteilung, sondern der sogenannten
t-Verteilung. (Die t-Verteilung ist eine der Test-Verteilungen, die im
Abschnitt \ref{test} erw\"ahnt wurden.)  Sie ist ebenso wie die $N(0,1)$
Verteilung tabelliert, wir bezeichnen sie im folgenden als $F^m_t(x)$.
Gl.\ \ref{vert:2} ist somit durch 
\begin{equation}
\label{vert:5}
F^m_t(z\sqrt{n}/s)=F^m_t(c)=\frac{1+\pr{|\mb{\bar X}-\mu|\le z}}{2}.
\end{equation}
zu ersetzten. Der prinzipielle Ablauf der Berechnung eines Vertrauensbereichs
bleibt also gleich, nur ist eine Tabelle von $F^m_t(x)$
zu verwenden.  Diese sind meistens anders organisiert als Tabellen der
$N(0,1)$ Verteilung. Erstens h\"angt der Wert von $F^m_t(x)$ von der
{\em Anzahl der Freiheitsgrade} $m$ ab, diese sind durch
\[m=n-1,\]
also Anzahl der Datenpunkte minus 1, gegeben. Zweitens, da die
Hauptaufgabe dieser Tabellen die Berechnung von Quantilen ist, sind
sie nach den g\"angigsten Konfidenzniveaus $\gamma$ einerseits, und
nach Freiheitsgraden andererseits, geordnet (im Gegensatz zu $\Phi(x)$
Tabellen, die einfach nach $x$ geordnet sind. Die t-Verteilung geht
\"ubrigens im Limes $n\rightarrow\infty$ in die
Standardnormalverteilung \"uber (was man wegen des Zusammenhangs zwischen
$\sigma^2$ und $s^2$ auch erwarten w\"urde). Weiters, sind viele
Tabellen nicht nach $\gamma$, sondern nach $\alpha=(1-\gamma)/2$ (oder
$\tilde \alpha=1-\gamma$) geordnet,
$\alpha$ ($\tilde\alpha$) wird manchmal als Irrtumswahrscheinlichkeit bezeichnet.
Um zu illustrieren, was gemeint ist, ein kurzer Ausschnitt aus
einer Tabelle von $F^m_t(x)$

\begin{verbatim}

                    Irrtumswahrscheinlichkeit

  m         0.10    0.05   0.025    0.01   0.005   0.001

  1.       3.078   6.314  12.706  31.821  63.657 318.313
  2.       1.886   2.920   4.303   6.965   9.925  22.327
  3.       1.638   2.353   3.182   4.541   5.841  10.215
  4.       1.533   2.132   2.776   3.747   4.604   7.173
  5.       1.476   2.015   2.571   3.365   4.032   5.893
  6.       1.440   1.943   2.447   3.143   3.707   5.208
  7.       1.415   1.895   2.365   2.998   3.499   4.782
  8.       1.397   1.860   2.306   2.896   3.355   4.499
  9.       1.383   1.833   2.262   2.821   3.250   4.296
 10.       1.372   1.812   2.228   2.764   3.169   4.143
 usw...
\end{verbatim}

{\small\paragraph{$\blacktriangleright$ Beispiel:} 
Betrachten wir ein einfaches Beispiel: Sie haben 6 Messungen durchgef\"uhrt ($n=6$) und daraus $\bar x=0.8405$, $s=0.00394$ berechnet. Was ist der
Vertrauensbereich f\"ur $\bar x$ zum Konfidenzniveau $\gamma=0.95$ und 
$\gamma=0.99$. Die gezeigte Tabelle ist nach Irrtumswahrscheinlichkeiten
$\alpha=(1-\gamma)/2$
geordnent, wir m\"ussen also in den Spalten $(1-0.95)/2=0.025$ und $(1-0.99)/2=0.005$ suchen, $m=n-1=5$.

\noindent Wir finden f\"ur $\gamma=0.95$ $c=2.571$, somit ist $z=c\cdot s/\sqrt{n}=
2.571\cdot 0.00394/\sqrt{6}=0.0041$ und der Vertrauensbereich ist
[0.8364,0.8446].

\noindent F\"ur $\gamma=0.99$ findet man $c=4.032$, somit ist $z=c\cdot s/\sqrt{n}=
4.032\cdot 0.00394/\sqrt{6}=0.0065$ und der Vertrauensbereich ist
[0.8340,0.8470].
\hfill$\blacktriangleleft$}


\subsubsection{Beispiel eines statistischen Tests}
\label{mess:w:test}

Zum Abschlu{\ss} ``kratzen'' wir an der Oberfl\"ache des riesigen
Untergebiets {\em Statistische Tests}.  Das im folgenden besprochene
Beispiel illustriert die Problemstellung und die Denkweise, die
statistischen Tests zugrunde liegt.  Eine allgemeine Einf\"uhrung ist
aus Zeitgr\"unden nicht m\"oglich.  Die heute vermutlich gr\"o{\ss}te
Schwierigkeit bei der Auswahl eines statistischen Tests ist die
Entscheidung, welcher Test auf das aktuelle Problem pa{\ss}t. Das kann
ein nichttriviales Problem sein, das durch die einfache
Verf\"ugbarkeit von (auch kostenloser) statistischer Software oft
\"ubersehen wird.  Meine Empfehlung lautet: Handelt es sich um ein
klar umrissenes Problem, auf da{\ss} gem\"a{\ss} der Literatur Test $abc$
zutrifft, so verwenden Sie ihn.  Weiterf\"uhrende Literatur und ``Kochrezepte''
sind im
Internet ohne Problem zu finden.
Ausgezeichnete Onlinereferenzen sind\\[1ex]
\hspace*{2cm}http://www.statsoftinc.com/textbook/stathome.html sowie\\
\hspace*{2cm}http://www.itl.nist.gov/div898/handbook/index.htm\\[1ex]
Im Zweifelsfall oder wenn die zu beantwortende Frage sich nicht mit
den Ihnen bekannten Standardsituationen deckt, {\em suchen Sie Rat bei
einem Experten}, bevor Sie ein ``Kochrezept'' blind verwenden!!\footnote{F\"ur die beste Statistiksoftware gilt leider
noch immer das Gesetz von ``Garbage in, garbage out''.}

Wir betrachten die folgende Problemstellung: Ein Falschspieler besitzt
zwei \"au{\ss}erlich nicht unterscheidbare W\"urfel.  Einer ist fair,
der andere w\"urfelt Sechsen mit $p=0.3$ (anstatt der fairen $p=1/6$).
Mit einem der W\"urfel wird n-mal gew\"urfelt, sie notieren die
H\"aufigkeit von Sechsen und wollen entscheiden, ob mit dem fairen oder
dem gezinkten W\"urfel gew\"urfelt wurde.

Wir nehmen an, da{\ss} als m\"ogliche Werte der unbekannten Wahrscheinlichkeit
$p=\pr{A}$ nur die beiden (bekannten) Werte $p_0=1/6$ (fairer W\"urfel) 
und $p_1=0.3$ (gezinkter W\"urfel) in Frage kommen (man ordnet die
Wahrscheinlichkeiten immer so, da{\ss} $p_0<p_1$. Man stellt nun
die sogenannte\\[1ex]
\hspace*{2cm}{\em Nullhypothese} $\quad$H$_0$: $p=p_0$\\[1ex]
auf, die richtig oder falsch sein kann. Offensichtlich gibt es auch die\\[1ex]
\hspace*{2cm}{\em Alternativhypothese} $\quad$H$_1$: $p=p_1$.

Der Test l\"auft prinzipiell wie folgt ab: Es wird eine kritische Zahl $c$
bestimmt (Details in K\"urze), die in Kombination mit der aus
einem Bernoulli-Experiment vom Umfang $n$ (= n-mal W\"urfeln)  bestimmten
relativen H\"aufigkeit $h(6)$ f\"ur das Ereignis ``W\"urfeln einer Sechs'',
zur Testentscheidung gem\"a{\ss}\\
\hspace*{2cm}$h(6)>c\quad\Rightarrow\quad$Entscheidung f\"ur H$_1$ und\\
\hspace*{2cm}$h(6)\le c\quad\Rightarrow\quad$Entscheidung f\"ur H$_0$\\
verwendet wird. Dabei k\"onnen zwei Arten von Fehlern passieren: Eine
Entscheidung f\"ur H$_1$, obwohl H$_0$ richtig ist, hei{\ss}t {\em Fehler
1.\ Art}, eine
Entscheidung f\"ur H$_0$, obwohl H$_1$ richtig ist, dagegen {\em Fehler
2.\ Art}. Die Wahrscheinlichkeit, da{\ss} ein Fehler 1.\ Art unterl\"auft,
sei $\alpha$, die eines Fehlers 2.\ Art $\beta$.

Man gibt sich zun\"achst ein $\alpha$ (z.B.\ $\alpha=0.05$) f\"ur die
Fehlerwahrscheinlichkeit 1.\ Art vor, ``danach wird gew\"urfelt'', und
zwar n-mal, d.h., es wird ein Bernoulli-Experiment vom Umfang $n$
durchgef\"uhrt.  Die Zufallsvariable \mb{\bar X} beschreibe die
relative H\"aufigkeit $h(6)$, wobei die Wahrscheinlichkeit des
Ereignis ``W\"urfeln einer Sechs'' entweder $p_0=1/6$ oder $p_1=0.3$
betr\"agt. Die Zufallsvariable n\mb{\bar X} kennzeichnet dann die
absolute H\"aufigkeit, also die Anzahl der Sechsen bei n-mal
W\"urfeln. n\mb{\bar X} ist binomialverteilt, und zwar mit $p=p_0$
falls H$_0$ richtig ist, ansonsten mit $p=p_1$. Klarerweise wird $n$
relativ gro{\ss} sein m\"ussen, und somit n\"ahern wir die
Binomialverteilung durch eine Normalverteilung.  In diesem Fall ist
n\mb{\bar X} n\"aherungsweise $N(np_0,\,np_0(1-p_0))$-verteilt, falls
H$_0$ zutrifft. Somit ist weiters $\mb{\bar X}=\frac{1}{n}n\mb{\bar
X}$ n\"aherungsweise $N(p_0,\,\frac{1}{n}p_0(1-p_0))$-verteilt. In
Analogie zu der im letzten Abschnitt verwendeten Vorgehensweise findet
man nun die kritische Zahl $c$ aus
\[\pr{\mb{\bar X}>c\,|\,p=p_0}=1-\pr{\mb{\bar X}\le c\,|\,p=p_0}\approx 
1-\Phi\left(\frac{(c-p_0)\sqrt{n}}{\sqrt{p_0(1-p_0)}}\right)=\alpha\]
Mit $\displaystyle{\Phi\left(\frac{(c-p_0)\sqrt{n}}{\sqrt{p_0(1-p_0)}}\right)=
1-\alpha}$ findet man mit Hilfe von Tabellen der Standardnormalverteilung
den $(1-\alpha)$-Quantil $z_{1-\alpha}$, und erh\"alt damit f\"ur die
kritische Zahl
\begin{equation}
\label{eq:tes1}
c=p_0+z_{1-\alpha}\sqrt{\frac{p_0(1-p_0)}{n}}\quad\text{mit}\quad\Phi(z_{1-\alpha})=1-\alpha.
\end{equation}

Durch $c$ ist nun aber auch die Wahrscheinlichkeit $\beta$ f\"ur den
Fehler 2.\ Art bestimmt. Falls n\"amlich H$_1$ richtig ist, so ist
\mb{\bar X} n\"aherungsweise $N(p_1,\,\frac{p_1(1-p_1)}{n})$-verteilt.
Daraus folgt
\begin{equation}
\label{eq:tes2}
\beta=\pr{\mb{\bar X}\le c\,|\,p=p_1}\approx
\Phi\left(\frac{(c-p_1)\sqrt{n}}{\sqrt{p_1(1-p_1)}}\right)
\end{equation}

Aus einem Vergleich von Gln.\ \ref{eq:tes1} und \ref{eq:tes2} sieht man,
da{\ss} bei konstantem $n$ eine Verkleinerung von $\alpha$ eine
Vergr\"o{\ss}erung von $c$ und damit eine Vergr\"o{\ss}erung von
$\beta$ bedingt. W\"urde man umgekehrt ein kleineres $\beta$ erzwingen
wollen, w\"urde sich $\alpha$ vergr\"o{\ss}ern.

W\"ahlt man hingegen $n$ hinreichend gro{\ss}, so k\"onnen die
Varianzen $p_0(1-p_0)/n$ und $p_1(1-p_1)/n$ beliebig klein gemacht
werden, somit werden mit wachsendem $n$ beide Fehlerwahrscheinlichkeiten
gleichzeitig kleiner. Bei Alternativtests wie in diesem Beispiel, kann
man daher auch $\alpha$ und $\beta$ vorgeben, und daraus den notwendigen
Stichprobenumfang $n$ und die kritische Zahl $c$ bestimmen. Aus
Gln.\ \ref{eq:tes1} und \ref{eq:tes2} folgt wegen $z_{\beta}=-z_{1-\beta}$
weiters
\begin{eqnarray}
\label{eq:tes3}
c&=&p_0+z_{1-\alpha}\sqrt{\frac{p_0(1-p_0)}{n}}\\
c&=&p_1+z_{1-\beta}\sqrt{\frac{p_1(1-p_1)}{n}}\nonumber
\end{eqnarray}
Aus Gl.\ \ref{eq:tes3} lassen sich einige interessante
Zusammenh\"ange ableiten. Subtraktion der beiden
Gleichungen ergibt
\[p_1-p_0=\frac{1}{\sqrt{n}}\left(z_{1-\alpha}\sqrt{p_0(1-p_0)}+z_{1-\beta}\sqrt{p_1(1-p_1)} \right)\]
oder 
\begin{equation}
\label{eq:tes4}
n=\frac{\left(z_{1-\alpha}\sqrt{p_0(1-p_0)}+z_{1-\beta}\sqrt{p_1(1-p_1)} 
\right)^2}{(p_1-p_0)^2}
\end{equation}
Man sieht, da{\ss} die Stichprobenanzahl $n$ f\"ur gegebenes
$\alpha$, $\beta$ stark von der Differenz $p_1-p_0$
abh\"angt. Aus (\ref{eq:tes3}) und (\ref{eq:tes4}) folgt weiters
\[c=p_0+\frac{z_{1-\alpha}\sqrt{p_0(1-p_0)}(p_1-p_0)}{\left(z_{1-\alpha}\sqrt{p_0(1-p_0)}+z_{1-\beta}\sqrt{p_1(1-p_1)} 
\right)}\]
und hieraus
\begin{equation}\label{eq:tes5}
c=\frac{p_0z_{1-\beta}\sqrt{p_1(1-p_1)}+p_1z_{1-\alpha}\sqrt{p_0(1-p_0)}}
{\left(z_{1-\alpha}\sqrt{p_0(1-p_0)}+z_{1-\beta}\sqrt{p_1(1-p_1)} 
\right)}
\end{equation}

{\small\paragraph{$\blacktriangleright$ Beispiel:} 
Mit einem der beschriebenen W\"urfel ($p_0=1/6$, $p_1=0.3$) werde
$n=300$ Mal gew\"urfelt. Aus (\ref{eq:tes1}) und (\ref{eq:tes2}) folgt
\[c=\frac{1}{6}+z_{1-\alpha}
\sqrt{\frac{1}{6}\cdot\frac{5}{6}\cdot\frac{1}{300}}=\frac{1}{6}+\frac{z_{1-\alpha}}{\sqrt{2160}}\]
und
\[\beta=\Phi\left((c-0.3)\sqrt{\frac{300}{0.3\cdot0.7}}\right)=\Phi(37.796(c-0.3))\]
F\"ur $\alpha=0.01$ erhalten wir $z_{0.99}=2.33$, $c=0.217$ und $\beta=\Phi(-3.1479)=1-\Phi(3.1479)=0.001$.
Das hei{\ss}t, da{\ss} f\"ur $n=300$ die Entscheidung f\"ur $p=0.3$ mit
$\alpha=0.01$ angenommen wird, wenn $h(6)>c=0.217$.

Alternativ geben wir $\alpha=\beta=0.0001$ vor, und erhalten wegen
$z_{1-\alpha}=z_{1-\beta}=3.719$ aus (\ref{eq:tes4}) den minimalen
Stichprobenumfang
\[n\ge\frac{3.719^2(\sqrt{5/36}+\sqrt{0.21})^2}{(0.3-1/6)^2}=537.17,\]
also $n=538$.
\hfill$\blacktriangleleft$}


\newpage

\pagestyle{plain} \setlength{\parskip}{1.5ex}

{\tiny
\noindent{\bfseries \small Verwendete Literatur}

\begin{itemize}
\item AHS Mathematikschulb\"ucher (7.\ und 8.\ Klasse)
\item H.\ G.\ Zachmann ``Mathematik f\"ur Chemiker'', 4.\ Auflage, Verlag Chemie, Weinheim, Deerfield Beach, Basel 1981.
\item W.\ Feller ``An Introduction to Probability Theory and Its
Applications'', 3.\ Auflage, John Wiley \& Sons, New York, 1968.
\item K.\ Bosch ``Elementare Einf\"uhrung in die
Wahrscheinlichkeitsrechnung'', 7.\ Auflage, Vieweg, Braunschweig, Wiesbaden 1999.
\item K.\ Bosch ``Elementare Einf\"uhrung in die
angewandte Statistik'', 6.\ Auflage, Vieweg, Braunschweig, Wiesbaden 1997.
\item R.\ Durbin, S.\ R.\ Eddy, A.\ Krogh, G.\ Mitchinson ``Biological Sequence
Analysis'', Cambridge University Press, Cambridge, New York, 1998.
\end{itemize}


\noindent{\bfseries \small Auflistung von \"Anderungen --- ``revision history''}

\begin{description}
\item[J\"anner 2003] Version 0.9. Erste vollst\"andige Version, sicher noch
mit vielen Fehlern behaftet.
\item[Dezember 2002] Version $\approx 0.6$. Die Kapitel
``Verteilungen, Erwartungswert und Varianz'' sowie ``Die statistische
Behandlung experimenteller Daten'' fehlen noch v\"ollig, auch in den
anderen Teilen sind noch \"Anderungen zu erwarten.
\end{description}

\noindent{\bfseries \small GNU Free Documentation License}

\begin{center}
		GNU Free Documentation License\\
		  Version 1.2, November 2002\\[4ex]


 Copyright (C) 2000,2001,2002  Free Software Foundation, Inc.\\
     59 Temple Place, Suite 330, Boston, MA  02111-1307  USA\\
 Everyone is permitted to copy and distribute verbatim copies\\
 of this license document, but changing it is not allowed.\\
\end{center}

0. PREAMBLE

The purpose of this License is to make a manual, textbook, or other
functional and useful document ``free'' in the sense of freedom: to
assure everyone the effective freedom to copy and redistribute it,
with or without modifying it, either commercially or noncommercially.
Secondarily, this License preserves for the author and publisher a way
to get credit for their work, while not being considered responsible
for modifications made by others.

This License is a kind of ``copyleft'', which means that derivative
works of the document must themselves be free in the same sense.  It
complements the GNU General Public License, which is a copyleft
license designed for free software.

We have designed this License in order to use it for manuals for free
software, because free software needs free documentation: a free
program should come with manuals providing the same freedoms that the
software does.  But this License is not limited to software manuals;
it can be used for any textual work, regardless of subject matter or
whether it is published as a printed book.  We recommend this License
principally for works whose purpose is instruction or reference.


1. APPLICABILITY AND DEFINITIONS

This License applies to any manual or other work, in any medium, that
contains a notice placed by the copyright holder saying it can be
distributed under the terms of this License.  Such a notice grants a
world-wide, royalty-free license, unlimited in duration, to use that
work under the conditions stated herein.  The ``"Document'', below,
refers to any such manual or work.  Any member of the public is a
licensee, and is addressed as ``you''.  You accept the license if you
copy, modify or distribute the work in a way requiring permission
under copyright law.

A ``Modified Version'' of the Document means any work containing the
Document or a portion of it, either copied verbatim, or with
modifications and/or translated into another language.

A ``Secondary Section'' is a named appendix or a front-matter section of
the Document that deals exclusively with the relationship of the
publishers or authors of the Document to the Document's overall subject
(or to related matters) and contains nothing that could fall directly
within that overall subject.  (Thus, if the Document is in part a
textbook of mathematics, a Secondary Section may not explain any
mathematics.)  The relationship could be a matter of historical
connection with the subject or with related matters, or of legal,
commercial, philosophical, ethical or political position regarding
them.

The ``Invariant Sections'' are certain Secondary Sections whose titles
are designated, as being those of Invariant Sections, in the notice
that says that the Document is released under this License.  If a
section does not fit the above definition of Secondary then it is not
allowed to be designated as Invariant.  The Document may contain zero
Invariant Sections.  If the Document does not identify any Invariant
Sections then there are none.

The ``Cover Texts'' are certain short passages of text that are listed,
as Front-Cover Texts or Back-Cover Texts, in the notice that says that
the Document is released under this License.  A Front-Cover Text may
be at most 5 words, and a Back-Cover Text may be at most 25 words.

A ``Transparent'' copy of the Document means a machine-readable copy,
represented in a format whose specification is available to the
general public, that is suitable for revising the document
straightforwardly with generic text editors or (for images composed of
pixels) generic paint programs or (for drawings) some widely available
drawing editor, and that is suitable for input to text formatters or
for automatic translation to a variety of formats suitable for input
to text formatters.  A copy made in an otherwise Transparent file
format whose markup, or absence of markup, has been arranged to thwart
or discourage subsequent modification by readers is not Transparent.
An image format is not Transparent if used for any substantial amount
of text.  A copy that is not ``Transparent'' is called ``Opaque''.

Examples of suitable formats for Transparent copies include plain
ASCII without markup, Texinfo input format, LaTeX input format, SGML
or XML using a publicly available DTD, and standard-conforming simple
HTML, PostScript or PDF designed for human modification.  Examples of
transparent image formats include PNG, XCF and JPG.  Opaque formats
include proprietary formats that can be read and edited only by
proprietary word processors, SGML or XML for which the DTD and/or
processing tools are not generally available, and the
machine-generated HTML, PostScript or PDF produced by some word
processors for output purposes only.

The ``Title Page'' means, for a printed book, the title page itself,
plus such following pages as are needed to hold, legibly, the material
this License requires to appear in the title page.  For works in
formats which do not have any title page as such, ``Title Page'' means
the text near the most prominent appearance of the work's title,
preceding the beginning of the body of the text.

A section ``Entitled XYZ'' means a named subunit of the Document whose
title either is precisely XYZ or contains XYZ in parentheses following
text that translates XYZ in another language.  (Here XYZ stands for a
specific section name mentioned below, such as ``Acknowledgements'',
``Dedications'', ``Endorsements'', or ``History''.)  To ``Preserve the Title''
of such a section when you modify the Document means that it remains a
section ``Entitled XYZ'' according to this definition.

The Document may include Warranty Disclaimers next to the notice which
states that this License applies to the Document.  These Warranty
Disclaimers are considered to be included by reference in this
License, but only as regards disclaiming warranties: any other
implication that these Warranty Disclaimers may have is void and has
no effect on the meaning of this License.


2. VERBATIM COPYING

You may copy and distribute the Document in any medium, either
commercially or noncommercially, provided that this License, the
copyright notices, and the license notice saying this License applies
to the Document are reproduced in all copies, and that you add no other
conditions whatsoever to those of this License.  You may not use
technical measures to obstruct or control the reading or further
copying of the copies you make or distribute.  However, you may accept
compensation in exchange for copies.  If you distribute a large enough
number of copies you must also follow the conditions in section 3.

You may also lend copies, under the same conditions stated above, and
you may publicly display copies.


3. COPYING IN QUANTITY

If you publish printed copies (or copies in media that commonly have
printed covers) of the Document, numbering more than 100, and the
Document's license notice requires Cover Texts, you must enclose the
copies in covers that carry, clearly and legibly, all these Cover
Texts: Front-Cover Texts on the front cover, and Back-Cover Texts on
the back cover.  Both covers must also clearly and legibly identify
you as the publisher of these copies.  The front cover must present
the full title with all words of the title equally prominent and
visible.  You may add other material on the covers in addition.
Copying with changes limited to the covers, as long as they preserve
the title of the Document and satisfy these conditions, can be treated
as verbatim copying in other respects.

If the required texts for either cover are too voluminous to fit
legibly, you should put the first ones listed (as many as fit
reasonably) on the actual cover, and continue the rest onto adjacent
pages.

If you publish or distribute Opaque copies of the Document numbering
more than 100, you must either include a machine-readable Transparent
copy along with each Opaque copy, or state in or with each Opaque copy
a computer-network location from which the general network-using
public has access to download using public-standard network protocols
a complete Transparent copy of the Document, free of added material.
If you use the latter option, you must take reasonably prudent steps,
when you begin distribution of Opaque copies in quantity, to ensure
that this Transparent copy will remain thus accessible at the stated
location until at least one year after the last time you distribute an
Opaque copy (directly or through your agents or retailers) of that
edition to the public.

It is requested, but not required, that you contact the authors of the
Document well before redistributing any large number of copies, to give
them a chance to provide you with an updated version of the Document.


4. MODIFICATIONS

You may copy and distribute a Modified Version of the Document under
the conditions of sections 2 and 3 above, provided that you release
the Modified Version under precisely this License, with the Modified
Version filling the role of the Document, thus licensing distribution
and modification of the Modified Version to whoever possesses a copy
of it.  In addition, you must do these things in the Modified Version:

A. Use in the Title Page (and on the covers, if any) a title distinct
   from that of the Document, and from those of previous versions
   (which should, if there were any, be listed in the History section
   of the Document).  You may use the same title as a previous version
   if the original publisher of that version gives permission.

B. List on the Title Page, as authors, one or more persons or entities
   responsible for authorship of the modifications in the Modified
   Version, together with at least five of the principal authors of the
   Document (all of its principal authors, if it has fewer than five),
   unless they release you from this requirement.

C. State on the Title page the name of the publisher of the
   Modified Version, as the publisher.

D. Preserve all the copyright notices of the Document.

E. Add an appropriate copyright notice for your modifications
   adjacent to the other copyright notices.

F. Include, immediately after the copyright notices, a license notice
   giving the public permission to use the Modified Version under the
   terms of this License, in the form shown in the Addendum below.

G. Preserve in that license notice the full lists of Invariant Sections
   and required Cover Texts given in the Document's license notice.

H. Include an unaltered copy of this License.

I. Preserve the section Entitled ``History'', Preserve its Title, and add
   to it an item stating at least the title, year, new authors, and
   publisher of the Modified Version as given on the Title Page.  If
   there is no section Entitled ``History'' in the Document, create one
   stating the title, year, authors, and publisher of the Document as
   given on its Title Page, then add an item describing the Modified
   Version as stated in the previous sentence.

J. Preserve the network location, if any, given in the Document for
   public access to a Transparent copy of the Document, and likewise
   the network locations given in the Document for previous versions
   it was based on.  These may be placed in the ``History'' section.
   You may omit a network location for a work that was published at
   least four years before the Document itself, or if the original
   publisher of the version it refers to gives permission.

K. For any section Entitled ``Acknowledgements'' or ``Dedications'',
   Preserve the Title of the section, and preserve in the section all
   the substance and tone of each of the contributor acknowledgements
   and/or dedications given therein.

L. Preserve all the Invariant Sections of the Document,
   unaltered in their text and in their titles.  Section numbers
   or the equivalent are not considered part of the section titles.

M. Delete any section Entitled ``Endorsements''.  Such a section
   may not be included in the Modified Version.

N. Do not retitle any existing section to be Entitled ``Endorsements''
   or to conflict in title with any Invariant Section.

O. Preserve any Warranty Disclaimers.

If the Modified Version includes new front-matter sections or
appendices that qualify as Secondary Sections and contain no material
copied from the Document, you may at your option designate some or all
of these sections as invariant.  To do this, add their titles to the
list of Invariant Sections in the Modified Version's license notice.
These titles must be distinct from any other section titles.

You may add a section Entitled ``Endorsements'', provided it contains
nothing but endorsements of your Modified Version by various
parties--for example, statements of peer review or that the text has
been approved by an organization as the authoritative definition of a
standard.

You may add a passage of up to five words as a Front-Cover Text, and a
passage of up to 25 words as a Back-Cover Text, to the end of the list
of Cover Texts in the Modified Version.  Only one passage of
Front-Cover Text and one of Back-Cover Text may be added by (or
through arrangements made by) any one entity.  If the Document already
includes a cover text for the same cover, previously added by you or
by arrangement made by the same entity you are acting on behalf of,
you may not add another; but you may replace the old one, on explicit
permission from the previous publisher that added the old one.

The author(s) and publisher(s) of the Document do not by this License
give permission to use their names for publicity for or to assert or
imply endorsement of any Modified Version.


5. COMBINING DOCUMENTS

You may combine the Document with other documents released under this
License, under the terms defined in section 4 above for modified
versions, provided that you include in the combination all of the
Invariant Sections of all of the original documents, unmodified, and
list them all as Invariant Sections of your combined work in its
license notice, and that you preserve all their Warranty Disclaimers.

The combined work need only contain one copy of this License, and
multiple identical Invariant Sections may be replaced with a single
copy.  If there are multiple Invariant Sections with the same name but
different contents, make the title of each such section unique by
adding at the end of it, in parentheses, the name of the original
author or publisher of that section if known, or else a unique number.
Make the same adjustment to the section titles in the list of
Invariant Sections in the license notice of the combined work.

In the combination, you must combine any sections Entitled ``History''
in the various original documents, forming one section Entitled
``History''; likewise combine any sections Entitled ``Acknowledgements'',
and any sections Entitled ``Dedications''.  You must delete all sections
Entitled ``Endorsements''.


6. COLLECTIONS OF DOCUMENTS

You may make a collection consisting of the Document and other documents
released under this License, and replace the individual copies of this
License in the various documents with a single copy that is included in
the collection, provided that you follow the rules of this License for
verbatim copying of each of the documents in all other respects.

You may extract a single document from such a collection, and distribute
it individually under this License, provided you insert a copy of this
License into the extracted document, and follow this License in all
other respects regarding verbatim copying of that document.


7. AGGREGATION WITH INDEPENDENT WORKS

A compilation of the Document or its derivatives with other separate
and independent documents or works, in or on a volume of a storage or
distribution medium, is called an ``aggregate'' if the copyright
resulting from the compilation is not used to limit the legal rights
of the compilation's users beyond what the individual works permit.
When the Document is included an aggregate, this License does not
apply to the other works in the aggregate which are not themselves
derivative works of the Document.

If the Cover Text requirement of section 3 is applicable to these
copies of the Document, then if the Document is less than one half of
the entire aggregate, the Document's Cover Texts may be placed on
covers that bracket the Document within the aggregate, or the
electronic equivalent of covers if the Document is in electronic form.
Otherwise they must appear on printed covers that bracket the whole
aggregate.


8. TRANSLATION

Translation is considered a kind of modification, so you may
distribute translations of the Document under the terms of section 4.
Replacing Invariant Sections with translations requires special
permission from their copyright holders, but you may include
translations of some or all Invariant Sections in addition to the
original versions of these Invariant Sections.  You may include a
translation of this License, and all the license notices in the
Document, and any Warrany Disclaimers, provided that you also include
the original English version of this License and the original versions
of those notices and disclaimers.  In case of a disagreement between
the translation and the original version of this License or a notice
or disclaimer, the original version will prevail.

If a section in the Document is Entitled ``Acknowledgements'',
``Dedications'', or ``History'', the requirement (section 4) to Preserve
its Title (section 1) will typically require changing the actual
title.


9. TERMINATION

You may not copy, modify, sublicense, or distribute the Document except
as expressly provided for under this License.  Any other attempt to
copy, modify, sublicense or distribute the Document is void, and will
automatically terminate your rights under this License.  However,
parties who have received copies, or rights, from you under this
License will not have their licenses terminated so long as such
parties remain in full compliance.


10. FUTURE REVISIONS OF THIS LICENSE

The Free Software Foundation may publish new, revised versions
of the GNU Free Documentation License from time to time.  Such new
versions will be similar in spirit to the present version, but may
differ in detail to address new problems or concerns.  See
http://www.gnu.org/copyleft/.

Each version of the License is given a distinguishing version number.
If the Document specifies that a particular numbered version of this
License ``or any later version'' applies to it, you have the option of
following the terms and conditions either of that specified version or
of any later version that has been published (not as a draft) by the
Free Software Foundation.  If the Document does not specify a version
number of this License, you may choose any version ever published (not
as a draft) by the Free Software Foundation.


ADDENDUM: How to use this License for your documents

To use this License in a document you have written, include a copy of
the License in the document and put the following copyright and
license notices just after the title page:

{\em    Copyright (c)  YEAR  YOUR NAME.
    Permission is granted to copy, distribute and/or modify this document
    under the terms of the GNU Free Documentation License, Version 1.2
    or any later version published by the Free Software Foundation;
    with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
    A copy of the license is included in the section entitled ``GNU
    Free Documentation License''.}

If you have Invariant Sections, Front-Cover Texts and Back-Cover Texts,
replace the ``with...Texts.'' line with this:

{\em    with the Invariant Sections being LIST THEIR TITLES, with the
    Front-Cover Texts being LIST, and with the Back-Cover Texts being LIST.}

If you have Invariant Sections without Cover Texts, or some other
combination of the three, merge those two alternatives to suit the
situation.

If your document contains nontrivial examples of program code, we
recommend releasing these examples in parallel under your choice of
free software license, such as the GNU General Public License,
to permit their use in free software.

}

\end{document}
