Statistische Inferenz

Statistische Inferenz ist ein allgemeiner Begriff, der den Prozess des Schließens oder Folgerns über eine Population basierend auf Daten beschreibt, die aus einer Stichprobe dieser Population gezogen wurden. Dabei werden statistische Methoden und statistische Modelle verwendet, um Aussagen über die gesamte Population zu treffen, basierend auf den beobachteten Daten.

Die Ausdrücke Statistische Inferenz und Inferenzstatistik werden oft synonym verwendet, jedoch ist die Inferenzstatistik ein Sammelbegriff für die konkreten Methoden, die benutzt werden, um statistische Inferenz durchzuführen.

Statistische Inferenz befasst sich insbesondere mit:

• Parameterschätzung
• Hypothesentest

Statistische Modelle spielen eine wichtige Rolle bei der statistischen Inferenz.

Moderne Inferenzkonzepte

Klassische oder Frequentistische Inferenz

Die frequentistische Inferenz basiert auf der Interpretation von Wahrscheinlichkeiten als Häufigkeiten oder relative Frequenzen von Ereignissen. Bei diesem Ansatz wird angenommen, dass die Parameter der Population fest, aber unbekannt sind. Die Schätzungen und Hypothesentests erfolgen auf der Grundlage wiederholter Stichproben und der Analyse ihrer Wahrscheinlichkeitsverteilungen.

Bayesianische Inferenz

Bei der bayesianischen Inferenz werden Wahrscheinlichkeitsverteilungen verwendet, um Unsicherheiten über die Parameter der Population auszudrücken. Diese Unsicherheiten werden anhand von prior-Wahrscheinlichkeitsverteilungen beschrieben, die aktualisiert werden, um sogenannte Posterior-Wahrscheinlichkeitsverteilungen zu erhalten, die die Wahrscheinlichkeiten der Parameterwerte nach Berücksichtigung der Stichprobeninformationen darstellen.

Statistische Entscheidungstheorie oder entscheidungstheoretische Inferenz

Die statistische Entscheidungstheorie kombiniert statistische Inferenz mit Entscheidungstheorie, um fundierte Entscheidungen auf der Grundlage von Stichprobendaten zu treffen. Sie berücksichtigt die Kosten oder Nutzen verschiedener Handlungsoptionen sowie die Unsicherheit in den Schätzungen, um optimale Entscheidungsregeln zu entwickeln.

Beispiel

Ein Beispiel, das die unterschiedlichen Inferenzkonzepte verdeutlicht, ist die Bewertung der Wirksamkeit eines neuen Medikaments:

1. Klassische Inferenz: Ein klassischer Ansatz würde sich auf die Durchführung eines Hypothesentests konzentrieren, um zu prüfen, ob die Wirkung des Medikaments signifikant von einem Placebo abweicht. Die Schlussfolgerung wäre darauf ausgerichtet, statistische Signifikanz zu erreichen und eine allgemeine Aussage über die Wirksamkeit des Medikaments aufgrund der vorliegenden Stichprobendaten zu machen.
2. Bayesianische Inferenz: Bei einem bayesianischen Ansatz würde man a priori Wissen über das Medikament berücksichtigen, zum Beispiel Informationen aus früheren Studien oder Expertenmeinungen. Diese Informationen würden mit den aktuellen Beobachtungen kombiniert, um eine Wahrscheinlichkeitsverteilung für die Wirksamkeit des Medikaments zu erstellen. Die Schlussfolgerung würde auf der gesamten Wahrscheinlichkeitsverteilung basieren und nicht nur auf statistischer Signifikanz.
3. Entscheidungstheoretische Inferenz: In einem entscheidungstheoretischen Ansatz würde man nicht nur die Wirksamkeit des Medikaments bewerten, sondern auch die potenziellen Kosten und Nutzen verschiedener Handlungsoptionen berücksichtigen. Die Schlussfolgerung würde darauf abzielen, die beste Handlungsweise basierend auf einer umfassenden Bewertung der Kosten, Nutzen und Unsicherheiten zu empfehlen.

Durch dieses Beispiel wird deutlich, wie verschiedene Inferenzkonzepte unterschiedliche Schwerpunkte setzen und zu verschiedenen Schlussfolgerungen führen können, je nachdem, welche Annahmen und Bewertungskriterien verwendet werden.

Weitere Inferenzkonzepte

Strukturinferenz

Strukturinferenz in der Statistik bezieht sich normalerweise auf den Prozess des Schließens auf die zugrunde liegende Struktur eines statistischen Modells oder Systems basierend auf beobachteten Daten. Im Gegensatz zur klassischen Inferenz, die sich auf Hypothesentests und Konfidenzintervalle konzentriert, und der bayesianischen Inferenz, die Bayes' Theorem verwendet, um Wahrscheinlichkeiten für Hypothesen zu berechnen, konzentriert sich Strukturinferenz darauf, Muster oder Strukturen in den Daten zu entdecken. Dies kann beispielsweise die Schätzung von Beziehungen zwischen Variablen in einem Netzwerkmodell, die Identifizierung von Faktoren in einer Faktorenanalyse oder die Erkennung von Mustern in Daten umfassen.

Strukturinferenzmethoden können sowohl in klassischen als auch in bayesianischen Rahmenwerken verwendet werden, abhängig von der spezifischen Fragestellung und den verfügbaren Daten.

Pivotalinferenz

Die Pivotalinferenz ist ein Begriff, der in der Statistik verwendet wird und sich auf den Einsatz von Pivotgrößen oder Pivotalstatistiken bezieht, um Konfidenzintervalle oder Hypothesentests zu konstruieren. Eine Pivotgröße ist eine Funktion von Schätzern und/oder Daten, deren Verteilung unabhängig von den unbekannten Parametern des Modells ist, das untersucht wird. Pivotalstatistiken ermöglichen es, Konfidenzintervalle oder kritische Werte für Hypothesentests zu berechnen, ohne die Verteilung der Schätzungen oder Daten zu kennen. Dieser Ansatz ist in der frequentistischen Inferenz weit verbreitet.

Ein klassisches Beispiel für die Pivotalinferenz ist die Konstruktion von Konfidenzintervallen für den Mittelwert einer normalverteilten Population, wenn die Standardabweichung der Population bekannt ist.

Angenommen, wir haben eine Stichprobe mit $n$ Beobachtungswerten und dazugehörigen Stichprobenvariablen $X_{1},X_{2},\ldots ,X_{n}$ von einer normalverteilten Population mit dem Mittelwert $\mu$ und der bekannten Standardabweichung $\sigma$. Der Stichprobenmittelwert ${\bar {X}}$ folgt einer Normalverteilung mit dem Mittelwert $\mu$ und der Standardabweichung $\sigma /{\sqrt {n}}$.

Die Pivotgröße in diesem Fall ist

$Z={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}$,

da $Z$ eine standardnormalverteilte Zufallsvariable ist, unabhängig von $\mu$. Gilt der zentrale Grenzwertsatz ist $Z$ sogar unabhängig von der Verteilung der Stichprobenvariablen $X_{i}$.

Daraus können wir ein Konfidenzintervall für $\mu$ konstruieren, indem wir die Standardnormalverteilung umkehren und kritische Werte finden, die den gewünschten Konfidenzniveau entsprechen. Zum Beispiel, für ein 95%-Konfidenzintervall wählen wir die kritischen Werte $z_{0{,}025}=-1{,}96$ und $z_{0{,}975}=+1{,}96$.

Das Konfidenzintervall für $\mu$ lautet dann:

$\left[{\bar {X}}-1{,}96\cdot {\frac {\sigma }{\sqrt {n}}};{\bar {X}}+1{,}96\cdot {\frac {\sigma }{\sqrt {n}}}\right]$.

Dieses Intervall ist ein Beispiel für ein Konfidenzintervall, das durch die Verwendung einer Pivotgröße konstruiert wird. Die Pivotgröße ${\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}$ spielt dabei eine zentrale Rolle, da sie es ermöglicht, das Vertrauensintervall ohne Kenntnis der tatsächlichen Verteilung der Stichprobenmittelwerte zu konstruieren.

Maximum-Likelihood-Inferenz

Die Maximum-Likelihood-Inferenz oder Likelihood-Inferenz beruht auf der Maximierung der Likelihood-Funktion, die die Wahrscheinlichkeit der beobachteten Daten in Abhängigkeit von den Parametern des Modells beschreibt. Die Schätzer, die durch die Maximum-Likelihood-Methode erhalten werden, sind konsistent, effizient und asymptotisch normalverteilt. Sie erreichen asymptotisch die Cramér-Rao-Schranke, was bedeutet, dass sie die besten Schätzer für große Stichprobenumfänge sind.

In ziemlich großer Allgemeinheit können die folgenden Konvergenzergebnisse für Maximum-Likelihoodschätzer abgeleitet werden:

${\begin{aligned}l'(\theta )I^{-1}({\hat {\theta }})l'(\theta )^{T}&\;{\stackrel {\mathcal {L}}{\longrightarrow }}\;\chi _{d}^{2}\\(\theta -{\hat {\theta }})^{T}I({\hat {\theta }})(\theta -{\hat {\theta }})&\;{\stackrel {\mathcal {L}}{\longrightarrow }}\;\chi _{d}^{2}\\2(l(\theta )-l({\hat {\theta }}))&\;{\stackrel {\mathcal {L}}{\longrightarrow }}\;\chi _{d}^{2}\end{aligned}}$

In diesem Kontext bezeichnet $\theta$ den unbekannten Parameter und ${\hat {\theta }}$ seinen Schätzwert. $l(\bullet )$ steht für die Log-Likelihood-Funktion, $l'(\bullet )$ für ihre erste Ableitung und $I(\bullet )$ die negative zweite Ableitung (oder Fisher-Information). $M^{T}$ steht die transponierte Matrix, während ${\mathcal {L}}$ die Konvergenz in Verteilung darstellz. Damit lassen sich in der frequentistischen Inferenz Hypothesentests und Konfidenzintervalle ableiten.

Bayesianische Inferenz basierend auf der Likelihood-Funktion ist im Prinzip recht einfach: Eine a priori Wahrscheinlichkeitsverteilung für $\theta$, wird mit der Likelihood-Funktion unter Verwendung der Regeln der bedingten Wahrscheinlichkeit kombiniert, um die a posteriori Dichte für $\theta$ zu erhalten.

Fiducial-Inferenz

Sie ist ein statistisches Konzept, das von R. A. Fisher in den 1930er Jahren eingeführt wurde. Es handelt sich um einen alternativen Ansatz zur statistischen Inferenz, der versucht, Konfidenzintervalle und Hypothesentests ohne Verwendung von Wahrscheinlichkeitsverteilungen zu konstruieren. Relativ vollständige Darstellungen der Fiducial-Inferenz finden sich bei Quenouille (1958) und Kendall & Stuart (1973).

Im Gegensatz zur bayesianischen Inferenz, bei der Wahrscheinlichkeitsverteilungen verwendet werden, um Unsicherheiten zu modellieren, und zur frequentistischen Inferenz, bei der Wahrscheinlichkeiten als Häufigkeiten interpretiert werden, beruht die Fiducial-Inferenz auf der Idee der fiduzialen Verteilung.

Die fiduziale Verteilung ist eine hypothetische Verteilung, die auf der Grundlage der beobachteten Daten konstruiert wird und so gewählt ist, dass sie einen Konfidenzgürtel um den wahren Wert des Parameters enthält. Dieser Konfidenzgürtel ist ähnlich einem Konfidenzintervall in der frequentistischen Inferenz, aber er wird ohne Verwendung von Wahrscheinlichkeitsverteilungen konstruiert.

Das Hauptproblem mit der Fiducial-Inferenz ist, dass die fiduziale Verteilung nicht eindeutig bestimmt ist und in vielen Fällen nicht existiert. Fisher verlangte z. B. das Vorhandensein einer suffizienten Statistik für die Anwendung der Fiducial-Inferenz. Dies führte zu Kritik an der Methode, und sie ist in der modernen Statistik weitgehend obsolet geworden. Stattdessen werden bayesianische und frequentistische Methoden weit häufiger verwendet, um Inferenzschlüsse zu ziehen, da sie solide theoretische Grundlagen haben und in der Praxis gut funktionieren.

Charakterisierung von Inferenzkonzepten

Inferenzkonzepte können charakterisiert werden durch den Zweck der Schlussfolgerung, die Elemente des verwendeten Modells und die Gütebeurteilung des Schlusses.

• In einem kognitivistischen Inferenzkonzept ist der Zweck des Schlusses die Gewinnung von Erkenntnissen (klassische Inferenz, Likelihoodinferenz, Bayes-Inferenz), während die Schlussfolgerung in einem dezisionistischen Inferenzkonzept dem Treffen von Entscheidungen dient (entscheidungstheoretische Inferenz).
• Wenn Schlüsse aus Beobachtungen auf einem Modell beruhen, das nur objektive Elemente enthält, spricht man von einem objektivistischen Inferenzkonzept (klassische Inferenz, Likelihoodinferenz). Im Gegensatz dazu dürfen in ein subjektivistisches Inferenzkonzept auch subjektive Prämissen eingehen, z. B. das so genannte a priori Wissen (Bayes-Inferenz, entscheidungstheoretische Inferenz).
• Erfolgt die Gütebeurteilung eines Schlusses danach, wie oft er im Mittel zu einer richtigen Aussage führt, wenn er auf viele verschiedene Beobachtungen angewandt wird, handelt es sich um ein frequentistisches Inferenzkonzept (klassische Inferenz). In einem nichtfrequentistischen Inferenzkonzept wird ein Schluss hingegen danach beurteilt, wie plausibel er im Hinblick auf eine vorliegende Beobachtung ist (Likelihoodinferenz, Bayes-Inferenz, entscheidungstheoretische Inferenz).

Beispiel

Empirische Risikominimierung wird häufig beim maschinellen Lernen verwendet, um in parametrischen Modellen die Parameter festzulegen.