探索**似然估計示例

假設(shè)我們有一個來自感興趣人群的隨機(jī)樣本。我們可能有一個關(guān)于人口分布方式的理論模型。但是，可能有幾個人口參數(shù)，我們不知道這些參數(shù)。**似然估計是一種確定這些未知參數(shù)的方法。

**似然估計背后的基本思想是我們確定這些未知參數(shù)的值。我們這樣做是為了**化相關(guān)的聯(lián)合概率密度函數(shù)或概率質(zhì)量函數(shù)。我們將在下面更詳細(xì)地看到這一點(diǎn)。然后我們將計算一些**似然的例子估計。

**似然估計步驟

上述討論可以通過以下步驟進(jìn)行總結(jié)：

1. 從獨(dú)立隨機(jī)變量X，X，…的樣本開始。X來自一個公共分布，每個分布具有概率密度函數(shù)f（X;θ。θ） θ是未知參數(shù)。
2. 由于我們的樣本是獨(dú)立的，因此通過將我們的概率相乘來找到獲得我們觀察到的特定樣本的概率，這給了我們一個似然函數(shù)L（θ。θ） =f（x;θ。θ） f（x;θ。θ) . . .f（x;θ。θ） ＝∏f（x;θ，…）。θ） 。
3. 接下來，我們使用微積分來找到**化似然函數(shù)L的theta值。
4. 更具體地說，如果存在單個參數(shù)，我們將似然函數(shù)L相對于θ進(jìn)行區(qū)分;如果存在多個參數(shù)，我們將針對每個θ參數(shù)計算L的偏導(dǎo)數(shù)。
5. 為了繼續(xù)**化過程，設(shè)置L（或偏導(dǎo)數(shù)）的導(dǎo)數(shù)等于零并求解θ。
6. 然后，我們可以使用其他技術(shù)（例如二階導(dǎo)數(shù)檢驗）來驗證我們已經(jīng)找到了似然函數(shù)的**值。

示例科普達(dá)

假設(shè)我們有一包種子，每個種子的發(fā)芽成功概率p。我們種植n并計算發(fā)芽的種子數(shù)量。假設(shè)每個種子發(fā)芽獨(dú)立于其他種子。我們?nèi)绾未_定參數(shù)p的**似然估計？

我們首先注意到每個種子都是用伯努利分布建模的，***為50 p。我們讓52 X 53為0或1，單個種子的概率質(zhì)量函數(shù)為54 f 55（X;56 p 57）58 p 59 X 60 61（1-62 p 63）64 1-X 65。

我們的樣本由n不同的X組成，每個都具有伯努利分布。發(fā)芽的種子具有X=1，未發(fā)芽的種子具有X=0。

似然函數(shù)由下式給出：

L（p）=∏p^x（1-p）^1-x

我們看到可以用指數(shù)定律重寫似然函數(shù)。

L（p）=p^∑x（1-p）^n-∑x

接下來我們將這個函數(shù)與p區(qū)分開來。我們假設(shè)所有X的值都是已知的，因此是常數(shù)。為了區(qū)分似然函數(shù)，我們需要使用產(chǎn)品規(guī)則和權(quán)力規(guī)則：

（136 p p 137>）=x x 138 p 139 p 139 140-140-1+x x 141>（1-142 p 143143）144 n 146-147 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x

我們重寫了一些負(fù)指數(shù)，并有：

（p）=（1/p）∑xp^∑x（1-p）^n-∑x-1/（1-p ）（n-∑x）p^∑x（1-p）^n-∑x

=[（1/p）∑x-1/（1-p）（n-∑x）]p^∑x（1-p）^n-∑x

現(xiàn)在，為了繼續(xù)**化過程，我們將這個導(dǎo)數(shù)設(shè)置為零，并求解238 p:239

0=[（1/p）∑x-1/（1-p）（n-∑x）]p^∑x（1-p）^n-∑x

由于p和（1-p）是非零的，我們有

0=（1/p）∑x-1/（1-p）（n-∑x）。

將等式的兩邊乘以p（1-p）給出我們：

0=（1-p）∑x-p（n-∑x）。

我們擴(kuò)展右側(cè)，看到：

因此∑x=pn和（1/n）∑x=p。這意味著p的**似然估計是樣本均值。更具體地說，這是發(fā)芽種子的樣本比例。這完全符合直覺會告訴我們的。為了確定發(fā)芽種子的比例，首先考慮來自感興趣人群的樣本。

修改步驟

對上述步驟列表進(jìn)行了一些修改。例如，如上所述，通常值得花一些時間使用一些代數(shù)來簡化似然函數(shù)的表達(dá)。其原因是為了使區(qū)分更容易進(jìn)行。

th的另一個變化上面的步驟列表是考慮自然對數(shù)。函數(shù)L的**值將出現(xiàn)在與L的自然對數(shù)相同的點(diǎn)上。因此**化ln L等于**化函數(shù)L。

很多時候，由于L中存在指數(shù)函數(shù)，取L的自然對數(shù)將**簡化我們的一些工作。

示例

我們從上面重新審視示例，看看如何使用自然對數(shù)。我們從似然函數(shù)開始：

L（p）=p^∑x（1-p）^n-∑x。

然后我們使用對數(shù)定律看到：

R（p）=L n L（p）=∑xlnp+（n-∑x）ln（1-p）。

我們已經(jīng)看到導(dǎo)數(shù)更容易計算：

（p）=（1/p）∑x-1/（1-p）（n-∑x）。

現(xiàn)在，和以前一樣，我們將此導(dǎo)數(shù)設(shè)置為零，并將兩側(cè)乘以p（1-p）：

0=（1-p）∑x-p（n-∑x）。

我們求解p并找到與以前相同的結(jié)果。

L（p）的自然對數(shù)的使用有助于另一種方式。計算R（p）的二階導(dǎo)數(shù)更容易驗證我們確實在點(diǎn)（1/n）∑x=p處有**值。

示例

另一個例子，假設(shè)我們有一個隨機(jī)樣本X，X。一個隨機(jī)變量的概率密度函數(shù)的形式為456 f 457（458 X 459）460-462 1 463 e 465 466-X 468/469>

似然函數(shù)由聯(lián)合概率密度函數(shù)給出。這是這些密度函數(shù)中的幾個函數(shù)的產(chǎn)物：

L（θ）=∏θ^-1e^-x/θ=θ^-ne^-∑x/θ

再次考慮似然函數(shù)的自然對數(shù)是有幫助的。區(qū)分這將需要比區(qū)分似然函數(shù)更少的工作：

R（θ）=L n L（θ）=ln[θ^-ne^-∑x/θ]

我們使用對數(shù)定律并獲得：

R（θ）=L n L（θ）=-nlnθ+-∑x/θ

我們相對于θ進(jìn)行區(qū)分，并且具有：

R'（θ）=-n/θ+∑x/θ²

將這個導(dǎo)數(shù)設(shè)置為零，我們看到：

0=-n/θ+∑x/θ²。

將兩側(cè)乘以θ²，結(jié)果為：

0=-nθ+∑x。

現(xiàn)在用代數(shù)來求解θ：

θ=（1/n）∑x。

從中我們可以看出，樣本均值是使似然函數(shù)**化的值。擬合我們模型的參數(shù)θ應(yīng)該只是我們所有觀測值的均值。

連接

還有其他類型的估計量。另一種估計類型稱為無偏估計量。對于這種類型，我們必須計算統(tǒng)計量的期望值并確定它是否與相應(yīng)的參數(shù)匹配。