探索**似然估計(jì)示例

假設(shè)我們有一個(gè)來自感興趣人群的隨機(jī)樣本。我們可能有一個(gè)關(guān)于人口分布方式的理論模型。但是，可能有幾個(gè)人口參數(shù)，我們不知道這些參數(shù)。**似然估計(jì)是一種確定這些未知參數(shù)的方法。

**似然估計(jì)背后的基本思想是我們確定這些未知參數(shù)的值。我們這樣做是為了**化相關(guān)的聯(lián)合概率密度函數(shù)或概率質(zhì)量函數(shù)。我們將在下面更詳細(xì)地看到這一點(diǎn)。然后我們將計(jì)算一些**似然的例子估計(jì)。

**似然估計(jì)步驟

上述討論可以通過以下步驟進(jìn)行總結(jié)：

1. 從獨(dú)立隨機(jī)變量X，X，…的樣本開始。X來自一個(gè)公共分布，每個(gè)分布具有概率密度函數(shù)f（X;θ。θ） θ是未知參數(shù)。
2. 由于我們的樣本是獨(dú)立的，因此通過將我們的概率相乘來找到獲得我們觀察到的特定樣本的概率，這給了我們一個(gè)似然函數(shù)L（θ。θ） =f（x;θ。θ） f（x;θ。θ) . . .f（x;θ。θ） ＝∏f（x;θ，…）。θ） 。
3. 接下來，我們使用微積分來找到**化似然函數(shù)L的theta值。
4. 更具體地說，如果存在單個(gè)參數(shù)，我們將似然函數(shù)L相對(duì)于θ進(jìn)行區(qū)分;如果存在多個(gè)參數(shù)，我們將針對(duì)每個(gè)θ參數(shù)計(jì)算L的偏導(dǎo)數(shù)。
5. 為了繼續(xù)**化過程，設(shè)置L（或偏導(dǎo)數(shù)）的導(dǎo)數(shù)等于零并求解θ。
6. 然后，我們可以使用其他技術(shù)（例如二階導(dǎo)數(shù)檢驗(yàn)）來驗(yàn)證我們已經(jīng)找到了似然函數(shù)的**值。

示例科普達(dá)

假設(shè)我們有一包種子，每個(gè)種子的發(fā)芽成功概率p。我們種植n并計(jì)算發(fā)芽的種子數(shù)量。假設(shè)每個(gè)種子發(fā)芽獨(dú)立于其他種子。我們?nèi)绾未_定參數(shù)p的**似然估計(jì)？

我們首先注意到每個(gè)種子都是用伯努利分布建模的，***為50 p。我們讓52 X 53為0或1，單個(gè)種子的概率質(zhì)量函數(shù)為54 f 55（X;56 p 57）58 p 59 X 60 61（1-62 p 63）64 1-X 65。

我們的樣本由n不同的X組成，每個(gè)都具有伯努利分布。發(fā)芽的種子具有X=1，未發(fā)芽的種子具有X=0。

似然函數(shù)由下式給出：

L（p）=∏p^x（1-p）^1-x

我們看到可以用指數(shù)定律重寫似然函數(shù)。

L（p）=p^∑x（1-p）^n-∑x

接下來我們將這個(gè)函數(shù)與p區(qū)分開來。我們假設(shè)所有X的值都是已知的，因此是常數(shù)。為了區(qū)分似然函數(shù)，我們需要使用產(chǎn)品規(guī)則和權(quán)力規(guī)則：

（136 p p 137>）=x x 138 p 139 p 139 140-140-1+x x 141>（1-142 p 143143）144 n 146-147 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x

我們重寫了一些負(fù)指數(shù)，并有：

（p）=（1/p）∑xp^∑x（1-p）^n-∑x-1/（1-p ）（n-∑x）p^∑x（1-p）^n-∑x

=[（1/p）∑x-1/（1-p）（n-∑x）]p^∑x（1-p）^n-∑x

現(xiàn)在，為了繼續(xù)**化過程，我們將這個(gè)導(dǎo)數(shù)設(shè)置為零，并求解238 p:239

0=[（1/p）∑x-1/（1-p）（n-∑x）]p^∑x（1-p）^n-∑x

由于p和（1-p）是非零的，我們有

0=（1/p）∑x-1/（1-p）（n-∑x）。

將等式的兩邊乘以p（1-p）給出我們：

0=（1-p）∑x-p（n-∑x）。

我們擴(kuò)展右側(cè)，看到：

因此∑x=pn和（1/n）∑x=p。這意味著p的**似然估計(jì)是樣本均值。更具體地說，這是發(fā)芽種子的樣本比例。這完全符合直覺會(huì)告訴我們的。為了確定發(fā)芽種子的比例，首先考慮來自感興趣人群的樣本。

修改步驟

對(duì)上述步驟列表進(jìn)行了一些修改。例如，如上所述，通常值得花一些時(shí)間使用一些代數(shù)來簡(jiǎn)化似然函數(shù)的表達(dá)。其原因是為了使區(qū)分更容易進(jìn)行。

th的另一個(gè)變化上面的步驟列表是考慮自然對(duì)數(shù)。函數(shù)L的**值將出現(xiàn)在與L的自然對(duì)數(shù)相同的點(diǎn)上。因此**化ln L等于**化函數(shù)L。

很多時(shí)候，由于L中存在指數(shù)函數(shù)，取L的自然對(duì)數(shù)將**簡(jiǎn)化我們的一些工作。

示例

我們從上面重新審視示例，看看如何使用自然對(duì)數(shù)。我們從似然函數(shù)開始：

L（p）=p^∑x（1-p）^n-∑x。

然后我們使用對(duì)數(shù)定律看到：

R（p）=L n L（p）=∑xlnp+（n-∑x）ln（1-p）。

我們已經(jīng)看到導(dǎo)數(shù)更容易計(jì)算：

（p）=（1/p）∑x-1/（1-p）（n-∑x）。

現(xiàn)在，和以前一樣，我們將此導(dǎo)數(shù)設(shè)置為零，并將兩側(cè)乘以p（1-p）：

0=（1-p）∑x-p（n-∑x）。

我們求解p并找到與以前相同的結(jié)果。

L（p）的自然對(duì)數(shù)的使用有助于另一種方式。計(jì)算R（p）的二階導(dǎo)數(shù)更容易驗(yàn)證我們確實(shí)在點(diǎn)（1/n）∑x=p處有**值。

示例

另一個(gè)例子，假設(shè)我們有一個(gè)隨機(jī)樣本X，X。一個(gè)隨機(jī)變量的概率密度函數(shù)的形式為456 f 457（458 X 459）460-462 1 463 e 465 466-X 468/469>

似然函數(shù)由聯(lián)合概率密度函數(shù)給出。這是這些密度函數(shù)中的幾個(gè)函數(shù)的產(chǎn)物：

L（θ）=∏θ^-1e^-x/θ=θ^-ne^-∑x/θ

再次考慮似然函數(shù)的自然對(duì)數(shù)是有幫助的。區(qū)分這將需要比區(qū)分似然函數(shù)更少的工作：

R（θ）=L n L（θ）=ln[θ^-ne^-∑x/θ]

我們使用對(duì)數(shù)定律并獲得：

R（θ）=L n L（θ）=-nlnθ+-∑x/θ

我們相對(duì)于θ進(jìn)行區(qū)分，并且具有：

R'（θ）=-n/θ+∑x/θ²

將這個(gè)導(dǎo)數(shù)設(shè)置為零，我們看到：

0=-n/θ+∑x/θ²。

將兩側(cè)乘以θ²，結(jié)果為：

0=-nθ+∑x。

現(xiàn)在用代數(shù)來求解θ：

θ=（1/n）∑x。

從中我們可以看出，樣本均值是使似然函數(shù)**化的值。擬合我們模型的參數(shù)θ應(yīng)該只是我們所有觀測(cè)值的均值。

連接

還有其他類型的估計(jì)量。另一種估計(jì)類型稱為無偏估計(jì)量。對(duì)于這種類型，我們必須計(jì)算統(tǒng)計(jì)量的期望值并確定它是否與相應(yīng)的參數(shù)匹配。