Kirish 3 Klassik modelda noma’lum parametrlarni baholash

Gamma taqsimot va uning xossalari. 2.1.-Ta’rif. Agar t.m. zichlik funksiyasi

^{ }  1
x




^{f (x)  }() ^{x e}



^0,

, x  0,

x  0,

(1.2.1)

ko’rinishda bo’lsa, u holda  t.m. gamma taqsimotiga ega deyiladi, bu yerda  0 ,

  0 va



()  _ t ^1e^t dt

0
- gamma funksiya:

()  (  1)(  1) ,

^{(n)  (n  1)!},

^{(1/ 2) } .

Gamma taqsimotni_{ ,} orqali belgilaymiz.
 : _{ ,} t.m. xarakteristik funksiyasini hisoblaymiz:

_ it

^ 



itx
 1
x

_ ^


 1
( it ) x

_ (t)  M _e

_  _e _() x e dx  _{() } x e dx 

0 0

 _




_{ }((  it)x)^1e^{(it)x}d (  it)x 

^  ^1 



_{it }

_ .

()(  it)

1⁰ 4 4 4 4 4 2 4 4 4 4 4 3



( )

(  it)

 ^ 


Demak,

^ ^t  ^{ Me}it

 _1 

_{it }

_ 
. Xarakteristik funksiya yordamida gamma


 

^{taqsimot momentlarini oson hisoblash mumkin:} M  ^{ ,} D  ^{ .}

Xossalari:

  ²

1. 
   Agar
   

 ,..., bog’liqsiz t.m.lar bo’lib,  : 

, i  1,..., n

bo’lsa, u

1 n i

 ,_j

holda


S_n  __j

j 1

ning taqsimoti



1
 ,_ⁿ _j

bo’ladi.

Bu xossani isbotlash uchun xarakteristik funksiyalardan foydalanamiz.

^ ,

_{ it } 

 _
^{taqsimotning xarakteristik funksiyasi} ^t  ^ _^{1 } _

 

ga teng. Bog’liqsiz t.m.lar

yig’indisining xarakteristik funksiyasi xarakteristik funksiyalar ko’paytmasiga teng

ekanligidan foydalansak,


S_n  __j

j 1

t.m. xarakteristik funksiyasi

n
_{n n}  _j __j

^ ^t  ^ _^ ^t  ^ _^{1  it   1  it } j1

S_n  _j

j 1



j 1

_   _ 

   

bo’ladi.

_ it _


1 
 


__j j1

n
xarakteristik funksiya esa
 taqsimotning xarakteristik


n
 , 

 ^ 

₁ ^j

funksiyasidir. ■

2. 
   Agar  standart normal taqsimotga ega bo’lsa, u holda ^{ 2}
   

tasodifiy

^miqdor1/2, 1/2

taqsimotga ega bo’ladi.

Buni ko’rsatish uchun avval

 ² t.m.ning taqsimotini topamiz. Agar

x  0

 
bo’lsa: F<sub> 2

</sub>x_  P_ ²  x_  0 ,

x  0

bo’lsa:


F _{2 } x_  P_ ²  x_  P_   

x _  F _

x _  F _ x _

bo’ladi. Bu yerda

F_{ } x_- standart normal taqsimotning taqsimot funksiyasi. Endi

 ² t.m.ning zichlik funksiyasini topamiz.

x  0

da:

f _{2 } x_  _F _{2 } x_^  F^_

x _ ¹  F^_

x _ ¹ 

 


_ 1 _{ f }
x _ 



f _

2
x _ 



¹  f _

2

_{x  } ¹ _e x/2 _.

x  0

da:

2


^f ₂  ^x ^{ 0 .}

  

Demak,  ² t.m.ning zichlik funksiyasi

  ^{e }
f<sub> 2

x </sub> ¹  x/ 2

2 x

^{1 / 2}12


^^{1 / 2}
_x1/ 21_e x/ 2 _{, x  0 ,}

^1/ 2,1/ 2

taqsimot zichlik funksiyasiga teng ekan. ■

3. 
   _,1 taqsimot  parametrli ko’rsatkichli taqsimotdir.
   

Agar^{ :  ,1} bo’lsa, uning zichlik funksiyasi:

^e^x ,

f_ (x)  <sub>

</sub>0,

x  0,

x  0

 parametrli ko’rsatkichli taqsimot zichlik funksiyasidir.

4. 
   Agar^{1,2 , ,k} bog’liqsiz va standart normal taqsimotga ega t.m.lar
   

1 2
^{bo’lsa, u holda}    ²   ² K

  ² :

^1/2,k /2

bo’ladi.

k
Momentlar usulida noma’lum parametrni baholash, eng sodda va keng qo`llaniladigan usullardan biridir. Gamma taqsimotining momentlar usulidagi bahosini topamiz. Gamma funksiyaning zichlik funksiyasi quyidagicha:

f (x; ;

x^{2 1}  exp x / 


2 1




)  ²

^{1 2} (

)  ^{2 ,}

agar

x  0

bo`lsa.

Birinchi tartibli nazariy moment quyidagiga teng:

^ x^2  exp_x /  _

1 ^{ }

x ^2

_ x

^ x ^

0 0
MX₁  _

² dx 



_ 



e ^1 dx  _

 t _ 

(₂ ) ₁ ²

(₂ )

 ^1  ^1 




^    ^   

 ¹ t ² e

(₂) ₀

^tdt   ¹ t ² de ^t 

(₂) ₀

^{ }   




  

( )

0 2 _ 1 2

= <sup> 

1</sup> _t ² e ^t |

² 

 t

0

₂ 1_e

^tdt _     X




Endi ikkinchi tartibli nazariy momentni hisoblaymiz:

^ x^{2 1}  exp_x /  _


^ x ^

_ 2 ^

  

1
MX ²  _

(

)  ^2

dx  _  t _ 

1

(

t ^{2 1}e

)

^tdt 

0 ^{2 1
} 2 ^    

 1

   ^



 ² (

² 0
 1) ^ _{ }

( )

0 2 _

( ) ^

  ¹

2

_t ^{2 1}e ^t |



(

 1) t ² e

0

^tdt _  ^{1 2}

 ²

t ² e

0

^tdt 

 ² (  1) ^ _{  }




  

( )

0 2 _

1 2 2

_{ } 1 2

2

_t ² e ^t |



 t

0

₂ 1_e

^tdt _   ² ( ²  



)  X ²

Bu tenglamalardan foydalanib ₁ va ₂

larni topamiz.

^µ ^S 2

_µ ( X )²

_{1 X} va ₁

, (1.2.2)

_S 2

baho bo`lar ekan. Bu baholar momentlar usuli bahosi hossasiga ko`ra asosli baho bo`ladi.

Gamma taqsimot haqiqatga maksimal o`xshashlik bahosini topishimiz uchun biz, avvalambor, uning haqiqatga o`xshashlik funksiyasini tuzib olishimiz kerak bo`ladi. Gamma taqsimot haqiqatga o`xshashlik funksiyasi quyidagiga teng:

n
^x n ^xi

¹  1 ^

^{1 n}  1

_

)
L(x, )  _

^2 (

 x ²

)

 e <sup>1

</sup>  ^n2 ⁿ (

^xi 2

_{ e} i 1 ¹ _.

i1

1 2 1 2

i1

Haqiqatga o`xshashlik funksiyasini logarifmlaymiz:

l(x; )  ln L(x; )  n

ln  nln( )  (

1)ln _x  _ ^xi

n

n
2 1 2 2

i

i1

i1 ^₁

(1.2.3)

Yuqoridagi funksiyadan avval ₁

bo`yicha keyin esa ₂

bo`yicha hosila olib

ularni 0 ga tenglab ₁

bahosini olamiz:

va ₂

lar uchun haqiqatga maksimal o`xshashlik usuli

l _{ } n<sub>2 



</sub> x_i  0 .


n

1

1 1 1
Bundan,

   ²

i1

₁₂  X , (1.2.4)
ga teng ekanligi kelib chiqadi. Endi ₂ bo`yicha hosila olamiz:

l '( ) ⁿ

 n ln₁  n ²  _ln x_i  0 ,

₂

(₂ )

i1

^'(₂) _{ ( )}^

deb belgilaymiz.



2



n

^ ( ) ^{2 }
n ln₁  n(₂)  _ln x_i  0

i1

noma’lum parametrlarni bir tomonga qolganlarini esa ikkinchi tomonga o`tkazamiz:

i

n
_{1 }n

ln x

 ln

 ( ) .

Bundan,

1 2

i1

_n 1 _X

i
_ln xⁿ  ln _  (₂ ) ,

i1 ₂


i
_n 1

quyidagicha belgilash kiritamiz

x^% _ xⁿ , natijada tenglama quyidagi ko`rinishga

kelib qoladi.

i1



 
ln ^x%

(₂)  ln₂

, (1.2.5)

x
bu tenglamani yechishda sonli usullardan foydalanish kerak ana shunday usullardan biri Nyuton-Rafson usuli deb ataladi. Bu usul bilan biz keying paragrafda batafsil tanishamiz.

1.3-§. Nyuton-Rafson usuli

Nyuton-Rafson usuli Nyuton usuli nomi bilan ham mashhur bo`lib,

f (x)  0,
(1.3.1)

tenglamaning yechimini topishda umumiy usul hisoblanadi.

Faraz qilaylik,

f (x)

funksiya J intervalda ikki marta uzluksiz hosilaga ega

bo`lib, uning biror  nuqtasida nolga teng bo`lsin:
f ( )  0,   J.

Agar

x₁  J

nuqta  ga yaqin bo`lsa, u holda bu nuqtani dastlab Nyuton

tomonidan taklif etilgan va keyinchalik Rafson tomonidan yaxshilangan usul yordamida aniqlash mumkin. Dastlab shu usulning geometrik ma’nosini ko’rib

o’taylik (1-rasm).

f (x)

funksiya grafigini  nuqta atrofida ifodalaymiz:

1-rasm

_x₁; f (x₁)_

nuqtadagi T urinma tenglamasi

1
T (x) 

f (x₁) _

f '(x ) _. (1.3.2)

x  x₁

T to’g’ri chiziq ^x o’qni

(x₂ ;0)

nuqtada kesib o’tadi, bu yerda

x₂  x₁ 

f (x₁) /

f '(x₁)

nuqtani (1) dan

x  x₂

, T (x₂ )  0

bo`lganida topamiz. Bu

jarayonni davom ettirib,

x₁, x₂ ,...

ketma-ketlikni aniqlaymiz. 1-rasmdan

ko’rinadiki, bu ketma-ketlik  nuqtaga monoton ravishda o’ngdan yaqinlashar

ekan. Demak, bu ketma-ketlik biror

x*_0; x_{1 } nuqtaga yaqinlashadi va

x  x

_{ } f (x_n ) _,


(1.3.3)

n1 n

f '(x_n )

tenglamadan

lim

n
f (x_n ) _{ 0}

f '(x_n )

, ya’ni

f (x*)  0_.

Demak,

x*  0
ekan. Biz masala yechimiga

x₁ ni  dan o’ng tomonda

tanlaganimiz uchun erishdik. Agar 1-rasmda ko’rsatilganidek, jarayonni x '

nuqtadan boshlaganimizda edi, u holda T '

urinma _x'; f (x')_

nuqtadan o’tib x

o’qi bilan kesishish nuqtasi  dan

x ' ga nisbatan uzoqroqda bo’lib qolar edi.

Demak,

f (x)

^{qanday bo’lganida} ^x_n

ketma-ketlik  ga yaqinlashadi

degan savol tabiiydir. Quyidagi shartlar bu masala yechimini ta’minlaydi:

1. 
   x_n1 qiymati
   

x_n va  lar orasida yotadi;

2. 
    va
   

emas;

x₁ lar orasida f ni nolga tenglashtiruvchi boshqa qiymat mavjud

1-rasmda a) shart bajarilishi

x₁ ning  dan o’ngdaligi va f funksiya  va x₁

orasida pastga qavariqligidan kelib chiqadi.

sign{ f (x₁)}  1.

x₁ ni to’g’ri tanlanishidan,

Yuqoridagilarni e’tiborga olgan holda quyidagi teoremani yoza olamiz.

Unda Nyuton-Rafsonning _x_n

yetarli shartlari jamlangandir.

ketma-ketligining  ga monoton yaqinlashishining

Teorema

f (x)

funksiya

J  _; x_{1 }

kesmada differensiallanuvchi bo`lib,

f ( )  0 va

^{x  J \} ^ ^uchun

f (x)  0

bo`lsin. Agar

f (x)

funksiya J intervalda

pastga qavariq va

f (x₁)  0

yoki

f (x)

funksiya J da yuqoriga qavariq va

f (x₁)  0

^{bo’lsa, u holda Nyuton-Rafsonning} ^x_n

ketma-ketligi  ga monoton

yaqinlashadi.

Bu teoremadagi shartlarni biroz qisqartirish natijasida Nyuton-Rafson usuli yaqinlashishining quyidagi Fyure shartlariga ega bo’lamiz.

Natija. Faraz qilaylik,

f (x)

funksiya

J  _a; x_{1 }

kesmada ikki marta

differensiallanuvchi bo’lsin. Barcha x  J

lar uchun

f '(x)  0 va

f ''(x)  0

bo’lib,

f '' hosila J da ishora saqlasin. Agar bundan tashqari,

sign{ f (x₁)}  sign{ f ''(x₁)}  sign{ f (a)} bo’ladi va Rafson ketma-ketligi  ga monoton yaqinlashadi.

^x₁ ^{dan qurilgan} ^x_n

Nyuton-

Ko’p hollarda haqiqatga maksimal o’xshashlik usuli tenglamasi

ln L ( X ⁽ⁿ⁾; )



^{n  0} . (1.3.4)
Noma’lum ^ parametrga nisbatan aniq yechimga ega bo’lmaydi. Bu yerda

L ( X ; )  _ f ( X
n

(n)

n k

k 1

; ) ,

funksiya

X ⁽ⁿ⁾  (X ,..., X )

-statistik tanlanmaga nisbatan haqiqatga o’xshashlik

1 n
funksiyasi. Bunga misol ko’raylik. Kuzatilayotgan  tasodifiy miqdor zichlik

funksiyasi

f (x; )

bo’lgan gamma taqsimoti bo’lsin.Yuqorida ko’rganimizga ko’ra

(1.3.4) tenglama quyidagiga teng:

_n 1 _X

i
_ln xⁿ  ln _

 (₂ ) .

i1 ₂

Ko’rinib turibdiki yuqoridagi tenglama  ga nisbatan aniq yechib bo’lmaydi. Shuning uchun biz Nyuton-Rafson usulidan foydalanamiz. Buning

uchun ^ˆ

orqali (1.3.4) tenglama yechimi, ya’ni haqiqatga maksimal o’xshashlik

bahosini belgilab olib, bu tenglama chap tomonidagi funksiyani ^ˆ qatorga yoyamiz:

nuqta atrofida

0  ^ ln L ( X ⁽ⁿ⁾;^?) 



^ ln L ( X ⁽ⁿ⁾; ) 

 ⁿ

_ n 1

_{ ?} ^2 (n) _?

(1.3.5)

(  ₁) _{ 2} ln L_n ( X ;₁  q(  ₁)),

bu yerda 0  q 1 va ₁ -boshlang’ich yechim. Agar (1.3.5) da

q  0 deb olsak, u

holda ^ˆ

uchun 2-approksimatsiyani olishimiz mumkin:

^ ln L ( X ⁽ⁿ⁾; )

2 1
    ^ n 1 .

_2

(1.3.6)

ln L ( X ⁽ⁿ⁾; )

_ 2 ^{n 1}

Endi ₁

o’rniga ₂

ni qo’yib, (1.3.6) dan ₃

ni aniqlaymiz va hokazo. Bu

jarayonni davom ettirib, boshlang’ich yaqinlashish ₁

ketlikni hosil qilamiz:

^dan ^_k ^{, k  1}

ketma-

^k 1
 _k 

^ ln L ( X ⁽ⁿ⁾; )


n k



,


2

ln L ( X ⁽ⁿ⁾; )

k  1, 2,....

(1.3.7)

_ 2 ^{n k}

Agar (1.3.7) jarayonda boshlang’ich yechim ₁ asosiy yechim ^ˆ ga yaqin

^2 (n)

tanlangan bo’lib, _{ 2} ^{ln L}_n ^{( X ;k )} k  1, 2,... musbat bo’lsa, u holda bu jarayon

tezda yaqinlashadi.

II Bob. Noklassik modelda noma’lum parametrlarni baholash 2.1-§.To`liq bo`lmagan tanlanmalar modellari

Ta’rif: Tanlanma o`ng tomondan

^x(2)

nuqtada 1-tur senzurlangan deyiladi,

agar kuzatilayotgan tegishli bo’lsa.

X₁,..., X_n
tanlanma qiymatlari

M  _; x₍₂₎ ^_
to’plamga

O’ng tomondan senzurlanishda tanlanma zichlik funksiyasi quyidagiga teng:



f (t)  f ^c (t)  S ^(1t) (t) ,

bu yerda:

S(t)  P(T  t) 1 F(t)
, c<sub>i

 </sub>1 ,i  qiymatsenzurlanmagan,


^0 ,i  qiymatsenzurlangan,


ga teng.

O’ng tomondan senzurlangan tanlanma haqiqatga o’xshashlik funksiyasi quyidagicha bo’ladi:


n
L_ _  _ f ^ci _t _S^{1ci } _t _.

 i i

i1

Ta’rif: Tanlanma chap tomondan

^x(1)

nuqtada 1-tur senzurlangan deyiladi,

agar kuzatilayotgan tegishli bo’lsa.

X₁,..., X_n
tanlanma qiymatlari

M  ^_x₍₁₎ ;_
to`plamga

Chap tomondan senzurlanishda tanlanma zichlik funksiyasi quyidagiga teng:



f (t)  f ^c (t)  F ^(1t) (t) .

Chap tomondan senzurlangan tanlanma haqiqatga o’xshashlik funksiyasi quyidagicha bo’ladi:

n
L_ _  _ f ^ci _t _ F ^{1ci } _t _.

 i i

i1

2.2-§.Statistik baholashning EM algoritmi

Bundan keyingi masalalarda endi biz X vektorni to`liq tanlanma, Z vektorni senzurlangan tanlanma deb belgilaymiz.

g_c (x; )

ni X tasodifiy miqdorning zichlik funksiyasi deb belgilaymiz. U

holda X ning(agar u haqiqatdan kuzatilayotgan bo`lsa ) haqiqatga o`xshashlik funksiyasi logarifmi quyidagicha bo`ladi:

ln L_c (x)  ln g_c (x; ).

(2.2.1)

EM algoritmi to`liq bo`lmagan tanlanmalarda haqiqatga o`xshashlik funksiyasi tenglamasini yechishda qo`llaniladi. Tanlanma to`liq bo`lmaganda

ln L( ) _{ 0,}


tenglamani yechimi aniq emas. Agarda X tasodifiy miqdor kuzatilmayotgan bo`lsa,

u holda ln L_c ( )

ham kuzatilmaydi va shuning uchun kuzatilayotgan Y tasodifiy

miqdorning ln L_c ( )

shartli matematik kutilmasidan foydalanamiz. EM

algoritmning iteratsiyalarini qo`llaymiz: