Kirish 3 Klassik modelda noma’lum parametrlarni baholash



Yüklə 201,31 Kb.
səhifə4/4
tarix30.01.2022
ölçüsü201,31 Kb.
#51825
1   2   3   4
statistik baholashning em algoritm2i (1)

E-qadam: Q(; (k ) )

ni hisoblaymiz, bu yerda




Q( ; (k) )  E (ln L ( ) | Y ).

(2.2.2)


( k ) c


M-qadam:

Q(; (k ) )

uchun keyingi  (k 1)

maksimum nuqtani tanlaymiz:




Q( (k 1); (k ) )  Q(; (k ) ).

(2.2.3)





Algoritmning E va M qadamlari

(k )

o`zining statsionar nuqtasiga



erishmaguncha qaytadan amalga oshiriladi. Bu jarayon qachon to`xtatilishini

|| (k1) (k) || ayirma yordamida bilinadi, bu yerda ihtiyoriy   0 son.

Agar

gc (x; )

zichlik funksiya eksponensial oilaga tegishli bo`lsa:





c
g (x; )  b(x)exp(c( )T t(x)) / a( ).

(2.2.4)


EM algoritmining ikkala qadami ham odatda sodda ko`rinishda bo`ladi, bu yerda



t(x)

vektor o`lchami



k 1(k d )

bo`lgan yetarli statistika.



c( )

o`lchami

k 1

vektor funksiya  parametrdan olingan.

a( )

va b(x)

skalyar funksiya. Ko`p

o`lchovli normal,Puasson,multinomial taqsimotlar eksponensial oilaga tegishli.

Eksponensial oilaga tegishli zichlik funksiya uchun algoritmning E-qadami:



Q( ; (k) )  E (ln b( X ) | Y )  c( )T t(k)  ln a( ).

(2.2.5)


( k )



Bu yerda

t(k ) E

(t( X ) | Y )

yetarli statistikaning bahosi. M-qadamda

Q(; (k ) )


( k )
funksiyani maksimallashtirish zarur, lekin
E ( k ) (lnb(X ) | Y )
 ga bog`liq emas

shuning uchun algoritmning iteratsiyasi soddalashadi: E-qadam:

t(k ) E

(t( X ) | Y ),

(2.2.6)

hisoblanadi.

M-qadam:

ni hisoblanadi.



( k )

(k 1)  argmax[c( )T t(k)  ln a( )],



(2.2.7)


X ning Y=y dagi shartli zichlik funksiyasini

k(x | y; )  gc (x; ) / g( y; )

ko`rinishida belgilaymiz. U holda to`liq tanlanmaning haqiqatga o`xshashlik funksiyasi logarifmini quyidagicha bo`ladi:




ln Lc ( )  ln gc (x; )  ln L( )  ln k(x | y; ).

(2.2.8)



E ( k ) ( | Y )
shartli matematik kutilmaning operatorini (2.2.8) tenglamaning

ikkala tomoniga qo`llab
E ( k ) (ln k(X | Y; ) | y),


ni H (; (k ) )

bilan belgilasak, quyidagi ifoda hosil bo`ladi:




Q(; (k ) )  ln L( )  H (; (k ) ).

(2.2.9)


(2.2.9) formuladan quyidagi tenglikni keltirib chiqaramiz:





ln L( (k 1) )  ln L( (k ) )  Q( (k 1); (k ) )  Q( (k ); (k )

H ( (k 1); (k ) H ( (k ); (k ) ).

(2.2.10)


Yensen tengsizligini qo`llab quyidagiga ega bo`lamiz:



H ( (k 1); (k ) ) H ( (k ); (k ) ).



Bizga (2.2.3) dan
Q( (k 1); (k ) )  Q(; (k ) )  0,

ligi ma`lum. Shunday qilib haqiqatga o`xshashlik funksiyasi EM algoritmidan keyin kamaymaydi:




L( (k 1) )  L( (k ) ),

k=0,1,2…. (2.2.11)





2.3-§. I tur senzurlanish modelida Gamma taqsimot nomalum parametrlarni

baholash

(1.2.3) dan ma`lumki gamma taqsimot uchun xi ,ln xi

yetarli


statistika bo’ladi. Biz yetarli statistikadan k va  ning haqiqatga maksimal o`xshashlik bahosini hisoblashda foydalanamiz.

Agar tanlanma senzurlangan bo`lsa, EM algoritmi bizga haqiqatga maksimal o`xshashlik bahosini oladigan usulni beradi. EM algoritmi bizga to`liq bo`lmagan tanlanmaning haqiqatga o`xshashlik funksiyasini iteratsion ravishda maksimallashtirishimiz mumkin bo`lgan usulni taqdim etadi.

Bu holda biz yetarli statistikani, uning kutilmasini va tanlanmaning senzurlangan nuqtasini baholay olamiz. Bu statistika biz kuzatgan qiymatlarga va yetarli statistikaning kutilmasi parametrlarning hozirgi baholanishiga asoslangan. Bu EM algoritmining E qadami.

E- qadamda hisoblangan yetarli statistikaning baholaridan foydalanib biz parametrning yangi qiymatlarini hisoblashimiz mumkin, huddi (1.2.4) va (1.2.5) larorqali berilganidek bu EM algoritmining M qadamidir. Algoritmning E va M qadamlarini takrorlash orqali k va  uchun yaxshiroq bahoga erishamiz.

Gamma taqsimot uchun biz yetarli statistikani va har bir yetarli statistikaning kutilmasini baholashimiz kerak. Bu statistika kuzatilgan qiymatlarga asoslangan.

Avvalambor, biz Gamma taqsimotini o`ng tomondan c bo`yicha



senzurlangan deb qaraylik. Bu holda

( y1,..., ym ,..., yn )

ko`rinishida berilgan


tanlanmaning birinchi m taqiymati

( y1,..., ym )

senzurlanmagan tanlanmaning



qolgan (n-m) tasi

( ym1,..., yn ) senzurlangan tanlanma hisoblanadi.




Bu holda


xi

i1

ni baholashda







xi yi  (n m)E[x | , k, x c],

(2.3.1)


i1 i1





va ln xi



i1

ni baholashda:







ln xi ln yi  (n m)E[ln(x) | , k, x c],

(2.3.2)


i1 i1

dan foydalanamiz. (2.3.1) dagi matematik kutilmani hisoblaymiz:




bu yerda


c

E[x | , k, x c]  xf (x | k, , x c)dx,

0


1 xk1 exp x




k (k)



f (x | k, , x c) 

  .



1  F (c, k, )


F(c, k, )
gamma taqsimotning c nuqta bo`yicha taqsimot funksiyasidir.



E x | x c, k,





x k c

1



(k)

1

xk1 exp







x dx







x




c
x

k(k)

xk1 exp



dx





x(1k )1 exp

dx



c

u x du dx ,




x



xk1 exp dx

c



bundan,



u(1k)1 expu du



E x | x c, k, c/   (k 1,c / ) ,



uk1 expu du

c/

(k,c /  )

bu yerda

(k 1,c /  )
senzurlangan gamma taqsimot.

Xuddi shunday (2.3.2) dagi matematik kutilma ham hisoblanadi.



c

E[ln(x) | , k, x c]  ln(x) f (x | k, , x c)dx,

0



E ln(x) | x c, k,




ln(x)

c

1

k(k)

xk1 exp





x dx









c
x

1

k(k)

xk1 exp





x dx





ln(x)xk1 exp dx



c

u x du dx ,




x



xk1 exp dx

c



deb belgilaymiz va



ln(u )uk1 expu du



E ln(x) | x c, k, c/



uk1 expu du

c/



1 ln(u )uk1 exp(u)du

(k,c /  ) c/



1  

ln( ) uk1 exp(u)du ln(u)uk1 exp(u)du





(k,c /  )

 ln( ) 
c/
1

c/ 


d


[uk1 exp(u)]du



(k,c /  ) c/ dk

 ln( )  1 d (k, c /  ).


(2.3.4)

(k,c /  ) dk

Shu qiymatlarni yetarli statistika va (1.2.4), (1.2.5) tenglamalarga ishlatib biz parametrlarning baholarini yangilay olamiz. Keyin bu yangilangan parametrlar bilan jarayonni qaytarib, parametrlarni yana ham yaxshi baholarini olamiz. Bu





m

jarayonni yaqinlashish qoniqarli bo`lgunga qadar davom ettiramiz ya`ni, quyidagicha:

nln((t1) )  n (k(t1) )  ln( yi ) 



i1


(n m) ln



1
(k

,c / 



)  0


(2.3.5)

(t )

va



(k

(t ) ,c / (t ) k

(t ) (t )



nk(t 1)

1 m
y  (n m)

(k(t ) 1,c / (t ) ) 0.






  2


i

(t )

(k

,c /  )


(t 1) (t 1) i1 (t ) (t )




Quyidagi jadvallarda parametrlari

k,  bo’lgan gamma taqsimotini

noma’lum parametrlari uchun EM algoritmi yordamida baholar topilgan (bu yerda



bosh to’plam

k  2,5;   2 parametrli gamma taqsimotga ega)


N=100


k uchun baho

Senzurlanish

Senzuralanish

foizi


o`rtachasi

xatolik

O`ng tomondan



10

2.5597

0.1339

50

2.6206

0.2619

80

2.8196

0.8295

Chap tomondan



10

2.5587

0.1438

50

2.6429

0.3826

80

3.0545

2.3225



 uchun baho

Senzurlanish

Senzuralanish

foizi


o`rtachasi

xatolik

O`ng tomondan

10

1.9986

0.1011

50

1.9978

0.2486

80

2.0243

0.9516

Chap tomondan

10

1.9944

0.0974

50

1.9845

0.1843

80

1.9464

0.4660


N=1000


k uchun baho

Senzurlanish

Senzuralanish

foizi


o`rtachasi

xatolik

O`ng tomondan



10

2.5586

0.1355

50

2.6133

0.2596

80

2.799

0.848

Chap tomondan



10

2.5606

0.1447

50

2.6471

0.397

80

3.0385

2.2167



 uchun baho

Senzurlanish

Senzuralanish

foizi


o`rtachasi

xatolik

O`ng tomondan



10

2.0001

0.1039

50

2.0038

0.2465

80

2.05

0.9759

Chap tomondan



10

1.9937

0.0994

50

1.9845

0.1892

80

1.9539

0.4731



N=10000


k uchun baho

senzurlanish

Senzuralanish

foizi


o`rtachasi

xatolik

O`ng tomondan

10

2.5010

1.266103

50

2.5009

2.179103

80

2.5023

5.1103

Chap tomondan

10

2.5010

1.326103

50

2.5021

3.163103

80

2.5042

1.131103



 uchun baho

Senzurlanish

Senzuralanish

foizi


o`rtachasi

xatolik

O`ng tomondan

10

1.9994

1.055103

50

2.0001

2.434103

80

2.0009

8.59103

Chap tomondan

10

1.9994

9.952103

50

1.9991

1.877103

80

1.9994

4.827103



Xulosa

Ushbu bitiruv malakaviy ishda EM algoritmi yordamidada baho topish o`rganildi. Bunda umumiy holda Gamma taqsimoti nomalum parametri uchun EM algoritmi yordamida baho olindi. Amaliyotda yo`qotishga ega tizimlar va senzuralangan tizimlar uchun baho olish juda murakkab bo`lib, hisoblash jarayonini qiyinlashtiradi. Bunday vaziyatlarda EM algoritmi kabi iterativ usullar yordamida baho olish mumkin va kompyuter yordamida hisoblash jarayonida izlanayotgan baho olinadi.Ushbu bitiruv malakaviy ishda tanlanma elementlari 100ta 1000ta 10000ta; qiymatlar yo`qotilganligi kuchsiz (10%), o`rta(50%), kuchli(80) va senzurlanish o`ng va chap tomondan bo`lganda k va  lar uchun baho olindi.



1-bobda baho va uning xossalari, ba’zi muhim taqsimot funksiyalar orasidagi bog’lanishlar va noma’lum parametrlari baholari, hamda Nyuton-Rafson usuli yoritilgan. Bitiruv malakaviy ishi 2- bobida senzurlagan tanlanmalarning ba’zi modellari, EM algoritmi chuqur o’rganilgan, ya’ni EM algoritmi yordamida gamma taqsimotining noma’lum parametrlari uchun baho topilgan.

Foydalanilgan adabiyotlar



  1. А.А.Абдушукуров “ Статистика неполных наблюдений. Асимптотическая теория оценивания для неклассических моделей” «Университет», 2009. - с.

  2. Боровков А.А. “Математическая статистика” – Учебник. – Институт математики 1997 г. 772 с. 3. Dempster A.P., Laird N.M. and Rubin D.B (1977) Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society B.39. pp1-23.

  1. Kramer H. “Mathematical Methods of Statistics”, Princeton University Press. 1946. Y. 24 p.

  2. Little R. J. , Rubin D.B. Statistical Analysis with Missing data Wiley, New York, 2002.

  3. Nettleton D. Convergence properties of the EM algorithm in constrained parameter spaces Canad J. of Stat., 1999, 27.p. 639-648.

  4. Shenton L.R. and Bowman K.O.(1977) Maximum likelihood estimation in small samples. Charles Griffen & Company ltd.

  5. www.wikipedia.org.

  6. www.teorver.ru.

Yüklə 201,31 Kb.

Dostları ilə paylaş:
1   2   3   4




Verilənlər bazası müəlliflik hüququ ilə müdafiə olunur ©www.azkurs.org 2024
rəhbərliyinə müraciət

gir | qeydiyyatdan keç
    Ana səhifə


yükləyin