Aplikasi Propensity Score Matching

Menggunakan data ASUH_2003.

Variable Independen Utama : Project(proj)

Variabel Outcome : Cakupan Imunisasi Hepatitis B(HepB)

Variabel control : Penolong persalinan(linbdd)

: Usia Ibu(u_Ibu)

: Usia Suami(u_suami)

: Tk.pendidikan Ibu(dik_ibu)

: Tk.Pendidikan Suami(dik_su)

: Tk kemiskinan (miskin)

Dalam PSM ada beberapa Algoritma Pemadanan(matching)

  1. Nearest Neighbour(NN)
  2. Caliper
  3. Radius
  4. Kernel
  5. Weight
  6. Stratification

Dari beberapa algoritma diatas yang jarang digunakan adalah weight dan stratification.Yang menjadi gold standarnya adalah bias reduksi yang paling besar yang paling bagus.Jadi kita bias dengan beberapa algoritma kemudian kita bandingkan mana yang menunjukkan nilai bias reduction yang paling besar setelah di matched.

Nearest Neighbour

Padanan pd kelompok pembanding diambil dari subyek yg memiliki nilai propensity score terdekat dgn nilai propensity score subyek pada kelompok perlakuan.

Pada data ASUH_2003,akan dicoba padankan dari kelompok yang ada project dengan tidak ada project yang paling dekat nilai propensity.

Ini adalah algoritma yang paling sederhana

Perintah Stata :xi:psmatch2 V_Independen Utama Confonder1 Conf2 conf3…,out(V_dep)logit

Apabila pada variabel counfondernya ada yang berbentuk lebih dari 3 kategori maka perlu di dummy,pada stata akan dilakukan dummy secara otomatis dengan menambah i didepan varibel kategori tsb.Contoh variabel dik_ibu menjadi i.dik_ibu.

Untuk variabel Independen Utama diberi kode 0=tidak dan 1=ya.

. xi:psmatch2 proj linbdd u_ibu u_suami i.dik_ibu i.dik_su miskin, out ( hepb) logit

i.dik_ibu _Idik_ibu_1-3 (naturally coded; _Idik_ibu_1 omitted)

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

Logistic regression Number of obs = 1062

LR chi2(8) = 12.22

Prob > chi2 = 0.1415

Log likelihood = -662.72181 Pseudo R2 = 0.0091

——————————————————————————

proj | Coef. Std. Err. z P>|z| [95% Conf. Interval]

————-+—————————————————————-

linbdd | -.2869073 .1442633 -1.99 0.047 -.5696581 -.0041564

u_ibu | -.0205408 .0184464 -1.11 0.265 -.0566951 .0156135

u_suami | -.0074743 .0161606 -0.46 0.644 -.0391485 .0241999

_Idik_ibu_2 | .0343763 .1562458 0.22 0.826 -.2718598 .3406125

_Idik_ibu_3 | .2966421 .4953467 0.60 0.549 -.6742196 1.267504

_Idik_su_2 | -.1646664 .153481 -1.07 0.283 -.4654836 .1361508

_Idik_su_3 | -.4040954 .3956356 -1.02 0.307 -1.179527 .3713362

miskin | -.0183072 .1591986 -0.11 0.908 -.3303306 .2937163

_cons | 1.827778 .3769828 4.85 0.000 1.088905 2.566651

——————————————————————————

There are observations with identical propensity score values.

The sort order of the data could affect your results.

Make sure that the sort order is random before calling psmatch2.

—————————————————————————————-

Variable Sample | Treated Controls Difference S.E. T-stat

—————————-+———————————————————–

hepb Unmatched | .721448468 .284883721 .436564747 .029488385 14.80

ATT | .721448468 .236768802 .484679666 .038354593 12.64

—————————-+———————————————————–

Note: S.E. for ATT does not take into account that the propensity score is estimated.

| psmatch2:

psmatch2: | Common

Treatment | support

assignment | On suppor | Total

———–+———–+———-

Untreated | 344 | 344

Treated | 718 | 718

———–+———–+———-

Total | 1,062 | 1,062

Dari output diatas kita dapat membuat logit(HepB) sama seperti dengan regresi logistik standar, yaitu : Logit(HepB)= 1,83-0,29linbdd-0,21u_ibu-0,007u_suami…………dst

Dari Output kita dapat menghitung berapa probabilitas HepB pada daerah Project dan non project.

Tanpa matching(Unmatced) : P(HepB|Proj) = 0,721

: P(HepB|NonProj) = 0,284

Selisih dari kedua nilai tsb = 0,436.Yang disebut dengan RD(Risk Difference)

Dan signifikan T_stat adalah 14,80(df=1)

Untuk probabilitas setelah dimatching(matched/ATT) : P(HepB|Proj) = 0,721

: P9HepB|NonProj) = 0,236

Selisih dari kedua nilai tsb = 0,484.Yang disebut dengan RD(Risk Diff)

Dan signifikan T_stat adalah 12,64(df=1)

ATT= Average treatment effect on treated, ini merupakan filosofi dari PSM.

Kita dapat hitung RR unmacted : 0,72/0,28=

RR matched : 0,72/0,24=

Pada output juga dapat kita lihat bahwa tidak ada yang off support, ini dikarenakan kita menggunakan model algoritma NN, dimana nilai propensity yang digunakan adalah yang terdekat dengan nilai propensity kelompok perlakuan.Hal ini dapat dibuktikan dengan melihat pada raw data(table data). Pada table data ada label _id yang dikasih oleh stata secara otomatis untuk mengurutkan kembali data dan ada label _n1, dari situ dapat kita lihat pemadanan antara masing-masing subjek berdasarkan nilai propensity terdekat.

Selanjutnya kita dapat mengetahui reduksi bias dengan perintah stata:

xi: pstest linbdd u_ibu u_suami i.dik_ibu i.dik_su miskin, treated(proj)support(_support)

Apabila ada variabel kontrol yang setelah dilakukan matching biasnya tambah jelek harus dikeluarkan dari model.Dikeluarkan satu per satu dan diperiksa lagi reduksi biasnya.

. xi:pstest linbdd u_ibu u_suami i.dik_ibu i.dik_su miskin, treated( proj ) support (_support)

i.dik_ibu _Idik_ibu_1-3 (naturally coded; _Idik_ibu_1 omitted)

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

—————————————————————————-

| Mean %reduct | t-test

Variable Sample | Treated Control %bias |bias| | t p>|t|

————————+———————————-+—————-

linbdd Unmatched | .64507 .71264 -14.5 | -2.21 0.027

Matched | .65042 .62953 4.5 69.1 | 0.82 0.410

| |

u_ibu Unmatched | 27.527 28.489 -15.8 | -2.45 0.015

Matched | 27.578 27.905 -5.4 66.0 | -1.00 0.316

| |

u_suami Unmatched | 32.459 33.445 -13.9 | -2.14 0.032

Matched | 32.416 32.698 -4.0 71.5 | -0.75 0.453

| |

_Idik_ibu_2 Unmatched | .41161 .42241 -2.2 | -0.34 0.736

Matched | .42061 .39972 4.2 -93.3 | 0.80 0.421

| |

_Idik_ibu_3 Unmatched | .02564 .02586 -0.1 | -0.02 0.983

Matched | .02646 .03621 -6.1 -4310.6 | -1.06 0.289

| |

_Idik_su_2 Unmatched | .4305 .4569 -5.3 | -0.82 0.414

Matched | .4429 .41086 6.4 -21.4 | 1.23 0.220

| |

_Idik_su_3 Unmatched | .03644 .04598 -4.8 | -0.75 0.451

Matched | .0376 .04735 -4.9 -2.2 | -0.92 0.360

| |

miskin Unmatched | .24157 .23563 1.4 | 0.21 0.831

Matched | .23677 .24373 -1.6 -17.4 | -0.31 0.758

| |

—————————————————————————-

Dari output reduksi bias didapatkan dari perhitungan, sebagai contoh variabel linbdd, yaitu

:-14,5-4,5/-14,5x 100%=69,1%.

Dari output terlihat bahwa variabel i.dik_ibu mempunyai reduksi bias yang paling jelek, maka untuk analisis selanjutnya variabel tsb dikeluarkan.

Berikut psmatch tanpa variabel i.dik_ibu

. xi:psmatch2 proj linbdd u_ibu u_suami i.dik_su miskin, out ( hepb) logit

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

Logistic regression Number of obs = 1062

LR chi2(6) = 11.85

Prob > chi2 = 0.0653

Log likelihood = -662.90732 Pseudo R2 = 0.0089

——————————————————————————

proj | Coef. Std. Err. z P>|z| [95% Conf. Interval]

————-+—————————————————————-

linbdd | -.2835543 .1436292 -1.97 0.048 -.5650624 -.0020461

u_ibu | -.0194086 .0183399 -1.06 0.290 -.0553542 .016537

u_suami | -.0087127 .0160062 -0.54 0.586 -.0400843 .0226588

_Idik_su_2 | -.1461008 .1399423 -1.04 0.296 -.4203826 .1281811

_Idik_su_3 | -.2733288 .3329613 -0.82 0.412 -.9259209 .3792632

miskin | -.0251812 .1579934 -0.16 0.873 -.3348427 .2844802

_cons | 1.844532 .3667459 5.03 0.000 1.125724 2.563341

——————————————————————————

There are observations with identical propensity score values.

The sort order of the data could affect your results.

Make sure that the sort order is random before calling psmatch2.

—————————————————————————————-

Variable Sample | Treated Controls Difference S.E. T-stat

—————————-+———————————————————–

hepb Unmatched | .721448468 .284883721 .436564747 .029488385 14.80

ATT | .721448468 .253481894 .467966574 .039537354 11.84

—————————-+———————————————————–

Note: S.E. for ATT does not take into account that the propensity score is estimated.

| psmatch2:

psmatch2: | Common

Treatment | support

assignment | On suppor | Total

———–+———–+———-

Untreated | 344 | 344

Treated | 718 | 718

———–+———–+———-

Total | 1,062 | 1,062

Selanjutnya kita tes lagi untuk melihat reduksi biasnya tanpa variabel i.dik_ibu

. xi:pstest linbdd u_ibu u_suami i.dik_su miskin, treated( proj ) support (_support)

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

—————————————————————————-

| Mean %reduct | t-test

Variable Sample | Treated Control %bias |bias| | t p>|t|

————————+———————————-+—————-

linbdd Unmatched | .64507 .71264 -14.5 | -2.21 0.027

Matched | .65042 .64485 1.2 91.8 | 0.22 0.825

| |

u_ibu Unmatched | 27.527 28.489 -15.8 | -2.45 0.015

Matched | 27.578 27.519 1.0 93.9 | 0.19 0.850

| |

u_suami Unmatched | 32.459 33.445 -13.9 | -2.14 0.032

Matched | 32.416 32.774 -5.1 63.7 | -0.99 0.324

| |

_Idik_su_2 Unmatched | .4305 .4569 -5.3 | -0.82 0.414

Matched | .4429 .39694 9.2 -74.1 | 1.77 0.078

| |

_Idik_su_3 Unmatched | .03644 .04598 -4.8 | -0.75 0.451

Matched | .0376 .06267 -12.6 -162.8 | -2.18 0.030

| |

miskin Unmatched | .24157 .23563 1.4 | 0.21 0.831

Matched | .23677 .20474 7.5 -439.9 | 1.46 0.144

| |

—————————————————————————-

. xi:psmatch2 proj linbdd u_ibu u_suami i.dik_su miskin, out ( hepb) logit

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

Logistic regression Number of obs = 1062

LR chi2(6) = 11.85

Prob > chi2 = 0.0653

Log likelihood = -662.90732 Pseudo R2 = 0.0089

——————————————————————————

proj | Coef. Std. Err. z P>|z| [95% Conf. Interval]

————-+—————————————————————-

linbdd | -.2835543 .1436292 -1.97 0.048 -.5650624 -.0020461

u_ibu | -.0194086 .0183399 -1.06 0.290 -.0553542 .016537

u_suami | -.0087127 .0160062 -0.54 0.586 -.0400843 .0226588

_Idik_su_2 | -.1461008 .1399423 -1.04 0.296 -.4203826 .1281811

_Idik_su_3 | -.2733288 .3329613 -0.82 0.412 -.9259209 .3792632

miskin | -.0251812 .1579934 -0.16 0.873 -.3348427 .2844802

_cons | 1.844532 .3667459 5.03 0.000 1.125724 2.563341

——————————————————————————

There are observations with identical propensity score values.

The sort order of the data could affect your results.

Make sure that the sort order is random before calling psmatch2.

—————————————————————————————-

Variable Sample | Treated Controls Difference S.E. T-stat

—————————-+———————————————————–

hepb Unmatched | .721448468 .284883721 .436564747 .029488385 14.80

ATT | .721448468 .253481894 .467966574 .039537354 11.84

—————————-+———————————————————–

Note: S.E. for ATT does not take into account that the propensity score is estimated.

| psmatch2:

psmatch2: | Common

Treatment | support

assignment | On suppor | Total

———–+———–+———-

Untreated | 344 | 344

Treated | 718 | 718

———–+———–+———-

Total | 1,062 | 1,062

Berikutnya kita dapat membuat grafik common support dengan perintah :

. psgraph, treated( proj) support( _support) pscore( _pscore) bin(50).

Hasilnya sebagai berikut :

Pada Grafik common support terlihat adanya padanan antara semua treated dengan untreated, tinggi yang biru dengan yang merah sama, berarti common supportnya bagus.

PSM dengan Caliper/Radius

Yang sering dipakai adalah caliper atau radius.

Caliper(1:1)= menggunakan nilai propensity yang terdekat dan ada batasnya(seberapa dekat)

Radius(1:n)= dimatching seberapa yang ada.

Caliper berpengaruh terhadap PScore (propensity score).

Pscore = probabilitas untuk mendapatkan pajanan.Idealnya probabilitas untuk mendapatkan pajanan antara semua subjek adalah sama.

Agar probabilitasnya lebih dekat/mendekati sama maka gunakan caliper yang kecil, namun konsekuensinya data banyak yang hilang karena banyak yang off support.

Berikut contoh psmatch menggunakan caliper dan Radius

. xi:psmatch2 proj linbdd u_ibu u_suami i.dik_ibu i.dik_su miskin, out ( hepb) cal(0.01) logit

i.dik_ibu _Idik_ibu_1-3 (naturally coded; _Idik_ibu_1 omitted)

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

Logistic regression Number of obs = 1062

LR chi2(8) = 12.22

Prob > chi2 = 0.1415

Log likelihood = -662.72181 Pseudo R2 = 0.0091

——————————————————————————

proj | Coef. Std. Err. z P>|z| [95% Conf. Interval]

————-+—————————————————————-

linbdd | -.2869073 .1442633 -1.99 0.047 -.5696581 -.0041564

u_ibu | -.0205408 .0184464 -1.11 0.265 -.0566951 .0156135

u_suami | -.0074743 .0161606 -0.46 0.644 -.0391485 .0241999

_Idik_ibu_2 | .0343763 .1562458 0.22 0.826 -.2718598 .3406125

_Idik_ibu_3 | .2966421 .4953467 0.60 0.549 -.6742196 1.267504

_Idik_su_2 | -.1646664 .153481 -1.07 0.283 -.4654836 .1361508

_Idik_su_3 | -.4040954 .3956356 -1.02 0.307 -1.179527 .3713362

miskin | -.0183072 .1591986 -0.11 0.908 -.3303306 .2937163

_cons | 1.827778 .3769828 4.85 0.000 1.088905 2.566651

——————————————————————————

There are observations with identical propensity score values.

The sort order of the data could affect your results.

Make sure that the sort order is random before calling psmatch2.

—————————————————————————————-

Variable Sample | Treated Controls Difference S.E. T-stat

—————————-+———————————————————–

hepb Unmatched | .721448468 .284883721 .436564747 .029488385 14.80

ATT | .72027972 .237762238 .482517483 .038406889 12.56

—————————-+———————————————————–

Note: S.E. for ATT does not take into account that the propensity score is estimated.

psmatch2: | psmatch2: Common

Treatment | support

assignment | Off suppo On suppor | Total

———–+———————-+———-

Untreated | 0 344 | 344

Treated | 3 715 | 718

———–+———————-+———-

Total | 3 1,059 | 1,062

Untuk melihat reduksi bias sama seperti pada algoritma NN

. xi:pstest linbdd u_ibu u_suami i.dik_ibu i.dik_su miskin, treated( proj ) support (_support)

i.dik_ibu _Idik_ibu_1-3 (naturally coded; _Idik_ibu_1 omitted)

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

—————————————————————————-

| Mean %reduct | t-test

Variable Sample | Treated Control %bias |bias| | t p>|t|

————————+———————————-+—————-

linbdd Unmatched | .64507 .71264 -14.5 | -2.21 0.027

Matched | .64895 .62797 4.5 69.0 | 0.83 0.409

| |

u_ibu Unmatched | 27.527 28.489 -15.8 | -2.45 0.015

Matched | 27.512 27.817 -5.0 68.3 | -0.95 0.342

| |

u_suami Unmatched | 32.459 33.445 -13.9 | -2.14 0.032

Matched | 32.348 32.613 -3.7 73.2 | -0.71 0.477

| |

_Idik_ibu_2 Unmatched | .41161 .42241 -2.2 | -0.34 0.736

Matched | .42238 .3972 5.1 -132.9 | 0.97 0.333

| |

_Idik_ibu_3 Unmatched | .02564 .02586 -0.1 | -0.02 0.983

Matched | .02657 .03636 -6.2 -4329.1 | -1.06 0.289

| |

_Idik_su_2 Unmatched | .4305 .4569 -5.3 | -0.82 0.414

Matched | .44196 .41259 5.9 -11.3 | 1.12 0.262

| |

_Idik_su_3 Unmatched | .03644 .04598 -4.8 | -0.75 0.451

Matched | .03636 .04755 -5.6 -17.3 | -1.05 0.292

| |

miskin Unmatched | .24157 .23563 1.4 | 0.21 0.831

Matched | .23776 .24056 -0.7 52.9 | -0.12 0.901

| |

—————————————————————————-

Untuk membuat grafik common support ,perintahnya sama dengan NN

Berikut dengan algoritma radius :

.

. xi:psmatch2 proj linbdd u_ibu u_suami i.dik_su miskin, out ( hepb) radius cal(0.01)logit

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

Logistic regression Number of obs = 1062

LR chi2(6) = 11.85

Prob > chi2 = 0.0653

Log likelihood = -662.90732 Pseudo R2 = 0.0089

——————————————————————————

proj | Coef. Std. Err. z P>|z| [95% Conf. Interval]

————-+—————————————————————-

linbdd | -.2835543 .1436292 -1.97 0.048 -.5650624 -.0020461

u_ibu | -.0194086 .0183399 -1.06 0.290 -.0553542 .016537

u_suami | -.0087127 .0160062 -0.54 0.586 -.0400843 .0226588

_Idik_su_2 | -.1461008 .1399423 -1.04 0.296 -.4203826 .1281811

_Idik_su_3 | -.2733288 .3329613 -0.82 0.412 -.9259209 .3792632

miskin | -.0251812 .1579934 -0.16 0.873 -.3348427 .2844802

_cons | 1.844532 .3667459 5.03 0.000 1.125724 2.563341

——————————————————————————

—————————————————————————————-

Variable Sample | Treated Controls Difference S.E. T-stat

—————————-+———————————————————–

hepb Unmatched | .721448468 .284883721 .436564747 .029488385 14.80

ATT | .721059972 .272317521 .448742451 .03058897 14.67

—————————-+———————————————————–

Note: S.E. for ATT does not take into account that the propensity score is estimated.

psmatch2: | psmatch2: Common

Treatment | support

assignment | Off suppo On suppor | Total

———–+———————-+———-

Untreated | 0 344 | 344

Treated | 1 717 | 718

———–+———————-+———-

Total | 1 1,061 | 1,062

could not restore sort order because variables were dropped

Untuk melihat reduksi bias sama seperti diatas

. xi:pstest linbdd u_ibu u_suami i.dik_ibu i.dik_su miskin, treated( proj ) support (_support)

i.dik_ibu _Idik_ibu_1-3 (naturally coded; _Idik_ibu_1 omitted)

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

—————————————————————————-

| Mean %reduct | t-test

Variable Sample | Treated Control %bias |bias| | t p>|t|

————————+———————————-+—————-

linbdd Unmatched | .64507 .71264 -14.5 | -2.21 0.027

Matched | .64993 .64512 1.0 92.9 | 0.19 0.849

| |

u_ibu Unmatched | 27.527 28.489 -15.8 | -2.45 0.015

Matched | 27.551 27.599 -0.8 95.0 | -0.15 0.882

| |

u_suami Unmatched | 32.459 33.445 -13.9 | -2.14 0.032

Matched | 32.392 32.531 -2.0 85.9 | -0.37 0.708

| |

_Idik_ibu_2 Unmatched | .41161 .42241 -2.2 | -0.34 0.736

Matched | .4212 .42476 -0.7 67.0 | -0.14 0.891

| |

_Idik_ibu_3 Unmatched | .02564 .02586 -0.1 | -0.02 0.983

Matched | .0265 .02309 2.2 -1442.3 | 0.41 0.678

| |

_Idik_su_2 Unmatched | .4305 .4569 -5.3 | -0.82 0.414

Matched | .44212 .44049 0.3 93.8 | 0.06 0.950

| |

_Idik_su_3 Unmatched | .03644 .04598 -4.8 | -0.75 0.451

Matched | .03766 .04046 -1.4 70.7 | -0.27 0.785

| |

miskin Unmatched | .24157 .23563 1.4 | 0.21 0.831

Matched | .2371 .22062 3.9 -177.8 | 0.74 0.458

| |

—————————————————————————-

Metode Algoritma Kernel

.

. histogram u_ibu

(bin=30, start=15, width=1.1333333)

. histogram u_ibu, kdensity

(bin=30, start=15, width=1.1333333)

. histogram u_ibu, kdensity kdenopts{(width(1.3467)}

PSM dengan KERNEL

. kdensity _pscore

. display r(width)

.01120561

. kdensity _pscore

. xi:psmatch2 proj linbdd u_ibu u_suami i.dik_ibu i.dik_su miskin, kernel bw(0.0112) out ( hepb) logit

i.dik_ibu _Idik_ibu_1-3 (naturally coded; _Idik_ibu_1 omitted)

i.dik_su _Idik_su_1-3 (naturally coded; _Idik_su_1 omitted)

Logistic regression Number of obs = 1062

LR chi2(8) = 12.22

Prob > chi2 = 0.1415

Log likelihood = -662.72181 Pseudo R2 = 0.0091

——————————————————————————

proj | Coef. Std. Err. z P>|z| [95% Conf. Interval]

————-+—————————————————————-

linbdd | -.2869073 .1442633 -1.99 0.047 -.5696581 -.0041564

u_ibu | -.0205408 .0184464 -1.11 0.265 -.0566951 .0156135

u_suami | -.0074743 .0161606 -0.46 0.644 -.0391485 .0241999

_Idik_ibu_2 | .0343763 .1562458 0.22 0.826 -.2718598 .3406125

_Idik_ibu_3 | .2966421 .4953467 0.60 0.549 -.6742196 1.267504

_Idik_su_2 | -.1646664 .153481 -1.07 0.283 -.4654836 .1361508

_Idik_su_3 | -.4040954 .3956356 -1.02 0.307 -1.179527 .3713362

miskin | -.0183072 .1591986 -0.11 0.908 -.3303306 .2937163

_cons | 1.827778 .3769828 4.85 0.000 1.088905 2.566651

——————————————————————————

—————————————————————————————-

Variable Sample | Treated Controls Difference S.E. T-stat

—————————-+———————————————————–

hepb Unmatched | .721448468 .284883721 .436564747 .029488385 14.80

ATT | .72027972 .269020689 .451259031 .030719912 14.69

—————————-+———————————————————–

Note: S.E. for ATT does not take into account that the propensity score is estimated.

psmatch2: | psmatch2: Common

Treatment | support

assignment | Off suppo On suppor | Total

———–+———————-+———-

Untreated | 0 344 | 344

Treated | 3 715 | 718

———–+———————-+———-

Total | 3 1,059 | 1,062

.

Leave a Reply

Your email address will not be published. Required fields are marked *