tugas regresi

Public Health - University of Indonesia Kampus UI, Depok 16424 Indonesia http://www.fkm. ui. ac.id/

University of Indonesia

Tugas Kokurikuler V Mata Kuliah ‘Analisis Regresi Linear’ Dosen Pengajar : Pandu Riono, MD, MPH, PhD

TTrraannssffoorrmmaassii ddaann UUjjii DDiiaaggnnoossttiikk

Oleh :

Iswandi

0806470421

[email protected]

Program Pascasarjana

Departemen Biostatistik dan Kependudukan

Fakultas Kesehatan Masyarakat

Universitas Indonesia

Depok, 09 Mei 2009

Iswandi Analisis Regresi Linear - Transformasi & Uji Asumsi Regresi NPM : 0806470421

1 09/05/2009

Permasalahan :

Dengan menggunakan data studi ‘framingham.dta’, lakukanlah uji diagnostik terhadap model

garis-lurus regresi hubungan antara bmi (IV), scl (IV), age (IV) dengan sbp (DV) untuk melihat

apakah asumsi regresi linear terpenuhi atau tidak. Selanjutnya lakukanlah transformasi data yang

sesuai dan lakukan pengujian kembali untuk membandingkan hasil yang diperoleh tersebut

sebelum dilakukan transformasi.

Penyelesaian :

Langkah 1 : membuat model persamaan (tanpa transformasi)

. reg sbp bmi scl age

Source | SS df MS Number of obs = 4658

-------------+------------------------------ F( 3, 4654) = 466.53

Model | 559523.535 3 186507.845 Prob > F = 0.0000

Residual | 1860541.97 4654 399.772662 R-squared = 0.2312

-------------+------------------------------ Adj R-squared = 0.2307

Total | 2420065.5 4657 519.661908 Root MSE = 19.994

------------------------------------------------------------------------------

sbp | Coef. Std. Err. t P>|t| [95% Conf. Interval]

-------------+----------------------------------------------------------------

bmi | 1.430483 .0733931 19.49 0.000 1.286598 1.574368

scl | .0456311 .0068878 6.62 0.000 .0321277 .0591344

age | .8691387 .0363358 23.92 0.000 .7979032 .9403741

_cons | 45.68798 2.448022 18.66 0.000 40.8887 50.48726

------------------------------------------------------------------------------

Persamaan regresi hubungan antara indeks mass tubuh (bmi), serum kolesterol (scl), umur (age) terhadap tekanan darah sistolic (sbp) sebagai berikut :

sbp = 45.687+ 1.430 (bmi) + 0.045 (scl) + 0.869 (age)

Langkah 2 : Melakukan uji diagnostik

1. Uji Normalitas

. predict r, resid

(41 missing values generated)

. kdensity r, normal


2 09/05/2009

Setelah melakukan predict terhadap residual dan menampilkannya dengan bentuk kernel density

plot seperti di atas. Nampak bahwa garis estimasi kernel tersebut tidak berhimpit dengan garis

fungsi normal, sehingga dapat diduga bahwa residual tidak terdistribusi normal.

. pnorm r

. qnorm r

Dari perintah pnorm diperoleh grafik P-P plot (standardized normal probability) sementara qnorm

memperlihatkan grafik invers-nya. Nampak dari kedua grafik tersebut bahwa residual terdistribusi di

sekitar garis normal, akan tetapi juga terlihat banyak titik yang menyimpang jauh dari garis tersebut

sehingga diduga kuat residual, terdistribusi tidak normal.

0

.005

.01

.015

.02

.025

De

nsity

-50 0 50 100 150Residuals

Kernel density estimate

Normal density

kernel = epanechnikov, bandwidth = 2.8503


0.0

00.2

50.5

00.7

51.0

0

No

rmal F

[(r-

m)/

s]

0.00 0.25 0.50 0.75 1.00Empirical P[i] = i/(N+1)

-50

050

10

015

0

Re

sid

ua

ls

-100 -50 0 50 100Inverse Normal


3 09/05/2009

. swilk r

Shapiro-Wilk W test for normal data

Variable | Obs W V z Prob>z

-------------+--------------------------------------------------

r | 4658 0.94500 139.895 12.936 0.00000

Cara lain untuk melihat normalitas dengan menggunakan uji Shapiro wilk, apabila nilai p > 0.05

maka data terdistribusi normal. Nampak pada output di atas nilai p sangat kecil (0.00001) dengan

demikian kita menolak nilai r terdistrusi normal atau dengan kata lain nilai residual tidak

terdistribusi normal.

2. Uji Homoskedastisitas

. rvfplot, yline(0)

Salah satu cara untuk mendeteksi adanya heteroskedastisitas adalah metode grafik yaitu dengan

memplot residual dengan nilai yang diharapkan. Dari grafik rvfplot di atas nampak bahwa data

terdistribusi tidak seimbang dari titik 0 dan cenderung meruncing kesebelah kiri, hal ini

mengindikasikan adanya heterokedastisitas.

. hettest

Breusch-Pagan / Cook-Weisberg test for heteroskedasticity

Ho: Constant variance

Variables: fitted values of sbp

chi2(1) = 365.53

Prob > chi2 = 0.0000

-50

050

10

015

0

Re

sid

ua

ls

100 120 140 160 180Fitted values


4 09/05/2009

Dari uji di atas, apabila nilai p lebih kecil dari 0.05 maka Ho ditolak yang berarti Hipotesis

alternatif diterima yaitu varians tidak homogen.

Dari hasil output di atas p(0.00001) maka dapat disimpulkan data menunjukkan

heteroskedastisitas.

3. Uji Multikolienaritas

. vif

Variable | VIF 1/VIF

-------------+----------------------

age | 1.11 0.901448

scl | 1.10 0.911595

bmi | 1.04 0.957317

-------------+----------------------

Mean VIF | 1.08

Dari output vif (variance inflation factor) di atas nampak bahwa seluruh nilai vif-nya lebih kecil dari

10, demikian juga nilai toleransi vif (1/vif) yang mendekati nilai 1, hal ini mengindikasikan tidak

adanya kolinearitas.

Dengan demikian dapat disimpulkan bahwa tidak ada hubungan antara masing-masing variabel

independen di atas.

4. Uji Linearitas

. reg sbp bmi scl age

. acprplot bmi, lowess lsopts(bwidth(1))

. acprplot scl, lowess lsopts(bwidth(1))

-50

050

10

015

0

Aug

men

ted c

om

pon

ent p

lus r

esid

ua

l

20 30 40 50 60Body Mass Index


5 09/05/2009

. acprplot age, lowess lsopts(bwidth(1))

Secara umum, baik pada plot pertama, kedua dan ketiga di atas nampak garis sangat dekat

berdekatan dengan garis pola regresi. Walaupun nampak juga pada plot pertama, kedua dan

ketiga ada sedikit masalah yang mungkin disebabkan oleh beberapa titik observasi yang jauh dari

mean. Akan tetapi secara umum, nampak grafik tidak terlalu buruk sehingga dapat diduga

hubungan antar variabel bmi, scl dan age tetap memperlihatkan hubungan yang linear.

. nlcheck bmi scl age

Nonlinearity test:

F( 9, 4645) = 0.94

Prob > F = 0.4881

-50

050

10

015

0

Aug

men

ted c

om

pon

ent p

lus r

esid

ua

l

100 200 300 400 500 600Serum Cholesterol

-50

050

10

015

0

Aug

men

ted c

om

pon

ent p

lus r

esid

ua

l

30 40 50 60 70Age in Years


6 09/05/2009

Dengan perintah tambahan nlcheck.ado di atas, dapat dilakukan uji non linearitas. Dari perintah

tersebut diperoleh nilai p 0.4881 dengan demikian asumsi linear tidak dapat ditolak atau dengan

kata lain hubungan antar variabel bmi, scl dan age memperlihatkan hubungan yang linear.

Tabel 1 : Kesimpulan uji diagnostik model regresi (tanpa transformasi)

Komponen Asumsi Metode Hasil Pengujian Kesimpulan

Residu Normality (residu

terdistribusi

normal)

kdensity

pnorm

qnorm

swilk

Tidak berhimpit (berbeda)

Di sekitar diagonal tapi ada outlier

Di sekitar diagonal tapi ada outlier

p < 0.05

Tidak terpenuhi

Residu Homoskedastisitas

(varian residu

homogeny)

rvfplot

hettest

Tidak simetris pada titik 0,

cenderung ke kiri

p < 0.05

Tidak terpenuhi

Var.

independen

Tidak ada

Multikolinearitas

(tidak ada korelasi

antar var.

independen)

vif

toleransi

p < 10

Mendekati 1 dan > 0.1

Terpenuhi

Var. dependen

dan

independen

Linearitas

(Hubungan var.

dependen dan

independen

linear)

Acprplot

nlcheck

Mengikuti pola regresi tapi tidak

simetris pada garis diagonal

p > 0.05

Terpenuhi

Langkah 3 : Melakukan transformasi data

Untuk pemilihan jenis transformasi yang tepat digunakan perintah ladder dan gladder

1. Variabel bmi

. ladder bmi

. gladder bmi

Transformation formula chi2(2) P(chi2)

------------------------------------------------------------------

cubic bmi^3 . .

square bmi^2 . .

identity bmi . 0.000

square root sqrt(bmi) . 0.000

log log(bmi) . 0.000

1/(square root) 1/sqrt(bmi) 9.42 0.009

inverse 1/bmi 32.87 0.000

1/square 1/(bmi^2) . 0.000

1/cubic 1/(bmi^3) . 0.000


7 09/05/2009

Berdasarkan output ladder di atas, maka untuk variabel bmi nampak bahwa yang memiliki nilai

chi-square terkecil adalah model 1/sqrt(bmi). Juga pada output gladder, nampak bahwa model

1/sqrt(bmi) akan membantu bmi terdistribusi normal.

Selanjutnya dilakukan proses transformasi

. gen bmi1sqrt = 1/sqrt(bmi)


. kdensity bmi1sqrt, normal

. kdensity bmi, normal

Sebelum transformasi Setelah transformasi

0

2.0

e-0

54.0

e-0

56.0

e-0

5

0 50000 100000150000200000

cubic

05.0

e-0

4

.00

1.00

15 .00

2.00

25

0 1000 2000 3000 4000

square

0

.02.

04.

06.

08

.1

20 30 40 50 60

identity

0.2

.4.6

.81

4 5 6 7 8

sqrt

0.5

11.5

22.5

2.5 3 3.5 4

log

010

20

30

-.25 -.2 -.15 -.1

1/sqrt

020

40

60

80

-.06 -.05 -.04 -.03 -.02

inverse0

20

040

060

080

0

-.004 -.003 -.002 -.001 0

1/square

0

50

00

1.0

e+

04

1.5

e+

04

2.0

e+

04

-.00025-.0002-.00015-.0001-.00005 0

1/cubic

De

nsity

Body Mass IndexHistograms by transformation

0

.02

.04

.06

.08

.1

De

nsity

10 20 30 40 50 60Body Mass Index


Normal density



05

10

15

20

25

De

nsity

.1 .15 .2 .25bmi1sqrt


Normal density




8 09/05/2009

2. Variabel scl . ladder scl


------------------------------------------------------------------

cubic scl^3 . .

square scl^2 . .

identity scl . 0.000

square root sqrt(scl) . 0.000

log log(scl) 15.46 0.000

1/(square root) 1/sqrt(scl) 44.19 0.000

inverse 1/scl . 0.000

1/square 1/(scl^2) . 0.000

1/cubic 1/(scl^3) . .

. gladder scl

Dilakukan transformasi data

. gen logscl = log(scl)


02.0

e-0

84.0

e-0

86.0

e-0

88.0

e-0

8

0 5.00e+071.00e+081.50e+082.00e+08

cubic

05.0

e-0

61.0

e-0

51.5

e-0

52.0

e-0

52.5

e-0

5

0 100000 200000 300000

square

0.00

2.00

4.00

6.00

8 .01

100 200 300 400 500 600

identity

0.1

.2.3

10 15 20 25

sqrt

0.5

11.5

2

4.5 5 5.5 6 6.5

log0

20

40

60

80

-.09 -.08 -.07 -.06 -.05 -.04

1/sqrt

0

10

020

030

040

050

0

-.008 -.006 -.004 -.002

inverse

0

2.0

e+

04

4.0

e+

04

6.0

e+

04

-.00008-.00006-.00004-.00002 0

1/square

02.0

e+

06

4.0

e+

06

6.0

e+

06

8.0

e+

06

-6.00e-07-4.00e-07-2.00e-07 0

1/cubic

De

nsity

Serum CholesterolHistograms by transformation


9 09/05/2009

Model terbaik untuk normalisasi variabel scl digunakan log transformation.

3. Variabel age

. ladder age


------------------------------------------------------------------

cubic age^3 . 0.000

square age^2 . 0.000

identity age . .

square root sqrt(age) . .

log log(age) . .

1/(square root) 1/sqrt(age) . .

inverse 1/age . 0.000

1/square 1/(age^2) . 0.000

1/cubic 1/(age^3) . 0.000

. gladder age

0

.002

.004

.006

.008

.01

De

nsity

100 200 300 400 500 600Serum Cholesterol


Normal density


Kernel density estimate (sblm transformasi)

0.5

11.5

2

De

nsity

4.5 5 5.5 6 6.5logscl


Normal density


Kernel density estimate (setelah transformasi)

0

5.0

e-0

61.0

e-0

5

0 100000 200000 300000

cubic

02.0

e-0

44.0

e-0

46.0

e-0

48.0

e-0

4

1000 2000 3000 4000 5000

square

0

.01.

02.

03.

04.

05

30 40 50 60 70

identity

0.2

.4.6

.8

5 6 7 8

sqrt

01

23

3.4 3.6 3.8 4 4.2

log

010

20

30

40

-.18 -.16 -.14 -.12

1/sqrt

050

10

015

0

-.035 -.03 -.025 -.02 -.015

inverse

0

10

0020

0030

00

-.0012-.001-.0008-.0006-.0004-.0002

1/square

02.0

e+

04

4.0

e+

04

6.0

e+

04

8.0

e+

04

1.0

e+

05

-.00004-.00003-.00002-.00001 0

1/cubic

De

nsity

Age in YearsHistograms by transformation


10 09/05/2009

Berdasarkan hasil di atas, proses transformasi kurang membantu normalisasi sehingga variabel

age tidak dilakukan transformasi.

4. Variabel sbp

. ladder sbp


------------------------------------------------------------------

cubic sbp^3 . .

square sbp^2 . .

identity sbp . 0.000

square root sqrt(sbp) . 0.000

log log(sbp) . 0.000

1/(square root) 1/sqrt(sbp) . 0.000

inverse 1/sbp 17.39 0.000

1/square 1/(sbp^2) . 0.000

1/cubic 1/(sbp^3) . 0.000

. gladder sbp

Dilakukan inverse transformation

gen invsbp = 1/sbp

01.0

e-0

72.0

e-0

73.0

e-0

74.0

e-0

75.0

e-0

7

0 50000001.00e+071.50e+072.00e+07

cubic

02.0

e-0

54.0

e-0

56.0

e-0

58.0

e-0

51.0

e-0

4

0 20000 40000 60000 80000

square

0

.00

5 .01.0

15 .0

2.02

5

100 150 200 250 300

identity

0.2

.4.6

8 10 12 14 16

sqrt

01

23

4.5 5 5.5

log

020

40

60

80

-.11 -.1 -.09 -.08 -.07 -.06

1/sqrt

0

10

020

030

040

0

-.012 -.01 -.008 -.006 -.004

inverse

0

1.0

e+

04

2.0

e+

04

3.0

e+

04

-.00015 -.0001 -.00005 0

1/square

05.0

e+

05

1.0

e+

06

1.5

e+

06

2.0

e+

06

-2.00e-06-1.50e-06-1.00e-06-5.00e-07 0

1/cubic

De

nsity

Systolic Blood PressureHistograms by transformation


11 09/05/2009

Nampak bahwa variabel sbp dapat lebih dinormalisasi dengan inverse transformation.

Tabel 2 : kesimpulan transformasi yang dipilih

Nama variabel Jenis transformasi yang dipilih

bmi (body mass index) 1/(square root)

scl (serum kolesterol) Log

age (umur) Angka sebenarnya

sbp (tekanan darah sistolik) inverse

Langkah 4 : Melakukan uji diagnostik kembali (dengan data tertransformasi)

. reg invsbp bmi1sqrt logscl age

Source | SS df MS Number of obs = 4658

-------------+------------------------------ F( 3, 4654) = 490.90

Model | .001590522 3 .000530174 Prob > F = 0.0000

Residual | .005026355 4654 1.0800e-06 R-squared = 0.2404

-------------+------------------------------ Adj R-squared = 0.2399

Total | .006616877 4657 1.4208e-06 Root MSE = .00104

------------------------------------------------------------------------------

invsbp | Coef. Std. Err. t P>|t| [95% Conf. Interval]

-------------+----------------------------------------------------------------

bmi1sqrt | .021298 .0010273 20.73 0.000 .0192839 .023312

logscl | -.0006378 .0000839 -7.60 0.000 -.0008023 -.0004734

age | -.0000437 1.89e-06 -23.07 0.000 -.0000474 -.00004

_cons | .0089486 .0005122 17.47 0.000 .0079445 .0099528

------------------------------------------------------------------------------

0

.005

.01

.015

.02

De

nsity

50 100 150 200 250 300Systolic Blood Pressure


Normal density


Kernel density estimate (sebelum transformasi)

0

10

020

030

040

0

De

nsity

.004 .006 .008 .01 .012invsbp


Normal density


Kernel density estimate (setelah transformasi)


12 09/05/2009

1. Uji Normalitas

. predict r2, resid


. kdensity r2, normal

Setelah dilakukan transformasi, nampak bahwa garis residual lebih berhimpit dengan garis fungsi

normal sehingga dapat diduga kuat bahwa residual terdistribusi secara normal.

. pnorm r2

. qnorm r2

0

10

020

030

040

0

De

nsity

-.004 -.002 0 .002 .004Residuals


Normal density



0.0

00.2

50.5

00.7

51.0

0

No

rmal F

[(r2

-m)/

s]

0.00 0.25 0.50 0.75 1.00Empirical P[i] = i/(N+1)

-.0

04

-.0

02

0

.002

.004

Re

sid

ua

ls

-.004 -.002 0 .002 .004Inverse Normal


13 09/05/2009

Setelah dilakukan transformasi, baik grafik P-P plot maupun grafik inversnya memperlihatkan

garis yang lebih baik dibandingkan sebelumnya dimana nampak bahwa garis residual tersebut di

sekitar garis diagonal sehingga diduga kuat residual terdistribusi normal.

. swilk r2

Shapiro-Wilk W test for normal data

Variable | Obs W V z Prob>z

-------------+--------------------------------------------------

r2 | 4658 0.99876 3.144 2.999 0.00135

Setelah dilakukan transformasi, uji Shapiro wilk memperlihatkan nilai p yang lebih baik (0.00135)

dibandingkan sebelum transformasi, namun angka tersebut tetaplah signifikan pada 0.05,

sehingga disimpulkan residual tetap tidak terdistribusi normal.

Dalam kasus di atas, ternyata metode grafik dan metode analitis dengan Shapiro wilk

memperlihatkan hasil yang tidak sama. Pada kondisi kasus yang demikian maka peneliti dapat

saja memilih salah satu metode untuk interpretasinya. Dalam latihan ini, penulis memilih

menggunakan metode grafik karena alasan graphic need somewhat of an art.

Dengan demikian disimpulkan bahwa residual terdistribusi secara normal.

2. Uji Homoskedastisitas

. rvfplot, yline(0)

-.0

04

-.0

02

0

.002

.004

Re

sid

ua

ls

.006 .007 .008 .009 .01Fitted values


14 09/05/2009

Setelah dilakukan transformasi, maka dari grafik rvfplot nampak data terdistribusi lebih menyebar

simetris tanpa pola tertentu berada di sekitar nilai 0, hal ini mengindikasikan kecenderungan

homoskedastisitas.

. hettest

Breusch-Pagan / Cook-Weisberg test for heteroskedasticity

Ho: Constant variance

Variables: fitted values of invsbp

chi2(1) = 16.24

Prob > chi2 = 0.0001

Dengan uji Breusch-Pagan / Cook-Weisberg di atas, terlihat nilai p yang lebih baik dibandingkan

hasil sebelum dilakukan transformasi pada data. Namun hasil tersebut tetaplah signifikan pada

0.05 sehingga varians disimpulkan tetap tidak homogen.

Akan tetapi sesuai dengan kesepakatan sebelumnya yaitu bahwa pada latihan ini lebih

menekankan penggunaan metode grafik dalam pengambilan keputusan, maka dapat disimpulkan

data menunjukkan homokedastisitas.

3. Uji Multikolienaritas

. vif

Variable | VIF 1/VIF

-------------+----------------------

age | 1.12 0.896172

logscl | 1.11 0.902136

bmi1sqrt | 1.05 0.951301

-------------+----------------------

Mean VIF | 1.09

Setelah dilakukan transformasi, dari output vif (variance inflation factor) di atas nampak bahwa

seluruh nilai vif-nya lebih kecil dari 10, demikian juga nilai toleransi vif (1/vif) yang mendekati nilai 1,

hal ini mengindikasikan tidak adanya kolinearitas.

Dengan demikian dapat disimpulkan bahwa tidak ada hubungan antarvariabel independen.

. reg invsbp bmi1sqrt logscl age

. acprplot bmi1sqrt, lowess lsopts(bwidth(1))


15 09/05/2009

. acprplot logscl, lowess lsopts(bwidth(1))

. acprplot age, lowess lsopts(bwidth(1))

.004

.006

.008

.01

.012

.014

Aug

men

ted c

om

pon

ent p

lus r

esid

ua

l

.1 .15 .2 .25bmi1sqrt

-.0

08

-.0

06

-.0

04

-.0

02

0

.002

Aug

men

ted c

om

pon

ent p

lus r

esid

ua

l

4.5 5 5.5 6 6.5logscl

-.0

06

-.0

04

-.0

02

0

.002

Aug

men

ted c

om

pon

ent p

lus r

esid

ua

l

30 40 50 60 70Age in Years


16 09/05/2009

Setelah dilakukan transformasi, baik pada plot pertama, kedua dan ketiga di atas nampak garis

sangat dekat berdekatan dengan garis pola regresi. Walaupun nampak juga pada plot pertama,

kedua dan ketiga ada sedikit masalah yang mungkin disebabkan oleh beberapa titik observasi

yang jauh dari mean. Akan tetapi secara umum, nampak grafik tidak terlalu buruk sehingga dapat

diduga hubungan antar variabel bmi, scl dan age tetap memperlihatkan hubungan yang linear.

Nonlinearity test:

F( 9, 4645) = 1.43

Prob > F = 0.1687

Setelah proses transformasi, Dari perintah nlcheck di atas diperoleh hasil nilai p 0.1687 dengan

demikian asumsi linear tidak dapat ditolak atau dengan kata lain hubungan antar variabel bmi, scl

dan age memperlihatkan hubungan yang linear.

Tabel 3 : Kesimpulan uji diagnostik model regresi (setelah transformasi)

Komponen Asumsi Metode Hasil Pengujian Kesimpulan

Residu Normality (residu

terdistribusi

normal)

kdensity

pnorm

qnorm

swilk

Berhimpit (nyaris sama)

Berada di diagonal tdk ada outlier

Berada di sekitar garis diagonal

p < 0.05

Terpenuhi

Residu Homoskedastisitas

(varian residu

homogeny)

rvfplot

hettest

Cenderung simetris pada titik 0,

tanpa pola tertentu

p < 0.05

Terpenuhi

Var.

independen

Tidak ada

Multikolinearitas

(tidak ada korelasi

antar var.

independen)

vif

toleransi

p < 10

Mendekati 1 dan > 0.1

Terpenuhi

Var. dependen

dan

independen

Linearitas

(Hubungan var.

dependen dan

independen

linear)

Acprplot

nlcheck

Mengikuti pola regresi cenderung

lebih simetris pada garis diagonal

p > 0.05

Terpenuhi

tugas regresi

Documents