STATISTIK PRESS

(prediction sum of square)

• PRESS residual:Memberikan error prediksi dimana observasi yang diprediksi bebas terhadap fiiting model.

merupakan prediksi data ke i

dengan model yang tidak menggunakan data ke i dalam menghitung koef. regresinya.

Rumus lain:

GOAL:

Mengetahui seberapa baik suatu “kandidat model” dalam memprediksi nilai respon yang data terobservasinya tidak digunakan untuk membangun model tersebut.

KRITERIA PEMILIHAN MODEL BERDASAR PRESS residual:

a. b. PRESS

Kriteria b. Lebih sensitif apabila terdapat salah satu/beberapa nilai press residual yang besar

Dibandingkan dengan rata-rata nilai terobservasi yi untukmelihat error signifikan atau tidak

Contohnya: Model yang menggunakan X2 dan X5 saja sebagai regressornya

Langkah: a. Pilih i=1b. Prediksi koefisien regresi dr model regresi diatas dengan membuang observasi ke i=1

dalam prhitungan.c. Setelah mendapatkan model regresinya, gunakan model tersebut untuk mengestimasi

hasil dari observasi yang telah dihilangkan. (dalam hal ini observasi prtama)d. Maka diperoleh untuk model regresi diatas.e. Lakukan untuk i lainnya (i=1,...,n)

Contoh Perhitungan

of Prediction

,dengan PRESS

: Menyatakan variasi yang secara ideal dijelaskan oleh model regresi

: Menyatakan kemampuan dari persamaanregresi untuk memprediksi observasi yangindependent terhadap model.

List of all possible models

Kegunaan: Untuk mengeliminasi model model yang tidak signifikan

Dapat dilihat bahwa model yang memuat regressor X2 dan X5 termasuk model yang baik

Statistik Cp• P: Jumlah parameter yang diprediksi

• : mean square error dari full model

• : mean square error dari kandidat model

Bias bisa negatif ketika full model bukan merupakan estimator yang baik. Sehingga Cp kurang dari p.

Masalah:

a. Bias yang besar ketika kita memilih terlalu sedikit regressor (underfit)

b. Variansi prediksi yang besar ketika memilih model yang overfit

Kegunaan:

Memilih model terbaik dengan mempertimbangkan prinsip parsimony dan kesederhanaan model.

• WEAKNESS

Cp dan PRESS hanya digunakan jiga parameter dari full model (p) kecil. Hal ini dikarenakan apabila p besar maka subset variabel yang digunakan dalam regresi sangatlah banyak.Apabila p besar, maka gunakan forward selection, backward selection atau stepwise regression.