catatan regresi linier

9
Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung REGRESI (Catatan Pribadi Buku Probability and statistics For engineer and scientist-walpole) Realitas: Setiap kita memberikan variabel bebas yang sama, belum tentu outputnya bakal sama. Contohnya: Jumlah tar dalam suatu proses kimia tergantung pada besar temperatur. Kalo kita memberikan temperatur yang sama, belum tentu jumlah tarnya sama persis. Jenis-jenis variabel: a. Variabel bebas/regressor/determinant/fixed : input yang kita berikan, yang dapat diubah- ubah b. Variabel tak bebas/respons Model Regresi = + : Response : Intercept : Regressor : slope Deterministik: Jika hubungan antara dan pasti. Tp disini kita ketahui bahwa untuk yang sama belum tentu kita mendapatkan yang sama. Jadi ada random/probabilistik komponen di dalamnya. Akibatnya, model regresi diatas tidak dapat dipandang sebagai suatu yang pasti. Objective: 1. Mencari model terbaik yang mampu mendeskripsikan hubungan antara dan 2. Quantifying the stregth of the relationship 3. Memprediksi respon apabila nilai regressor diberikan Misal random sample berukuran kita notasikan , ; = 1,2,3, … , . . bila sample diambil dengan yang sama, maka kemungkinan yang muncul bisa berbeda. Maka disini merupakan realisasi dari variabel acak . Jadi bergantung pada secara linear yang juga memiliki komponen random didalamnya. (kita anggap sebagai error) Tujuan Regresi: untuk melihat How the random variable moves with and the random component Simple Linear Regression Model = + +∈ , tidak diketahui ∈ (error) merupakan variabel acak dengan ∈ =0 dan ∈ = 2 Karena ∈ merupakan variabel acak, maka juga merupakan variabel acak. Nilai bukan merupakan variabel acak, pada kenyataannya diukur dengan error yang dapat diabaikan ∈ =0 mengindikasikan bahwa untuk suatu nilai , terdistribusi disekitar β€œtrue” atau β€œpopulation regression line” = +

Upload: indah-fitri-hapsari

Post on 14-Jul-2015

103 views

Category:

Data & Analytics


5 download

TRANSCRIPT

Page 1: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

REGRESI (Catatan Pribadi Buku Probability and statistics For engineer and scientist-walpole)

Realitas: Setiap kita memberikan variabel bebas yang sama, belum tentu outputnya bakal sama.

Contohnya: Jumlah tar dalam suatu proses kimia tergantung pada besar temperatur. Kalo kita

memberikan temperatur yang sama, belum tentu jumlah tarnya sama persis.

Jenis-jenis variabel:

a. Variabel bebas/regressor/determinant/fixed : input yang kita berikan, yang dapat diubah-

ubah

b. Variabel tak bebas/respons

Model Regresi

π‘Œ = 𝛼 + 𝛽π‘₯

π‘Œ: Response 𝛼: Intercept

π‘₯: Regressor 𝛽: slope

Deterministik: Jika hubungan antara π‘₯ dan π‘Œ pasti. Tp disini kita ketahui bahwa untuk π‘₯ yang sama

belum tentu kita mendapatkan π‘Œ yang sama. Jadi ada random/probabilistik komponen di dalamnya.

Akibatnya, model regresi diatas tidak dapat dipandang sebagai suatu yang pasti.

Objective:

1. Mencari model terbaik yang mampu mendeskripsikan hubungan antara π‘₯ dan π‘Œ

2. Quantifying the stregth of the relationship

3. Memprediksi respon apabila nilai regressor diberikan

Misal random sample berukuran kita notasikan π‘₯𝑖 ,𝑦𝑖 ; 𝑖 = 1,2,3,… ,𝑛. . bila sample diambil

dengan π‘₯ yang sama, maka kemungkinan 𝑦 yang muncul bisa berbeda. Maka 𝑦𝑖 disini merupakan

realisasi dari variabel acak π‘Œπ‘– . Jadi 𝑦𝑖 bergantung pada π‘₯𝑖 secara linear yang juga memiliki komponen

random didalamnya. (kita anggap sebagai error)

Tujuan Regresi: untuk melihat How the random variable 𝒀 moves with 𝒙 and the random

component

Simple Linear Regression Model

π‘Œ = 𝛼 + 𝛽π‘₯+∈

𝛼,𝛽 tidak diketahui

∈ (error) merupakan variabel acak dengan 𝐸 ∈ = 0 dan π‘‰π‘Žπ‘Ÿ ∈ = 𝜎2

Karena ∈ merupakan variabel acak, maka π‘Œ juga merupakan variabel acak.

Nilai π‘₯ bukan merupakan variabel acak, pada kenyataannya diukur dengan error yang dapat

diabaikan

𝐸 ∈ = 0 mengindikasikan bahwa untuk suatu nilai π‘₯, 𝑦 terdistribusi disekitar β€œtrue” atau

β€œpopulation regression line” π‘Œ = 𝛼 + 𝛽π‘₯

Page 2: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

Kenyataannya kita tidak pernah tahu nilai error maka tidak ada true regression line, tp kita

asumsikan ada disini.

𝐸 π‘Œ = 𝛼 + 𝛽π‘₯ + 𝐸 ∈ = 𝛼 + 𝛽π‘₯, maka π‘Œ merupakan variabel acak yang memiliki rata-rata

atau pusat di 𝛼 + 𝛽π‘₯(brarti Nilai bergantung pada π‘₯)

True regression line π‘Œ = 𝛼 + 𝛽π‘₯ dapat dituliskan sebagai πœ‡π‘Œ|π‘₯ = 𝛼 + 𝛽π‘₯. Sehingga true

regression line (yg tdk akan pernah diketahui nilainya) akan melewati nilai dari rata-rata

variabel acak π‘Œ

Yang akan kita lakukan ialah mengestimasi parameter 𝜢,𝜷 (koefisien regresi).

Notasikan estimator a untuk 𝛼 dan b untuk 𝛽. Maka estimated/fitted regression linenya adalah:

𝑦 = π‘Ž + 𝑏π‘₯

𝑦 merupakan predicted/fitted value

Fitted line merupakan estimate dari true regression line

Fitted line diasumsikan akan mendekati true regression line bila jumlah data besar

Residual

Misal diberikan data sample π‘₯𝑖 ,𝑦𝑖 ; 𝑖 = 1,2,3,… ,𝑛. dan fitted model 𝑦 = π‘Ž + 𝑏π‘₯, maka residu ke

𝑖 yaitu 𝑒𝑖 diberikan oleh

𝑒𝑖 = 𝑦𝑖 βˆ’ 𝑦𝑖 , 𝑖 = 1,2,… ,𝑛

𝑦𝑖 = π‘Ž + 𝑏π‘₯𝑖 + 𝑒𝑖

𝑒𝑖 disini terobservasi sedangkan βˆˆπ‘– tidak terobservasi. Jadi βˆˆπ‘– menyatakan perbedaan antara true

regression line dengan observasi, sedangkan 𝑒𝑖menyatakan perbedaan antara fitted model dengan

observasi.

Minimize the sum of residual

𝑆𝑆𝐸 = 𝑒𝑖2

𝑛

𝑖=1

= (𝑦𝑖 βˆ’ 𝑦𝑖 )2

𝑛

𝑖=1

= (𝑦𝑖 βˆ’ π‘Ž + 𝑏π‘₯𝑖)2

𝑛

𝑖=1

Disini 𝑆𝑆𝐸 dikuadratin soalnya biar jumlah errornya gak saling menghilangkan. Untuk

meminimumkan maka kita cari turunan parsialnya.

πœ•(𝑆𝑆𝐸)

πœ•π‘Ž= βˆ’2 (𝑦𝑖 βˆ’ π‘Ž + 𝑏π‘₯𝑖)

𝑛

𝑖=1

, πœ•(𝑆𝑆𝐸)

πœ•π‘= βˆ’2 (𝑦𝑖 βˆ’ π‘Ž + 𝑏π‘₯𝑖)

𝑛

𝑖=1

π‘₯𝑖

Persaman normal

(i) βˆ’2 (𝑦𝑖 βˆ’ π‘Ž βˆ’ 𝑏π‘₯𝑖)𝑛𝑖=1 = 0 π‘Žπ‘› + 𝑏 π‘₯𝑖

𝑛𝑖=1 = 𝑦𝑖

𝑛𝑖=1

(ii) βˆ’2 (𝑦𝑖 βˆ’ π‘Ž βˆ’ 𝑏π‘₯𝑖)𝑛𝑖=1 π‘₯𝑖 = 0 π‘Ž π‘₯𝑖

𝑛𝑖=1 + 𝑏 π‘₯𝑖

2𝑛𝑖=1 = π‘₯𝑖

𝑛𝑖=1 𝑦𝑖

Diselesaikan secara simultan dan gunakan

Page 3: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

π‘₯𝑖𝑦𝑖

𝑛

𝑖=1

βˆ’ π‘₯ 𝑦𝑖

𝑛

𝑖=1

= 𝑦𝑖(π‘₯𝑖 βˆ’ π‘₯ )

𝑛

𝑖=1

= π‘₯𝑖 βˆ’ π‘₯ (𝑦𝑖 βˆ’ 𝑦 )

𝑛

𝑖=1

𝑏 = π‘₯𝑖 βˆ’ π‘₯ (𝑦𝑖 βˆ’ 𝑦 )𝑛𝑖=1

(π‘₯𝑖 βˆ’ π‘₯ )2𝑛

𝑖=1

π‘Ž = 𝑦 βˆ’ 𝑏π‘₯

PROPERTIES OF THE LEAST SQUARE ESTIMATOR

π‘Œπ’Š = 𝛼 + 𝛽π‘₯𝑖 + βˆˆπ‘–

Asumsikan bahwa βˆˆπ‘– memiliki mean=0 dan variansi konstant 𝜎2 dan ∈1 , ∈2 , ∈3, … , βˆˆπ‘› saling

bebas from run to run biar kita bisa nyari mean dan variansi dari 𝛼 dan 𝛽.

a dan b pada fitted model hanya merupakan estimasi dari parameter 𝛼 dan 𝛽. Sehingga, untuk

sampel sampel yang berbeda ataupun untuk nilai x yang sama, kita mungkin akan mendapatkan nilai

a dan b yang berbeda pula. Karena untuk setiap x yang sama belum tentu akan menghasilkan y yang

sama pula. Maka a dan b dapat kita pandang sebagai realisasi dari variabel acak A dan B.

Karena nilai x tetap, maka nilai dari A dan B bergantung pada nilai y yang merupakan realisasi dari

variabel acak π‘Œ, atau dengan kata lain bergantung pada variabel acak π‘Œ1 ,π‘Œ2 ,… ,π‘Œπ‘› (saling bebas

karena error juga saling bebas).

πœ‡π‘Œ|π‘₯𝑖 = 𝐸[π‘Œπ’Š] = 𝛼 + 𝛽π‘₯𝑖 + 𝐸 βˆˆπ‘– = 𝛼 + 𝛽π‘₯𝑖

Equal variance.

𝜎2π‘Œ|π‘₯𝑖 = 𝜎2 = π‘£π‘Žπ‘Ÿπ‘–π‘Žπ‘›π‘ π‘– π‘’π‘Ÿπ‘Ÿπ‘œπ‘Ÿ

Dari persamaaan:

𝐡 = π‘₯𝑖 βˆ’ π‘₯ 𝑛𝑖=1 (π‘Œπ‘– βˆ’ π‘Œ )

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

= π‘₯𝑖 βˆ’ π‘₯ 𝑛𝑖=1 π‘Œπ‘– π‘₯𝑖 βˆ’ π‘₯

2𝑛𝑖=1

𝐸 𝐡 = π‘₯𝑖 βˆ’ π‘₯ 𝐸[𝑛𝑖=1 π‘Œπ‘–]

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

= π‘₯𝑖 βˆ’ π‘₯ (𝛼 + 𝛽π‘₯𝑖)𝑛𝑖=1

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

= 𝛽

𝜎𝐡2 = π‘‰π‘Žπ‘Ÿ

π‘₯𝑖 βˆ’ π‘₯ 𝑛𝑖=1 π‘Œπ‘– π‘₯𝑖 βˆ’ π‘₯

2𝑛𝑖=1

= π‘₯𝑖 βˆ’ π‘₯

2𝑛𝑖=1 πœŽπ‘Œπ‘–

2

π‘₯𝑖 βˆ’ π‘₯ 2 2𝑛

𝑖=1

= 𝜎2

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

𝐴 = π‘Œ βˆ’ π‘₯ π‘₯𝑖 βˆ’ π‘₯ 𝑛𝑖=1 π‘Œπ‘– π‘₯𝑖 βˆ’ π‘₯

2𝑛𝑖=1

𝐸[𝐴] = 𝐸[π‘Œ] βˆ’ π‘₯ π‘₯𝑖 βˆ’ π‘₯ 𝑛𝑖=1 𝐸[π‘Œπ‘–]

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

= 𝛼 + 𝛽π‘₯ βˆ’ π‘₯ π‘₯𝑖 βˆ’ π‘₯ 𝛼 + 𝛽π‘₯𝑖 𝑛𝑖=1

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

= 𝛼

Use: 𝑽𝒂𝒓 𝒂𝑿+ 𝒃𝒀 = π’‚πŸπ‘½π’‚π’“ 𝑿 + π’ƒπŸπ‘½π’‚π’“ 𝒀 βˆ’ πŸπ’‚π’ƒπ‘ͺ𝒐𝒗(𝑿,𝒀)

Page 4: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

𝜎𝐴2 = π‘‰π‘Žπ‘Ÿ π‘Œ βˆ’ 𝐡π‘₯ = π‘‰π‘Žπ‘Ÿ π‘Œ + π‘₯ 2π‘‰π‘Žπ‘Ÿ 𝐡 βˆ’ 2π‘₯ πΆπ‘œπ‘£ π‘Œ ,𝐡 = 𝐸 π‘Œ 2 βˆ’ 𝐸[π‘Œ ]2 + π‘₯ 2

𝜎2

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

= 𝛼 + 𝛽π‘₯ 2 +𝜎2

π‘›βˆ’ 𝛼 + 𝛽π‘₯ 2 + π‘₯ 2

𝜎2

𝑛 π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

= 𝜎2

𝑛 π‘₯𝑖 βˆ’ π‘₯

2𝑛𝑖=1 + π‘₯ 2

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

= 𝜎2 π‘₯𝑖

2𝑛𝑖=1

𝑛 π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

πΆπ‘œπ‘£ π‘Œ ,𝐡 = πΆπ‘œπ‘£ π‘Œ, π‘₯𝑖 βˆ’ π‘₯ 𝑛𝑖=1 π‘Œπ‘– π‘₯𝑖 βˆ’ π‘₯

2𝑛𝑖=1

= π‘₯𝑖 βˆ’ π‘₯ 𝑛𝑖=1

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

πΆπ‘œπ‘£ π‘Œ, π‘Œπ‘– = 0

𝜎2 pada variansi A dan B merupakan variansi error dari model (reflects random variation or

experimental error variation Around regression line)

π‘‰π‘Žπ‘Ÿπ‘–π‘Žπ‘›π‘ π‘– βˆˆπ‘– = 𝑦𝑖 βˆ’ 𝑦𝑖 𝑛𝑖=1

2

(𝑛 βˆ’ 2)

Variansi diatas mengukur kuadrat deviasi antara nilai π‘Œ dengan nilai meannya πœ‡π‘Œ|π‘₯ ( yaitu 𝛼 + 𝛽π‘₯).

𝛼 + 𝛽π‘₯ disni diestimasi oleh 𝑦 = π‘Ž + 𝑏π‘₯. Maka variansi error menghitung kuadrat deviasi antara

observasi dan estimated mean π’š . Jadi analoginya, biasanya 𝑦 dipake buat ngestimasi mean. Kalo

disini 𝑦 dibuat untuk ngestimasi πœ‡π‘Œ|π‘₯ in a regression structure.

Selang kepercayaan dari koefisien Regresi

Perhatikan Persamaan:

π‘Œπ’Š = 𝛼 + 𝛽π‘₯𝑖 + βˆˆπ‘– , dengan π‘₯𝑖 merupakan fixed values

Dengan asumsi βˆˆπ‘– ~ 𝑁 0,𝜎2 dan ∈1 , ∈2 , ∈3 ,… ,βˆˆπ‘› saling bebas,

π‘€π‘Œπ’Š 𝑑 = 𝐸 π‘’π‘‘π‘Œπ’Š

= 𝐸 𝑒𝑑 𝛼+𝛽π‘₯𝑖+ βˆˆπ‘–

= 𝑒𝑑 𝛼+𝛽π‘₯𝑖 .𝐸 𝑒𝑑 βˆˆπ‘–

= 𝑒𝑑 𝛼+𝛽π‘₯𝑖 . 𝑒12

𝜎2𝑑2

= 𝑒𝑑 𝛼+𝛽π‘₯𝑖 +12

𝜎2𝑑2

Maka π‘Œπ‘– berdistribusi normal dengan distribusi peluang π‘Œπ‘– ~ 𝑁 𝛼 + 𝛽π‘₯𝑖 ,𝜎2 . Hal ini juga dapat

langsung disimpulkan dengan melihat bahwa π‘Œπ‘– merupakan fungsi linier dari βˆˆπ‘– yang berdistribusi

normal.

A. Menentukan Selang Kepercayaan Untuk Parameter 𝛽 (slope)

Perhatikan persamaan:

𝐡 = π‘₯𝑖 βˆ’ π‘₯ 𝑛𝑖=1 π‘Œπ‘– π‘₯𝑖 βˆ’ π‘₯

2𝑛𝑖=1

Page 5: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

Dapat kita lihat bahwa B merupakan fungsi linier dari peubah acak π‘Œπ‘– ~ 𝑁 𝛼 + 𝛽π‘₯𝑖 ,𝜎2 , dengan

π‘Œ1 ,π‘Œ2 ,… . ,π‘Œπ‘› saling bebas, sehingga B berdistribusi 𝑁 𝛽,𝝈𝟐

π‘₯π‘–βˆ’π‘₯ 2𝑛

𝑖=1

.

Nilai 𝜎2 pada parameter distribusi variabel acak B diatas merupakan variansi dari variabel acak βˆˆπ‘– .

Dengan kata lain, 𝜎2 menyatakan variasi error sepanjang garis regresi.

Parameter 𝜎2 dapat diestimasi dengan:

π‘‰π‘Žπ‘Ÿπ‘–π‘Žπ‘›π‘ π‘– βˆˆπ‘– = 𝑦𝑖 βˆ’ 𝑦𝑖 𝑛𝑖=1

2

(𝑛 βˆ’ 2)

yang merupakan estimasi tak bias dari 𝜎2 . Dengan menggunakan estimasi variansi error, kita dapat

menentukan estimasi variansi dari B.

Teorema 1:

Jika 𝑆2 merupakan variansi dari sampel acak berukuran n yang diambil dari populasi berdistribusi

normal yang memiliki variansi 𝜎2, maka statistik

πœ’2 = 𝑛 βˆ’ 1 𝑆2

𝜎2

Berdistribusi chi-squared dengan derajat kebebasan v=n-1.

Menggunakan analogi dari teorema diatas serta fakta bahwa B berdistribusi normal, maka statistik

πœ’2 = 𝑛 βˆ’ 2 𝑆2

𝜎2

Berdistribusi chi-squared dengan derajat kebebasan v= n-2.

Teorema 2:

Misalkan 𝑍 berdistribusi normal baku dan πœ’2 berdistribusi Chi-squared dengan derajat kebebasan 𝑣.

Jika 𝑍 dan πœ’2 saling bebas, maka distribusi dari variabel acak 𝑇, dimana

𝑇 =𝑍

πœ’2

𝑣

Berdistribusi t dengan derajat kebebasan 𝑣.

Sebelum menggunakan teorema diatas, variabel acak B harus kita ubah dalam bentuk normal baku

(.𝑁 0,1 Untuk itu, gunakan fakta bahwa :

β€œX berdistribusi 𝑡 𝝁,𝝈𝟐 jika dan hanya jika 𝒁 =π‘Ώβˆ’π

𝝈 berdistribusi 𝑡(𝟎,𝟏)"

𝑍 =

𝐡 βˆ’ 𝛽

𝜎2

π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

Page 6: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

Misalkan 𝑆π‘₯π‘₯ = π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

𝑍 = 𝐡 βˆ’ 𝛽 𝑆π‘₯π‘₯

𝜎

Kemudian gunakan teorema 2,

𝑇 =𝑍

πœ’2

𝑣

=

𝐡 βˆ’ 𝛽 𝑆π‘₯π‘₯

𝜎

𝑛 βˆ’ 2 𝑆2

𝜎2

𝑛 βˆ’ 2

=

𝐡 βˆ’ 𝛽 𝑆π‘₯π‘₯

𝜎

π‘†πœŽ

= 𝐡 βˆ’ 𝛽 𝑆π‘₯π‘₯

𝑆

Maka T berdistribusi t dengan derajat kebebasan 𝑣 = 𝑛 βˆ’ 2. Statistik ini dapat digunakan untuk

membangun 100 1βˆ’ 𝛼 % selang kepercayaan untuk koefisien 𝛽. (𝛼 disini melambangkan tingkat

signifikansi)

Teori singkat mengenai distribusi t

Distribusi t menyerupai distribusi normal baku. Kedua distribusi tersebut simetri terhadap meannya,

dengan nilai mean 0. Kedua distribusi diatas berbentuk bell-shaped, namun untuk distribusi

bergantung pada 2 nilai yaitu 𝑋 dan 𝑆2. Sedangkan untuk distribusi normal hanya bergantung pada

𝑋 saja.

𝑑𝛼 : menunjukkan nilai t dimana luas area diatas t sama dengan alfa (𝛼 disini menunjukkan tingkat

signifikansi)

Karena t merupakan distribusi yang simetrik, maka 𝑑1βˆ’π›Ό = βˆ’π‘‘π›Ό

Selang Kepercayaan untuk parameter 𝜷

𝛼

𝛼

Page 7: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

100 1βˆ’ 𝛼 % selang kepercayaan untuk koefisien 𝛽 pada garis regresi πœ‡π‘Œ|π‘₯ = 𝛼 + 𝛽π‘₯ adalah

βˆ’π‘‘π›Ό2

< 𝑇 < 𝑑𝛼2

βˆ’π‘‘π›Ό2

< 𝐡 βˆ’ 𝛽 𝑆π‘₯π‘₯

𝑆< 𝑑𝛼

2

βˆ’π‘‘π›Ό2𝑆

𝑆π‘₯π‘₯βˆ’ 𝐡 < βˆ’π›½ <

𝑑𝛼2

𝑆

𝑆π‘₯π‘₯βˆ’ 𝐡

𝐡 βˆ’π‘‘π›Ό

2𝑆

𝑆π‘₯π‘₯< 𝛽 < 𝐡 +

𝑑𝛼2

𝑆

𝑆π‘₯π‘₯

Dimana 𝑑𝛼2 menyatakan nilai dari distribusi t dengan derajat kebebasan n-2.

βˆ’π‘‘π›Ό2

< 𝑇 < 𝑑𝛼2

Menyatakan bahwa besar peluang t berada pada selang βˆ’π‘‘π›Ό2

< 𝑇 < 𝑑𝛼2 adalah 1βˆ’ 2.

𝛼

2= 1βˆ’ 𝛼

dengan 𝑑𝛼 menunjukkan nilai t dimana luas area diatas t sama dengan alfa. Sehingga

𝐡 βˆ’π‘‘π›Ό

2𝑆

𝑆π‘₯π‘₯< 𝛽 < 𝐡 +

𝑑𝛼2

𝑆

𝑆π‘₯π‘₯

Menyatakan bahwa dengan interval kepercayaan 100 1βˆ’ 𝛼 %, nilai 𝛽 akan jatuh pada interval

𝐡 βˆ’π‘‘π›Ό

2𝑆

𝑆π‘₯π‘₯< 𝛽 < 𝐡 +

𝑑𝛼2

𝑆

𝑆π‘₯π‘₯

B. Menentukan Selang Kepercayaan Untuk Parameter 𝛼 (intersect)

Perhatikan Persamaan:

𝐴 = 𝑦 βˆ’ 𝐡π‘₯

Dapat kita lihat bahwa A merupakan fungsi linier dari peubah acak B ~𝑁 𝛽,𝝈𝟐

π‘₯π‘–βˆ’π‘₯ 2𝑛

𝑖=1

, sehingga A

berdistribusi 𝑁 𝛽, π‘₯𝑖

2𝑛𝑖=1

𝑛 π‘₯π‘–βˆ’π‘₯ 2𝑛

𝑖=1

𝜎2

Nilai dari 𝜎2 pada parameter diatas menunjukkan variansi error yang dapat diestimasi menggunakan

rumus yang telah dijelaskan sebelumnya.

Menggunakan analogi dari teorema 1 serta fakta bahwa A berdistribusi normal, maka statistik

πœ’2 = 𝑛 βˆ’ 2 𝑆2

𝜎2

Berdistribusi chi-squared dengan derajat kebebasan v= n-2.

Ubah distribusi A menjadi distribusi normal baku:

Page 8: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

𝑍 =

𝐴 βˆ’ 𝛼

π‘₯𝑖

2𝑛𝑖=1

𝑛 π‘₯𝑖 βˆ’ π‘₯ 2𝑛𝑖=1

𝜎2

=

𝐴 βˆ’ 𝛼

𝜎 π‘₯𝑖

2𝑛𝑖=1

𝑛 π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

Misalkan 𝑆π‘₯π‘₯ = π‘₯𝑖 βˆ’ π‘₯ 2𝑛

𝑖=1

𝑍 =

𝐴 βˆ’ 𝛼

𝜎 π‘₯𝑖

2𝑛𝑖=1𝑛 𝑆π‘₯π‘₯

Maka, sesuai dengan teorema 2:

𝑇 =𝑍

πœ’2

𝑣

=

π΄βˆ’ 𝛼

𝜎 π‘₯𝑖

2𝑛𝑖=1𝑛 𝑆π‘₯π‘₯

𝑛 βˆ’ 2 𝑆2

𝜎2

𝑛 βˆ’ 2

=𝐴 βˆ’ 𝛼

𝑆 π‘₯𝑖

2𝑛𝑖=1𝑛 𝑆π‘₯π‘₯

Berdistribusi t dengan derajat kebebasan derajat kebebasan 𝑣 = 𝑛 βˆ’ 2. Statistik ini dapat digunakan

untuk membangun 100 1βˆ’ 𝛼 % selang kepercayaan untuk koefisien signifikansi 𝛼.

Selang Kepercayaan untuk parameter 𝜢 (intersect)

100 1βˆ’ 𝛼 % selang kepercayaan untuk koefisien 𝛼 pada garis regresi πœ‡π‘Œ|π‘₯ = 𝛼 + 𝛽π‘₯ adalah

βˆ’π‘‘π›Ό2

< 𝑇 < 𝑑𝛼2

βˆ’π‘‘π›Ό2

<𝐴 βˆ’ 𝛼

𝑆 π‘₯𝑖

2𝑛𝑖=1𝑛 𝑆π‘₯π‘₯

< 𝑑𝛼2

Page 9: Catatan Regresi linier

Indah Nurina Fitri Hapsari/ 10110094/ Institut Teknologi Bandung

𝐴 βˆ’ 𝑑𝛼 2𝑆 π‘₯𝑖

2𝑛𝑖=1

𝑛 𝑆π‘₯π‘₯ < 𝛼 < 𝐴 + 𝑑𝛼

2𝑆 π‘₯𝑖

2𝑛𝑖=1

𝑛 𝑆π‘₯π‘₯

Dimana 𝑑𝛼2 menyatakan nilai dari distribusi t dengan derajat kebebasan n-2. Selang diatas

menyatakan bahwa dengan interval kepercayaan 100 1βˆ’ 𝛼 % , nilai 𝛼 akan jatuh pada interval

𝐴 βˆ’ 𝑑𝛼

2𝑆

π‘₯𝑖2𝑛

𝑖=1

𝑛 𝑆π‘₯π‘₯ < 𝛼 < 𝐴 + 𝑑𝛼

2𝑆

π‘₯𝑖2𝑛

𝑖=1

𝑛 𝑆π‘₯π‘₯