interpretasi geometri metode kuadrat terkecil dalam

INTERPRETASI GEOMETRI METODE KUADRAT TERKECIL

DALAM REGRESI LINIER SEDERHANA

SKRIPSI

WIRA MOORER K S

160823021

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SUMATERA UTARA

MEDAN

2018




SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Sains

WIRA MOORER K S

160823021

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM


MEDAN

2018


i

PERSETUJUAN

Judul : INTERPRETASI GEOMTERI METODE KUADRAT

TERKECIL DALAM REGRESI LINIER SEDERHANA Kategori : SKRIPSI

Nama : WIRA MOORER K S

Nomor Induk Mahasiswa : 160823021

Program Studi : SARJANA (S-1) MATEMATIKA

Departemen : MATEMATIKA

Fakultas : MATEMATIKA DAN ILMU PENGETAHUAN ALAM

(FMIPA) UNIVERSITAS SUMATERA UTARA

Disetujui di

Medan, Juli 2018

Disetujui oleh:

Departemen Matematika FMIPA USU Pembimbing,

Ketua,

Dr. Suyanto, M.Kom Dr. Open Darnius, M.Sc

NIP. 19531218 198003 1 003 NIP. 19641014 199103 1 004


ii

PERNYATAAN

INTERPRETASI GEOMTERI METODE KUADRAT TERKCECIL


TUGAS AKHIR

Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa

kutipan dan ringkasan yang masing-masing disebutkan sumbernya.

Medan, Juli 2018

WIRA MOORER K S

160823021


iii

PENGHARGAAN

Puji dan syukur penulis panjatkan kepada Tuhan Yang Maha Pengasih dan Maha

Penyayang, dengan limpah karunia-Nya Penulis dapat menyelesaikan skripsi ini

dengan judul Interpretasi Geometri Metode Kudarat Terkecil dalam Regresi Linier

Sederhana.

Terimakasih penulis sampaikan kepada Bapak Dr. Open Darnius, M.Sc

selaku pembimbing yang telah meluangkan waktunya selama penyusunan skripsi

ini. Terimakasih kepada Bapak Dr. Suyanto, M.Kom dan Bapak Drs. Rosman

Siregar, M.Si selaku Ketua dan Sekretaris Departemen Matematika FMIPA USU

Medan, Bapak Dr. Kerista Sebayang, MS selaku Dekan FMIPA USU Medan,

seluruh Staff dan Dosen Program Studi S1 Matematika pegawai FMIPA USU dan

rekan-rekan kuliah. Akhirnya tidak terlupakan kepada ayah dan ibu penulis,

Bapak Ir. Tumpak Sitorus, Ibu Taruli Manna Manik, dan semua keluarga yang

selama ini memberikan bantuan dan dorongan yang diperlukan. Semoga Tuhan

Yang Maha Esa akan membalasnya.

Penulis,

WIRA MOORER K S


iv



ABSTRAK

Dalam menyusun paper ini penulis mengadakan studi literatur, memberi uraian

dan penjelasan tentang gambaran umum mengenai analisa regresi linier, tentang

metode kuadrat terkecil, serta interpretasinya ke dalam konsep geometri. Metode

Kuadrat Terkecil (least-square method) untuk menentukan persamaan linier

estimasi, berarti memilih satu kurva linier dari beberapa kemungkinan kurva linier

yang dapat dibuat dari data yang mempunyai kesalahan (error) paling kecil dari

data aktual dengan data estimasinya. Kriteria ini dikenal dengan istilah prinsip

kuadrat terkecil (principle of least square). Metode Kuadrat terkecil dalam

Regresi Linier Sederhana ini kemudian di interpretasikan ke dalam konsep

geometri. Dengan interpretasi geometri metode kuadrat terkecil dalam regresi

linier sederhana diharapkan bisa meendapatkan error yang lebih kecil dari

persamaan regresi linier, sebagai dasar pemecahan masalah ataupun persoalan

untuk dasar penelitian lebih lanjut.

Kata kunci : Regresi Linier, Metode Kuadrat Terkecil, Geometri


v

GEOMETRIC INTERPRETATION OF LEAST SQUARE METHODS

IN SIMPLE LINEAR REGRESSION

ABSTRACT

In compiling this paper the authors conduct literature studies, giving descriptions

and explanations of the general description of linear regression analysis, the least

squares method, and its interpretation into the concept of geometry. The least-

squares method for determining the linear equations of estimation means choosing

a linear curve from several possible linear curves which can be made from data

having the least error of the actual data with the estimation data. This criterion is

known as the principle of least square. The least squares method in Simple Linear

Regression is then interpreted into the concept of geometry. By geometry

interpretation the least squares method in simple linear regression is expected to

get smaller error from linear regression equation, as the basis of problem solving

or problem for further research base.

Keywords: Linear Regression, Least Square Method, Geometry


vi

DAFTAR ISI

Halaman

Persetujuan i

Pernyataan ii

Penghargaan iii

Abstrak iv

Daftar Isi vi

Daftar Gambar vii

Bab 1 Pendahuluan 1

1.1 Latar Belakang 1

1.2 Rumusan Masalah 1

1.3 Batasan Masalah 1

1.4 Manfaat dan Tujuan Penelitian 2

1.5 Metodologi Penelitian 2

Bab 2 Tinjauan Pustaka 3

2.1 Analisis Regresi 3

2.2.1 Analisis Regresi Linier Sederhana 5

2.2.2 Analisis Regresi Linier Berganda 5

2.2 Metode Kudarat Terkecil 6

2.3 Bentuk Umum Matriks Untuk Regresi Linier 8

2.3.1 Matriks Orthogonal 9

Bab 3 Hasil dan Pembahasan 12

3.1 Analisis Regresi Linier Sederhana 12

3.2 Analisis Regresi Linier Berganda 14

3.3 Regresi linier dalam bentuk matriks 15

3.4 Metode Kuadrat Terkecil 16

3.5 Interpretasi Geometri Metode Kuadrat terkecil 20

3.5.1 Model Linier 20

3.5.2 Metode Kuadrat Terkecil 21

3.5.3 Kasus Orthogonal 22


vii

Bab 4 Kesimpulan dan Saran 26

4.1 Kesimpulan 26

4.2 Saran 26

Daftar Pustaka 27


vii

DAFTAR GAMBAR

Halaman

Gambar 2.1 Diagram Pencar 7

Gambar 2.2 Penjelasan Konsep Devasi Total, Explained, dan Unexplained 8

Gambar 3.1 Interpretasi Geometri Metode Kuadrat Terkecil 22

Gambar 3.2 Interpretasi Geometri Kasus Orthogonal 24

Gambar 3.3 Bagian dari Gambar 3.2 25


BAB 1

PENDAHULUAN

A. Latar Belakang

Untuk mengestimasi parameter regresi linier dapat digunakan metode kuadrat

terkecil, dimana metode kuadrat terkecil (Least Square Method) ini adalah suatu

metode yang digunakan untuk menentukan hubungan linier dari suatu data agar

dapat diprediksi nilai-nilainya. Bentuk persamaannya yaitu:

Persamaan garis regresi kuadrat terkecil (least-squares prediction line):

Untuk persamaan regresi yang variabel bebasnya lebih dari dua bahkan bisa

sampai sebanyak n buah bentuk persamaannya adalah:

Dengan metode kuadrat terkecil persamaan regresi dapat diselesaikan dengan

mudah menggunakan matriks:

Model ini dapat direpresentasikan dalam model geometri sehingga penelitian ini

berjudul “Interpretasi Geometri Metode Kudarat Terkecil pada Regresi

Linier Sederhana”.

B. Rumusan Masalah

Berdasarkan latar belakang yang telah diuraikan maka rumusan masalah dari

penelitian ini adalah bagaimana model representasi dan interpretasi metode

kuadrat terkecil dalam regresi linier sederhana dapat dibuat secara geometri?

C. Batasan Masalah

Dalam penelitian ini, penulis membatasi ruang lingkup hanya mengkaji geometri

metode kuadrat terkecil dalam regresi linier sederhana.


2

D. Manfaat dan Tujuan Penelitian

Dengan interpretasi geometri metode kuadrat terkecil dalam regresi linier

sederhana diharapkan bisa mendapatkan error yang lebih kecil dari persamaan

regresi linier yang dikerjakan, sebagai referensi pemecahan masalah ataupun

persoalan untuk dasar penelitian lebih lanjut.

E. Metodologi Penelitian

Dalam penelitian ini penulis melakukan studi literature, mencari bahan dari buku

maupun internet yang membahas metode kuadrat terkecil dalam regresi linier

sederhana, kemudian menginterpretasikannya ke dalam konsep geometri.


BAB 2

TINJAUAN PUSTAKA

2.1 Analisis Regresi

Pada umumnya teori yang digunakan untuk menganalisa hubungan antara dua

variabel atau lebih adalah analisa regresi linier. Regresi pertama digunakan

sebagai konsep statistik pada tahun 1877 oleh Sir Francis Galton. Dia telah

melakukan studi tentang kecenderungan tinggi badan anak.

Hasil studi tersebut merupakan suatu kesimpulan bahwa kecenderungan

tinggi badan anak yang lahir terhadap orang tuanya adalah menurun mengarah

pada tinggi badan rata-rata penduduk.

Istilah regresi pada mulanya bertujuan untuk membuat perkiraan nilai satu

variabel terhadap variabel yang lain. Pada perkembangan selanjutnya, analisis

regresi dapat digunakan sebagai alat untuk membuat perkiraan nilai suatu variabel

dengan menggunakan beberapa variabel lain yang berhubungan dengan variabel

tersebut. (Alfigari, 2000.Analisis Regresi Teori, kasus dan solusi, Edisi Kedua,

Yogyakarta : BPFE halaman 1 dan 2)

Pada dasarnya dalam suatu persamaan regresi terdapat dua macam

variabel, yaitu variabel bebas (independent variable) yang dinyatakan dengan

simbol X dan variabel terikat (dependent variable) yang biasanya dinyatakan

dengan simbol Y.

Variabel terikat adalah variabel yang dipengaruhi atau yang nilainya

bergantung dari nilai variabel lain. Variabel bebas adalah variabel yang

memberikan pengaruh. Bila variabel bebas diketahui maka variabel terikatnya

dapat diprediksi besarnya.

Prinsip dasar yang harus dipenuhi dalam membangun suatu persamaan

regresi adalah bahwa antara variabel terikat dengan variabel bebas mempunyai

sifat hubungan sebab-akibat.


4

Analisis regresi merupakan teknik yang digunakan dalam persamaan matematik

yang menyatakan hubungan fungsional antara variabel-variabel. Analisis regresi

linier atau regresi garis lurus digunakan untuk:

1. Menentukan hubungan fungsional antar variabel dependent dengan

independent. Hubungan fungsional ini dapat disebut sebagai persamaan garis

regresi yang berbentuk linier.

2. Meramalkan atau menduga nilai dari satu variabel dengan hubungannya

dengan variabel yang lain yang diketahui melalui persamaan garis regresi.

Variabel yang lain diketahui melalui persamaan garis regresinya. Analisis regresi

terdiri dari dua bentuk, yaitu:

1. Analisis Regresi Linier Sederhana

2. Analisis Regresi Linier Berganda

Analisis Regresi Linier Sederhana adalah bentuk regresi dengan model

yang bertujuan untuk mempelajari hubungan antara dua variabel, yakni variabel

terikat dan variabel bebas. Sedangkan analisis regresi berganda adalah bentuk

regresi dengan model yang memiliki hubungan antara satu variabel terikat dengan

dua atau lebih variabel bebas.

Analisis regresi digunakan untuk mengetahui hubungan antara dua

variabel atau lebih, terutama untuk menelusuri pola hubungan yang modelnya

belum diketahui dengan baik, atau untuk mengetahui bagaimana variasi dari

beberapa variabel bebas mempengaruhi variabel terikat dalam suatu fenomena

yang komplek. Jika adalah variabel-variabel bebas dan Y adalah

variabel terikat, maka terdapat hubungan antara fungsional antara X dan Y dimana

variasi dari X akan diiringi pula oleh variasi dari Y. Jika dibuat secara matematis

hubungan ini dapat dijabarkan sebagai berikut:

(2.1)

Keterangan: Y = Variabel terikat (Dependent)

X = Variabel bebas (Independent)

e = Variabel residu (Disturbace term)

Berkaitan dengan analisis regresi ini, setidaknya ada empat kegiatan yang lazim

dilaksanakan yakni:

1. Mengadakan estimasi terhadap parameter berdasarkan data empiris.


5

2. Menguji berapa besar variasi variabel dependent dapat diterangkan oleh

variasi independent.

3. Menguji apakah estimasi parameter tersebut signifikan atau tidak.

4. Melihat apakah tanda menghitung dari estimasi parameter cocok dengan teori.

2.2 Analisis Regresi Linier Sederhana

Analisis regresi linier sederhana terdiri dari satu variabel bebas dan satu variabel

terikat. Dengan kata lain variabel yang dianalisis terdiri dari satu variabel

prediktor dan satu variabel kriterium.

Model regresi linier sederhananya adalah:

2.2

Keterangan: Y = Variabel terikat (dependent variable)

X = Variabel bebas (independent variable)

= Konstanta (intercept)

= Kemiringan (slope)

Koefisien - koefisien regresi a dan b dapat dihitung dengan rumus:

∑ (∑

) ∑ ∑

∑ ∑

2.3

∑ ∑ ∑

∑ ∑

2.4

Jika koefisien b terlebih dahulu dihitung, maka koefisien a dapat dihitung dengan

rumus:

Dengan dan masing-masing rata-rata untuk variabel-variabel X dan Y.

2.3 Analisis Regresi Linier Berganda

Regresi linier ganda (Multiple Regression) berguna untuk mencari pengaruh atau

untuk meramalkan dua variabel prediktor atau lebih terhadap variabel

kriteriumnya. Suatu persamaan regresi linier yang memiliki lebih dari satu

variabel bebas X dan satu variabel terikat Y akan membentuk suatu persamaan

regresi yang baru, disebut persamaan regresi linieer berganda (multiple

regression). Model persamaan regresi linier berganda hampir sama dengan model

regrei linier sederhana, letak perbedaanya hanya pada jumlah variabel bebasnya.


6

Secara umum model regresi linier berganda adalah sebagai berikut:

(2.5)

Keterangan: Y = Variabel terikat (dependent variable)

X = Variabel bebas (independent variable)

= Konstanta regresi

= Koefisien regresi variabel bebas

= Pengamatan variabel error

2.4 Metode Kuadrat Terkecil

Prinsip pemilihan garis regresi dengan Metode Kuadrat Terkecil adalah memilih

garis yang mempunyai jumlah kuadrat deviasi nilai observasi Y terhadap Y

prediksinya yang minimum sebagai garis regresi yang paling baik. Prinsip

pemilihan garis yang mempunyai nilai a dan b yang dapat meminimumkan:

∑ ( )

(2.6)

Simbol SSE pada persamaan menunjukkan jumlah kuadrat deviasi, atau sering

disebut jumlah kuadrat untuk kesalahan (sum of square for error). Jika suatu

persamaan regresi diperoleh dari mensubtitusikan nilai dari a dari b yang

meminimumkan SSE, maka akan dihasilkan persamaan garis regresi kuadrat

terkecil (least-squares prediction line) sebagai berikut

(2.7)

yang menyatakan bahwa:

= taksiran nilai Y

= taksiran nilai a

= taksiran nilai b

X= nilai tertentu X

Persamaan estimasi secara umum dapat ditulis sebagai berikut:

+ (2.8)

(Y topi) adalah nilai estimasi Y, a adalah intersep estimasi, b adalah slope

estimasi, dan x adalah nilai x. Nilai a dan b pada persamaan estimasi dapat

ditentukan dengan formulasi sebagai berikut:

( ) (2.9)


7

(2.10)

yang menyatakan bahwa

b = slope estimasi yang baik

a = intersep estimasi yang baik

= nilai rata-rata Y

= nilai rata-rata X

n = jumlah data yang digunakan sebagai sampel

Pada dasarnya Metode Kuadrat Terkecil berpangkal pada kenyataan

bahwa jumlah kuadrat (pangkat dua) dari jarak titik-titik kepada regresi yang

sedang dicari harus sekecil mungkin. Sehingga penyimpangan pada persamaan

regresi dari data sangat kecil. Untuk menghindari penilaian subjektif ketika

menggambarkan garis dalam menyesuaikan data, maka ada kesepakatan tentang

“garis yang paling sesuai”. Untuk mendorong suatu kemungkinan rumusan

perhatikan Gambar 2.1 titik-titik data ditentukan oleh

Untuk nilai tertentu katakanlah maka ada perbedaan antar nilai

dengan nilai bersangkutan yang sedang dicari misalnya seperti digambarkan

oleh kurva. Seperti terlihat pada gambar, maka perbedaan ini disebut juga dengan

penyimpangan, kesalahan atau residu.

Gambar 2.1 Diagram Pencar

Interpretasi jumlah error dapat dilakukan dengan cara yang lain, yaitu

dengn menggunakan ukuran jumlah deviasi dalam Y yang dapat dijelaskan oleh

garis – garis regresi (amount of the variation in Y that is explained by the

regression line) . Perhatikan Gambar 2.2 untuk memahami konsep ini.

Nilai rata – rata variabel Y adalah . Misalnya titik A adalah suatu titik

pasangan data X dan Y. Deviasi total (total deviasion) Y terhadap rata –ratanya

adalah (Y- ). Besarnya deviasi total ini terdiri dari deviasi yang dapat dijelaskan

X

Y


8

(explained deviation) dan deviasi yang tidak dapat dijelaskan (unexplained

deviation). Total deviasi dari semua titik (pasangan data) adalah jumlah kuadrat

deviasi total titik tersebut dari rata – ratanya yaitu :

(2.30)

Variasi yang dapat dijelaskan (explained variation) adalah jumlah kuadrat

deviasi yang dapat dijelaskan nilai garis regresi terhadap rata – ratanya. Besaran

ini disebut juga sebagai jumlah kuadrat regresi (Sum of Square Regression

Error/SSE) atau secara sistematis dapat ditulis sebagai berikut :

( )

Gambar 2.1 Penjelasan Konsep Deviasi Total, Explained, dan Unexplained

2.5 Bentuk Umum Matriks untuk Regresi Linier

Bentuk umum dari sebuah matriks adalah susunan bilangan-bilangan yang

berbentuk persegi panjang yang dapat digambarkan sebagai berikut:

A = [

] (2.32)

Bilangan , , … , yang menyusun rangkaian itu disebut Elemen

atau unsur dari matriks itu. Indeks pertama dari elemen menunjukkan baris dan

indeks kedua menunjukkan kolom dimana elemen itu berada. Untuk menuliskan

matriks beserta elemen-elemennnya dipergunakan tanda kurung siku seperti yang

Y 0

Y

Y

Σ(𝑌 ��)

Deviasi yang tidak dapat dijelaskan

Σ(�� )

Deviasi yang dapat dijelaskan

Σ(𝑌 ��)

Total Deviasi

A


9

diperlihatkan pada contoh matriks yang diatas, sedangkan sebuah huruf yang

dicetak tebal (misalnya A) dapat digunakan juga untuk menyatakan sebuah

matriks.

Sebuah penyajian lain untuk sebuah matriks adalah dengan menuliskan

sebuah elemennya dalam sebuah kurung siku; maka matriks A dapat juga ditulis

[ ] atau [ ]. Ordo atau ukuran sebuah matriks ditentukan oleh banyaknya

jumlah baris dan kolomnya; maka matriks A mempunyai ordo dan biasanya

ditulis . Matriks bujur sangkar adalah matriks yang jumlah baris dan

kolomnya sama dan dikatakan berordo n.

Elemen – elemen dari matriks bujur sangkar mulai dari ujung kiri atas

sampai ujung kanan bawah secara diagonal (yaitu elemen-elemen ,…, )

disebut diagonal utama matriks, dan elemen-elemen dari kiri bawah sampai kanan

atas ( ,…, ) disebut diagonal kedua.

Sebuah vector dapat dipandang sebagai sebuah matriks khusus yang hanya

mempunyai satu baris atau satu kolom saja. Sebuah vektor baris yang terdiri dari n

elemen adalah sebuah matriks berordo 1 x n (atau matriks baris) dan suatu vektor

kolom yang mempunyai n elemen adalah sebuah matriks berordo n x 1 (matriks

kolom).

Selain itu perlu diperkenalkan juga dimensi dari sebuah matriks, yaitu

banyaknya indeks yang dibutuhkan untuk menentukann secara tunggal letak-letak

dari elemen-elemen dalam matriks itu. Matriks persegi panjang memerlukan dua

indeks untuk menentukan letak sebuah elemennya, maka matriks itu adalah

matriks berdimensi 2. Sedang sebuah vektor, hanya memerlukan satu indeks

untuk menenttukan letak sebuah elemen; misalnya sebuah vektor baris dalam

bentuk :

[ ] (2.33)

Oleh karena itu, sebuah vektor dapat dikatakan dapat dikatakan sebagai

matriks berdimensi 1. Sebuah matrikds berdimensi 3 yang berordo m x n x p

terdiri dari p buah susunan berdimensi 2 yang berordo m x n.

Dalam hal yang lebih luas lagi elemen-elemen suatu matriks dapat terdiri

dari pernyataaan matematika, seperti fungsi-fungsi geometri, pernyataan-

pernyataan aljabar, turunan, dan integral.


10

Matriks Orthogonal

Suatu Matriks bujursangkar yang inversnya sama dengan transposenya disebut

Matriks Orthogonal.

(2.49)

Maka A adalah matriks orthogonal.

Sifat-sifat matriks orthogonal :

1. Invers matriks orthogonal juga matriks orthogonal

2. Hasil kali matriks-matriks orthogonal juga orthogonal

3. Jika A matriks orthogonal maka det(A) = 1 atau det (A) = -1.

Suatu himpunan dari vektor-vektor seperti pada vector baris dan kolom dari

contoh tersebut dinamakan orthonormal. Jadi untuk himpunan vektor yang

orthonormal berlaku hubungan :

(2.50)

(2.51)

Dengan dan adalah vektor baris berdimensi-n. Jika baris-baris suatu matriks

terhimpun menjadi himpunan vektor orthonormal, maka dengan sendirinya kolom

kolom matriks itu juga terhimpun menjadi himpunan vektor orthonormal, dan

matriks itu sendiri adalah matriks orthogonal. Untuk memperlihatkan hipotesa ini

secara umum, perhatikan matriks bujursangkar A yang berordo-n dengan vektor-

vektor baris v seperti pada contoh matriks di bawah ini :

[

] (2.52)

Dalam matriks ini setiap vektor baris berdimensi n. Jika A dikali kanankan dengan

transposnya yaitu sebuah matriks yang kolom-kolomnya terdiri dari transpos

vektor-vektor , , … , :

[

] (2.53)

Maka hasil kalinya adalah matriks identitas:

[

] (2.54)


11

Sebagai hasil perkalian didapat juga matriks identitas karena kolom

dari matriks A merupakan himpunan vektor yang orthonormal. Oleh karena itu,

invers A adalah matriks orthogonal. Jadi baris-baris suatu matriks merupakan

vektor- vektor satuan yang saling orthogonal adalah syarat yang cukup agar

matriks itu orthogonal. Jika dua matriks A1 dan A2 ortogonal maka hasil kali dari

matriks A1 . A2 orthogonal juga.

(2.55)

Sesungguhnya pun, perkalian lebih dari 2 matriks orthogonal akan menghasilkan

matriks orthogonal juga. Maka berlakulah hubungan sebagai berikut :

(2.56)

dengan A1 , A2 , … , An merupakan matriks orthogonal.

Determinan matriks orthogonal harus sama dengan akar pangkat dua dari

kesatuan (yaitu sama dengan plus satu atau minus satu). Karena

harus 1. Akan tetapi

harga determinan suatu matriks tidak berubah oleh pengtransposan oleh karena itu

baik harga | | atau | | harus sama dengan atau .


BAB 3

HASIL DAN PEMBAHASAN

3.1 Analisis Regresi Linier Sederhana

Analisis regresi linier sederhana terdiri dari satu variabel bebas dan satu variabel

terikat. Dengan kata lain variabel yang dianalisis terdiri dari satu variabel

prediktor dan satu variabel kriterium.

Bila hanya terdapat satu X dan satu Y maka terdapat bentuk pasangan

pengamatan himpunan X dan Y, dimana *( ) +. Bila nilai X

diat maka ditetapkan nilai-nilai terlebih dahulu dan kemudian mengamati nilai

pedanannya . Bila dimisalkan bahwa semua rataan terletak pada satu garis

lurus, maka peubah acak dapat ditulis sebagai peubah acak . Hal ini

dapat ditulis sebagai:

(3.1)

dengan peubah acak yang mempunyai rataan 0. Setiap pengamatan dalam

sampel memiliki hubungan

(3.2)

dengan nilai yang dicapai bila berharga . Demikian juga dengan

menggunakan persamaan regresi:

(3.3)

tiap pasangan pengamatan memenuhi:

(3.4)

disebut sisa.

Untuk menafsir parameter yang diramalkan digunakan metode kuadrat

terkecil. Jadi harga a dan b akan dicari dengan meminimumkan dari persamaan

(3.4), maka:

∑

∑ ( )

(3.5)

Bila JKG diturunkan terhadap a dan b maka diperoleh:


13

( )

∑ ( )( )

∑ ( ) (3.6)

( )

∑ ( )( )

∑ ( ) . (3.7)

Bila kedua persamaan (3.6) dan (3.7) disamakan dengan 0 kemudian

disusun kembali maka akan diperoleh yang disebut dengan persamaan normal

yaitu:

dari persamaan (3.6) diperoleh: ∑ ( ) (3.8)

dari persamaan (3.7) diperoleh: ∑ ( ) . (3.9)

Dari persamaan (3.8) dan persamaan (3.9) yaitu persamaan normal maka dapat

dicari harga a dan b dengan metode subtitusi dapat dicari dari persamaan yaitu

sebagai berikut:

∑ ∑

(3.10)

∑ ∑

∑

(3.11)

Dari persamaan (3.11) diperoleh:

∑ ∑

∑

∑

(3.12)

Subtitusi a dalam persamaan (3.12) diperoleh:

∑ (

∑

∑

)∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

,

(∑ )

∑

]

∑

∑

∑

,

(∑ )

∑

]

∑ ∑

∑

, ∑

(∑ )

]

∑ ∑

∑

∑

(∑ )

Dari persamaan dan diperoleh .


14

3.2 Analisis Regresi Linier Berganda

Regresi linier ganda (Multiple Regression) berguna untuk mencari pengaruh atau

untuk meramalkan dua variabel prediktor atau lebih terhadap variabel

kriteriumnya. Suatu persamaan regresi linier yang memiliki lebih dari satu

variabel bebas X dan satu variabel terikat Y akan membentuk suatu persamaan

regresi yang baru, disebut persamaan regresi linieer berganda (multiple

regression). Model persamaan regresi linier berganda hampir sama dengan model

regrei linier sederhana, letak perbedaanya hanya pada jumlah variabel bebasnya.

Model linier dalam koefisien berganda pada K pebah bebas yaitu

dengan rataan diberikan oleh model regresi linier ganda

, dan taksiran respon diperoleh

dari persamaan regresi:

(3.13)

Andaikan kita mengambil regresi linier berganda dalam bentuk *( )

+ bila respon amatan yang berpadanan dengan nilai

dari kedua peubah bebas dan . Tiap nilai amatan ( )

memenuhi persamaan:

Untuk populasi :

(3.14)

Untuk sampel :

(3.15)

dengan dan masing-masing menyatakan galat acak dan sisa berpadanan

dengan respon . Menurut metode kuadrat terkecil, untuk mencari taksiran

dengan meminimumkan jumlah kuadrat galat:

∑ ∑ (

)

(3.16)

Jika diturunkan atau dideferensialkan JKG secara berurutan terhadap , ,

maka diperoleh:

∑ ∑ (

)

(∑

)

∑ ( )( ) (3.17)

(∑

)


15

∑ ( )( ) (3.17)

(∑

)

∑ ( )( ) (3.18)

kemudian disamakan dengan 0 maka diperoleh persamaan normal sebagai berikut:

(3.19)

∑ ∑ ∑

∑ ∑

∑ ∑

3.3 Regresi Linier dalam bentuk matriks

Dalam melakukan percobaan data yang berbentuk: *( )

+ menyatakan respon amatan pada nilai , ..., dari k

peubah bebas . Tiap amatan ( ) memenuhi

persamaan:

Untuk populasi:

(3.20)

Untuk sampel:

(3.21)

Dengan dan menyatakan galat acak dan sisa Y berpadanan dengan

respon . Metode kuadrat terkecil juga dapat digunakan untuk mencari tafsiran

harga-harga dan kemudian disamakan dengan nol sehingga diperoleh

persamaan normal dalam bentuk berikut:

∑ ∑ ∑ ∑

∑ ∑

∑ ∑ ∑

∑ ∑

∑ ∑ ∑

Dari:

,

diperoleh, jika:

(3.22)


16

.

Bentuk matriksnya:

[

]

[

]

[

]

(3.23)

Matriks X adalah:

[

]

Bentuk matriks A sehingga . Selain unsur pertama baris ke i matrik X

menyatakan X yang menntukan respon . Dari persamaan (3.23) diperoleh:

[

∑ ∑ ∑

∑ ∑ ∑ ∑

∑ ∑ ∑ ∑

]

[

]

[

∑

∑

∑

] .

Maka persamaan normal dapat dinyatakan dalam bentuk matriks:

.

Bila matriks A tidak ireguler, maka koefisien regresi dapat ditulis:

.

3.4 Metode Kuadrat Terkecil

Dalam model regresi linier sederhana ditentukan peubah acak

dengan rataan nol, misalkan selanjutnya bahwa berdistribusi normal dengan

variansi = dan bahwa saling bebas dari satu pengamatan

terhadap pengamatan berikutnya dalam pencobaan dengan anggapan normalitas


17

maka dapat dicari rataan dari variansi untuk penafsir dan . Perlu diingat bahwa

nilai a dan b hanyalah tafsiran sebenarnya dan yang didasarkan pada sampel n

pengamatan. Tafsiran dan dapat dihitung dengan mengambil beberapa sampel

n dan dapat dipandang sebagai nilai acak A dan B. Karena nilai X tidak berubah

maka nilai A dan B bergantung pada variasai dalam Y atau lebih tepat lagi pada

nilai peubah acak karena saling bebas dan berdistribusi normal

maka juga saling bebas dan beridistribusi ( ) karena :

∑ ∑

∑

∑

(∑ )

Merupakan fungsi linier peubah acak dengan koefisien

∑ ( )

Bahwa B berdistribusi normal dengan rataan ( ) dan varians

∑ ( )

Demikian juga peubah acak A dengan distribusi normal dan rataan

dan varians

∑ ( )

∑ ( )

Agar inferensi mengenai dan dapat dilihat maka ditafsir parameter yang

muncul dalam rumus varians A dan B diatas. Untuk itu dari segi teori diperlukan

notasi berikut :

∑( )

∑

(∑ )

∑( )

∑

(∑ )

∑( )( )

∑

(∑

)(∑

)

Jadi JKG (Jumlah Kuadrat Galat) dapat ditulis :

JKG = ∑ ( )

= ∑ ,( ) ( )-

= ∑ ( ) ∑ ( )( )

∑ ( )

=

=


18

Bahwa :

maka suatu taksiran tak bias untuk diberikan oleh:

atau ( )

( )

Metode Kuadrat Terkecil (Ordinary Least Square) merupakan suatu metode untuk

mendapatkan garis regresi yang baik yaitu sedekat mungkin dengan datanya sehingga

menghasilkan prediksi yang baik. Pada dasarnya Metode Kuadrat Terkecil

meminimumkan jumlah kuadrat error.

[

]

Dengan adalah suatu vektor kolom k-unsur dari estimasi Metode Kuadrat Terkecil

parameter regresi dan adalah suatu vektor kolom dari residual.

Untuk mengestimasi parameter model regresi linier digunakan Metode Kuadrat Terkecil.

Prosedur dilakukan dengan memilih nilai parameter yang tidak diketahui sehingga jumlah

eror diperoleh ∑ sekecil mungkin, sehingga dapat dinyatakan dengan :

[

]

[

]

[

]

[

]

∑

∑ ( )

Kemudian, untuk menentukan dengan meminimumkan jumlah kuadrat

residunya ∑

secara parsial terhadap dan samakan dengan 0, maka

dapat dituliskan :

∑

∑ ( )( )

∑

∑ ( )( )

∑

∑ ( )( )

∑

∑ ( )( )


19

Jika persamaannya disederhanakan dan disusun maka akan menjadi :

∑ ∑ ∑ ∑

∑ ∑ ∑ ∑ ∑

∑ ∑ ∑ ∑ ∑

∑ ∑ ∑ ∑ ∑ (3.24)

Dimana persamaan 2.23 disebut persamaan normal.

Dengan menjumlahkan persamaan untuk seluruh

pengamatan memeberikan persamaan pertama dalam persamaan 2.23 kemudian

mengalikannya dengan pasda kedua sisinya dan menjumlahkan untuk seluruh maka

dihasilkan persamaan kedua. Begitu juga dengan persamaan ketiga dalam persamaan

(2.23) mengalikan kedua sisinya dengan dan menjumlahkan untuk seluruh dan

seterusnya.

Dinyatakan dalam bentuk matriks, persamaan normal akan menjadi :

[ ∑ ∑ ∑

∑ ∑ ∑ ∑

∑

∑

∑

∑

∑ ∑

∑ ∑

]

[

]

[

]

[

]

= (3.25)

Persamaan (3.24) diperoleh dari menurunkan persamaan matriks , sehingga diperoleh :

( )

kemudian samakan hasil dengan 0, sehingga diperoleh :

( )

( ) ( ) ( )

=( )

( )

Dengan ( ) [

∑ ∑

∑ ∑ ∑

∑

∑

∑

]


20

Untuk menunjukkan bahwa ∑ minimum, maka hasil turunan pertama dari jumlah

kuadrat residualnya harus diturunkan sekali lagi sehingga menghasilkan turunan kedua,

dan nilainya harus lebih besar dari nol. Maka dapat dituliskan :

∑

=

(

.( )/

)

=

( )

Dipastikan bahwa turunan kedua dari ∑ terhadap haruslah berniali positif.

Sehingga nilai ∑ akan minimum apabila nilai lebih besar dari nol. Karena

matriks adalah turunan positif dengan semua unsur diagonalnya berbentuk kuadrat,

maka turunan kedua dari ∑ terhadap bernilai positif yang artinya

( ) minimum.

3.5 Interpretasi Geometri Metode Kuadrat Terkecil

3.5.1 Model Linier

Misalkan ada kumpulan data dengan variabel independen k antara lain, X1, X2,…,

Xk dan satu variabel dependen Y.

Model linier khas dari data ini biasanya diberikan oleh:

untuk i = 1,2,…, n.

Dimana Yi menunjukkan ith

variabel acak yang teramati Y,

menunjukkan variabel acak yang diobservasi ( )

menunjukkan parameter yang tidak diketahui dari model, dan menunjukkan

istilah kesalahan dalam pengamatan. Diasumsikan bahwa adalah independen

dan terdistribusi normal dengan mean nol dan varians .

Jika Y, X, b dan e didefinisikan

[

]

[

]

[

]

(3.26)

Persamaan (3.25) dapat diekspresikan secara sederhana (3.27)

Disini berdistribusi normal terdistribusi dengan ekspektasi , -

dan dispersi (kovarians) , - untuk I adalah matriks identitas n x n,

dan matriks X biasanya ditetapkan sebagai matriks desain model.


21

Dalam paper ini akan dieksplorasi model yang dapat digunakan untuk

memprediksi variabel dependen yang dapat diobservasi Y. Pada bagian

selanjutnya akan meninjau estimasi kuadrat terkecil (LSE) untuk

memperkirakan yang tunduk pada pembatasan linear. Interpretasi secara

geometri teknik ini akan dibahas.

3.5.2 Metode Kuadrat Terkecil

Asumsikan model tetap sebagaimana didefinisikan dalam Persamaan

(3.5). Prinsip kuadrat terkecil adalah untuk menemukan yang meminimalkan

jumlah kuadrat di mana simbol pangkat t melambangkan matriks transpose.

Jumlah kuadrat ini dapat ditulis sebagai fungsi dari

( ) ( ) ( ) (3.28)

Karena ( ) ( ) ( ) adalah fungsi kuadratik nonnegatif

yang bernilai nyata, eksistensi dari minimum ( ) terbatas dijamin. Untuk

mendapatkan solusi persamaan (3.27) ditulis sebagai:

( ) , dan membedakan dengan yang memberi:

( ( ))

( ) (3.29)

Solusi untuk , dilambangkan sebagai dari persamaan Persamaan (3.28)

ke nol memberikan S minimum ( ) dan persamaan ini dikenal sebagai

persamaan normal untuk garis regresi linier ditulis sebagai:

(3.30)

Oleh karena itu, dapat ditentukan estimator kuadrat terkecil :

( ) (3.31)

Dapat ditunjukkan bahwa perkiraan tidak bias, [ ] , dengan kovarian

( ) , dan model prediksi kuadrat terkecil adalah . Jumlah sisa

kuadrat (The Residual Sum of Squares) disingkat RSS, dari model ini

didefinisikan sebagai penjumlahan dari perbedaan kuadrat antara variabel yang

diamati Y dan estimasi kuadrat terkecil .

Persamaan normal garis regresi ini dilambangkan sebagai

( ) ( ) (3.32)

The Sum of Squared Errors (SSE) atau Jumlah kesalahan kuadrat dari model


22

didefinisikan sebagai penjumlahan dari perbedaan kuadrat antara nilai yang

diharapkan dari dan estimasi kuadrat terkecil , jadi

( ) ( ) ( ) (3.33)

3.5.3 Interpretasi Geometri

Interpretasi geometri dari metode kuadrat terkecil dapat digambarkan sebagai

berikut:

Biarkan Y menjadi vektor dalam ruang n-dimensi dan biarkan

menjadi kolom vektor n-dimensi X, untuk j = 1,2, ..., k dan X span k-dimensi

ruang vk. Maka dan adalah dua vektor dalam ruang p-dimensi di mana

adalah vektor proyeksi tegak lurus Y ke k-dimensi ruang . Ini dapat

digambarkan secara geometris seperti Gambar 3.1

Gambar 3.1 Interpretasi Geometri Metode Kuadrat Terkecil

Tujuan dari LSE adalah untuk menemukan jarak minimum dari vektor Y ke ruang

. Jarak tersebut digambarkan dalam Gambar 3.1 sebagai vektor

adalah jarak dari vektor Y ke vektor . Vektor adalah orthogonal untuk setiap

vektor di X. Oleh karena itu ( ) atau yang

merupakan persamaan normal sebuah garis regresi yang bisa ditentukan yang ada

pada Persamaan (3.31)

Mengikuti teorema Phytagoras yang terkenal, jarak minimum kuadratnya adalah

‖ ‖ ‖ ‖ ‖ ‖

(3.34)

Dalam notasi matriks persamaan ini dapat dinyatakan sebagai

𝑌

𝑌 𝑋��

𝑋��

𝑋�� 𝑋𝛽

𝑋𝛽

𝑌 𝑋𝛽


23

( ) ( )

Itu juga dapat ditunjukkan dari Gambar 3.1 bahwa SSE adalah

‖ ‖

‖ ‖ ‖ ‖ (3.35)

Dalam notasi matriks persamaan ini dapat dinyatakan sebagai

( ) ( ) ( ) ( )

( )

Persamaan ini sama dengan Persamaan (3.32)

3.5.4 Kasus Ortogonal

Pada bagian ini akan dipertimbangkan perilaku kriteria seleksi yang dibahas di

atas untuk serangkaian prediksi bersama. Artinya, kasus sederhana ketika semua

variabel independen saling ortogonal satu sama lain dan dengan

demikian = 0 untuk i ≠ j = 0,1,2, ..., k. Pertimbangkan model:

(3.36)

sebagaimana didefinisikan dalam (3.35). Simbol ⊥ menjelaskan bahwa semua

kolom vektor n dimensi X saling ortogonal. Jumlah kuadrat sisa atau RSS (The

Residual Sum of Squares) dari model ini ditunjukkan sebagai berikut:

( ) ( )

∑

∑

∑ (3.37)

Dimana TSS (The Sum of Squares) merupakan jumlah total kuadrat sisa

dari variabel dependen dan menunjukkan kontribusi variabel independen

pada jumlah residu kuadrat ketika variabel independen termasuk dalam model.

Akan dipertimbangkan perilaku untuk kesederhanaan, akan ditetapkan

k = 2 sehingga model penuh hanya melibatkan dua variabel independen dan

.


24

Untuk menjelaskan perilaku (dimana ), akan diuji ketiga model

yang ada, model yang melibatkan dua variabel independen, dan dan urutan

dua model yang melibatkan satu variabel independen. Setelah itu , ,

dan menjadi jumlah kuadrat sisa model yang melibatkan dan model

yang melibatkan dan model yang masing-masing menghasilkan , kemudian

, dan . Perilaku (dimana )

ditunjukkan pada Gambar 3.2

Gambar 3.2 Interpretasi Geometri Kasus Orthogonal

Dimana adalah proyeksi tegak lurus Y terhadap ruang yang dibatasi

oleh * + adalah proyeksi Y yang tegak lurus terhadap ruang yang

dibatasi oleh * +. Karena dan .bersifat ortogonal, proyeksi Y yang tegak

lurus dapat diabaikan seperti pada Gambar 3.2 dimana ditunjukkan bahwa

dan .

𝑉𝑥

𝑋��

𝑋 ��

𝑋

𝑋�� 𝑋 ��

𝑋�� 𝑋 ��

𝑋 �� 𝑋

𝑌 𝑋��

𝑌 𝑋 ��

𝑌

Δ /


25

Gambar 3.3 Bagian dari Gambar 3.2

Dari Gambar 3.2,‖ ‖

‖ ‖ ‖ ‖

. Ini menyiratkan

bahwa urutan variabel independen yang memasuki model tidak mengubah

pengurangan jumlah kuadrat sisa. dan dengan demikian dan bersifat

independen. Secara umum untuk adalah independen.

Persamaan (3.37) menunjukkan bahwa pengurangan jumlah sisa kuadrat

RSS ketika termasuk dalam model adalah yang berarti bahwa kontribusi

masing-masing variabel independen terhadap nilai RSS itu unik dan

independen terhadap kontribusi setiap pihak variabel bebas. Oleh karena itu,

urutan variabel independen yang memasuki model tidak mempengaruhi keputusan

memilih variabel menjadi model akhir ketika prediksi tersebut membentuk

himpunan ortogonal.

Jika dibandingkan jumlah total kuadrat dari model dengan urutan p dengan

model p+1 dengan memasukkan satu variabel independen ke model dengan p

order, selisih jumlah sisa kuadrat ini adalah simultan,.

𝑋 �� 𝑋�� Δ /

𝑋 ��


BAB 4

KESIMPULAN DAN SARAN

4.1 Kesimpulan

Dari persamaan ‖ ‖ ‖ ‖

‖ ‖

. Ini menyiratkan

bahwa urutan variabel independen yang memasuki model tidak mengubah

pengurangan jumlah kuadrat sisa. dan dengan demikian dan bersifat

independen. Secara umum untuk adalah independen.

Persamaan (3.35) ( ) ( ) ∑

menunjukkan bahwa pengurangan jumlah sisa kuadrat RSS ketika termasuk

dalam model adalah yang berarti bahwa kontribusi masing-masing variabel

independen terhadap nilai RSS itu unik dan independen terhadap kontribusi

setiap pihak variabel bebas. Oleh karena itu, urutan variabel independen yang

memasuki model tidak mempengaruhi keputusan memilih variabel menjadi model

akhir ketika prediksi tersebut membentuk himpunan ortogonal.

4.2 Saran

Pada paper selanjutnya dapat mengkaji bagaimana interpretasi geometri dengan

metode lain untuk kasus regresi linier sederhana, bisa juga dicoba untuk rgresi

linier berganda untuk mengatasi jumlah total kuadrat kesalahan dalam garis

regresi yang digunakan.


Daftar Pustaka

Algifari. 2000. Analisis Regresi Teori, Kasus, dan solusi, Edisi Kedua. BPFE-Yogyakarta,

Yogyakarta

Draper, N. dan Smith, H. 1992. Analisis Regresi Terapan. Edisi Kedua. Terjemahan Oleh

Bambang Sumantri. Jakarta: Gramedia Pustaka Utama.

G. Tejosutikno. 1983. Aljabar Matriks, Edisi Kedua. Erlangga, Jakarta

Iswardono. 1981. Sekelumit Analisis Regresi dan Korelasi, Edisi Pertama. BPFE-Yogyakarta,

Yogyakarta

J. Supranto. 1997, Pengantar Matriks Edisi Keenam..Rineka Cipta, Jakarta

Murray S. Dan Larry, S. 2000. Statistik Edisi Kedua. Terjemahan Oleh Bambang

Sumantri. Jakarta: Gramedia Pustaka Utama.

Riduan, Sunarto. 2009. Pengantar Statistika untuk Penelitian, Sosial, ekonomi, Komunikasi

dan Bisnis. Alfabeta. Bandung

Sudjana, M.A.,Teknik Analisis Regresi dan Korelasi Bagi Para Penelitian, Tarsito, Bandung,

1996

Iswardono. 1981. Sekelumit Analisis Regresi dan Korelasi, Edisi Pertama. BPFE-Yogyakarta,

Yogyakarta

Sembiring, Open Darnius. 1996. A Simulation Study On Order and Model Selection

Sembiring, R.K. 2003. Analisis Regresi. Edisi Kedua. Bandung: Institut Teknologi Bandung

Usman, Husaini, Akbar Purnomo, Pegantar Statistika, Bumi Aksara, Jakarta, 1995


interpretasi geometri metode kuadrat terkecil dalam

Documents