instrumen penelitian, validitas dan...
TRANSCRIPT
Instrumen Penelitian,Validitas dan Reliabilitas
Trisasi Lestari - 2015
Merancang INSTRUMEN PENELITIAN
instrument construction
An instrument is amechanism for measuringphenomena, which is used
to gather and recordinformation for
assessment, decisionmaking, and ultimately
understanding.
An instrument is amechanism for measuringphenomena, which is used
to gather and recordinformation for
assessment, decisionmaking, and ultimately
understanding.
Teori
Konsep
DefinisiOperasional
InstrumenPenelitian
Komponen Instrumen
Judul
Pendahuluan: Mengapa, Bagaimana, Jenis informasi apa yang dibutuhkan, manfaat,informed consent
Petunjuk pengisianPetunjuk pengisian
Pertanyaan
Pilihan jawaban/Isian
Keterangan tambahan
Closing
Memilih instrumen
• Tujuan penelitian• Rancangan penelitian• Objek yang diteliti• Methodologi pengumpulan data• Resources/Sumber daya
Tergantung:
• Tujuan penelitian• Rancangan penelitian• Objek yang diteliti• Methodologi pengumpulan data• Resources/Sumber daya
Faktor-faktor yg dipertimbangkan:
Karakteristik populasi Literacy, physical/mental abilities, motivasi
Informasi ttg populasi yg akan diteliti No telp, alamat
Akses ke responden Lokasi, waktu, infrastructure yang ada (telephone, internet)
Tujuan survey Kompleksitas pertanyaan, sensitifitas topik,
Bentuk kuesioner yang akan diberikan Open-ended, close-ended
Perkiraan response rate
Karakteristik populasi Literacy, physical/mental abilities, motivasi
Informasi ttg populasi yg akan diteliti No telp, alamat
Akses ke responden Lokasi, waktu, infrastructure yang ada (telephone, internet)
Tujuan survey Kompleksitas pertanyaan, sensitifitas topik,
Bentuk kuesioner yang akan diberikan Open-ended, close-ended
Perkiraan response rate
Metode pengumpulan data
Self-administered Individual, Surat Group Pooling Email/internet
Observation Penilaian siswa untuk dosen Checklist
Kombinasi format dan pendekatan Perilaku + Emosi Checklist+ fill the blank+rating scales
Self-administered Individual, Surat Group Pooling Email/internet
Observation Penilaian siswa untuk dosen Checklist
Kombinasi format dan pendekatan Perilaku + Emosi Checklist+ fill the blank+rating scales
Questionnaire
A self-contained and a self-administered instrumentfor asking questions.
Lack the personal touch
Extremely efficient
Most popular
Good questionnaire ‘stands on its own’
A self-contained and a self-administered instrumentfor asking questions.
Lack the personal touch
Extremely efficient
Most popular
Good questionnaire ‘stands on its own’
Risks
Low response rates
Bias• Responden bias, half-selection
Respondent honesty• over-report good things, and under-report bad things
Wording• ‘end pregnancy’ vs ‘abortion; ‘poor’ vs ‘welfare’
Question Rules and bad examples
Clear in meaning and free of ambiguity
• “Apakah anda olahraga secara rutin?”• “Berapa nilai total kekayaan anda?”• “Apakah anda olahraga secara rutin?”• “Berapa nilai total kekayaan anda?”
Use common everyday language, avoid jargons, abbreviations, oracronyms
• MDGs, Renstra, Angka kematian,
Use neutral language, avoid emotional, leading language
• “What do you find offensive about flag burning?”• “Why do you think hitting children is wrong?”
Simple and easy• “How do you rate police response time to
emergency and non-emergency calls?”• “How many cigarettes you smokes in a year?”
• “How do you rate police response time toemergency and non-emergency calls?”
• “How many cigarettes you smokes in a year?”
Asks yourself• Does the questions answers my research question?• Is related questionnaire existed?• Do I need open-ended or close-ended questions?
Menulis pertanyaan
Full script, ditulis lengkap
Bermakna sama untuk semua responden
Respondent bisa memahami jawabannya
Disusun dengan baik
Menghindari kata-kata sulit
Menghindari kalimat negative
Menanyakan dua atau lebih pertanyaan pada saat yang sama
Full script, ditulis lengkap
Bermakna sama untuk semua responden
Respondent bisa memahami jawabannya
Disusun dengan baik
Menghindari kata-kata sulit
Menghindari kalimat negative
Menanyakan dua atau lebih pertanyaan pada saat yang sama
Menghindari kalimat panjang dan kompleks
Menghindari kalimat yang mengandung asumsi
Menghindari pertanyaan hipothetical
Hindari pertanyaan yang responden tidak tahujawabannya
Hindari pertanyaan tentang causality (sebab-akibat)
Jika menyebutkan harus jelas dan eksplisit
Jika diperlukan bisa menjelaskan istilah yang digunakan,tetapi tidak di pertanyaan
Dll (handout mp)
Menghindari kalimat panjang dan kompleks
Menghindari kalimat yang mengandung asumsi
Menghindari pertanyaan hipothetical
Hindari pertanyaan yang responden tidak tahujawabannya
Hindari pertanyaan tentang causality (sebab-akibat)
Jika menyebutkan harus jelas dan eksplisit
Jika diperlukan bisa menjelaskan istilah yang digunakan,tetapi tidak di pertanyaan
Dll (handout mp)
Contoh standar questionnaires Generic instruments
COOP/WONCA charts: measure six core aspects of functional status: physicalfitness, feelings, daily activities, social activities, change in health and overallhealth.
Sickness Impact Profile (SIP)/Functional Limitations Profile (FLP)
RAND SF 36
Duke Health Profile (DUKE)
EuroQol
MOS 20
Nottingham Health Profile
RAND General Health Perception Questionnaire (GHPQ)
Generic instruments COOP/WONCA charts: measure six core aspects of functional status: physical
fitness, feelings, daily activities, social activities, change in health and overallhealth.
Sickness Impact Profile (SIP)/Functional Limitations Profile (FLP)
RAND SF 36
Duke Health Profile (DUKE)
EuroQol
MOS 20
Nottingham Health Profile
RAND General Health Perception Questionnaire (GHPQ)
Dimension specific instruments Barthel Index Index of Independence in Activities of Daily Living Frenchay Activities Index General Health Questionnaire (GHQ) RAND Mental Health Inventory (MHI) McGill Pain Questionnaire (MPQ)
Dimension specific instruments Barthel Index Index of Independence in Activities of Daily Living Frenchay Activities Index General Health Questionnaire (GHQ) RAND Mental Health Inventory (MHI) McGill Pain Questionnaire (MPQ)
Disease/condition specific instruments State-Trait Anxiety Inventory (STAI) Center for Epidemiologic Studies Depression Scale (CES-D) Arthritis Impact Measurement Scale (AIMS) Living with Asthma (AQ) Chronic Respiratory Disease Questionnaire (CRDQ) Asthma Quality of Life Questionnaire (AQLQ) Diabetes Health Profile IDDM (DHP 1) and NIDDM (DHP2) Diabetes Quality-of-Life measure (DQOL) EORTC Quality of Life Questionnaire
Disease/condition specific instruments State-Trait Anxiety Inventory (STAI) Center for Epidemiologic Studies Depression Scale (CES-D) Arthritis Impact Measurement Scale (AIMS) Living with Asthma (AQ) Chronic Respiratory Disease Questionnaire (CRDQ) Asthma Quality of Life Questionnaire (AQLQ) Diabetes Health Profile IDDM (DHP 1) and NIDDM (DHP2) Diabetes Quality-of-Life measure (DQOL) EORTC Quality of Life Questionnaire
Membuat isi kuesioner
Melakukan literature review
Gunakan sarana/kuesioner yang sudah ada
Brainstorming Nominal Group Technique
Grup 5-6 orang Fasilitator menjelaskan ide/masalah/tujuan Setiap peserta memberikan ide tertulis dan dishare Anggota grup lainnya tidak mengkritik, tapi bisa minta klarifikasi Mengulang proses brainstorming sampai seluruh ide
terkumpulkan Setiap peserta mereview alternatif yang muncul Membuat rangking prioritas
Melakukan literature review
Gunakan sarana/kuesioner yang sudah ada
Brainstorming Nominal Group Technique
Grup 5-6 orang Fasilitator menjelaskan ide/masalah/tujuan Setiap peserta memberikan ide tertulis dan dishare Anggota grup lainnya tidak mengkritik, tapi bisa minta klarifikasi Mengulang proses brainstorming sampai seluruh ide
terkumpulkan Setiap peserta mereview alternatif yang muncul Membuat rangking prioritas
Membuat isi kuesioner
Snowballing / Pyramiding 2 2+2 4+4 dst
Delphi technique Mengumpulkan input content dan methodologi dari
expert melalui email/surat. Draft dibuat oleh peneliti dan dikirimkan kepada
ahli. Ahli memberikan komentar secara independen
Snowballing / Pyramiding 2 2+2 4+4 dst
Delphi technique Mengumpulkan input content dan methodologi dari
expert melalui email/surat. Draft dibuat oleh peneliti dan dikirimkan kepada
ahli. Ahli memberikan komentar secara independen
Membuat isi kuesioner
Questions Pool and Q-sort 60-90 pertanyaan Print pertanyaan di kartu Acak kartu Buat kriteria rangking: most definitely include this item, include this item, possibly include this item, and definitely do not include this item.
Questions Pool and Q-sort 60-90 pertanyaan Print pertanyaan di kartu Acak kartu Buat kriteria rangking: most definitely include this item, include this item, possibly include this item, and definitely do not include this item.
Membuat isi kuesioner
Concept Mapping Preparation. Generation. brainstorming, nominal group technique, to generate
statements describing activities related to the project.
Structuring. sort the statements: Q-sort or other ranking process.
Representation. create visual maps that reflect the relationship
between the sorted items.
Interpretation. Utilization.
Concept Mapping Preparation. Generation. brainstorming, nominal group technique, to generate
statements describing activities related to the project.
Structuring. sort the statements: Q-sort or other ranking process.
Representation. create visual maps that reflect the relationship
between the sorted items.
Interpretation. Utilization.
Operationalizing Constructs
Pengukuran
Pengukuran adalah suatu proses yang sistematikdan berulang untuk menghitung ataumengklasifikasikan objek atau kejadian denganmenggunakan dimensi tertentu.
Biasanya dicapai dengan penggunaan angka(numerik values)
Pengukuran adalah suatu proses yang sistematikdan berulang untuk menghitung ataumengklasifikasikan objek atau kejadian denganmenggunakan dimensi tertentu.
Biasanya dicapai dengan penggunaan angka(numerik values)
Tingkat pengukuran
Likert Scale
Rensis Likert1903 – 1981
Agreement• Sangat Setuju• Setuju• Ragu-ragu• Tidak Setuju• Sangat tidak setuju
Frequency• Sangat sering• Sering• Kadang-kadang• Jarang• Tidak pernah
Agreement• Sangat Setuju• Setuju• Ragu-ragu• Tidak Setuju• Sangat tidak setuju
Frequency• Sangat sering• Sering• Kadang-kadang• Jarang• Tidak pernah
Importance• Sangat penting• Penting• Agak penting• Tidak terlalu penting• Tidak penting
Likelihood• Hampir selalu benar• Biasanya benar• Kadang-kadang benar• Biasanya tidak benar• Hampir selalu tidak benar
Analisis Skala Likert
Likert Scale: is the sum of responses on several Likertitems
Ordinal or Interval
Deskriptif Median, Mode, Percentiles/quartiles, Display
Distribution (bar chart)
Non-parametric test Chi-squared, Mann Whitney test, Wilcoxon signed-rank
test, Kruskal-Wallis test
Modified binomial Likert Scale Chi-squared, Cochran-Q, McNemar test
Likert Scale: is the sum of responses on several Likertitems
Ordinal or Interval
Deskriptif Median, Mode, Percentiles/quartiles, Display
Distribution (bar chart)
Non-parametric test Chi-squared, Mann Whitney test, Wilcoxon signed-rank
test, Kruskal-Wallis test
Modified binomial Likert Scale Chi-squared, Cochran-Q, McNemar test
Observation Checklist
Pretesting
Initial Pretesting Individual Interviews and Focus Groups Review by Content Area Experts Continue to Obtain Feedback and Revise the Project If
Necessary
Pretesting during development Read and Reread the Items and Read the Items Aloud Review by Content Area Experts Review by Instrument Construction Experts Review by Individuals with Expertise in Writing Review by Potential Users
Initial Pretesting Individual Interviews and Focus Groups Review by Content Area Experts Continue to Obtain Feedback and Revise the Project If
Necessary
Pretesting during development Read and Reread the Items and Read the Items Aloud Review by Content Area Experts Review by Instrument Construction Experts Review by Individuals with Expertise in Writing Review by Potential Users
Pilot testing
Questions for experts Was each set of directions clear (that is, the general directions at the
beginning of the questionnaire and any subsequent directionsprovided in the body of the instrument)?
Were there any spelling or grammatical problems? Were any itemsdifficult to read due to sentence length, choice of words, or specialterminology?
How did the reviewer interpret each item? What did each questionmean to them?
Did the reviewer experience problems with the item format(s), ordoes the reviewer have suggestions for alternative formats?
Were the response alternatives appropriate to each item?
Questions for experts Was each set of directions clear (that is, the general directions at the
beginning of the questionnaire and any subsequent directionsprovided in the body of the instrument)?
Were there any spelling or grammatical problems? Were any itemsdifficult to read due to sentence length, choice of words, or specialterminology?
How did the reviewer interpret each item? What did each questionmean to them?
Did the reviewer experience problems with the item format(s), ordoes the reviewer have suggestions for alternative formats?
Were the response alternatives appropriate to each item?
Pilot testing
What problems did the reviewer encounter as a result of the organization ofthe instrument, such as how items fl owed?
On average, how long did it take to complete? What was the longest timeand what was the shortest time it took to complete the instrument?
For Web-based instruments, did the respondent encounter any problemsaccessing the instrument from a computer or navigating the instrumentonce it was accessed?
Did any of the reviewers express concern about the length of theinstrument, or did they report problems with fatigue due to the time it tookto complete?
What was the reviewer’s overall reaction to the questionnaire? Did they have any concerns about confi dentiality or how the questionnaire
would be used? Did they have any other concerns? What suggestions do they have for making the questionnaire or individual
items easier to understand and complete?
What problems did the reviewer encounter as a result of the organization ofthe instrument, such as how items fl owed?
On average, how long did it take to complete? What was the longest timeand what was the shortest time it took to complete the instrument?
For Web-based instruments, did the respondent encounter any problemsaccessing the instrument from a computer or navigating the instrumentonce it was accessed?
Did any of the reviewers express concern about the length of theinstrument, or did they report problems with fatigue due to the time it tookto complete?
What was the reviewer’s overall reaction to the questionnaire? Did they have any concerns about confi dentiality or how the questionnaire
would be used? Did they have any other concerns? What suggestions do they have for making the questionnaire or individual
items easier to understand and complete?
Pilot testing
Obtain evidence of reliability.
Establish evidence of face validity
Obtain evidence of content validity
Obtain evidence of criterion validity
Obtain evidence of construct validity
Obtain evidence of reliability.
Establish evidence of face validity
Obtain evidence of content validity
Obtain evidence of criterion validity
Obtain evidence of construct validity
Reliability
Measurement
Validity Generalisibility
Validity and reliability
Judul: mengukur kepuasan kerja
Bagaimana tingkat kepuasan kerja Anda? Scala
Faktor-faktor apa yang bisa mempengaruhi tingkatkepuasan kerja Anda? Free listing, checklist,kombinasi
Apakah gaya komunikasi pimpinan mempengaruhikepuasan kerja. Ya Tidak
Apakah besaran insentif mempengaruhi…
Judul: mengukur kepuasan kerja
Bagaimana tingkat kepuasan kerja Anda? Scala
Faktor-faktor apa yang bisa mempengaruhi tingkatkepuasan kerja Anda? Free listing, checklist,kombinasi
Apakah gaya komunikasi pimpinan mempengaruhikepuasan kerja. Ya Tidak
Apakah besaran insentif mempengaruhi…
Contoh penelitian: mengukur tinggi badanrata-rata anak SD di DIY
Yang diukur harus tinggi badan, BUKAN berat badan Valid
Alat ukurnya akan memberikan hasil yang sama meskipunseseorang diukur tinggi badannya berulang-ulang Reliable
Hasil dari pengukuran tinggi anak SD di DIY ini diharapkanbisa menggambarkan tinggi rata-rata anak SD di JawaGeneralisir
Yang diukur harus tinggi badan, BUKAN berat badan Valid
Alat ukurnya akan memberikan hasil yang sama meskipunseseorang diukur tinggi badannya berulang-ulang Reliable
Hasil dari pengukuran tinggi anak SD di DIY ini diharapkanbisa menggambarkan tinggi rata-rata anak SD di JawaGeneralisir
Validity
Apakah kita mengukur apa yang ingin kita ukur?
Konsep seringkali sulit diukur Misalnya: Konsep : Pengetahuan. Latent & Manifest Variable
Apakah kita mengukur apa yang ingin kita ukur?
Konsep seringkali sulit diukur Misalnya: Konsep : Pengetahuan. Latent & Manifest Variable
Tipe Validity
Face Validity Constructvalidity
Contentvalidity/internal
validityFace Validity Construct
validity
Contentvalidity/internal
validity
Criterionvalidity
Predictivevalidity
Multiculturalvalidity
Face Validity
Face validity is the degree to which an instrument appears tobe an appropriate measure for obtaining the desiredinformation, particularly from the perspective of a potentialrespondent.
Responden diminta untuk menilai apakah instrumenpenelitian (misal kuesioner) valid menurut mereka
Apakah responden bisa menangkap maksud pertanyaansesuai yang dimaksud peneliti Orang biasa Expert
Contoh: kuesioner tentang gaya hidup sehat, pertanyaan:seberapa sering Anda olahraga? Face validity: Valid
Face validity is the degree to which an instrument appears tobe an appropriate measure for obtaining the desiredinformation, particularly from the perspective of a potentialrespondent.
Responden diminta untuk menilai apakah instrumenpenelitian (misal kuesioner) valid menurut mereka
Apakah responden bisa menangkap maksud pertanyaansesuai yang dimaksud peneliti Orang biasa Expert
Contoh: kuesioner tentang gaya hidup sehat, pertanyaan:seberapa sering Anda olahraga? Face validity: Valid
Construct Validity Memastikan peneliti dgn responden memahami konstruk yang
sama Safety, intelligence, leadership, cleanness
Internal structure
Related to the theoretical of knowledge
Operationalization
Terdiri dari : Convergent validity : + contoh: depresi dan perasaan tidak berguna Discriminant validity: - contoh: depresi dan perasaan bahagia Harus dilaporkan keduanya
Memastikan peneliti dgn responden memahami konstruk yangsama Safety, intelligence, leadership, cleanness
Internal structure
Related to the theoretical of knowledge
Operationalization
Terdiri dari : Convergent validity : + contoh: depresi dan perasaan tidak berguna Discriminant validity: - contoh: depresi dan perasaan bahagia Harus dilaporkan keduanya
Convergent Validity
to show thatmeasures that shouldbe related are inreality related
to show thatmeasures that shouldbe related are inreality related
Discriminant Validity
to show thatmeasures thatshould not berelated are inreality not related
to show thatmeasures thatshould not berelated are inreality not related
Pengetahuan
Perilaku
Sikap
Partisipasipasien
Content/internal validity
the degree to which an instrument is representative of thetopic and process being investigated.
Misalnya: Konsep: mengukur sikap murid terhadap guru
Alat ukur sikap dg skala Likert Saya mendengarkan semua kata orang tua Guru saya selalu berusaha membantu saya Saya selalu mengucapkan salam setiap bertemu guru
Literatur review : meningkatkan kemampuan peneliti untukmencapai content validity
the degree to which an instrument is representative of thetopic and process being investigated.
Misalnya: Konsep: mengukur sikap murid terhadap guru
Alat ukur sikap dg skala Likert Saya mendengarkan semua kata orang tua Guru saya selalu berusaha membantu saya Saya selalu mengucapkan salam setiap bertemu guru
Literatur review : meningkatkan kemampuan peneliti untukmencapai content validity
Apakah konten valid atau tidak dipengaruhi oleh: pengetahuan peneliti terhadap definisi konsep, teori tentang konsep yang ada, dan bagaimana konsep itu bekerja. Sample selection bias Information bias Statistical confounding
Apakah konten valid atau tidak dipengaruhi oleh: pengetahuan peneliti terhadap definisi konsep, teori tentang konsep yang ada, dan bagaimana konsep itu bekerja. Sample selection bias Information bias Statistical confounding
Criterion Validity
making a comparison between a measure and an externalstandard.
Stroke recovery vs level of assistance required Score test individual Observasi aktifitas harian: mengikat tali sepatu, memakai baju,
menggosok gigi, merapikan tempat tidur, dll.
Harus ditunjukkan pada instrumen untuk mengukur performaatau kinerja
Dibutuhkan: Pemahaman yang baik mengenai teori konsep yang diteliti
sehingga bisa ditentukan variable-variable lain berhubungan ataudiprediksi akan berhubungan dengan faktor
making a comparison between a measure and an externalstandard.
Stroke recovery vs level of assistance required Score test individual Observasi aktifitas harian: mengikat tali sepatu, memakai baju,
menggosok gigi, merapikan tempat tidur, dll.
Harus ditunjukkan pada instrumen untuk mengukur performaatau kinerja
Dibutuhkan: Pemahaman yang baik mengenai teori konsep yang diteliti
sehingga bisa ditentukan variable-variable lain berhubungan ataudiprediksi akan berhubungan dengan faktor
Predictive validity
Apakah alat ukur yang dibuat bisa memprediksioutcomes.
Misal: apakah nilai tes TPA bisa memprediksi keberhasilan
siswa dalam mengikuti proses perkuliahan Apakah nilai TPA bisa memprediksi IPK akhir
mahasiswa Apakah tes psikologis untuk pegawai baru bisa
memprediksi seberapa loyal pegawai terhadapperusahaan
Apakah alat ukur yang dibuat bisa memprediksioutcomes.
Misal: apakah nilai tes TPA bisa memprediksi keberhasilan
siswa dalam mengikuti proses perkuliahan Apakah nilai TPA bisa memprediksi IPK akhir
mahasiswa Apakah tes psikologis untuk pegawai baru bisa
memprediksi seberapa loyal pegawai terhadapperusahaan
Multicultural validity
an instrument measures what it purports tomeasure as understood by an audience of aparticular culture
Caranya: Menggunakan bahasa yang dimengerti Memperhatikan nilai/norma/kebiasaan masyarakat
lokal
an instrument measures what it purports tomeasure as understood by an audience of aparticular culture
Caranya: Menggunakan bahasa yang dimengerti Memperhatikan nilai/norma/kebiasaan masyarakat
lokal
Mengukur validitas denganpendekatan qualitative
Evaluative
Literature review topik penelitian: memberikanbukti bahwa instrumen akan mengukur konstrukdan bukan lainnya.
Expert reviews
Table spesifikasi: identifikasi variabel topik/faktor Induktif/deduktif
Evaluative
Literature review topik penelitian: memberikanbukti bahwa instrumen akan mengukur konstrukdan bukan lainnya.
Expert reviews
Table spesifikasi: identifikasi variabel topik/faktor Induktif/deduktif
Mengukur validitas denganpendekatan quantitative
Mengukur kekuatan hubungan antara salah satupertanyaan dengan pertanyaan lain dalam konstrukyang sama
Item analysis
Factor analysis
Mengukur kekuatan hubungan antara salah satupertanyaan dengan pertanyaan lain dalam konstrukyang sama
Item analysis
Factor analysis
Pengukuran Validitas
Item analysis To demonstrate a relationship between individual
items Internal consistency reliability 1-2, 1-3, 1-4, 1-5, dst 2-3, 2-4, 2-5, 2-6, dst Dst
Further reading: The basics of item response theory(Baker, 2001)
Item analysis To demonstrate a relationship between individual
items Internal consistency reliability 1-2, 1-3, 1-4, 1-5, dst 2-3, 2-4, 2-5, 2-6, dst Dst
Further reading: The basics of item response theory(Baker, 2001)
Difficulty & Discrimination index
Tetapkan 10 subjek dg nilai terbaik dan 10 subjectdg nilai terburuk Jika subject ke-10 ada beberapa….pilih secara
random
Hitung berapa banyak subject di kelompok nilaiterbaik dan nilai terburuk yang menjawabpertanyaan 1 dg benar, pertanyaan 2 dg benar, dst
Difficulty index: (RU+RL)/20
Discrimination index: (RU-RL)/10
Tetapkan 10 subjek dg nilai terbaik dan 10 subjectdg nilai terburuk Jika subject ke-10 ada beberapa….pilih secara
random
Hitung berapa banyak subject di kelompok nilaiterbaik dan nilai terburuk yang menjawabpertanyaan 1 dg benar, pertanyaan 2 dg benar, dst
Difficulty index: (RU+RL)/20
Discrimination index: (RU-RL)/10
Name Item 1
1 1 Difficulty Index: (8+4)/20 = 0.6
2 1 Discrimination index (8-4)/10= 0.4
3 1 Compare to the maximum discriminating index
4 0 Near maximum: very discriminating
5 1 Half the maximum: moderately discriminating
6 1 A quarter the maximum: weak item
7 0 Near zero : non-discriminating
8 1 Negative: bad item
9 1
10 1 RU=8
…….…….
31 0
32 0
33 1
34 1
35 1
36 0
37 0
38 1
39 0
40 0 RL=4
Reliability
True ScoreSystematic
ErrorRandom
Error SCORE
True Score: yang ingin diukurSystematic error: kesalahan yang selalu terjadi, misal alat ukurtidak dikalibrasi, sehingga bukannya mengukur mulai dari 0 tapimulai dari 2Random error: unpredictable error yang bisa terjadi karenakebetulan atau memang benar-benar ada perubahan, misalnyamood subject saat mengikuti ujian.
Sumber random error
Subject reliability: respondent lelah, mood
Observer reliability: kemampuanobserver/interviewer, background
Situasional: kondisi saat pengukuran dilakukan(interview dilakukan dirumah dan dikantor saatsedang sibuk akan memberikan hasil yang berbeda)
Instrument: wording yang kurang baik
Data processing: salah koding, salah entry
Subject reliability: respondent lelah, mood
Observer reliability: kemampuanobserver/interviewer, background
Situasional: kondisi saat pengukuran dilakukan(interview dilakukan dirumah dan dikantor saatsedang sibuk akan memberikan hasil yang berbeda)
Instrument: wording yang kurang baik
Data processing: salah koding, salah entry
Cara pengukuran Reliability
Eyeballing : informal method, administer the instrument twice to the same group of people in a
relatively short period of time to see if their responses remainthe same
Repeated measurement1. Test-retest method When?
Carry-over effects Too early: over-reliability Too late: under-reliability
How? Mengukur seberapa kuat hubungan score yang diukur pada 2
waktu yang berbeda dengan correlation coefficient Reliable if coefficient correlation >0.7
Eyeballing : informal method, administer the instrument twice to the same group of people in a
relatively short period of time to see if their responses remainthe same
Repeated measurement1. Test-retest method When?
Carry-over effects Too early: over-reliability Too late: under-reliability
How? Mengukur seberapa kuat hubungan score yang diukur pada 2
waktu yang berbeda dengan correlation coefficient Reliable if coefficient correlation >0.7
2. Proportion agreement
Inter-rater and Intra-rater Reliability
Inter –rater: >1 rater
Intra-rater :1 rater
Calculate with Cohen’s Kappa
Inter –rater: >1 rater
Intra-rater :1 rater
Calculate with Cohen’s Kappa
k =OA - EA1 - EA
Kappa Statistic (Cohen, 1960Kappa Statistic (Cohen, 1960))
OA = A+DN
OA: Kesepakatan yang terjadiEA: Kesepakatan yg tidak disengaja
k =OA - EA1 - EA
-1 <K<1
OA = A+DN
EA =
N1 ´ N3
N+ N2 ´ N4
Néëê
ùûú
N
Observer 1Ramai Normal Total
Observer 2Ramai 140 52 192Normal 69 725 794Total 209 777 986
Kesepakatan antara observer 1 dan 2 untuk menilai apakah pasar-pasar di jogja ramai atau tidak
chance agreement between ramai-ramai=
chance agreement between normal-normal=
total expected change agreement=
Kappa=
Observed agreement=
140 + 725986
= 0.877
Test-Retest reliability
pretest the questionnaire withthe same group on two separateoccasions, expecting only minorvariations in responses.
Coefficient of variation
Mirip Eyeballing methods
pretest the questionnaire withthe same group on two separateoccasions, expecting only minorvariations in responses.
Coefficient of variation
Mirip Eyeballing methods
Internal Consistency Reliability
To compare results across and among items within a singleinstrument and to do so with only one administration.
Untuk instrumen yang punya lebih dari 1 item
Seberapa homogen item-item pertanyaan dalam 1 tes
Seberapa baik item-item pertanyaan itu mengukur satu construct
Cara menghitung: Average inter-item and average item-total correlation split half reliability coefficient alpha Kuder Richardson
To compare results across and among items within a singleinstrument and to do so with only one administration.
Untuk instrumen yang punya lebih dari 1 item
Seberapa homogen item-item pertanyaan dalam 1 tes
Seberapa baik item-item pertanyaan itu mengukur satu construct
Cara menghitung: Average inter-item and average item-total correlation split half reliability coefficient alpha Kuder Richardson
Average inter-itemand average itemtotal correlation
Internal Consistency Reliability Split-half reliability
1. pertanyaan dibagi dua secara random2. Konstruk di kedua bagian harus sama3. Hitung skor respondent untuk setiap bagian4. Hitung coefficient correlations antara skor bagian 1 dan bagian 25. Reliable jika coefficient correlation >0.8
Kuder-Richardson (KR) Membandingkan korelasi semua kemungkinan splif half Hanya cocok utk mengukur instrumen untuk satu konstruk Hanya dapat digunakan untuk instrumen yang jawabannya dikotomi,
ya-tidak, betul-salah
Split-half reliability1. pertanyaan dibagi dua secara random2. Konstruk di kedua bagian harus sama3. Hitung skor respondent untuk setiap bagian4. Hitung coefficient correlations antara skor bagian 1 dan bagian 25. Reliable jika coefficient correlation >0.8
Kuder-Richardson (KR) Membandingkan korelasi semua kemungkinan splif half Hanya cocok utk mengukur instrumen untuk satu konstruk Hanya dapat digunakan untuk instrumen yang jawabannya dikotomi,
ya-tidak, betul-salah
Coefficient alpha/ Cronbach’s alpha Seperti KR, datanya scaled/ranked
randomly split the items into two sets computethe correlation between these sets Put all theitems back randomly split them into two setsagain repeat for all possible split half correlations calculate the average of all the correlations. Internally consistent jika coefficient alpha >0.7
Coefficient alpha/ Cronbach’s alpha Seperti KR, datanya scaled/ranked
randomly split the items into two sets computethe correlation between these sets Put all theitems back randomly split them into two setsagain repeat for all possible split half correlations calculate the average of all the correlations. Internally consistent jika coefficient alpha >0.7
Cronbach’s alpha Paling sering dipakai untuk mengukur internal consistency
Diadaptasi oleh Cronbach (1951) dari Kuder&Richardson(1937)
Vtest
Vi
n
n 11
n = jumlah pertanyaanVi = variance score pada setiappertanyaanVtest = total variance dari skortotal (not %’s) on the entire test
– Large Vtest Small Ratio ΣVi/Vtest high alpha
How alpha works– Vi = pi * (1-pi)
» pi = percentage of class who answers correctly» This formula can be derived from the standard
definition of variance.
– Vi varies from 0 to 0.25
How alpha works– Vi = pi * (1-pi)
» pi = percentage of class who answers correctly» This formula can be derived from the standard
definition of variance.
– Vi varies from 0 to 0.25
pi 1-pi Vi0 1 00.25 0.75 0.18750.5 0.5 0.25
Bagaimana jika instrumen tidak reliable?
Perhatikan jika ada salah satu item instrumen yang‘salah’
Perhatikan seberapa kuat hubungan antara masing-masing item pertanyaan dengan skor
Item yang berkorelasi rendah dengan total skorakan menurunkan reliabilitas dan sebaiknyadihilangkan
Pada metode test-retest, perhatikan pertanyaanyang skor awal dan akhirnya berbeda jauh.
Perhatikan jika ada salah satu item instrumen yang‘salah’
Perhatikan seberapa kuat hubungan antara masing-masing item pertanyaan dengan skor
Item yang berkorelasi rendah dengan total skorakan menurunkan reliabilitas dan sebaiknyadihilangkan
Pada metode test-retest, perhatikan pertanyaanyang skor awal dan akhirnya berbeda jauh.
Bagaimana meningkatkanreliabilitas?
Pertanyaan tidak ambigu/jelas
Pertanyaan spesifik
Buat beberapa item pertanyaan untuk mengukursatu variable
Tetapi jangan terlalu banyak
Pertanyaan tidak ambigu/jelas
Pertanyaan spesifik
Buat beberapa item pertanyaan untuk mengukursatu variable
Tetapi jangan terlalu banyak
Generalisability
From sample to population
Sample: true exist or just a coincidence
Hypothesis Hasil penelitian Kenyataan dipopulasi
Interpretasi
Null hypothesis(H0):Tidak adahubungan antaraperilaku hidupbersih sehatdengan kegiatanUKS
Ada hubunganantara perilaku
hidup bersih sehatdengan kegiatan
UKS
Ada hubunganantara perilakuhidup bersih sehatdengan kegiatanUKS
Null hypothesisditolak
Null hypothesis(H0):Tidak adahubungan antaraperilaku hidupbersih sehatdengan kegiatanUKS
Ada hubunganantara perilaku
hidup bersih sehatdengan kegiatan
UKSAlternativehypothesis (H1)Ada hubunganantara perilakuhidup bersih sehatdengan kegiatanUKS
Tidak adahubungan antaraperilaku hidupbersih sehatdengan kegiatanUKS
Type 1 error
Implikasi:Kegiatan UKSdiperbanyak
Hypothesis Hasil penelitian Kenyataan dipopulasi
Interpretasi
Null hypothesis(H0):Tidak adahubungan antaraperilaku hidupbersih sehatdengan kegiatanUKS
Tidak adahubungan antara
perilaku hidupbersih sehat
dengan kegiatanUKS
Tidak adahubungan antaraperilaku hidupbersih sehatdengan kegiatanUKS
Null hypothesisditerima
Null hypothesis(H0):Tidak adahubungan antaraperilaku hidupbersih sehatdengan kegiatanUKS
Tidak adahubungan antara
perilaku hidupbersih sehat
dengan kegiatanUKS
Tidak adahubungan antaraperilaku hidupbersih sehatdengan kegiatanUKS
Alternativehypothesis (H1)Ada hubunganantara perilakuhidup bersih sehatdengan kegiatanUKS
Ada hubunganantara perilakuhidup bersih sehatdengan kegiatanUKS
Type 2 error
Implikasi:menghapuskankegiatan uks
?
Berapa besar kemungkinan type 1 error?
Diukur dengan level of significance / p-values/coefficient alpha
Semakin kecil coefficient alpha, semakin kecilkemungkinannya terjadi type 1 error
Cut-off point yg sering dipakai p<0.05 significant
Dipengaruhi oleh: sample size Besarnya perbedaan dalam sample
Interpretasi Bagaimana jika p=0.052 atau p=0.049?
Diukur dengan level of significance / p-values/coefficient alpha
Semakin kecil coefficient alpha, semakin kecilkemungkinannya terjadi type 1 error
Cut-off point yg sering dipakai p<0.05 significant
Dipengaruhi oleh: sample size Besarnya perbedaan dalam sample
Interpretasi Bagaimana jika p=0.052 atau p=0.049?
Pertanyaan
Kalau satu hubungan antar variable menunjukkanp<0.05 apakah berarti hasil itu penting?
Jika effect size hubungan antar variable besar,apakah berarti hubungan itu penting?
Apakah internal consistency reliability dan constructvalidity itu hal yang sama?
Jika pengukuran statistics menunjukkan hasil yangsignifikan apakah itu berarti fenomenanya bisaditemukan di populasi umum?
Kalau satu hubungan antar variable menunjukkanp<0.05 apakah berarti hasil itu penting?
Jika effect size hubungan antar variable besar,apakah berarti hubungan itu penting?
Apakah internal consistency reliability dan constructvalidity itu hal yang sama?
Jika pengukuran statistics menunjukkan hasil yangsignifikan apakah itu berarti fenomenanya bisaditemukan di populasi umum?
Instrument Qualitative: Interview Guide
Instruksi Beginning : information, informed consent Concluding
Questions Open-ended Key themes Factual questions before opinion questions Use probes or request to elaborate
Instruksi Beginning : information, informed consent Concluding
Questions Open-ended Key themes Factual questions before opinion questions Use probes or request to elaborate
Validitas dan Reliabilitas dalampenelitian kualitatif
Trustworthiness
Meningkatkan trustworthiness
Thick description mengumpulkan data secara rinci dan komprehensif,
yang menggambarkan secara keseluruhan apa yangsedang terjadi
Negative/defiant case analysis
Triangulation (data, subject,methods)
Member checking
Thick description mengumpulkan data secara rinci dan komprehensif,
yang menggambarkan secara keseluruhan apa yangsedang terjadi
Negative/defiant case analysis
Triangulation (data, subject,methods)
Member checking
