Apakah Skor pada penggunaan Past dari Instrumen Handal dan Valid?

Anda ingin memilih instrumen yang melaporkan nilai individu yang handal dan valid. Keandalan berarti bahwa nilai dari instrumen yang stabil dan konsisten. Skor harus hampir sama ketika para peneliti mengelola waktu instrumen beberapa pada waktu yang berbeda. Juga, skor harus konsisten. Ketika seseorang menjawab pertanyaan-pertanyaan tertentu salah satu cara, individu harus secara konsisten menjawab pertanyaan terkait erat dengan cara yang sama. Validitas adalah pengembangan bukti suara untuk menunjukkan bahwa interpretasi tes (skor tentang konsep atau membangun bahwa tes diasumsikan untuk mengukur) sesuai penggunaannya diusulkan (AERA, APA, NCME, 1999). Definisi defi ini, di tempat sejak tahun 1985, mengubah fokus tradisional pada jenis tiga kali lipat dari validitas konstruk-, kriteria-direferensikan, dan konten-dan pergeseran penekanan dari "jenis" validitas untuk "bukti" dan "penggunaan" dari tes atau instrumen ( Thorndike, 1997b). Dengan demikian, validitas terlihat sekarang sebagai konsep kesatuan tunggal, bukan tiga jenis. Validitas adalah sejauh mana semua bukti menunjuk ke interpretasi dimaksudkan skor tes untuk tujuan yang diusulkan. Dengan demikian, fokus pada konsekuensi dari menggunakan nilai dari instrumen (Hubley & Zumbo, 1996; Messick, 1980).

Reliabilitas dan validitas terikat bersama dalam cara yang kompleks. Kedua istilah kadang-kadang tumpang tindih dan pada waktu lain saling eksklusif. Validitas dapat dianggap sebagai lebih besar, lebih menyeluruh istilah ketika Anda menilai pilihan instrumen. Keandalan umumnya lebih mudah untuk memahami karena ini adalah ukuran konsistensi. Jika skor tidak dapat diandalkan, mereka tidak valid; skor harus stabil dan konsisten pertama sebelum mereka bisa bermakna. Selain itu, lebih dapat diandalkan skor dari instrumen, semakin valid skor mungkin (Namun, skor masih tidak mengukur konstruk tertentu dan mungkin tetap valid). Situasi yang ideal terjadi ketika nilai keduanya dapat diandalkan dan valid. Selain itu, lebih dapat diandalkan nilai dari instrumen, semakin valid skor akan. Skor harus stabil dan konsisten sebelum mereka bisa bermakna.

Keandalan Tujuan dari penelitian yang baik adalah memiliki langkah-langkah atau pengamatan yang handal. Beberapa faktor dapat menghasilkan data yang dapat diandalkan, termasuk ketika:

Pertanyaan pada instrumen yang ambigu dan tidak jelas

Prosedur administrasi tes bervariasi dan tidak standar

Peserta lelah, gugup, salah menafsirkan pertanyaan, atau menebak pada tes

(Rudner, 1993)

Peneliti dapat menggunakan salah satu atau lebih dari lima prosedur yang tersedia untuk memeriksa reliabilitas instrumen ini, seperti yang ditunjukkan pada Tabel 5.3. Anda dapat membedakan prosedur ini dengan jumlah kali instrumen yang diberikan, jumlah versi instrumen diberikan oleh para peneliti, dan jumlah individu yang membuat penilaian informasi.

Prosedur reliabilitas test-retest meneliti sejauh mana nilai dari satu sampel stabil dari waktu ke waktu dari satu administrasi tes yang lain. Untuk menentukan bentuk reliabilitas, peneliti mengelola tes pada dua waktu yang berbeda untuk peserta yang sama pada interval waktu suffi efisien. Jika skor yang terpercaya, maka mereka akan berhubungan (atau akan berkorelasi) pada positif, tingkat yang cukup tinggi, seperti .6. Pendekatan ini memiliki keuntungan hanya membutuhkan satu bentuk instrumen; Namun, skor individu pada administrasi pertama fi instrumen dapat infl pengaruh nilai pada pemerintahan kedua. Pertimbangkan contoh ini:

Seorang peneliti mengukur karakteristik yang stabil, seperti kreativitas, untuk siswa kelas enam di awal tahun. Diukur kembali pada akhir tahun, peneliti berasumsi bahwa skor akan stabil selama pengalaman kelas enam. Jika skor pada awal dan akhir tahun berhubungan, ada bukti untuk keandalan tes-tes ulang.

Pendekatan lain adalah keandalan bentuk-bentuk alternatif. Hal ini melibatkan menggunakan dua instrumen, baik mengukur variabel yang sama dan berkaitan (atau menghubungkan) skor untuk kelompok yang sama dari individu untuk kedua instrumen. Dalam prakteknya, kedua instrumen harus serupa, seperti konten yang sama, tingkat yang sama dari culty diffi, dan jenis yang sama dari sisik. Dengan demikian, barang-barang untuk kedua instrumen mewakili alam semesta yang sama atau populasi item. Keuntungan dari pendekatan ini adalah bahwa hal itu memungkinkan Anda untuk melihat apakah nilai dari satu instrumen yang setara dengan nilai dari instrumen lain, untuk dua instrumen yang dimaksudkan untuk mengukur variabel yang sama. Oleh kesulitan, tentu saja, adalah apakah dua instrumen yang setara di tempat pertama. Dengan asumsi bahwa mereka, para peneliti berhubungan atau berkorelasi item dari satu instrumen dengan instrumen yang setara. Perhatikan contoh ini:

Instrumen dengan 45 item kosakata menghasilkan skor dari kelas pertama. Peneliti membandingkan nilai ini dengan orang-orang dari instrumen lain yang juga mengukur satu set sama 45 item kosa kata. Kedua instrumen berisi item dari kira-kira sama culty diffi. Ketika peneliti fi nds item untuk berhubungan positif, kita memiliki dence kerahasiaan dalam akurasi atau keandalan nilai dari instrumen pertama.

Bentuk alternatif dan tes-tes ulang pendekatan keandalan hanyalah sebuah variasi dari dua jenis sebelumnya keandalan. Dalam pendekatan ini, peneliti mengelola tes dua kali dan menggunakan alternatif bentuk tes dari administrasi pertama fi untuk kedua. Jenis keandalan memiliki keunggulan dari kedua memeriksa stabilitas nilai dari waktu ke waktu serta memiliki kesetaraan item dari alam semesta potensi item. Ia juga memiliki semua kerugian dari kedua test-retest dan bentuk-bentuk alternatif dari kehandalan. Skor dapat refl ect perbedaan dalam konten atau culty diffi atau perubahan dari waktu ke waktu. Contoh berikut:

Peneliti mengelola 45 item kosakata untuk pertama-tama siswa kelas dua kali di dua waktu yang berbeda, dan tes sebenarnya setara dalam konten dan tingkat culty diffi. Peneliti berkorelasi atau berhubungan skor dari kedua tes dan nds fi bahwa mereka berkorelasi positif dan sangat. Skor untuk instrumen awal yang dapat diandalkan.

Interrater keandalan adalah prosedur yang digunakan ketika membuat pengamatan perilaku. Ini melibatkan pengamatan yang dilakukan oleh dua atau lebih individu dari dunia individu atau perilaku beberapa individu. Para pengamat mencatat skor perilaku mereka dan kemudian membandingkan skor untuk melihat apakah nilai mereka sama atau berbeda. Karena metode ini memperoleh skor observasi dari dua atau lebih individu, memiliki keuntungan meniadakan bias bahwa setiap satu orang bisa membawa mencetak gol. Ini memiliki kelemahan yang membutuhkan peneliti untuk melatih para pengamat dan membutuhkan pengamat untuk menegosiasikan hasil dan mendamaikan perbedaan dalam pengamatan mereka, sesuatu yang mungkin tidak mudah untuk dilakukan. Berikut adalah contoh:

Dua pengamat melihat anak-anak prasekolah bermain di pusat kegiatan mereka. Mereka mengamati keterampilan spasial anak-anak dan merekam pada checklist berapa kali setiap anak membangun sesuatu di pusat aktivitas. Setelah pengamatan, pengamat bandingkan daftar periksa mereka untuk menentukan seberapa dekat nilai mereka selama pengamatan. Dengan asumsi bahwa nilai mereka sudah dekat, mereka dapat rata-rata nilai mereka dan menyimpulkan bahwa penilaian mereka menunjukkan keandalan interrater.

Skor dari instrumen yang dapat diandalkan dan akurat jika nilai individu secara internal konsisten di seluruh item pada instrumen. Jika seseorang melengkapi item pada awal instrumen satu cara (misalnya, positif tentang dampak negatif tembakau), maka mereka harus menjawab pertanyaan-pertanyaan kemudian dalam instrumen dengan cara yang sama (misalnya, positif tentang dampak kesehatan dari tembakau).

Konsistensi respon dapat diperiksa dengan beberapa cara. Salah satu cara adalah dengan membagi tes menjadi dua dan berhubungan atau berkorelasi item. Tes ini disebut Kuder-Richardson membagi setengah uji (KR-20, KR-21) dan digunakan ketika (a) item pada instrumen yang mencetak benar atau salah sebagai nilai kategoris, (b) tanggapan tidak infl dipengaruhi oleh kecepatan, dan (c) item mengukur faktor umum. Sejak paruh tes split bergantung pada informasi dari hanya setengah dari instrumen, kation modifi dalam prosedur ini adalah dengan menggunakan rumus Spearman-Brown, yang memperkirakan full-length uji reliabilitas menggunakan semua pertanyaan pada instrumen. Hal ini penting karena keandalan instrumen meningkat sebagai peneliti menambahkan item ke instrumen. Akhirnya, koefisien alpha yang digunakan untuk menguji konsistensi internal (Cronbach, 1984). Jika item yang mencetak gol sebagai variabel kontinyu (misalnya, sangat setuju sangat tidak setuju), alpha menyediakan sien sien untuk memperkirakan konsistensi skor pada instrumen. Perhitungan untuk Kuder- Richardson terbelah setengah, Spearman-Brown rumus nubuatan, dan sien sien alpha tersedia di Thorndike (1997b).

Validitas Selain kehandalan, Anda harus memeriksa apakah nilai dari instrumen (bukan instrumen itu sendiri) valid. Sebagai peneliti, berikut adalah langkah-langkah yang mungkin akan mempekerjakan:

Mengidentifikasi instrumen (atau test) yang Anda ingin gunakan

Carilah bukti validitas dengan memeriksa penelitian sebelumnya yang telah melaporkan nilai dan penggunaan instrumen

Melihat secara dekat tujuan yang instrumen ini digunakan dalam studi ini

Lihatlah juga bagaimana para peneliti telah ditafsirkan (dibahas apabila instrumen tersebut diukur apa yang dimaksudkan untuk mengukur) nilai dalam terang tujuan penggunaannya

Mengevaluasi apakah penulis memberikan bukti yang baik yang menghubungkan interpretasi mereka untuk menggunakan mereka

Apa jenis bukti harus peneliti berusaha untuk membangun validitas? Impara (2010) memberikan ringkasan manfaat AERA, APA, NCME (1999) Standar, mengarahkan pembaca untuk memeriksa erat pasal 1 dari Standar pada "validitas," dan kemudian menyajikan daftar panjang contoh bukti untuk mendokumentasikan validitas. Hanya beberapa contoh akan disebutkan di sini.

Standar menyebutkan lima kategori bukti seperti yang ditunjukkan pada Tabel 5.4: bukti berdasarkan konten pengujian, proses respon, struktur internal, hubungan dengan variabel lain, dan konsekuensi dari pengujian. Dalam diskusi untuk mengikuti, kata "menguji" akan setara dengan "instrumen."

Bukti berdasarkan konten pengujian

Seringkali instrumen akan digunakan bahwa prestasi mengukur, menilai pemohon kredensial, atau digunakan untuk pekerjaan dalam pekerjaan. Pertanyaannya adalah apakah nilai dari instrumen menunjukkan bahwa konten tes ini berkaitan dengan apa tes ini dimaksudkan untuk mengukur. Ide ini berkaitan dengan gagasan tradisional tentang validitas isi. Biasanya peneliti pergi ke majelis hakim atau para ahli dan mintalah mereka mengenali apakah pertanyaan yang valid. Bentuk validitas berguna ketika kemungkinan pertanyaan (misalnya, tes prestasi di bidang pendidikan sains) yang terkenal dan mudah mengindentifikasi mampu. Hal ini kurang berguna dalam menilai kepribadian atau bakat skor (misalnya, pada tes IQ Stanford-Binet), ketika alam semesta

pertanyaan kurang tertentu.

Bukti berdasarkan proses respon

Instrumen dapat dievaluasi untuk fi t antara konstruk yang diukur dan sifat tanggapan dari individu-individu menyelesaikan instrumen atau individu melakukan pengamatan menggunakan instrumen. Apakah nilai refl ect respon yang akurat dari para peserta untuk instrumen yang sebenarnya? Bukti validitas dapat dirakit melalui wawancara dari para peserta untuk melaporkan apa yang mereka alami atau berpikir ketika mereka menyelesaikan instrumen. Tanggapan pengamat dapat dibandingkan untuk menentukan apakah mereka merespon dengan cara yang sama ketika mereka amati. Semakin respon proses fi t apa instrumen yang dimaksudkan untuk mengukur, semakin baik bukti untuk validitas.

Bukti berdasarkan struktur internal

Apakah interpretasi skor tes konsisten dengan kerangka kerja konseptual untuk instrumen? Bentuk bukti validitas dikumpulkan dengan melakukan prosedur statistik untuk menentukan hubungan antara tes barang dan uji bagian. Hal ini terkait dengan gagasan tradisional validitas konstruk. Melalui prosedur statistik Anda dapat:

Lihat apakah skor untuk item terkait dengan cara yang diharapkan (misalnya, menguji hubungan dari pertanyaan pada "instrumen depresi mahasiswa" untuk melihat apakah itu berkaitan dengan depresi pengukuran skala keseluruhan)

Menguji teori dan melihat apakah nilai, seperti yang diharapkan, mendukung teori (misalnya, menguji teori depresi dan melihat apakah bukti atau data mendukung hubungan dalam teori)

Bukti berdasarkan hubungan dengan variabel lain

Ini adalah kategori besar bukti yang berhubungan dengan gagasan tradisional tentang validitas-kriteria yang terkait (prediktif dan konkuren). Pada dasarnya, peneliti mencari bukti validitas skor dengan memeriksa langkah-langkah lain di luar tes. Peneliti dapat melihat tes serupa atau berbeda untuk melihat apakah skor dapat berhubungan positif atau negatif. Peneliti dapat melihat apakah skor memprediksi kriteria luar (atau nilai tes) didasarkan pada banyak studi yang berbeda. Misalnya, ketika hasil penelitian ini menunjukkan bahwa anak laki-laki di sekolah menengah memiliki penghargaan diri yang rendah dibandingkan anak perempuan, bisa prediksi ini berlaku ketika banyak studi telah dinilai? Mengumpulkan bukti validitas dari ini

banyak studi memberikan dukungan untuk validasi skor pada instrumen.

Bukti berdasarkan konsekuensi pengujian

Bentuk bukti adalah faktor baru yang telah diperkenalkan ke dalam diskusi validitas kuantitatif. Bukti validitas dapat diatur untuk mendukung kedua dimaksudkan dan konsekuensi yang tidak diinginkan dari menggunakan instrumen. Benefi apa ts (atau kewajiban) telah dihasilkan dari menggunakan instrumen? Peneliti dapat merakit bukti untuk menunjukkan konsekuensi dari pengujian, seperti instruksi kelas ditingkatkan yang dihasilkan sebagai konsekuensi dari pengujian. Tidak semua konsekuensi mungkin dimaksudkan; misalnya, tes pendidikan dapat didukung dengan alasan bahwa hal itu meningkatkan kehadiran siswa atau motivasi di kelas.

Setelah meninjau bentuk reliabilitas dan validitas, kita sekarang dapat melangkah mundur dan meninjau apa pertanyaan yang harus Anda tanyakan ketika memilih atau mengevaluasi instrumen. Sebuah daftar pendek dari pertanyaan, yang tersedia pada Gambar 5.9, harus membantu dalam proses ini.

Untuk berlatih menerapkan pertanyaan-pertanyaan ini, pertimbangkan pilihan instrumen oleh Maria. Dia menemukan instrumen berjudul "Sikap terhadap Kepemilikan Senjata di Sekolah." Sebuah laporan penulis instrumen ini dalam sebuah artikel jurnal yang diterbitkan. Apa mungkin dua bukti-bukti tentang reliabilitas dan validitas dia bisa mencari dalam diskusi penulis tentang instrumen ini? Tuliskan bentuk-bentuk reliabilitas dan validitas.