outcomes-based assessment and evaluation

Outcomes-Based

Assessment and

Evaluation

Webinar Pergeseran Paradigma Pembelajaran di

Perguruan Tinggi Berbasis Outcomes Based Education

Universitas Airlangga, 27 Maret 2021

pepen@fi.itb.ac.id

Pepen Arifin, Ph.D

2Program StudiProgram Studi

Kurikulum

Dosen &Tendik

Teaching,Learning

Fasilitas

Std. Support

Tata Kelola,Pembiayaan

Lulusan denganKemampuan:• Disiplin ilmu• Disain• Komunikasi• Kerjasama• Manajemen• Life long learning

Profesional:• Knowledge, skill• Kompetensi• Mengembangkan

diri• Bertanggungjawab• Menjunjung etika

TujuanProgram

Studi/PEO

CapaianPembelajaranLulusan/PLO

Pepen Arifin - ITB

Constructive alignment

Learning

Outcomes

Assessment

Constructivealignment

Teaching Learning

Contoh 1: Learning outcomes

Mahasiswa mampu mendemonstrasikankemampuannya dalam berenang sepanjang 100 m dalam waktu 60 detik

https://rubiconleisure.co.uk/centre/abbey-stadium/swimming-lessons/

http://www.totalimmersion.net/

https://www.swimming.org/masters/grant-turners-gym-workouts-for-swimmers/

https://www.realbuzz.com/articles-interests/swimming/

https://www.daily-sun.com/arcprint/details/84858/Uttara-Club-Swimming-Competition

Latihan

Kompetisi

LatihanPraktekKuliah

Teaching & Learning

https://swimgym.nl/en

https://www.recreonics.com/product/underwater-swim-mirror/

Teaching & Learning

Assessment

https://dissolve.com/stock-photo/ https://www.123rf.com/

Contoh 2: Learning outcomes

Siswa mampu mendemonstrasikan kemampuannyadalam percakapan Bahasa Inggris menggunakanbahasa harian.

Teaching & Learning

Ilustrasi :https://inionline.id/2020 Ilustrasi: https://ridpir.com/

Ilustrasi: https://www.hipwee.com/

Assessment

Ilustrasi: https://www.sman5kabtangerang.sch.id/Ilustrasi: https://darunnajah.com/

Tujuan asesmen CPL/PLO

• Untuk mengetahui berapa prosen mahasiswa/lulusan yang mampumencapai kompetensi profesional dan generik yang ditetapkan.

• PLO manakah yang telah dicapai dengan memuaskan dan PLO mana yang perlu ditingkatkan

• Tindakan perbaikan apa yang harus diambil untuk meningkatkanefektivitas program

Apakah asesmen PLO = Nilai MK?

• Nilai MK terdiri atas beberapa komponen dan bobotnya:– Ujian

– PR

– Tugas

– Praktikum

– Aktivitas

– Kehadiran

• Komponen penilaian, selain kehadiran, berkaitan dengandisiplin ilmu→ knowledge & skill

• Jarang penilaian MK dikaitkan dengan kamampuan generik

Dapatkah nilai matakuliah digunakanuntuk mengases PLO?

Nilai matakuliah umumnya mengukur kinerja mahasiswa secaraindividu, bukan mengukur keefektifan program secarakeseluruhan.

Nilai MK merepresentasikan seberapa baik kinerja mahasiswadalam subjek tertentu yang fokus pada pengetahuan dan keterampilan. Nilai MK tidak merepresentasikan tujuan program.

Nilai MK tidak dapat memisahkan seberapa baik mahasiswatelah mencapai outcomes-generic, seperti critical thinking,

creative problem solving or teamwork skills

Nilai MK secara umum tidak memenuhi karakteristikpengukuran PLO yang baik

Disain dan Implementasi

Asesmen CPL/PLO

Asesmen PLO: Proses berkelanjutan

ACTION PLANNING

CHECK DO

Organize for assessment

Define program mission

Define PEO

Define PLO

Inventory assessment

method

Identify assessment

method

Data collecting

Analyze results

Provide feedback

Implement change

Monitor change and compare

results

Review

Plan Do Check Action

Chart of assessment process

Contoh Implementasi

Assesment Plan

Program Learning Outcomes18/19

19/20

20/21

21/22

22/ 23

23/24

PLO 1 X X X

PLO 2 X X X

PLO 3 X X X

PLO 4 X X X

PLO 5 X X X

PLO 6 X X X

PLO 7 X X X

PLO 8 X X X

Assesmen Plan

Program Learning Outcomes18/19

19/20

20/21

21/22

22/ 23

23/24

Mampu menunjukkan pengetahuan tentang konsep-konsep fisika klasik dan fisika modern melaluiidentifikasi sifat-sifat fisis dari suatu sistem fisis.

X X X

Dapat memformulasi sistem fisis standar ke dalammodel fisis dengan menggunakan matematika. X X X

Dapat memecahkan masalah suatu sistem fisis standarsecara komprehensif menggunakan matematika dan perangkat komputasi.

X X X

Dapat menganalisis sistem fisis dengan mengaplikasikanmatematika dan perangkat komputasi/ICT. X X X

Dapat mendesain dan melaksanakan eksperimen dalambidang fisika atau bidang lain terkait fisika, serta dapatmengolah, menganalisis, dan menginterpretasi data yang diperoleh.

X X X

Mapping of the courses that support the program learning outcomes (PLO)

No Code Course Name CU PLO1 PLO2 PLO3 PLO4 PLO5 PLO6 PLO7 PLO8 PLO9 PL10

1 FI1101 Fisika Dasar IA 4 (1) X X X X X

2 KI1101 Kimia Dasar IA 3 X

3 KU1011 Bahasa Indonesia 2 X

4 KU1101 Olahraga 2 X

5 MA1201 Mathematika IIA 4 X X X X

6 FI1201 Fisika Dasar IIA 4 (1) X X X X X

7 KI1201 Kimia Dasar IIA 3 X

8 KU102x Bahasa Inggris 2 X

9 FI2101 Fisika Matematika I 4 X X X X

10 FI2102 Mekanika 4 X X X X

11 FI2103 Elektronika 4 X

12 FI2201 Fisika Matematika II 4 X X X X

13 FI2202 Listrik Magnet 4 X X X X

14 FI2203 Fisika Modern 3 X

Bagaimana memilih metode asesmen?

Apakah metode itu …

➢ Dapat mengukur learning-outcomes?

➢ Dapat mengukur LO secara akurat?

➢ Hasil pengukuran bermanfaat untuk peningkatanmutu berkelanjutan?

Metode Asesmen

• Direkomendasikan menggunakan berbagai metodeuntuk meningkatkan validitas

• Satu metode tidak cocok untuk semua asesmen

• Kepraktisan, waktu, usaha, budget asesmen

• Asesmen dapat menggunakan sampling

• Manfaatkan apa yang sudah dilakukan

Direct vs. indirect measurements

➢ Direct measures: Mengukur knowledge & skills CPMK/PLO.

➢ Indirect measures: Mengukur pengalaman belajaratau persepsi mahasiswa terhadap proses belajarnya.

Inventory: Direct and indirect method

25

Direct (Required)

• Class Assignments: paper, presentation, report…

• Capstone Project

• Direct Observation

• Portfolios

• External examiner

• Standardized exam

• Certification and licensure exams

• Theses/Senior papers

Indirect (Supplemental)

• Surveys

– Student survey

– Alumni survey

– Employer survey

• Interview

• Focus group

• Case study

Assessment PLO 1: Knowledge and Understanding

• Examination

• Essays

• Coursework reports

• Laboratory reports

• Oral examinations

• Presentations

Curriculum Mapping: Roadmap PLO vs Courses

Course Content (FI1201)

• Elektrostatik

• Elektrodinamik

• Elektromagnetisme

• Optik fisis

• Fisika modern

Course Outcomes DeveloperCourse Content Outcomes,

ability level

Elektrostatika Describe, formulate, solve, disain, eksperimen

Elektrodinamika Describe, formulate, solve, disain, eksperimen

Elektromagnetisme Describe, formulate, solve, disain, eksperimen

Optik fisis Describe, formulate, solve, disain, eksperimen

Fisika modern Describe, formulate, solve, eksperimen

Course Outcomes/CPMK(FI1201)

1. Mampu menjelaskan konsep dan prinsip dasar listrik-magnet statik/dinamik, elektromagnetisme dan fisikamodern.

2. Mampu memformulasikan besaran-besaran fisika yang berkaitan dengan listrik-magnet statik/dinamik, elektromagnetisme dan fisika modern

3. Mampu memecahkan persoalan listrik-magnet statik/dinamik, elektromagnetik dan fisika modern.

4. Mampu melaksanakan eksperimen dalam bidang listrik-magnet statik/dinamik, elektromagnetik dan fisika modern, serta mampu menganalisis data-data hasil pengukuran.

5. Mampu mendesain alat sederhana menggunakan konseplistrik-magnet dan elektromagnetisme

Mapping Course learning Outcome (CO) and PLO (FI1201)

Program Learning Outcome

Course Outcome

PLO 1:

They are able to

demonstrate their

knowledge of

classical and

modern physics

by identifying

physical

properties of a

physical system

PLO 2:

They are able

to formulate

a standard

physical

system into a

physical

model by

using

mathematics.

PLO 3:

They are able to

solve problems of

a standard

physical system

comprehensively

by the use of

mathematics and

computational

tools.

PLO 5:

Dapat mendesain dan

melaksanakan

eksperimen dalam

bidang fisika atau bidang

lain terkait fisika, serta

dapat mengolah,

menganalisis, dan

menginterpretasi data

yang diperoleh

CO1:

Mampu menjelaskan konsep dan prinsip dasar listrik-magnet

statik/dinamik, elektromagnetisme dan fisika modern

X

CO2:

Mampu memformulasikan besaran-besaran fisika yang

berkaitan dengan listrik-magnet statik/dinamik,

elektromagnetisme dan fisika modern

X

CO3:

Mampu memecahkan persoalan listrik-magnet statik/dinamik,

elektromagnetik dan fisika modern

X

CO4:

Mampu melaksanakan eksperimen dalam bidang listrik-

magnet statik/dinamik, elektromagnetik dan fisika modern,

serta mampu menganalisis data-data hasil pengukuran.

X

CO5:

Mampu mendesain alat sederhana menggunakan konsep

listrik-magnet dan elektromagnetismeX

PLO 1(Identifikasi)

PLO 2(Formulasi)

PLO 3(Problem solving)

PLO 5 (Eksperimen)

CO 1 UTS No. 4.aUAS No. 1.b

CO 2 UTS No. 2.aUAS No. 3.b

CO 3 UTS No. 1.a, 3.a, 4.bUAS No. 2.a, 3.b, 4.a

CO 4 Praktikum

CO 5 RBL

Rencana Asesmen FI1201 Fisika Dasar

Distribusi Capaian PLO

PLO 5

Outcomes Assessment ResultFI1201 Fisika Dasar IIA

0

10

20

30

40

50

60

70

PLO 1 PLO 2 PLO 3 PLO 4

FI1202 Fisika Dasar II A

0 - 1 (Fail) 1 - 2 (Poor) 2 - 3 (Satisfy) 3 - 4 (Excellent)

PLO 1 PLO 2 PLO 3 PLO 5

(Satisfy) (Good)

Alternatif lain (1)

• PLO 1: Identify (Soal no. 1)

• PLO 2: Formulate (Soal no. 2)

• PLO 3: Solve (Soal no. 3)

Alternatif lain (2)

• PLO 1: Identify (Soal no. 1a, 2a, 3a, 4a)

• PLO 2: Formulate (Soal no. 1b, 2b, 3b, 4b)

• PLO 3: Solve (Soal no. 1c, 2c, 3c, 4c)

Alternatif lain (3)

• PLO 1: Identify (Kuis/tugas 1, Proyek)

• PLO 2: Formulate (UTS, UAS)

• PLO 3: Solve (UTS, UAS, lab report)

Asesmen PLO (Softskill)

43