sistem evaluasi akademik - print -...

1

SistemEvaluasi

Akademik

Dewan Pendidikan TinggiDirektorat Jenderal Pendidikan Tinggi

Jakarta, Maret 2006

Disusun : Ami Soewandi J.S.

2

Planning(purpose and plan)

Implementation

Evaluation andAssessment

Review(feedback & procedure

for change)

Methodology& Specialized

Expertise

Evaluasi adalah proses untuk menetapkan nilaiatau kualitas suatu program atau kegiatanterhadap tujuan akhir dengan memutuskanapakah akan menolak atau merubah inovasipada rencana semula.

Evaluasi = Asesmen

Evaluasi sifatnya lebih inklusif dansering menggunakan data asesmentsebagai penunjang sumber data yang lain

3

EvaluasiEvaluasi program program akademikakademik

MengetahuiMengetahui efektivitasefektivitas lembagalembaga dalamdalampelaksanaanpelaksanaan pendidikanpendidikan, , penelitianpenelitian dandan layananlayanan

MeningkatkanMeningkatkan keterlibatanketerlibatan unsurunsur yang yang adaadadalamdalam lembagalembaga dalamdalam kegiatankegiatan tridarmatridarma

KajiKaji ulangulang dandan memperbaikimemperbaiki misimisi dandan tujuantujuanlembagalembaga

Evaluasi

Formatif

Sumatif

Metode evaluasi :1.Survey dan kuestioner2.Fokus grup3.Interview4.Pengamatan langsung

4

Tahapan proses evaluasi :

1. Analisis secara sistematis situasi yang ada pada saatini untuk menentukan standard kualitas unggul yang ingin dicapai

2. Menggali kriteria lebih dalam untuk meyakinkanbahwa indikator yang dipilih dapat membedakanhasil kegiatan apakah unggul, sedang atau buruk

3. Mengukur kinerja yang dicapai dengan indikatoryang telah ditetapkan.

4. Analisis gabungan ketiga hal tersebut untukmemperoleh kesimpulan yang valid

LRAISEAE

Outcome proses asesmen

& data lain

Analisis & Penilaian

dalam evaluasi(proses data)

Kesimpulansebagai

umpan balik

Metaevaluasi

Tindaklanjut

Model evaluasi

5

AnggotaAnggota timtim monevmonev diharapkandiharapkan mampumampumengidentifikasimengidentifikasi secarasecara jelasjelas sasaransasaran/object /object akademikakademik yang yang akanakan dievaluasidievaluasi, , antaraantara lainlain

LatarbelakangLatarbelakang, , kebutuhankebutuhan dandan kemajuankemajuan yang yang dicapaidicapai oleholeh mahasiswamahasiswaPolicyPolicy dandan aturanaturan yang yang adaada didi institusiinstitusiTataTata pamongpamong dandan administrasiadministrasi institusiinstitusiKompetensiKompetensi dosendosen dandan kinerjanyakinerjanyaKompetensiKompetensi tenagatenaga administrasiadministrasi dandan kinerjanyakinerjanyaPengembanganPengembangan staffstaffFasilitasFasilitas pembelajaran/laboratoriumpembelajaran/laboratoriumKurikulumKurikulum dandan pelaksanaannyapelaksanaannyakegiatankegiatan ekstraekstra kurikulerkurikulerFaktorFaktor pendukungpendukung yang yang adaada didi institusiinstitusiBudgetBudget dandan fund raisingfund raising

Management : Rector, Vice Rectors, Dean, Vice Deans,

LPIU/SPMUand other relevant officers

Management : Department Head, Secretary, and other relevant

officers

Senate : President and other relevant officers

Staff and research : PI, teacher of the on-going courses and other relevant officers

Students from the sampled coursesSit-in

LaboratoriesVisit to other facilities

Desk (to be provided by the management)

Wrap-up Metting

Monitoringand Evaluation

Library

6




officers






Wrap-up Metting


Library

Information and means of elicitationCourtesyIntended outcomes of the curriculum RSuitability of curriculum with objectives RRelevance of curriculum to the market and S&T development RInvolvement of users in curriculum development and design RFlexibility of student choices R, ICoherence, breadth and depth, and sequence of the curriculum RPractical work (kerja praktek) RFellowships A, IStudent unit cost for S-1 program EProportion of staff-fte allocated for education, research, services, and management IVision, mission, and objectives LEnvironmental context (O and T) RInternal weaknesses and strengths LManpower plan IRecruitment policy and mechanism IParents’ and other contribution IEfforts to deal with issues such as students’ geographical distribution & economic background ICollaborative activities with industries R, SRevenue generating activities R, SResearch collaboration with overseas institutions RQuantity and quality of staff research IStaff-student ration ECareer information and guidance R, I




officers






Wrap-up Metting


Library

Information and means of elicitationFellowships A, IDepartment / Faculty support A, IParents’ and other contribution A, IOrganization AElection process AScientific activities ACultural, sports, and social activities ACareer information and guidance R, I

7




officers






Wrap-up Metting


Library

Information and means of elicitationResearch collaboration with overseas institutions RStudents involvement in research RQuantity and quality of staff research R Interaction between staff RDifferentiation between performers and non-performers LDistribution of staff load I, LAspiration AInvolvement in defining mission, objectives, and planning I, L




officers






Wrap-up Metting


Library

Information and means of elicitationIn-class lecture R, AStudent work for the on-going courses RGrading for the on-going courses R, ISeminar and discussion R, AStructure, sequence, and schedule R, AExaminations and assignments for the on-going courses R, ARelevance with the intended outcomes R, AStudent staff interaction AClarity of learning objectives ALevels and mode of study ACourse materials, e.g. lecture notes IProvision of class rooms, teaching aids E, ITutorials E, I

8




officers






Wrap-up Metting


Library

Information and means of elicitationLaboratory work (praktikum) RService hours, types of service, and quantity of equipment ETechnicians at the laboratory Field work R Suitability with curriculum and level of obsolescence RSoftware : types of application, level of obsolescence, copy right issue RProvision of Internet access for students RProvision of sufficient space I




officers






Wrap-up Metting


Library

Information and means of elicitationService hours ETypes of service E, ISuitability of the collection to the curriculum RSoftware : types of application, level of obsolescence, copy right issue RCourse material, e.g. lecture notes R

9




officers






Wrap-up Metting


Library

Information and means of elicitationSpace for individual learning and projects EAuxiliary enterprises : canteen, photo copy, book store IAdministrative staff E, IOther physical facilities for students, e.g. lavatory, hall I




officers






Wrap-up Metting


Library

Information and means of elicitationFellowships A, IDepartment / Faculty support A, IParents’ and other contribution A, IOrganization AElection process AScientific activities ACultural, sports, and social activities ACareer information and guidance R, I

Information and means of elicitationAttendance, i.e. teachers and students E, IAnnual production of graduates (time series of 5 years) EAnnual intake, competitiveness, attractiveness (time series of 5 years) IStudents’ profile ITracer study RQuantity and quality of staff IStudent work for the sampled courses RGrading for the sampled courses R, IExaminations and assignments for the sampled courses R

10

EvaluasiEvaluasi yang yang berkualitasberkualitas tergantungtergantung kepadakepada,,

Cara Cara mengorganisasimengorganisasi prosesproses evaluasievaluasi, , prosesproses umpanumpanbalikbalik, , dandan prosedureprosedure untukuntuk prosesproses perubahanperubahansetelahsetelah adanyaadanya umpanumpan balikbalikKomunikasiKomunikasi yang yang baikbaik antaraantara evaluator evaluator dengandengansemuasemua unsurunsur yang yang terlibatterlibat dalamdalam kegiatankegiatanAdanyaAdanya umpanumpan balikbalik yang yang transparantransparanKeyakinanKeyakinan bahwabahwa akanakan adaada tindaktindak lanjutlanjut daridari umpanumpanbalikbalikKeyakinanKeyakinan bahwabahwa hasilhasil evaluasievaluasi akanakan digunakandigunakandalamdalam prosesproses pengambilanpengambilan keputusankeputusanAdanyaAdanya hubunganhubungan yang yang jelasjelas antaraantara hasilhasil evaluasievaluasi/ / assessment assessment dengandengan tujuantujuan lembaga/kegiatanlembaga/kegiatanDilaksanakannyaDilaksanakannya metaevaluasimetaevaluasi

KomunikasiKomunikasi yang yang efektifefektif selamaselama prosesproses evaluasievaluasidapatdapat dibangundibangun melaluimelalui mekanismemekanisme (1)(1)

MembentukMembentuk focus groupfocus group atauatau task grouptask groupuntukuntuk membahasmembahas desaindesain sistemsistem evaluasievaluasi

MendiseminasikanMendiseminasikan maksudmaksud dandan tujuantujuanevaluasievaluasi dengandengan uraianuraian yang yang jelasjelas

MengadakanMengadakan pertemuanpertemuan dengandengan kelompokkelompokpimpinanpimpinan untukuntuk mendiskusikanmendiskusikankemungkinankemungkinan hasilhasil evaluasievaluasi

Evaluator Evaluator mampumampu ‡‡melibatkanmelibatkan diridiri· · dalamdalamtugastugas klienklien yang yang dievaluasidievaluasi

11

KomunikasiKomunikasi yang yang efektifefektif selamaselama prosesproses evaluasievaluasidapatdapat dibangundibangun melaluimelalui mekanismemekanisme (2)(2)

LaporanLaporan yang yang ringkasringkas, , jelasjelas dandan mudahmudahdibaca/difahamidibaca/difahamiLaporanLaporan yang yang tepattepat waktuwaktu agar agar tidaktidakmengurangimengurangi potensipotensi kemanfaatnyakemanfaatnya..BilaBila perluperlu diadakandiadakan pertemuanpertemuan membahasmembahasumpanumpan balikbalik sebelumsebelum finalisasifinalisasi laporanlaporanMengundangMengundang TA TA untukuntuk meningkatkanmeningkatkankemampuankemampuan komunikasikomunikasi evaluator evaluator sekaligussekaliguskonstituentkonstituent yang yang adaada..

BeberapaBeberapa standard yang standard yang perluperlu diadopsidiadopsi dalamdalammengembangkanmengembangkan prosesproses evaluasievaluasi

Standard legal Standard legal dandan etiketik untukuntuk mengmeng --eliminasieliminasi isuisuhakhak azasiazasi , , konflikkonflik kepentingankepentingan, , aksesakses keke laporanlaporanevaluasievaluasi, , pedomanpedoman evaluasievaluasi dandan hubunganhubungan yang yang sensitifsensitifdengandengan klienklien

Standard Standard kemanfaatankemanfaatan menjagamenjaga agar agar laporanlaporan valid, valid, dapatdapat dipercayadipercaya, , akuntabelakuntabel dandan dapatdapat dipakaidipakai untukuntukkemajuankemajuan institusiinstitusi

Standard Standard kelayakankelayakan menjagamenjaga agar agar prosesprosesberlangsungberlangsung realistikrealistik , , efisienefisien dandan efektifefektif ((hanyahanyamengembangkanmengembangkan sesuatusesuatu yang yang memangmemang perluperlu.).)

Standard Standard ketepatanketepatan adanyaadanya data yang data yang sahihsahih dandanandalandal, , dapatdapat menyimpulkanmenyimpulkan sesuatusesuatu secarasecara bermaknabermakna

12

InstrumenInstrumen evaluasievaluasi

1. Dapat menggunakan instrumen yang telah dimiliki/ada namun disesuaikan dengan kondisi institusi.

2. Mengembangkan sendiri instrumen yang akandigunakan untuk evaluasi

Instrument evaluasi dapat berupa:1. Checklist2. Lembar pertanyaan

Dapat memberikanskor/ rating padaobjek evaluasi

Pengambilan keputusan(kualitas objek evaluasi)

BeberapaBeberapa halhal yang yang perluperlu diperhatikandiperhatikan dalamdalampengembanganpengembangan instrumeninstrumen evaluasievaluasi

MembuatMembuat panduanpanduan tahaptahap demidemi tahaptahap prosesprosespengembanganpengembangan instrumeninstrumen evaluasievaluasi

SetiapSetiap instrumeninstrumen mempunyaimempunyai spesifikasispesifikasi sesuaisesuaidengandengan objekobjek yang yang dievaluasidievaluasi ( program, ( program, produkproduk, , laporanlaporan, , personilpersonil))

MenentukanMenentukan pendekatanpendekatan kualitatifkualitatif yang yang akanakandigunakandigunakan bilabila diperlukandiperlukan analisisanalisis kualitatifkualitatif

DapatDapat digunakandigunakan untukuntuk memandumemandu prosesprosesdiskusidiskusi antaraantara evaluatorevaluator dandan evaluandevaluand bilabiladiperlukandiperlukan

13

1.1. CatatanCatatan komitekomitekurikulumkurikulum

2.2. UraianUraian misimisi dandantujuantujuan kurikulumkurikulumlamalama

MelacakMelacak isiisi dandanaktivitasaktivitas padapadakurikulumkurikulum yang lamayang lama

ContohContoh,,AlasanAlasan apakahapakahdiadakandiadakanperubahanperubahankurikulumkurikulum

SumberSumber referensireferensijawabanjawaban

Cara Cara menjawabmenjawabpertanyaanpertanyaan

DaftarDaftarpertanyaanpertanyaan

Komponen sasaran evaluasi(contoh, kurikulum)

Lembar pertanyaan dengan jenis pertanyaan terbuka

Lembar pertanyaan dengan jenis pertanyaantertutup

Contoh : tingkat kebutuhan program/aktivitas

1. Seberapa jauh program/ kegiatan ini mendukungpencapaian misi institusi.1. tdk berkaitan 2….. 3…… 4……. 5…….6…….7……8 sangat mendukungCatatan/ dasar pemikiran :

2. ……….

14

SkorSkor

8 semester8 semester

ContohContoh ::

IsuIsu E & PE & P

MasaMasa studistudilulusanlulusan

CatatanCatatan//

rationalerationaleHasilHasil yang yang

dicapaidicapaiKriteriaKriteria

keberhasilankeberhasilandengandengan

indikatorindikatorkinerjakinerja**

ObjekObjek yang yang dievaluasidievaluasi

Contoh checklist untuk evaluasi kegiatan

* Harapan pelanggan atau benchmarking

Checklist dengan pernyataanyang relevan dengan objek evaluasi

Contoh, Evaluasi Kinerja Dosen

1. Kuliah yang disajikan mudah difahami

2. Dosen memberikan umpan balik atas tugas yangdiberikan

3. Dst…..

15

STATEMENTS DESCRIBING THE STATEMENTS DESCRIBING THE IDEAL LECTURERIDEAL LECTURER

Readily considers students„ viewpointsReadily considers students„ viewpoints

Avoids an excess of factual detailsAvoids an excess of factual details

Has pleasantly modulated voice Has pleasantly modulated voice

Has a democratic approachHas a democratic approach

Is well informed in fields other than, but related to, his/her sIs well informed in fields other than, but related to, his/her special pecial subjectssubjects

Maintains continuity in the courseMaintains continuity in the course

Appreciates students own accomplishmentsAppreciates students own accomplishments

Presents his/her work clearly and logicallyPresents his/her work clearly and logically

Is constructive and helpful in his/her criticismIs constructive and helpful in his/her criticism

Organizes his/her work clearly on the overhead projector or blacOrganizes his/her work clearly on the overhead projector or blackboardkboard

Adopts an appropriate pace in his/her lecturesAdopts an appropriate pace in his/her lectures

Appears confident and at ease in lecturingAppears confident and at ease in lecturing

Adequately covers the ground in the lecture courseAdequately covers the ground in the lecture course

Makes his/her material both intelligible and meaningfulMakes his/her material both intelligible and meaningful

Uses appropriate illustrative teaching aid (slides film, programUses appropriate illustrative teaching aid (slides film, programs, etc)s, etc)

Stimulated students to think independentlyStimulated students to think independently

Is skillful in drawing illustrative diagramsIs skillful in drawing illustrative diagrams

Avoids distracting personal mannerismsAvoids distracting personal mannerisms

Appears to enjoy teachingAppears to enjoy teaching

Has a good sense of humorHas a good sense of humor

Enables the students to understand the basic principles of the sEnables the students to understand the basic principles of the subjectubject

Avoids trivial time filling material in lecturesAvoids trivial time filling material in lectures

Includes in lectures material which is not readily accessible inIncludes in lectures material which is not readily accessible intextbookstextbooks

Has a good vocabularyHas a good vocabulary

Allows questions during lecturesAllows questions during lectures

Has a sympathetic attitude towards studentsHas a sympathetic attitude towards students

Tries to link lecture material to laboratory/clinical/practical Tries to link lecture material to laboratory/clinical/practical workwork

Is conciseIs concise

Tries to relate course the broad human values and goalsTries to relate course the broad human values and goals

Gets students to work willingly for him/herGets students to work willingly for him/her

Is spontaneously friendlyIs spontaneously friendly

Sets clear objectives for studentsSets clear objectives for students

Does not ridicule wrong answerDoes not ridicule wrong answer

Illustrated the practical applications of the theory of his/her Illustrated the practical applications of the theory of his/her subjectsubject

Points out the links between his/her subject and related subjectPoints out the links between his/her subject and related subjectss

Writes legibly on the blackboard or overhead projectorWrites legibly on the blackboard or overhead projector

Imparts enthusiasm for his/her subjectsImparts enthusiasm for his/her subjects

Avoids forcing his/her own point of viewAvoids forcing his/her own point of view

Shows an expert knowledge of the subjectShows an expert knowledge of the subject

Provides full references to books papers, etcProvides full references to books papers, etc

Refers to the latest developments in his/her subjectRefers to the latest developments in his/her subject

Evenly spaces his/her requirements of written workEvenly spaces his/her requirements of written work

Can be clearly heardCan be clearly heard

Sumber : Piper D.W.(1993) “Quality Management in Universities”. Australian Government Publishing Service, Canbera.

Contoh,

Lokakarya PengembanganMonitoring dan Evaluasi

Internal2006

16

EvaluasiEvaluasi sistemsistem evaluasievaluasi((metaevaluasimetaevaluasi))

PentingPenting untukuntuk menjagamenjaga kredibilitaskredibilitas lembagalembaga

DapatDapat dilakukandilakukan internal internal dengandengan komisikomisi yang yang dibentukdibentuk untukuntuk maksudmaksud iniini atauatau bergabungbergabungdengandengan eksternaleksternal evaluator evaluator mendiskusikanmendiskusikansistemsistem dandan hasilhasil evaluasievaluasi yang yang adaada..

MetaevaluasiMetaevaluasi jugajuga harusharus memenuhimemenuhi beberapabeberapakriteriakriteria misalnyamisalnya, , kelayakankelayakan teknisteknis, , interaksiinteraksiantaraantara temuantemuan dengandengan audienceaudience, , cost effectiveness cost effectiveness

Metaevaluasi(Objek: tujuan,desain,proses,hasil evaluasi)

Metaevaluasi(Objek: tujuan,desain,proses,hasil evaluasi)

Pro-aktifmetaevaluasi

untuk membantupengambilankeputusan dlmproses evaluasi

(formative metaevaluation)

Retroaktifmetaevaluasi

untuk menentukanakuntabilitas

proses evaluasi(summative

metaevaluation)

rec

om

me

nda

tion

judg

me

nts

institusi

eksternal

internal

17

KomponenKomponen yang yang perluperlu dievaluasidievaluasi dalamdalam prosesprosesmetaevaluasimetaevaluasi (1)(1)

KemanfaatanKemanfaatana. a. identitasidentitas stakeholdersstakeholders

( ( identitasidentitas jelasjelas, , kebutuhankebutuhan stakeholder stakeholder padapada prosesproses evaluasievaluasi))

b. b. kredibilitaskredibilitas evaluatorevaluator((kompetensikompetensi, , kepercayaankepercayaan stakeholders, stakeholders, mampumampu mengarahkanmengarahkan

perhatianperhatian stakeholdersstakeholders ))

c. c. cakupancakupan & & selektifitasselektifitas informasiinformasi( ( memahamimemahami pentingnyapentingnya informasiinformasi klienklien, , membuatmembuat prioritasprioritas untukuntuk

stakeholder )stakeholder )

d. d. identifikasiidentifikasi nilainilai((memperhatikanmemperhatikan nilainilai yang yang dianutdianut oleholeh stakeholdersstakeholders))


e. e. kejelasankejelasan laporanlaporan

( ( jelasjelas, , ringkasringkas, , fokusfokus))

f. f. ketepatanketepatan waktuwaktu dandan prosesproses diseminasidiseminasilaporanlaporan

((serbaserba tepattepat waktuwaktu))

g. g. dampakdampak evaluasievaluasi

((mempertahankanmempertahankan kontakkontak dengandengan stakeholder stakeholder dandan bersediabersedia menggunakanmenggunakan hasilhasil evaluasievaluasi))

18


KelayakanKelayakan

1. 1. prosedurprosedur pelaksanaanpelaksanaan

((gangguangangguan yang minimal, yang minimal, prosedurprosedur yang yang bakubaku, , jadwaljadwal yang yang realistikrealistik))

2. 2. keberlanjutankeberlanjutan sistemsistem evaluasievaluasi((antisipasiantisipasi kelompokkelompok dengandengan interest yang interest yang berbedaberbeda))

3. 3. efektifitasefektifitas pembiayaanpembiayaan((efisienefisien, , menghasilkanmenghasilkan informasiinformasi yang yang bernilaibernilai))


TataTata kramakrama evaluasievaluasi1. 1. kesepakatankesepakatan bersamabersama

((prosedurprosedur & & jadwaljadwal evaluasievaluasi) ) 2. 2. hakhak azasiazasi subjeksubjek evaluasievaluasi

((informasiinformasi jelasjelas dandan mengikutimengikuti protokolprotokol ))3. 3. evaluasievaluasi yang yang menyeluruhmenyeluruh dandan adiladil

((kesempatankesempatan membahasmembahas laporan/ temuanlaporan/ temuan))4. 4. pengungkapanpengungkapan temuantemuan

((temuantemuan selaluselalu tertulistertulis , , identifikasiidentifikasi siapasiapa yang yang berhakberhakmengaksesmengakses laporanlaporan))

5. 5. konflikkonflik kepentingankepentingan( ( identifikasiidentifikasi konflikskonfliks kepentingankepentingan, , menugaskanmenugaskan lebihlebih

daridari seorangseorang evaluator)evaluator)

19


KetelitianKetelitian1. 1. dokumentasidokumentasi programprogram

((digunakandigunakan beberapabeberapa referensireferensi untukuntuk menjelaskanmenjelaskanprogram program evaluasievaluasi, , analisisanalisis semuasemua halhal yang yang bertentanganbertentangan dengandengan hasilhasil yang yang diharapkandiharapkan))

2. 2. sumbersumber informasiinformasi( data ( data daridari berbagaiberbagai sumbersumber, , dokumendokumen dandanlaporanlaporan sebagaisebagai sumbersumber, , variasivariasi metodemetodeperolehanperolehan data)data)


3. 3. informasiinformasi yang yang sahihsahih dandan andalandal

((sahihsahih fokusfokus padapada pertanyaanpertanyaan kuncikunci, data , data kolektorkolektor yang yang terkalibrasiterkalibrasi, , andalandal konsistenkonsistendalamdalam kategorisasikategorisasi dandan skoringskoring, , verifikasiverifikasi data )data )

4. 4. analisisanalisis informasiinformasi ((kuantitatifkuantitatif & & kualitatifkualitatif))

((pemilihanpemilihan prosedurprosedur yang yang tepattepat))

20


5. 5. kesimpulankesimpulan yang yang tepattepat

((merefleksikanmerefleksikan prosedurprosedur dandan temuantemuan secarasecara telititeliti, , menghindarimenghindari adanyaadanya kesalahankesalahan interpretasiinterpretasi, , mecantumkanmecantumkan keterbatasanketerbatasan prosesproses evaluasievaluasi, , identifikasiidentifikasi kemungkinankemungkinan adanyaadanya efekefek sampingsamping))

6. 6. laporanlaporan yang yang tidaktidak memihakmemihak

((membentukmembentuk editorial yang editorial yang tepattepat, , menentukanmenentukan siapasiapayang yang berhakberhak aksesakses laporanlaporan, , mencakupmencakup semuasemuakelompokkelompok stakeholders) stakeholders)

BahanBahan diskusidiskusi

1.1. DiskusikanDiskusikan dandan kembangkankembangkan cheklistcheklist untukuntukobjekobjek evaluasievaluasi yang yang menjadimenjadi prioritasprioritas lembagalembagadidi lingkunganlingkungan AndaAnda

2.2. KembangkanKembangkan rangkaianrangkaian pertanyaanpertanyaan sesuaisesuaidengandengan kriteriakriteria evaluasievaluasi untukuntuk objekobjek tertentutertentudisertaidisertai instrumeninstrumen analisisnyaanalisisnya..

3.3. DiskusikanDiskusikan bagaimanabagaimana sebaiknyasebaiknya prosesprosesmetaevaluasimetaevaluasi dilakukandilakukan. .

sistem evaluasi akademik - print -...

Documents