A. Pengertian Program dan Evaluasi Program
Ada tiga istilah yang digunakan dan perlu disepakati pemakainya, sebelum disampaikan uraian lebih jauh tentang evaluasi program, yaitu “evaluasi” (evaluation), “pengukuran” (meansurement), dan “penilaian” (assessment).
Evaluasi berasal dari kata evaluation (bahasa Inggris). Kata tersebut diserap ke dalam perbendaharaan istilah bahasa Indonesia dengan tujuan mempertahankan kata aslinya dengan sedikit penyesuaian lafal Indonesia menjadi “evaluasi”. Istilah “penilaian” merupakan kata benda dari “nilai”. Pengertian “pengukuran” mengacu pada kegiatan membandingkan sesuatu hal dengan satuan ukuran tertentu, sehingga sifatnya menjadi kuantitatif. Di dalam buku ini, ketiga istilah tersebut akan digunakan bergantian tanpa mengubah makna pembahasan.
Bagaimanakah kita mengartikan “evaluasi”? Ada beberapa kamus dapat dijadikan sumber acuan. Definisi yang dituliskan dalam kamus Oxford Advanced Learners”s Dictionary of Current English (AS Hornby, 186) evaluasi adalah to find out, decide the amount or value yang artinya suatu upaya untuk menetukan nilai atau jumlah. Selain arti berdasarkan terjemahan, kata-kata yang terkandung di dalam definisi tersebut pun menunjukkan bahwa kegiatan evaluasi harus dilakukan secara hati-hati, bertanggung jawab, menggunakan strategi, dan dapat dipertanggungjawabkan.
Suchman (1961 dalam Anderson, 1975) memandang evaluasi sebagai sebuah proses menentukan hasil yang telah dicapai beberapa kegiatan yang direncanakan untuk mendukung tercapainya tujuan. Definisi lain dikemukakan oleh Worthen dan Sanders (1973 dalam Anderson, 1971). Dua ahli tersebut mengatakan bahwa evaluasi adalah kegiatan mencari sesuatu yang berharga tentang sesuatu; dalam mencari sesuatu tersebut, juga termasuk mencari informasi yang bermanfaat dalam menilai keberadaan suatu program, produksi, produser, serta alternatif srategi yang diajukan untuk mencapai tujuan yang sudah ditentukan. Seorang ahli yang sangat terkenal dalm evaluasi program bernama Stufflebeam (1971, dalam Fernandes 1984) mengatakan bahwa evaluasi merupakan proses penggambaran, pencarian, dan pemberian informasi yang sangat bermanfaat bagi pengambilan keputusan dalam menentukan alternatif keputusan.
Dari beberapa pendapat di atas dapat disimpulkan bahwa evaluasi adalah kegiatan untuk mengumpulkan informasi tentang bekerjanya sesuatu, yang selanjutnya informasi tersebut digunakan untuk menentukan alternatif yang tepat dalam mengambil sebuah keputusan.
Sampai dengan kira-kira tahun 1974 masyarakat masih menganggap bahwa evaluasi pendidikan terbatas pengertiannya pada penilaian hasil belajar. Dasar pemikiran yang digunakan adalah bahwa pendidikan merupakan upaya memberikan satu perlakuan pembelajaran kepada peresta didik. Kesuksesan hasil belajar mereka dapat diketahui melalui kegiatan penilaian. Di balik dasar pemikiran tersebut terdapat pula anggapan bahwa upaya pendidik dalam penyelenggarakan kegiatan pembelajaran adalah kunci keberhasilan untuk mencapai hasil belajar peserta didik. Dapat diasumsikan bahwa di antara pembelajaran dengan hasil belajar merupakan hubungaan lurus atau linier.
Setelah para pendidik merasakan, mencermati keadaan, dan tidak henti-hentinya mengadakan penelitian, diketahui bahwa pembelajaran bukanlah satu-satunya penentu keberhasilan dalam mencapai prestasi belajar. Ada hal yang juga berpengaruh dan menentukan tinggi rendahnya prestasi belajar peserta didik, yaitu:
1. Keadaan fisik dan psikis siswa, yang ditunjukan oleh IQ (kecerdasan intelektual), EQ (kecerdasan emosi), kesehatan, motivasi, ketekunan, ketelitian, keuletan, dan minat.
2. Guru yang mengajar dan membimbing siswa, seperti latar belakang penguasaan ilmu, kemampuan mengajar, perlakuan guru terhadap siswa.
3. Sarana pendidikan, yaitu ruang tempat belajar, alat-alat belajar, media yang digunakan guru, dan buku sumber belajar
Dari tiga contoh faktor yang sudah dikemukakan di atas dapat ditarik kesimpulan bahwa hubungan antara pembelajaran dengan hasil atau prestasi siswa bukan hanya bersifat garis lurus, tetapi bisa bercabang dari faktor-faktor lain. Misalnya, faktor guru, siswa, dan sarana yang berpengaruh terhadap prestasi belajar siswa.
Ada dua pengertian untuk istilah “program”, yaitu pengertian secara khusus dan umum. Menurut pengertian secara umum, “program” dapat diartikan “rencana”. Jika seorang siswa ditanya oleh guru, apa programnya sesudah lulus dalam menyelesaikan pendidikan di sekolah yang diikuti maka arti “program” dalam kalimat tersebut adalah rencana atau rancangan kegiatan yang akan dilakukan setelah lulus. Rencana ini mungkin berupa keinginan untuk melanjutkan ke pendidikan yang lebih tinggi, mencari pekerjaan, membantu orang tua dalam membina usaha, atau mungkin juga belum menentukan program apapun. Selain itu, ada juga anak yang sangat tergantung pada orang tua sehingga akan memberi jawaban bahwa program masa depan menunggu keputusan orang tua.
Apabila “program” ini langsung dikaitkan dengan evaluasi program maka program didefinisikan sebagai suatu unit atau kesatuan kegiatan yang merupakan realisasi atau implementasi dari suatu kebijakan, berlangsung dalam proses yang berkesinambungan, dan terjadi dalam suatu organisasi yang melibatkan sekelompok orang. Ada tiga pengertian penting dan perlu ditekankan dalam menetukan program, yaitu (1) realisasi atau implementasi suatu kebijakan, (2) terjadi dalam waktu relatif lama-bukan kegiatan tunggal tetapi jamak-berkesinambungan, dan (3) terjadi dalam organisasi yang melibatkan sekelompok orang.
Sebuah program bukan hanya kegiatan tunggal yang dapat diselesaikan dalam waktu singkat, tetapi merupakan kegiatan yang berkesinambungan karena melaksanakan suatu kegiatan. Oleh karena itu, sebuah program dapat berlangsung dalam kurun waktu relatif lama. Pengertian program adalah suatu unit atau kesatuan kegiatan yang dilakukan bukan hanya satu kali tetapi berkesinambungan. Pelaksanaan program selalu terjadi di dalam sebuah organisasi yang artinya harus melibatkan sekelompok orang. Pengertian program yang dikemukakan di atas adalah pengertian secara umum.
Dalam kehidupan, terdapat juga program yang berlangsung hanya dalam waktu singkat, misalnya program peringatan Hari Pahlawan. Upacara peringatan dapat diklasifikasi sebagai program karena mengandung beberapa komponen dan dirancang melalui serangkaian rapat, tetapi pelaksanannya hanya sebentar. Perbedaan antara program sempurna yang memenuhi ciri-ciri di atas dengan yang mempunyai penyimpangan dapat kita ketahui dan pahami pada penjelasan bab-bab berikutnya.
Selain mengandung tiga pengertian, ada pula program-program tertentu yang menunjukan ciri lain, yaitu adanya kegiatan jamak yang merupakan rangkaian. Untuk memperjelas pengertian “jamak berangkai”, coba bandingkan beberapa kegiatan tunggal dan jamak berikut ini. Kegiatan menulis, berjalan, tidur, adalah sekali dilakukan selesai, dan tidak berada dalam urutan proses. Bandingkan dengan memasak. Memasak adalah kegiatan jamak, karena untuk dapat memasak harus ada bahan yang dibeli dan dimasak. Sesudah memasak, hasil masakannya dimakan.
Pembelajaran adalah kegiatan jamak karena melalui urutan dari penyusunan kurikulum di pusat, pembuatan Analisis Materi Pelajaran (AMP), pembuatan rencana mengajar, pelaksanan kegiatan belajar mengajar, yaitu pembelajaran dan evaluasi prestasi belajar. Di dalam rangkaian proses tersebut, kegiatan awal yang mendahului merupakan faktor penentu keberhasilan kegiatan berikut.
Apa alasan melakukan evaluasi program dan sejak kapankah evaluasi program mulai populer? Menurut Fernandes (1984), pemikiran secara serius tentang evaluasi program dimulai sekitar tahun delapan puluhan. Sejak tahun 1979-an telah terjadi perkembangan sehubungan dengan konsep-konsep rang berkenaan dengan eveluasi program, sebagai contoh teori yang dikemukakan oleh Cronbach (1982 dalam Fernandes 1984) tentang pentingnya rancangan dalam kegiatan evaluasi program.
Makna dari evaluasi program itu sendiri mengalami proses pemantapan. Definisi yang terkenal untuk evaluasi program dikemukakan oleh Ralph Tyler, yang mengatakan bahwa evaluasi program adalah proses untuk mengetahui apakah tujuan pandidikan sudah dapat terealisasikan (Tyler, 1950). Definisi yang lebih diterima masyarakat luas dikemukakan oleh dua orang ahli evaluasi, yaitu Cronbach (1963) dan Stufflebeam (1971). Mereka mengemukakan evaluasi program adalah upaya menyediakan informasi untuk disampaikan kepada pengambil keputusan. Sehubungan dengan definisi tersebut The Standford Evaluation Consortium Group menegaskan bahwa meskipun evaluator menyediakan informasi, evaluator bukanlah pengambil keputusan tentang suatu program (Cronbach, 1982).
Ronal G. Schnee (1977 dalam Gilbert Sax, 1975) mengatakan bahwa karena alasan politik dan sosial evaluator program sering dihadapkan pada sebuah dilema pertimbangan etis. Dari hasil penelitian Schnee menyimpulkan adanya sebelas isu, yaitu
1. Otonomi
Isu ini terkait dengan sikap personel yang terlibat dalam program, misalnya guru dan kepala sekolah. Bagaimana mereka tidak terpengaruh dengan keinginan menyanjung program ketika diminta untuk mengevaluasi?
2. Hubungan dengan klien
Isu ini menyangkut evaluator ketika melaksanakan evaluasi harus bekerja sama dengan klien, yaitu orang-orang yang ada di dalam program.
3. Kenyataan politik dan konteks sosial
Dalam mengevaluasi program evaluator tidak boleh mengabaikan kejadian politik dan sosial, agar hasil kerja dapat bermanfaat.
4. Nilai yang dimiliki evaluator
Dalam melaksanakan evaluasi tidak mungkin evaluator dapat melepaskan diri dari nilai-nilai yang dianut dan dijadikan pedoman hidupnya.
5. Pemilihan rancangan dan metodologi
Untuk memperoleh hasil rancangan yang maksimal dari kerja evaluasi, seyogianya evaluator dapat mempertimbangkan berbagai unsur dan mengadakan kompromi.
6. Memberi kesempatan kepada orang lain untuk menelaah (review) rancangan
Alasan untuk mengadakan tilik ulang adalah mengurangi adanya bias dan pemborosan.
7. Kujujuran mengakui keterbatasan dan hambatan
Laporan evaluasi harus mencantumkan penjelasan tentang hal-hal yang dihadapi evaluator sebagai akibat adanya keterbatasan dan hambatan.
8. Hasil negatif
Evaluator perlu menyertakan hasil negatif agar data yang dilaporkan lengkap dan berguna untuk meningkatan program.
9. Penyebaran hasil
Mengingat tujuan evaluasi program adalah mengumpulkan informasi bagi tindak lanjut program maka hasil evaluasi sangat perlu untuk disebarluaskan.
10. Perlindungan dari pelanggaran
Program merupakan hasil kebijakan yang diatur oleh peraturan. Oleh karena itu, evaluasi tidak boleh melanggar hal yang dilindungi.
11. Penolakan terhadap kontrak
Meskipun evaluasi ini penting namun pelaksana program berhak menolak evaluator dengan alasan yang tepat.
B. Komponen dan Indikator Program
Program merupakan sistem. Sedangkan, sistem adalah satu kesatuan dari beberapa bagian atau komponen program yang saling kait-mengait dan bekerja sama satu dengan yang lainnya untuk mencapai tujuan yang sudah ditetapkan dalam sistem. Dengan begitu, program terdiri dari komponen-komponen yang saling berkaitan dan saling menunjang dalm rangka mencapai suatu tujuan.
Komponen program adalah bagian-bagian program yang saling terkait dan merupakan faktor-faktor penentu keberhasilan program. Karena suatu program merupakan sebuah sistem dan dikenal dengan istilah “subsistem”. Komponen atau subsistem merupakan bagian dari suatu program yang berupa kata benda, harus disebut dalam kata benda. Andai kata kita ingin mengetahui sabar dan tidaknya seseorang maka yang diukur bukan “sabar”, tetapi “kesabaran” jika akan mengetahui indah dan tidaknya taman, yang diukur bukan “indah” tetapi “keindahan”. Jadi kata keadaan atau kata sifat, kalau distatuskan sebagai komponen, harus diubah nama dalam bentuk kata benda, atau dengan kata lain harus dibendakan dahulu.
Menurut pengertian atau konsep umum, di dalam sebuah sistem, subsistem yang ada saling terkait dan saling mempengaruhi. Sistem sendiri berada di dalam sebuah naungan yang lebih besar yang dikenal dengan istilah “suprasistem”. Dalam suprasistem, sistem-sistem yang ada di bawah naungannya saling berkaitan dan bekerja sama menuju pencapaian tujuan suprasistem dimaksud. Sebagai contoh kaitan antara suprasistem, sistem, dan subsistem dalam dunia pendidikan adalah Departemen Pendidikan Nasional, sekolah, dan pembelajaran di kelas.
Dengan dipahaminya pembelajaran sebagai sebuah sistem maka dikatakan bahwa pembelajaran terjadi dalam sebuah program. Hubungan antara pembelajaran dengan prestasi atau hasil belajar tidak hanya digambarkan sebagai garis lurus tetapi saling hubungan antarsubsistemnya, yaitu siswa, guru, sarana belajar, kurikulum, lingkungan dan kegiatan pembelajaran itu sendiri. Selain yang sudah disebutkan, masih terdapat satu subsistem lain yang juga merupakan suatu faktor penentu nilai hasil belajar, yaitu evaluasi dalam (termasuk di dalamnya soal yang diberikan, cara mengawasi, kondisi fisik, cara menilai, situasi waktu evaluasi dilaksanakan, waktu yang disediakan, psikis siswa, dan sarana).
Jika hubungan jamak antarsubsistem pembelajaran dikaitkan antara satu dengan yang lainnya, akan dipahami bahwa siswa merupakan bahan mentah yang dilibatkan dalam proses pembelajaran, sedangkan hasil belajar merupakan keluar dari sistem dan subsistem lain yang mempunyai sumbangan terhadap pembelajaran, yang secara langsung berpengaruh terhadap hasil belajar.
Melalui penjelasan tentang kaitan antarkomponen pembelajar diketahui bahwa evaluasi hasil belajar merupakan salah satu di antara beberapa komponen program pembelajaran. Dengan bertitik tolak pada komponen tersebut bahwa evaluasi hasil pembelajaran hanya merupakan bagian dari evaluasi program pembelajaran. Jadi jelas, keberhasilan suatu program sangat ditentukan oleh komponen-komponen yang membentuk suatu program. Selain itu, evaluasi atau penilaian yang dimaksudkan untuk mengukur mutu hasil belajar juga dilakukan untuk mengetahui tingkat pencapaian tujuan. Informasi yang lebih rinci tentang sejauh mana ketercapaian dan kekurangtercapaian tujuan dapat diperoleh dengan cara mencermati bagian-bagian yang lebih kecil dari komponen sehingga diketahui dengan pasti letak penyebabnya. Hal ini berarti bahwa penilai harus memahami indikator-indikator dalam setiap komponen.
Indikator berasal dari kata dasar bahasa Inggris to indicate, artinya menunjukan. Dengan demikian maka indikator berarti alat penunjuk atau “sesuatu yang menunjukan kualitas sesuatu”. Contoh sederhana dalam kehidupan sehari-hari adalah sebuah kue dapat dikatakan bermutu jika rasanya lezat. Maka “rasa” menunjukan kualitas kue, rasa merupakan indikator dari kualitas kue. Contoh lain, kualitas siswa cerdas ditunjukkan dengan nilai prestasi. Maka nilai prestasi belajar merupakan indikator dari kualitas kecerdasan. Untuk contoh terakhir ini, kecerdasan dapat distatuskan sebagai komponen, dan nilai prestasi sebagai indikator.
Jika kita menyimpulkan bahwa seorang siswa itu cerdas dengan indikator kecerdasan siswa bukan hanya nilai prestasi, tetapi juga kecepatan reaksi, kecepatan kerja dan daya kritis siswa maka indikator kecerdasan dalam nilai prestasi, kecepatan reaksi, kecepatan kerja dan daya kritis. Kesimpulan dari penjelasan tersebut adalah bahwa untuk menentukan tinggi rendahnya kecerdasan, seseorang harus mempertimbangkan tinggi rendahnya nilai prestasi, cepat tidaknya reaksi, cepat tidaknya kerja, dan tinggi rendahnya daya kritis. Tentang bagaimana mengidentifikasi indikator, akan dibicarakan dalam bagian-bagian berikut, baik secara terpisah maupun terlampir dalam uraian lain.
Evaluasi program adalah upaya untuk mengetahui efektifitas komponen program dalam mendukung pencapaian tujuan program. Dengan demikian, jika diketahui bahwa hasil belajar (sebagai harapan dari program pembelajaran) tidak memuaskan, dapat dicari di mana letak kekurangannya atau komponen mana yang bekerja tidak dengan semestinya.
Setiap kegiatan yang merupakan realisasi dari suatu kebijakan harus dirancang dengan cermat dan teliti, supaya tujuan yang sudah ditetapkan dalam kebijakan dapat dicapai dengan sebaik-baiknya. Dengan demikian maka kegiatan realisasi kebijakan merupakan sebuah program. Dengan memandang kegiatan tersebut sebagai sebuah program, ada satu keuntungan yang besar bagi para evaluator karena dapat mencermati letak kekuatan dan kelemahan program secara lebih baik.
Kebijakan yang sudah dikeluarkan oleh pengambil keputusan sebelum tentu dapat direalisasikan dengan baik sesuai dengan jiwa kebijakan. Untuk mengetahui seberapa jauh dan bagian mana dari tujuan yang sudah dicapai dan bagian mana yang belum tercapai serta apa penyebabnya, perlu adanya evaluasi program. Tanpa ada evaluasi, keberhasilan dan kegagalan program tidak dapat diketahui. Uraian tersebut dapat disimpulkan dalam sebuah definisi sebagai berikut. Evaluasi program adalah upaya untuk mengetahui tingkat keterlaksanaan suatu kebijakan secara cermat dengan cara mengetahui efektifitas masing-masing komponennya.
C. Manfaat Evaluasi Program
Dalam organisasi pendidikan, evaluasi program dapat disamaartikan dengan kegiatan supervisi. Secara singkat, supervisi diartikan sebagai upaya mengadakan peninjauan untuk memberikan pembinaan maka evaluasi program adalah langkah awal dalam supervisi, yaitu mengumpulkan data yang tepat agar dapat dilanjutkan dengan pemberian pembinaan yang tepat pula.
Kesalahan yang terjadi di masyarakat beberapa waktu yang lalu, yaitu supervisi hanya menekankan aspek ketatausahaan saja. Jika konsep seperti itu maka ada perbedaan antara eveluasi program dengan supervisi. Jika supervisi di lembaga pendidikan dilakukan dengan objek buku-buku dan pekerjaan clerical work maka evaluasi program dilakukan dengan objek lembaga pendidikan secara keseluruhan. Kebijakan supervisi yang berlangsung saat ini dapat dikatakan sama dengan evaluasi program, tetapi sarananya ditekankan pada kegiatan pembelajaran. Dengan kata lain, prestasi belajar menjadi titik pusat perhatian. Oleh karena tujuan utamanya memperhatikan prestasi belajar bidang studi atau mata pelajaran maka supervisor (yang di dalam praktik disebut pengawas), disaratkan memiliki latar belakang studi tertentu dan harus memiliki pengalaman menjadi guru. Dilihat dari ruang lingkupnya, supervisi dibedakan menjadi 3, yaitu (1) supervisi kegiatan pembelajaran, (2) supervisi kelas, dan (3) supervisi sekolah.
Berdasarkan pengertian tadi, supervisi sekolah yang diartikan sebagai evaluasi program, dapat disamaartikan dengan validasi lembaga dan akreditasi. Evaluasi program merupakan langkah awal dari proses akreditasi dan validasi lembaga. Dari uraian di atas dapat disimpulkan bahwa: evaluasi program pendidikan tidak lain adalah supervisi pendidikan dalam pengertian khusus, tertuju pada lembaga secara keseluruhan.
Apa hubungan antara evaluasi program dengan kebijakan? Program adalah rangkaian kegiatan sebagai realisasi dari suatu kebijakan. Apabila suatu program tidak dievaluasi maka tidak dapat diketahui bagaimana dan seberapa tinggi kebijakan yang sudah dikeluarkan dapat terlaksana. Informasi yang diperoleh dari kegiatan evaluasi sangat berguna bagi pengambilan keputusan dan kebijakan lanjutan dari program, karena dari masukan hasil evaluasi program itulah para pengambil keputusan akan menentukan tidak lanjut dari program yang sedang atau telah dilaksanakan. Wujud dari hasil evaluasi adalah sebuah rekomendasi dari evaluator untuk mengambil keputusan (decision maker). Ada empat kemungkinan kebijakan yang dapat dilakukan berdasarkan hasil dalam pelaksanaan sebuah program keputusan, yaitu:
1. Menghentikan program, karena dipandang bahwa program tersebut tidak ada manfaatnya atau tidak dapat terlaksana sebagaimana diharapkan.
2. Merevisi program, karena ada bagian-bagian yang kurang sesuai dengan harapan (terdapat kesalahan tetapi hanya sedikit).
3. Melanjutkan, karena pelaksanaan program menunjukan bahwa segala sesuatu sudah berjalan sesuai dengan harapan dan memberikan hasil yang bermanfaat.
4. Menyebarluaskan program (melaksanakan program ditempat-tempat lain atau mengulangi lagi dilain waktu), karena program tersebut berhasil dengan baik maka yang baik jika dilaksanakan lagi ditempat dan waktu yang lain.
D. Evaluator Program
Siapakah yang melakukan evaluasi program? Pertanyaan tersebut tidak lain diajukan untuk menyebutkan siapa yang menjadi evaluator program. Apakah semua orang berhak menjadi evaluator program? Tentu saja tidak. Untuk dapat menjadi evaluator, seseorang harus memenuhi persyaratan sebagai berikut:
1. Mampu melaksanakan, persyaratan pertama yang harus dipenuhi oleh evaluator adalah bahwa mereka harus memiliki kemampuan untuk melaksanakan evaluator yang didukung oleh teori dan ketrampilan paktik.
2. Cermat, dapat melihat celah-celah dan detail dari program serta bagian program yang akan dievaluasi.
3. Objektif, tidak mudah dipengaruhi oleh keingainan pribadi agar dapat mengumpulkan data sesuai dengan keadaannya, selanjutnya dapat mengambil kesimpulan sebagaimana diatur oleh ketentuan yang harus diikuti.
4. Sabar dan tekun, agar di dalam melaksanakan tugas di mulai dari membuat rancangan kegiatan dalam bentuk menyusun proposal, menyusun instrument, mengumpulkan data, dan menyusun laporan, tidak gegabah dan tergesa-gesa.
5. Hati-hati dan bertanggungjawab, yaitu melakukan pekerjaan evaluasi dengan penuh pertimbangan, namun apabila masih ada kekeliruan yang diperbuat, berani menanggung resiko atas segala kesalahannya.
Berdasarkan persyaratan di atas dapat disimpulkan bahwa tidak semua orang dapat menjadi evaluator. Pertanyaan lain dapat diajukan sesudah memenuhi persyaratan dalah apakah yang bersangkutan diperbolehkan menjadi evaluator? Pertanyaan tersebut sebetulnya menyangkut pertimbangan dari mana orang yang menjadi eveluator diambil.
Ada dua kemungkinan asal (dari mana) orang untuk dapat menjadi evaluator program ditinjau dari program yang akan dievaluasi. Masing-masing mempunyai kelebihan dan kekurangan. Menentukan asal eveluator harus mempertimbangkan keterkaitan orang yang bersangkutan dengan program yang akan dievaluasi. Berdasarkan pertimbangan tersebut evaluator dapat diklasifikasikan menjadi dua macam, yaitu (1) evaluator dalam dan (2) evaluator luar.
1. Evaluator Dalam (Internal Evaluator)
Yang dimaksud dengan evaluator dalam adalah petugas evaluasi program yang sekaligus merupakan salah seorang dari petugas atau anggota pelaksana program yang dievaluasi. Adapun kelebihan dan kekurangan dari evaluator dalam, yaitu:
Kelebihan:
1) Evaluator memahami betul program yang akan dievaluasi sehingga kekhawatiran untuk tidak atau kurang tepatnya sasaran tidak perlu ada. Dengan kata lain, evaluasi tepat pada sasaran.
2) Karena evaluator adalah orang dalam, pengambilan keputusan tidak perlu banyak mengeluarkan dana untuk membayar petugas evalusi.
Kekurangan:
1) Adanya unsur subjektivitas dari evaluator, sehingga berusaha menyampaikan aspek positif dari program yang dievaluasi dan menginginkan agar kebijakan tersebut dapat diimplementasikan dengan baik pula. Dengan kata lain, evaluator internal dapat dikhawatirkan akan bertindak subjektif.
2) Karena sudah memahami seluk-beluk program, jika evaluator yang ditunjuk kurang sabar, kegiatan evaluasi akan dilaksanakan dengan tergesa-gesa sehingga kurang cermat.
2. Evaluator Luar (External Evaluator)
Yang dimaksud dengan evaluator luar adalah orang-orang yang tidak terkait dengan kebijakan dan implementasi program. Mereka berada di luar dan diminta oleh pengambil keputusan untuk mengevaluasi keberhasilan program atau keterlaksanaan kebijakan yang sudah diputuskan. Melihat bahwa status mereka berada di luar program dan dapat bertindak bebas dengan keinginan mereka sendiri maka tim evaluator luar ini biasa dikenal dengan nama tim bebas atau independen team.
Kelebihan:
1) Oleh karena tidak berkeprntingan atas keberhasilan program maka evaluasi luar dapat bertindak secara objektif selama melaksanakan evaluasi dan mengambil kesimpulan. Apa pun hasil evaluasi, tidak akan ada respons emosional dari evaluator karena tidak ada keinginan untuk memperlihatkan bahwa program tersebut berhasil. Kesimpulan yang dibuat akan lebih sesuai dengan keadaan dan kenyataan.
2) Seorang ahli yang dibayar, biasanya akan mempertahankan kredibilitas kemampuannya. Dengan begitu, evaluator akan bekerja secara serius dan hati-hati.
Kekurangan:
1) Evaluator luar adalah orang baru, yang sebelumnya tidak mengenal kebijakan tentang program yang akan dievaluasi. Mereka berusaha mengenal dan mempelajari seluk-beluk program tersebut setelah mendapat permintaan untuk mengevaluasi. Mungkin sekali pada waktu mendapat penjelasan atau mempelajari isi kebijakan, ada hal-hal yang kurang jelas. Hal itu wajar karena evaluator tidak ikut dalam proses kegiatannya. Dampak dari ketidakjelasan pemahaman tersebut memungkinkan kesimpulan yang diambil kurang tepat.
2) Pemborosan, pengambil keputusan harus mengeluarkan dana yang cukup banyak untuk membayar evaluator bebas.
Melihat kelebihan dan kekurangan dari masing-masing evaluator, timbul pertanyaan: evaluator manakah yang lebih baik? Sebaiknya, orang yang ditunjuk sebagai evaluator berasal dari dalam dan luar program, yaitu gabungan antara orang-orang di dalam program atau unsur kebijakan, digabung dengan orang-orang dari luar. Dengan demikian, orang dalam dapat menjelaskan kepada orang luar tentang kebijakan yang tepat, sehingga diperkirakan tidak akan terjadi manipulasi hasil. Hal ini akan menguntungkan pengambil keputusan atau pelaksana program.
Perbedaan menonjol antara evaluator dalam dan evaluator luar adalah adanya satu langkah penting sebelum mereka mulai melaksanakan tugas. Oleh karena evaluator luar adalah pihak asing yang tidak tahu-menahu dan tidak berkepentingan dengan program, yang diasumsikan belum memahami seluk-beluk program maka terlebih dahulu tim tersebut perlu mempelajari program yang akan dievaluasi.
Hal-hal yang harus dipelajari oleh seorang evaluator meliputi tujuan program, koponen program, siapa pelaksananya, dan pihak-pihak mana yang terlibat, kegiatan apa saja yang sudah dilaksanakan, dan gambaran singkat tentang sejauh mana tujuan program sudah dicapai.
Sesudah tin evaluator betul-betul memahami program, barulah mereka mulai menyusun rencana atau desain evaluasi. Dalam proses memantapkan desain dan instrumen (paling tidak kisi-kisi instruman) tim evaluator sebaiknya masih terus berhubungan dengan salah seorang personel atau lebih baik lagi jika dapat melibatkan penanggung jawab program agar ketika sampai pada saatnya harus mengumpulkan data, evaluator tidak ragu-ragu lagi dalam melangkah.
E. Tujuan dan Sasaran Evaluasi Program
Pada kajian lalu sudah disimpulkan bahwa program adalah sebuah kegiatan sebagai implementasi kebijakan. Setiap kegiatan tentu mempunyai tujuan, demikian juga dengan evaluasi program. Pada bagian ini, akan dipaparkan mengenai tujuan program dan tujuan evaluasi program yang juga disertai beberapa contoh.
1. Kaitan antara Tujuan Program dengan Tujuan Evaluasi Program
Secara singkat evaluasi program merupakan upaya untuk mengukur ketercapaian program, yaitu mengukur sejauh mana sebuah kebijakan dapat terimplementasikan.
Berikut ini beberapa contoh kegiatan sederhana yang merupakan program dan yang bukan program.
a. Kegiatan membaca
tujuan kegiatan ini adalah untuk menangkap isi bacaan. Sedangkan tujuan evaluasi kegiatan adalah untuk mengetahui apakah pembaca dapat menangkap isi bacaan yang dibaca.
b. Program seminar
tujuan program ini adalah untuk membahas sesuatu topik di dalam forum peserta seminar. Sedangkan tujuan evaluasi program ini adalah untuk mengetahui (melalui pengumpulan data) apakah topik yang diajukan dalam seminar sempat dibahas, dan apakah peserta seminar mempunyai kesempatan untuk membahas topik yang diajukan dalam forum seminar.
c. Program usaha kesehatan sekolah (UKS)
Tujuan program ini adalah untuk mengatasi masalah kesehatan siswa dan personel lain di sekolah yang bersangkutan. Sedangkan tujuan evaluasi programnya adalah untuk mengumpulkan informasi tentang tertanganinya masalah kesehatan di sekolah, antara lain untuk mengetahui apakah layanan yang diberikan oleh UKS memuaskan bagi para siswa dan personel sekolah lainnya.
Dari ketiga contoh di atas, dapat ditentukan mana kegiatan yang merupakan penelitian dan mana yang penelitian tetapi juga sekaligus evaluasi program. Evaluasi program dilakukan dengan cara yang sama dengan penelitian. Jadi, evaluasi program adalah penelitian yang mempunyai ciri khusus, yaitu melihat keterlaksanaan program sebagai realisasi kebijakan, untuk menentukan tindak lanjut dari program dimaksud.
Terdapat banyak persamaan antara penelitian dengan evaluasi. Pendekatan, instrumen, dan langkah-langkah yang digunakan pun bisa sama. Keduanya dimulai dari menentukan sasaran (variabel), membuat kisi-kisi, menyusun instrumen, mengumpulkan data, analisis data, dan mengambil kesimpulan, yang membedakan adalah akhirnya. Jika kesimpulan penelitian diikuti dengan saran maka evaluasi program selalu harus mengarah pada pengambilan keputusan.
Dari penjelasan tambahan diatas diketahui bahwa evaluasi program diarahkan pada perolehan rekomendasi sehingga tujuan evaluasi program tidak boleh terlepas dari tujuan program itu merupakan dasar untuk merumuskan tujuan evaluasi program. Secara singkat dapat dibuat sebuah ketentuan bahwa: Tujuan evaluasi program harus dirumuskan dengan titik tolak tujuan program yang dievaluasi.
Agar pengukuran tujuan dapat diketahui secara cermat dan teliti sampai diketahui sisi positif dan negatifnya, dapat menunjukkan bagaimana dari kebijakan yang dapat diimplementasikan dan mana yang tidak dapat diimplementasikan, serta apa penyebabnya maka tujuan evaluasi perlu dirinci. Jika Anda sudah belajar tentang teori mengajar maka Anda dapat membandingkan tujuan evaluasi program dengan tujuan pembelajaran, yaitu tujuan pembelajaran umum (TPU) dan tujuan pembelajaran khusus (TPK). Cara merumuskan juga tidak jauh berbeda.
Ada dua macam tujuan evaluasi, yaitu umum dan tujuan khusus. Tujuan umum diarahkan pada program secara keseluruhan, sedangkan tujuan khusus diarahkan pada masing-masing komponen. Agar dapat melakukan tugasnya maka seorang evaluator program dituntut untuk mampu mengenali komponen-komponen program.
Dalam menentukan tujuan program, evaluator program harus dapat menangkap harapan dari penentu kebijakan yang mungkin bertindak sebagai pengelola, atau mungkin juga tidak. Sebelum melakukan evaluasi, kita harus mencermati tujuan program dan merenungkan apa yang menjadi tujuan evaluasi program? Pada bagian yang lalu sudah disebutkan bahwa tujuan evaluasi program dirumuskan bertitik tolak pada tujuan program. Apakah arti kalimat tersebut dan sejauh mana keterkaitannya?
Untuk mempermudah mengidentifikasi tujuan evalausi program, kita harus memperhatikan unsur-unsur dalam kegiatan atau penggarapannya. Ada tiga unsur yang penting di dalam kegiatan atau penggarapan suatu kegiatan, yaitu
a. what = apa yang digarap
b. who = siapa yang menggarap, dan
c. how = bagaimana menggarapnya.
Dengan memfokuskan perhatian pada tiga unsur kegiatan tersebut, paling sedikit dapat diidentifikasi adanya 3 (tiga) komponen kegiatan, yaitu tujuan, pelaksana kegiatan, dan prosedur/teknik pelaksana.
2. Sasaran Evaluasi Program
Pada kajian tentang kaitan antara program dengan evaluasi program, sudah dijelaskan mengenai komponen program dan bagaimana cara merumuskan tujuan berdasarkan dua macam tujuan evaluasi, yaitu umum dan tujuan khusus dengan bertitik tolak pada tujuan program dan kondisi harapan untuk setiap komponen programnya.
Sedangkan untuk menentukan sasaran evalusi, evaluator perlu mengenali program dengan baik, terutama komponrn-komponennya. Karena yang menjadi ssasaran evaluasi bukan program secara keseluruhan tetapi komponen atau bagian program.
Mengapa sasaran evaluasi tertuju pada komponen? Seperti alasan mengapa tujuan umum harus dijabarkan menjadi tujuan khusus maka sasaran evaluasi diarahkan pada komponen agar pengamatannya dapat lebih cermat dan data yang dikumpulkan lebih lengkap. Untuk itulah maka evaluator harus memiliki kamampuan mengidentifikasi komponen program yang akan dievaluasi.
F. Kriteria Evaluasi Program
Program adalah realisasi dari suatu kebijakan. Sedangkan evaluasi program adalah upaya untuk mengetahui tingkatketerlaksaan program, atau dengan kata lain, untuk mengetahui implementasi dari suatu kebijakan. Dengan demikian, kegiatan evaluasi program mengacu pada tujuan, dengan kata lain, tujuan tersebut dijadikan ukuran keberhasilan. Pertanyaannya, apakah perbedaan antara evaluasi program dengan penelitian? Atau bagaimana perbandingan antara evaluasi program dengan penelitian? Di depan sudah disinggung secara singkat persamaan dan perbedaan antara penelitian denagan evaluasi program. Perbedaan yang sangat mencolok terletak pada arah kegiatannya. Evaluasi program mempunyai ukuran keberhasilan, yang dikenal dengan istilah kriteria. Oleh karena dalam evaluasi program kedudukan kriteria sangat penting maka perlu dibicarakan secara mendalam.
1. Pengertian Kriteria
Istilah “kriteria” dalam penilaian sering juga dikenal dengan kata “tolok ukur” atau “standar”. Dari nama-nama yang digunakan tersebut dapat segera dipahami bahwa kriteria, tolok ukur, atau standar, adalah sesuatu yang digunakan sebagai patokan atau batas minimal untuk sesuatu yang diukur. Kriteria atau standar dapat disamakan dengan “takaran”. Jika untuk mengetahui berat beras digunakan timbangan, panjangnya beda digunakan meteran maka kriteria atau tolok ukur digunakan untuk menakar kondisi objek yang dinilai.
Tentang batas yang ditunjuk oleh kriteria, sebagian orang mengatakan bahwa tolok ukur adalah “batas atas”, artinya batas maksimal yang harus dicapai. Sementara sebagian orang lainnya mengatakan bahwa tolok ukur atau kriteria adalah “batas bawah”, yaitu batas minimal yang harus dicapai. Dapat disimpulkan bahwa kriteria atau tolok ukur itu bersifat jamak karena menunjukkan batas atas dan batas bawah, sekaligus batas-batas di antaranya. Dengan demikian kriteria menunjukkan gradasi atau tingkatan, dan ditunjukkan dalam bentuk kata keadaan atau predikat.
Permasalahan di dalam kriteria evaluasi program adalah aturan tentang bagaimana menentukan peringkat-peringkat kondisi sesuatu atau rentangan-rentangan nilai, agar data yang diperoleh dapat dipahami oleh orang lain dan bermakna bagi pengambilan keputusan dalm rangka menentukan kebijakan lebih lanjut. Jika evaluator tidak berniat membuat kriteria khusus, sebaiknya menggunakan kriteria yang sudah lazim digunakan dan dikenal oleh umum, misalnya skala 1-10 atau skala 1-100.
Dari mana sebuah angka diperoleh atau bagaimana menetukan suatu angka? Misalnya seorang guru memberikan nilai akhir untuk pengisian rapor adalah angka “7”. Untuk menentukan angka 7 tersebut seorang guru mempertimbangkan beberapa hal. Komponen yang membentuk nilai misalnya ulangan harian, ulangan umum, dan tugas-tugas. Ketika guru menentukan nilai ulangan harian saja, sudah harus mempertimbangkan sekurang-kurangnya dua hal, yaitu benar-salahnya jawaban dan banyaknya soal yang dapat diselesaikan.
Jika kriteria untuk prestasi belajar menggunakan sepuluh jenjang penilaian, yaitu 1 sampai dengan 10, atau 1 sampai dengan 100 (meskipun tidak semua digunakan secara rutin), untuk nilai dalam evaluasi program pada umumnya menggunakan kriteria atau tolok ukur lima jenjang. Namun tidak menutup kemungkinan untuk menggunakan tiga jenjang atau tujuh jenjang.
Apakah memang harus gasal? Tentang gasal dan genapnya jenjang kriteria ada kelebihan dan kekurangan, jika jenjangnya gasal, berarti ada nilai di tengah untuk menyatakan “Cukup” atau “Sedang”. Ada sebagaian ahli yang “mencurigai” penggunaan nilai tengah karena dikhawatirkan untuk responden yang ragu-ragu dalam menetukan pilih, akan dengan cepat memilih nilai tengah. Untuk menghindari hal ini penyusun mencantumkan pilihan nilai tengah. Untuk itu banyaknya pilihan bisa 2, 4 atau 6, jika pilhan terlalu banyak, dikhawatirkan justru akan membingungkan responden dan dikatakan terlalu njlimet.
2. Mengapa Perlu Ada Kriteria?
Kriteria atau tolok ukur perlu dibuat oleh evaluator karena evaluator terdiri dari beberapa orang yang memerlukan kesepakatan di dalam menilai. Selain alasan sederhana tersebut, ada beberapa alasan lain yang lebih luas dan dapat lebih dipertanggungjawabkan, yaitu:
a. Dengan adanya kriteria atau tolok ukur, evaluator dapat lebih mantap dalam malakukan penilaian terhadap objek yang akan dinilai karena ada patokan yang diikuti.
b. Kriteria atau tolok ukur yang sudah dibuat dapat digunakan untuk menjawab atau mempertanggungjawabkan hasil penilaian yang sudah dilakukan, jika ada orang yang ingin menelusuri lebih jauh atau ingin mengaji ulang.
c. Kriteria atau tolok ukur digunakan untuk mengekang masuknya unsur subjektif yang ada pada diri penilai. Dengan adanya kriteria maka dalam melakukan evaluasi, evaluator dituntun oleh kriteria, mengikuti butir demi butir, tidak mendasarkan diri atas pendapat pribadi (yang mungkin sekali “dikotori” oleh seleranya)
d. Dengan adanya kriteria atau tolok ukur maka hasil evaluasi akan sama meskipun dilakukan dalam waktu yang berbeda dan dalam kondidi fisik penilai yang berbeda pula. Misalnya penilai sedang dalam kondisi badan yang masih segar atau dalam keadaan lelah hasilnya akan sama.
e. Kriteria atau tolok ukur memberikan arahan kepada evaluator apabila banyak evaluator lebih dari satu orang. Kriteria atau tolok ukur yang baik akan ditafsirkan sama oleh siapa saja yang menggunakannya.
3. Apa Dasar Pembuatan Kriteria.
Yang dimaksud dengan istilah “dasar” dalam pembuatan standar atau kriteria adalah sumber pengambilan kriteria secara keseluruhan. Dengan pengertian bahwa kriteria adalah suatu ukuran yang menjadi patokan yang harus dicapai maka kriteria tersebut harus “top” kondisinya. Timbul pertanyaan, dari manakah yang “top” itu diambil? Mengingat banyaknya objek yang diukur dan dengan harapan serta kondisi yang berbeda-beda maka ada beberapa sumber pembuatan kriteria. Kriteria atau tolok ukur sebaiknya dibuat bersama, dan sebaiknya dibuat oleh orang-orang yang akan menggunakan tidak ada masalah karena mereka sudah memahami, bahkan tahu apa yang melatarbelakangi.
a. Sumber Pertama
Apabila yang dievaluasi merupakan suatu implementasi kebijakan maka yang dijadikan sebagai kriteria atau tolok ukur adalah peraturan atau ketentuan yang sudah dikeluarkan berkenaan dengan kebijakan yang bersangkutan. Apabila penentuan kebijakan tidak mengeluarkan ketentuan secara khusus maka penyusun kriteria menggunakan ketentuan yang pernah berlaku umum yang sudah dikeluarkan oleh pengambil kebijakan terdahulu dan belum pernah dicabut masa berlakunya.
b. Sumber Kedua
Dalam mengeluarkan kebijakan biasanya disertai dengan buku pedoman atau petunjuk pelasanaan (juklak). Di dalam juklak tertuang informasi yang lengkap, sasaran, dan rambu-rambu pelaksanaanya. Butir-butir yang tertera di dalamnya, terutama dalam tujuan kebijakan, mencerminkan harapan dari kebijakan. Oleh karena itu, pedoman atau petunjuk pelaksanaan itulah yang distatuskan sebagai sumber kriteria.
c. Sumber Ketiga
Apabila tidak ada ketentuan atau petunjuk pelaksanaan yang dapat digunakan oleh penyusun sebagai sumber kriteria maka penyusun menggunakan konsep atau teori-teori yang terdapat dalam buku-buku ilmiah.
d. Sumber Empat
Jika tidak ada ketentuan, peraturan atau petunjuk pelaksanaan, dan juga tidak ada teori yang diacu, penyusun disarankan untuk menggunakan hasil penelitian. Dalam hal ini sebaiknya tidak langsung mengacu pada hasil penelitian yang baru saja diselesaikan seorang peneliti (apalagi peneliti pemula), tetapi disarankan sekurang-kurang hasil penelitian yang sudah dipublikasikan atau diseminarkan. Jika ada, yang sudah disajikan kepada orang banyak, yaitu disimpan di perpustakaan umum.
e. Sumber Kelima
Apabila penyusun tidak menemukan acuan yang tertulis dan mantap, dapat minta bantuan pertimbangan kepada orang yang dipandang mempunyai kelebihan dalam bidang yang sedang dievaluasi sehingga terjadi langkah yang dikenal dengan expert judgment.
f. Sumber Keenam
Apabila sumber acuan tidak ada, sedangkan ahli yang dapat diandalkan sebagai orang yang lebih memahami masalah dibanding penyusun juga sukar dicari atau dihubungi maka penyusun dapat menentukan kriteria secara bersama dengan anggota tim atau beberapa orang yang mempunyai wawasan tentang program yang akan dievaluasi. Perbedaan cara ini dengan expert judgment adalah bahwa seorang expert tentunya memiliki keahlian yang menonjol sedangkan kelompok yang diundang dalam diskusi ini tidak harus yang sangat mempunyai kemampuan lebih. Kriteria atau tolok ukur yang tersusun dari diskusi ini merupakan hasil kesempatan kelompok.
g. Sumber Ketujuh
Dalam keadaan yang sangat terpaksa karena acuan tidak ada, ahli juga tidak ada, sedangkan untuk menyelenggarakan diskusi terlalu sulit maka jalan terakhir adalah melakukan pemikiran sendiri. Dalam keterpaksaan seperti ini penyusun sendiri sebagai dasar untuk menyusun kriteria yang akan digunakan dalam mengavaluasi program. Jika ternyata sesudah digunakan dalam mengevaluasi masih banyak dijumpai kesulitan, penyusun harus meninjau kembali dan wajib memperbaikinya berkali-kali sampai mencapai suatu rumusan yang sesuai dengan kondisi yang diinginkan.
4. Cara Menyusun Kriteria
Sebelum membicarakan tentang bagaimana menyusun kriteria atau tolok ukur perlu terlebih dahulu dipahami bahwa wujud dari kriteria adalah tingkatan atau gradasi kondisi sesuatu yang dapat ditransfer menjadi nilai. Secara garis besar ada dua macam kriteria, yaitu kriteria kuantitatif dan kriteria kualitatif.
a. Kriteria Kuantitatif
Kriteria kuantitatif sendiri dapat dibedakan menjadi dua, yaitu (1) dan (2) kriteria dengan pertimbangan
1) Kriteria kuantitatif tanpa pertimbangan
Kriteria yang disusun hanya dengan memperhatikan rentangan bilangan tanpa mempertimbangkan apa-apa dilakukan dengan membagi rentangan bilangan.
Contoh:
Kondisi maksimal yang diharapkan untuk prestasi belajar diperhitungkan 100%. Jika penyusun menggunakan lima kategori nilai maka antara 1% dengan 100% dibagi rata sehingga menghasilkan kategori sebagai berikut.
• Nilai 5 (Baik Sekali), jika mencapai 81-100%
• Nilai 4 (Baik), jika mencapai 61-80%
• Nilai 3 (Cukup), jika mencapai 41-60%
• Nilai 2 (Kurang), jika mencapai 21-40%
• Nilai 1 (Kurang Sekali), jika mencapai < 21%
Istilah untuk sebutan yang menunjukkan kualitas bukan hanya dari Baik Sekali sampai dengan Kurang Sekali, tetapi bisa Tinggi Sekali, Tinggi, Cukup, Rendah, dan Rendah Sekali, atau mungkin Sering Sekali, Sering, sampai dengan Jarang Sekali. Selain itu, dapat juga menggunakan istilah-istilah lain yang menenjukkan kualitas suatu keadaan, sifat, atau kondisi, seperti Banyak Sekali, Sibuk Sekali, dan lain-lainnya. Untuk pertimbangan atau pendapat orang, penyusun dapat menggunakan kata Setuju, Sependapat, dan lain-lain.
2) Kriteria kuantitatif dengan pertimbangan
Ada kalanya beberapa hal kurang tepat jika kriteria kuantitaf dikategorikan dengan membagi begitu saja rentangan yang ada menjadi rentang sama rata. Sebagai contoh adalah ini di beberapa perguruan tinggi untuk menetukan nilai dengan huruf A, B, C, D, dan E. bagaimana menentukan nilai untuk masing-masing huruf mengacu pada peraturan akademik berdasarkan besarnya persentase pencapaian tujuan belajar sebagai berikut:
• Nilai A : rentangan 80-100%
• Nilai B : rentangan 66-79%
• Nilai C : rentangan 56-65%
• Nilai D : rentangan 40-55%
• Nilai E : kurang dari 40%
Melihat pengkategorian nilai-nilai tersebut dapat disimpulkan bahwa rentangan di dalam setiap kategori tidak sama, demikian juga jarak antara kategori yang satu dengan lainnya. Hal ini dibuat karena adanya pertimbangan tertentu berdasarkan sudut pandang dan pertimbangan evaluator.
b. Kriteria Kualitatif
Yang dimaksud dengan kriteria kualitatif adalah kriteria yang dibuat tidak menggunakan angka-angka. Hal-hal yang dipertimbangkan dalam menentukan kriteria kualitatif adalah indikator dan yang dikenai kriteria adalah komponen. Seperti halnya kriteria kuantitatif, jenis kriteria kualitatif juga dibedakan menjadi dua, yaitu (a) kriteria kualitatif tanpa pertimbangan, dan (b) kriteria kualitatif dengan pertimbangan. Adapun penjelasannya adalah sebagai berikut.
1) Kriteria kualitatif tanpa pertimbangan
Dalam menyusun kriteria kualitatif tanpa pertimbangan, penyusun kriteria tinggal menghitung banyak indikator dalam komponen, yang dapat memenuhi persyaratan. Dari penjelasan tentang hubungan antara indikator, komponen, dan program tersebut dapat disimpulkan bahwa (1) Komponen adalah unsur pembentuk kriteria program. (2) Indikator adalah unsur pembentuk kriteria komponen.
2) Kriteria kualitatif dengan pertimbangan
Dalam menyusun kriteria, terlebih dahulu tim evaluator perlu merundingkan jenis kriteria mana yang akan digunakan, yaitu memilih kriteria tanpa pertimbangn atau dengan pertimbangan. Jika yang dipilih adalah kriteria dengan pertimbangan maka tentukan indikator mana yang harus diprioritaskan atau dianggap lebih penting dari yang lain.
Kriteria kualitatif dengan pertimbangan disusun melalui dua cara, yaitu 1) dengan mengurutkan indikator, dan 2) dengan menggunakan pembobotan.
a) Kriteria kualitatif dengan pertimbangan mengurutkan indikator
Jika penyusun memilih kriteria dengan pertimbangan mengurutkan indikator dengan urutan prioritas maka dihasilkan kriteria kualitatif dengan pertimbangan sebagai berikut.
• Nilai 5, jika memenuhi semua indikator
• Nilai 4, jika memenuhi (b), (c), dan (d) atau (a)
• Nilai 3, jika memenuhi salah satu dari (b) atau (c) saja, dan salah satu dari (d) atau (a)
• Nilai 2, jika memenuhi salah satu dari empat indikator
• Nilai 1, jika tidak ada satu pun indikator yang memenuhi.
Penentuan nilai yang dikemukakan di atas hanya merupakan contoh. Kita perlu mempertimbangkan apa saja indikator yang diidentifikasikan, mana yang ditentukan sebagai indikator penting, serta bagaimana gradasi nilai dibuat dalam menentukan kriteria. Yang penting adalah bahwa apa pun yang ditentukan harus didukung oleh argumentasi atas penalaran yang benar, yaitu alasan yang masuk akal.
Jika yang dikenai kriteria itu bukan indikator tetapi subindikator (bagian dari indikator) maka yang digunakan untuk mempertimbangkan penentuan kriteria adalah subindikator atau rincian dari indikator tersebut. Jika evaluator memandang penting mencermati indikator secara lebih rinci maka kriteria yang kan digunakan ditentukan atau dasar subindikator yang sudah diidentifikasi.
Perlu diketahui oleh para evaluator bahwa mengadakan identifikasi indikator dn subindikator seperti yang dicontohkan memang bukan pekerjaan yang mudah. Untuk dapat bertambah jeli mendapatkan indikator dari sebuah komponen dan mendapatkan subindikator dari masing-masing indikator, diperlukan latihan dan pembiasaan. Selain itu, perlu juga diketahui bahwa ada kalanya sebuah indikator sudah tidak dapat dipecah lagi menjadi lebih kecil, yaitu subindikator. Dalam keadaan seperti itu, indikator hanya merupakan satu-satunya dasar pembuatan kriteria atau tolok ukur.
b) Kriteria kualitatif dengan pertimbangan pembobotan
Selain mempertimbangkan indikator sebagai unsur untuk menentukan gradasi nilai dalam kriteria, ada juga cara lain yang dapat digunakan oleh evaluator dalam menentukan nilai, yaitu pembobotan.
Jika dalam menentukan kriteria dengan pertimbangan indikator, niali dari tiap-tiap indikator tidak sama, kemudian letak, kedudukan, dan pemenuhan persyaratannya dibedakan dengan menentukan urutan, dalam pertimbangan pembobotan indikator-indikator yang ada diberi nilai dengan bobot berbeda. Penentuan peranan subindikator dalam mendukung nilai indikator harus disertai dengan alasan-alasan yang tepat.
Kalau sudah ditentukan pembobotannya, kini para penilai tinggal memilih akan menggunakan skala berapa dalam menilai objek. Mungkin skala 1-3, 1-4, atau 1-5, atau bahkan seperti yang lazim digunakan di sekolah, yaitu skala 1-10? Terserah saja. Yang penting adalah proses pada waktu menentukan nilai akhir indikator.
Cara memperoleh nilai akhir indikator adalah:
1) mengalikan nilai masing-masing subindikator dengan bobotnya;
2) membagi jumlah nilai subindikator dengan jumlah bobot
Penggunaan kriteria dengan pertimbangan unsur dan pembobotan ini banyak digunakan dalam dunia pendidikan. Ketika guru menentukan nilai akhir mata pelajaran, biasanya memberikan bobot nilai ujian lebih besar dibandingkan dengan nilai ulangan harian. Sebagai kelengkapan pertimbangan, nilai tugas juga dipertimbangkan dalam menambah unsur penunjang, tetapi bobot yang diberikan lebih kecil dari ulangan dan ujian. Ada kalanya dosen juga memperhitungkan kehadiran sebagai salah satu unsur yang dipertimbangkan. Alasannya, jika seorang mahasiswa hadir kuliah, meskipun minim, tentu memperoleh ilmu yang tersimpan diotaknya. Perolehan itu tentu lebih besar dibanding dengan nol besar yang diperoleh mahasiswa yang tidak hadir. Dengan masuknya unsur kehadiran dalam penentuan nilai hadir ini, hasil penilaian menjadi lebih cermat sehingga menjadi lebih baik.
Sesudah kita memahami cara menentukan nilai indikator dengan dasar hasil penilaian subindikator, selanjutnya adalah menentukan nilai komponen dengan dasar nilai indikator, dan nilai program dengan dasar nilai komponen. Kalau dalam menghitung nilai akhir indikator kita manggunakan rumus berdasarkan subinikator, maka dalam menghitung nilai komponen menggunakan indikator sebagai unsur.
Bertitik tolak pada pengertian tersebut maka dapat disimpulkan bahwa:
1. Tinggi rendahnya kualitas suatu program sangat tergantung dari tinggi rendahnya kualitas komponen.
2. Tinggi rendahnya kualitas komponen tergantung dari tinggi rendahnya kualitas indikator
3. Tinggi rendahnya kualitas komponen tergantung dari tinggi rendahnya kualitas subindikator Tinggi rendahnya kualitas komponen tergantung dari tinggi rendahnya kualitas indikator
Ringkasan:
Evaluasi merupakan terjemahan dari kata bahasa Inggris, evaluation. Menurut pengertian umum, “program” dapat diartikan sebagai “rencana”. Sebuah program bukanlah hanya kegiatan tunggal yang dapat diselesaikan dalam waktu singkat, tetapi merupakan kegiatan yang berkesinambungan karena melaksanakan suatu kebijakan. Evaluasi program adalah langkah awal dalam supervisi, yaitu mengumpulkan data yang tepat agar dapat dilanjutkan dengan pemberian pembinaan yang tepat pula. Evaluasi program itu sangat bermanfaat terutama bagi pengambil keputusan akan menentukan tindak lanjut dari program yang sedang atau telah dilaksanakan. Wujud dari evalausi adalah sebuah rekomendasi dari evaluator untuk pengambil keputusan (decision maker)
Ada dua macam tujuan evaluasi, yaitu umum dan tujuan khusus. Tujuan umum diarahkan pada program secara keseluruhan, sedangkan tujuan khusus diarahkan pada masing-masing komponen. Istilah “kriteria” dalam penilaian sering juga dikenal dengan kata “tolok ukur” atau “standar”. Evaluasi program perlu memiliki kriteria. Kriteria atau tolok ukur perlu dibuat oleh evaluator karena evaluator terdiri dari beberapa orang yang memerlukan kesepakatan di dalam menilai dan agar tidak terpengaruh oleh pendapat pribadi, karena sudah dituntun oleh sebuah standar.
Ada dua macam tolok ukur, yaitu kuantitatif dan kualitatif. Masing-masing jenis tolok ukur ada yang disusun dan digunakan tanpa pertimbangan dan ada yang dengan pertimbangan. Keduanya tetap ilmiah karena disusun berdasarkan penalaran yang benar.
