ประเด็นเกี่ยวกับการติดตามและประเมินผลของกองทุนส่งเสริม ววน.
- สกสว. มีแนวทางในการติดตามและประเมินผล อย่างไร
ตอบ : สกสว. มีแนวทางในการติดตามและประเมินผลการดำเนินงานของ PMU และหน่วยงานในระบบ ววน.ที่ได้ผ่านความเห็นชอบจากคณะกรรมการติดตามและประเมินผลการสนับสนุนวิทยาศาสตร์ การวิจัยและนวัตกรรม ประกอบด้วย 3 ด้าน คือ
- ด้านความสามารถในการดำเนินการตามแผน เป็นการประเมินผลการใช้จ่ายเงินและการดำเนินการได้ตามแผนที่ระบุไว้ในคำรับรองการปฏิบัติตามเงื่อนไขของการอนุมัติงบประมาณ ด้านวิทยาศาสตร์ วิจัยและนวัตกรรม ในปีงบประมาณนั้นๆ
- ด้านประสิทธิภาพและประสิทธิผล เป็นการประเมินผลผลิต (output) ผลลัพธ์ (outcome) และผลกระทบ (impact) ที่เกิดขึ้นจากการวิจัยที่ได้รับเงินงบประมาณจากกองทุนส่งเสริม ววน.
- ด้านกระบวนการทำงาน (Process Evaluation) เป็นการประเมินเพื่อการพัฒนากระบวนการทำงาน โดยใช้หลักการ Developmental Evaluation
- หน่วยรับงบประมาณต้องดำเนินการติดตามและประเมินผล อย่างไรบ้าง
ตอบ : การติดตามและประเมินผลที่หน่วยงานต้องดำเนินการ แบ่งเป็น 2 ส่วนคือ
ส่วนที่ 1 การประเมินตนเอง (self-assessment) หน่วยงานมีหน้าที่ต้องรายงานการใช้จ่ายเงินราย 6 เดือน และต้องติดตามให้หัวหน้าโครงการวิจัยทุกโครงการรายงานผลผลิต (output) ราย 6 เดือน และ 1 ปี และรายงานผลลัพธ์ (outcome) ทุกปี เป็นระยะเวลาต่อเนื่อง 5 ปี ในระบบข้อมูลสารสนเทศวิจัยและนวัตกรรมแห่งชาติ (NRIIS)
ส่วนที่ 2 การประเมินผลกระทบโดยบุคคลที่ 3 (third party) มีรายละเอียดดังนี้
แผนงานวิจัย/โครงการ ที่มีมูลค่าต่ำกว่า 100 ลบ. PMU/หน่วยงานในระบบ ววน. ต้องจัดให้มีการประเมินผลกระทบ โดยคัดเลือกโครงการ/แผนงานที่มีผลกระทบสูง ทั้งในด้านเศรษฐกิจ สังคม และสิ่งแวดล้อม เป็นต้น จำนวนไม่น้อยกว่า 3-5 แผนงาน และต้องส่งสรุปผลการประเมินผลกระทบ มายัง สกสว. เพื่อตรวจสอบความถูกต้อง (Validation and Verification) ของผลการประเมินผลกระทบของงานวิจัยและนวัตกรรมตามหลักวิชาการ
กรณีแผนงานวิจัยที่มีมูลค่า 100 ล้านบาทขึ้นไป สกสว.จะเป็นผู้ดำเนินการเอง โดยใช้ผู้เชี่ยวชาญภายนอกที่มีความรู้ด้านการประเมินผลลัพธ์และผลกระทบของงานวิจัยและนวัตกรรม
- การประเมินผลการดำเนินงานเชิงกระบวนการ (Process Evaluation) ของหน่วยรับงบประมาณ จะมีแนวทางการดำเนินการอย่างไร
ตอบ : การประเมินผลการดำเนินการเชิงกระบวนการ ใช้หลักการประเมินเพื่อการพัฒนา (Developmental Evaluation : DE) โดยใช้ผู้ทรงคุณวุฒิที่มีความเข้าใจด้านการบริหารจัดการงานวิจัย และต้องไม่มีส่วนได้ส่วนเสียกับหน่วยงานที่จะประเมิน โดยมีแนวทางการดำเนินงาน ดังนี้
- ประเมินผลการดำเนินงานในปัจจุบัน (As is) ตามตัวชี้วัดด้านความสามารถในการดำเนินการตามแผน และด้านประสิทธิภาพและประสิทธิผล ในมิติต่างๆ เช่น การดำเนินการตามแผน (การใช้จ่ายเงินงบประมาณ) การติดตามผลผลิต (outputs) เมื่อสิ้นสุดโครงการ การติดตามการใช้ประโยชน์ และผลลัพธ์ (outcomes) ของงานวิจัยและนวัตกรรม การประเมินผลกระทบ (Impacts) และความก้าวหน้าในการขับเคลื่อนตาม OKRs (ประเมินเฉพาะ PMU)
- การประเมินเพื่อการพัฒนา มองภาพเป้าหมายในอนาคต (Should be) โดยการมีส่วนร่วมของผู้มีส่วนได้ส่วนเสีย และ PMU / หน่วยงานในระบบ ววน. โดยนำผลการประเมินที่ได้ในส่วนที่ 1 มาประกอบการวิเคราะห์การประเมินเพื่อพัฒนา โดยการสัมภาษณ์ Stakeholders ที่เกี่ยวข้องในระบบฯ อาทิเช่น ผู้บริหารของ PMU / หน่วยงานในระบบ ววน. ผู้ทรงคุณวุฒิ นักวิจัย และผู้ใช้ประโยชน์ เป็นต้น
ซึ่ง PMU / หน่วยงานในระบบ ววน. มีส่วนร่วมกำหนดโจทย์และเป้าหมายการพัฒนาร่วมกับผู้มีส่วนได้ส่วนเสีย ร่วมวิเคราะห์จุดเด่น ข้อจำกัด และโอกาสในการปรับตัวเพื่อพัฒนาไปสู่เป้าหมาย ตลอดจนร่วมเสนอแนะการปรับตัวที่สามารถปฏิบัติได้ (Actionable) ทั้งนี้ภายหลังการประเมินแล้วเสร็จ PMU / หน่วยงานในระบบ ววน. จะได้รับข้อเสนอแนะและทิศทางการทำงานจากผู้ทรงคุณวุฒิที่มีความรู้ความเชี่ยวชาญการบริหารจัดการงานวิจัยและนวัตกรรม เพื่อนำไปใช้ในการพัฒนาองค์กรต่อไป
- มีความเป็นไปได้หรือไม่ ที่จะให้หน่วยงานผู้รับทุนมีส่วนร่วมในการติดตาม ประเมินผลเชิงกระบวนการ เพื่อร่วมแลกเปลี่ยนเรียนรู้ในการนำไปพัฒนาหน่วยงานต่อไป
ตอบ : สกสว. ใช้หลักการประเมินเพื่อการพัฒนา (DE) ซึ่งหัวใจสำคัญคือการมีส่วนร่วมของผู้ถูกประเมิน ดังนั้น หน่วยงานจะต้องมีส่วนร่วมในกระบวนการดังกล่าว ทั้งในแง่ของการให้ข้อมูลและตอบข้อซักถามของผู้ทรงคุณวุฒิ ตลอดจนได้รับทราบผลการประเมิน เพื่อนำไปปรับปรุงหรือพัฒนากระบวนการทำงานต่อไป
- จะมีการจัดทำระบบการประมวลผลแบบอัตโนมัติ อาทิเช่น การวิเคราะห์ผลตอบแทนทางสังคม (SROI) หรือไม่
ตอบ : สกสว. อยู่ระหว่างการหารือร่วมกับสำนักงานนวัตกรรมแห่งชาติ (NIA) เพื่อหาแนวทางในการพัฒนาโปรแกรมการคำนวณผลอัตโนมัติ เพื่อใช้เป็นเครื่องมือวิเคราะห์ผลตอบแทนทางสังคม (SROI)
- อยากให้มีการประชาสัมพันธ์การติดตามและประเมินผลให้แก่นักวิจัยได้รับทราบด้วย เช่น การกรอกข้อมูลในระบบผลผลิต และผลลัพธ์ของงานวิจัยและนวัตกรรม ในระบบ NRIIS
ตอบ : สกสว. มีแผนที่จะจัดให้มีการอบรมการกรอกข้อมูลผลผลิต ผลลัพธ์ของงานวิจัยและนวัตกรรมในระบบ NRIIS ในอนาคต ทั้งนี้ต้องรอให้ทีมพัฒนาระบบ NRIIS ดำเนินการจัดทำฐานข้อมูลการเก็บระบบผลผลิต และผลลัพธ์ของงานวิจัยและนวัตกรรม ให้แล้วเสร็จก่อนจึงจะดำเนินการได้อบรมให้แก่นักวิจัยได้ ทั้งนี้ สกสว.จะแจ้งให้ทราบในโอกาสต่อไป
- หน่วยงานรับทุน จำเป็นต้องมีฝ่ายเฉพาะเพื่อทำหน้าที่ในการติดตาม และประเมินผลการดำเนินงานของโครงการหรือไม่ และมีงบประมาณสนับสนุนหรือไม่
ตอบ : หน่วยงานรับทุนควรมีหน่วยงานเฉพาะในการทำหน้าที่ติดตามและประเมินผล เพราะการบริหารจัดการงานวิจัยที่ดี ต้องมีการติดตามและประเมินผลควบคู่ไปด้วย ตั้งแต่กระบวนการต้นน้ำ (การตั้งโจทย์) กระบวนการกลางน้ำ (การแก้ไขปัญหาอุปสรรคที่เกิดขึ้นระหว่างการดำเนินงาน) และกระบวนการปลายน้ำ (การนำผลงานวิจัยไปใช้ประโยชน์) เพื่อให้เกิดการสะท้อนกลับ (feedback) ไปยังกระบวนการจัดทำแผนของหน่วยงาน เพื่อให้เกิดการปรับปรุงแก้ไขให้แผนมีความแม่นยำมากขึ้น เพื่อตอบต่อเป้าหมายของหน่วยงานที่ตั้งไว้ สำหรับงบประมาณที่จะขอรับการสนับสนุน สกสว.อยู่ระหว่างการดำเนินการทบทวน และจะแจ้งให้หน่วยงานได้รับทราบในโอกาสต่อไป
- หน่วยรับงบประมาณต้องเป็นผู้กำกับติดตามและประเมินผลโครงการเอง หรือทำหน้าที่ประสานกับนักวิจัยเพื่อให้รายงานผล
ตอบ : หน่วยรับงบประมาณ มีหน้าที่กำกับและติดตามให้หัวหน้าโครงการวิจัยทุกโครงการ ดำเนินการดังนี้
- รายงานผลผลิต (output) ราย 6 เดือน และ 1 ปี และรายงานผลลัพธ์ (outcome) ทุกปี เป็นระยะเวลาต่อเนื่อง 5 ปี ในระบบข้อมูลสารสนเทศวิจัยและนวัตกรรมแห่งชาติ (NRIIS)
- หน่วยงานจัดให้มีการประเมินผลกระทบระดับแผนงานหรือโครงการวิจัย โดยคัดเลือกโครงการ/แผนงานที่มีผลกระทบสูง ทั้งในด้านเศรษฐกิจ สังคม และสิ่งแวดล้อม เป็นต้น จำนวนไม่น้อยกว่า 3-5 แผนงาน และต้องส่งสรุปผลการประเมินผลกระทบ มายัง สกสว. เพื่อตรวจสอบความถูกต้อง (Validation and Verification) ของผลการประเมินผลกระทบของงานวิจัยและนวัตกรรมตามหลักวิชาการ
