ผู้ตัดสินที่ไม่ดีเพียงไม่กี่คนสามารถทำลายความสามารถของระบบการตรวจสอบโดยเพื่อนเพื่อเลือกเอกสารทางวิทยาศาสตร์ที่ดีที่สุดได้อย่างมาก นั่นเป็นไปตามนักวิจัยระบบที่ซับซ้อนคู่หนึ่งในออสเตรียที่ได้จำลองระบบการเผยแพร่ทางวิชาการและแสดงให้เห็นว่าข้อบกพร่องของมนุษย์สามารถมีผลกระทบอย่างมากต่อคุณภาพของวิทยาศาสตร์ที่ตีพิมพ์ เป็นขั้นตอนที่ยอมรับกันทั่วไปในการประเมินคุณภาพ
ของงานวิจัย
ก่อนที่จะเผยแพร่ในวารสารวิชาการ มันอาศัยชุมชนของผู้เชี่ยวชาญในสาขาความเชี่ยวชาญที่แคบเพื่อให้มีทั้งความรู้และเวลาในการตรวจสอบต้นฉบับทางวิชาการอย่างครอบคลุมแม้ว่าแนวคิดของการทบทวนโดยเพื่อนจะได้รับการพิจารณาอย่างกว้างขวางว่าเป็นระบบที่เหมาะสมที่สุด
สำหรับการควบคุมสิ่งพิมพ์ทางวิทยาศาสตร์ แต่ก็ไม่เป็นเช่นนั้นหากปราศจากการวิจารณ์ บางคนรู้สึกว่าระบบพึ่งพาความเป็นกลางและการขาดค่าตอบแทนสำหรับผู้ตัดสินหมายความว่าในทางปฏิบัติกระบวนการไม่เปิดกว้างเท่าที่ควร สิ่งนี้อาจชัดเจนเป็นพิเศษเมื่อผู้ตัดสินถูกขอให้ทบทวนแนวคิด
ที่เป็นที่ถกเถียงมากขึ้นซึ่งอาจทำลายสถานะของตนเองในชุมชนหากพวกเขาให้ความเห็นชอบตั้งคำถามถึงความสามารถผู้ตัดสินได้ทำการประเมินว่าระบบ peer-review อาจตอบสนองต่อผู้ตัดสินที่ไร้ความสามารถได้อย่างไร “ผมอยากทราบว่าจะส่งผลอย่างไรต่อการทบทวนโดยเพื่อนในฐานะกลไก
การคัดเลือก หากผู้ตัดสินไม่ได้ดีทั้งหมด แต่ประพฤติตนตามความสนใจที่แตกต่างกัน” เธอร์เนอร์กล่าวนักวิจัยได้สร้างแบบจำลองของสาขาผู้เชี่ยวชาญทั่วไป ซึ่งผู้ตัดสินที่ถูกเลือกโดยการสุ่มสามารถจัดอยู่ในประเภทใดประเภทหนึ่งจากห้าประเภท มีคน “ถูกต้อง” ที่ยอมรับเอกสารที่ดีและปฏิเสธสิ่งที่ไม่ดี
มี “ผู้เห็นแก่ผู้อื่น” และ “ผู้เกลียดชังมนุษย์” ซึ่งยอมรับหรือปฏิเสธเอกสารทั้งหมดตามลำดับ จากนั้นก็มี “คนมีเหตุผล” ที่ปฏิเสธเอกสารที่อาจดึงความสนใจไปจากงานของพวกเขาเอง และสุดท้าย มี “ผู้สุ่ม” ที่ไม่มีคุณสมบัติในการตัดสินคุณภาพของบทความเนื่องจากขาดความสามารถหรือไม่มีเวลา
ฉันต้องการ
ทราบว่าจะมีผลอย่างไรต่อการทบทวนโดยเพื่อนในฐานะกลไกการคัดเลือกหากผู้ตัดสินไม่ดีทั้งหมด แต่ประพฤติตนตามความสนใจที่แตกต่างกัน ภายในชุมชนจำลองนี้ คุณภาพของนักวิทยาศาสตร์จะเป็นไปตามการแจกแจงแบบเกาส์เซียน ซึ่งนักวิทยาศาสตร์แต่ละคนจะผลิตเอกสารใหม่หนึ่งฉบับทุกๆ สอง
หน่วยเวลา ซึ่งคุณภาพดังกล่าวสะท้อนถึงความสามารถของผู้เขียน ในทุกขั้นตอนของแบบจำลอง เอกสารใหม่แต่ละฉบับจะถูกส่งต่อไปยังผู้ตัดสินสองคนที่ได้รับเลือกโดยการสุ่มจากชุมชน โดยไม่รวมการตรวจทานด้วยตนเอง โดยผู้ตรวจทานจะได้รับอนุญาตให้ยอมรับหรือปฏิเสธกระดาษ
กระดาษจะถูกตีพิมพ์หากผู้ตรวจทานทั้งสองคนเห็นชอบกับกระดาษ และจะถูกปฏิเสธหากทั้งคู่ไม่ชอบ หากแบ่งผู้ตรวจสอบ กระดาษจะได้รับการยอมรับด้วยความน่าจะเป็น 0.5ผลกระทบอย่างมากต่อคุณภาพหลังจากเรียกใช้แบบจำลองกับนักวิทยาศาสตร์ 1,000 คนใน 500 ขั้นตอนเวลา
พบว่าแม้แต่ผู้ตัดสินที่มีเหตุผลหรือแบบสุ่มเพียงเล็กน้อยก็สามารถลดคุณภาพของเอกสารที่ตีพิมพ์ได้อย่างมาก เมื่อผู้ตัดสินเพียง 10% ไม่ประพฤติตน “ถูกต้อง” คุณภาพของเอกสารที่ยอมรับจะลดลงหนึ่งส่วนเบี่ยงเบนมาตรฐาน หากเศษส่วนของผู้ตัดสินที่มีเหตุผล แบบสุ่ม และถูกต้องมีค่าประมาณ 1/3
ต่อคน ลักษณะการเลือกคุณภาพของการทบทวนโดยเพื่อนก็จะหายไปโดยสิ้นเชิง“ข้อความของเรามีความชัดเจน: หากไม่สามารถรับประกันได้ว่าเศษเสี้ยวของผู้ตัดสินที่มีเหตุผลและการสุ่มนั้นจำกัดอยู่ในจำนวนที่น้อยมาก ระบบการตรวจสอบโดยเพื่อนจะไม่ทำงานได้ดีไปกว่าการรับเอกสาร
โดยการโยนเหรียญ ”
นักวิจัยอธิบายนักจักรวาลวิทยาแห่งมหาวิทยาลัยอาร์คันซอที่มีความสนใจเป็นพิเศษในด้านสังคมวิทยา เชื่อว่าการศึกษานี้เผยให้เห็นช่องโหว่ของการทบทวนโดยเพื่อนเมื่อผู้ตัดสินไม่รับผิดชอบต่อการตัดสินใจของตน “ระบบนี้เปิดโอกาสให้ผู้ตัดสินพยายามหลีกเลี่ยงความอับอายสำหรับตัวเอง
ซึ่งไม่ใช่เป้าหมายเลย” เขากล่าวรู้สึกว่าระบบปัจจุบันสนับสนุนให้นักวิทยาศาสตร์เผยแพร่ผลการวิจัยที่อาจไม่ได้ให้รายละเอียดล่วงหน้ามากนัก “ปัจจุบัน ผู้เขียนหลายคนตั้งใจแน่วแน่ที่จะตีพิมพ์เพื่อประโยชน์ของสิ่งพิมพ์ ในความพยายามที่จะรักษาตำแหน่งทางวิชาการ และไม่หวั่นไหวเป็นพิเศษ
กับข้อโต้แย้งที่ว่า การไม่เผยแพร่บทความที่ไม่ถูกต้องเป็นไปเพื่อผลประโยชน์ของตนเอง”อย่าลืมบรรณาธิการงตีพิมพ์ในฟิสิกส์ world.comรู้สึกว่าการศึกษานี้มองข้ามบทบาทของบรรณาธิการวารสาร “การตรวจสอบโดยเพื่อนไม่ได้ไร้ที่ติอย่างแน่นอน และจะมีการเสนอทางเลือกอื่นนอกเหนือ
จากกระบวนการปัจจุบัน อย่างไรก็ตาม ในส่วนที่เกี่ยวข้องกับการศึกษานี้ เราไม่ควรเพิกเฉยต่อบทบาทของบรรณาธิการวารสารและคณะกรรมการในการบัญชีสำหรับผลประโยชน์ทับซ้อนที่อาจเกิดขึ้น และรักษาความสมบูรณ์ของกระบวนการคัดเลือกและการตัดสินใจของผู้ตัดสิน” เขากล่าว
นักสังคมวิทยาแห่งมหาวิทยาลัยฮาร์วาร์ดซึ่งวิเคราะห์การทบทวนโดยเพื่อนในหนังสือปี 2009 ของเธอรู้สึกว่าเราคาดหวังมากเกินไปจากการทบทวนโดยเพื่อน ลามอนต์เชื่อว่าเราไม่ควรหวังว่าจะมีการประเมินวิทยาศาสตร์ใหม่อย่าง “ไม่เสียหาย” เนื่องจากนักวิจัยทุกคนฝังตัวอยู่ในเครือข่ายทางสังคม
และจิตวิทยา เธอรู้สึกว่าวิธีหนึ่งในการปรับปรุงระบบคือทำให้เกณฑ์การประเมินมีความเกี่ยวข้องกับสาขาวิชาเฉพาะมากขึ้น ขอให้เสนอทางเลือกแทนระบบตรวจสอบโดยเพื่อนปัจจุบัน ธูร์เนอร์ให้เหตุผลว่าวิทยาศาสตร์จะได้รับประโยชน์จากการสร้าง “ตลาดสำหรับงานวิทยาศาสตร์” เขามองเห็นสถานการณ์ที่บรรณาธิการวารสารและ “หน่วยสอดแนม” ของพวกเขาค้นหาเซิร์ฟเวอร์
credit : สล็อตเว็บตรง100 / ดูหนังฟรี / 50รับ100
