A Putative Evaluation Scheme for Critical Appraisal of ELT Papers

Author

Associate Professor of TEFL, Department of Foreign Languages and Linguistics,Shiraz University

Abstract

Regarding the lack of consistency among ELT journals to evaluate papers, this research delves into how journal reviewers address the issue of determining the optimum paper to be published. In other words, this study aims at proposing a putative scheme to evaluate the papers submitted to ELT journals on a scientific and consistent basis. As such, 22 instructors and PhD students, selected through purposive sampling, were interviewed utilizing semi-structured interviews. The findings of the study were presented in the form of an evaluation scheme consisting of two major themes as two evaluation criteria: content-related and strategy-related criteria. The former includes paper originality, research contribution, innovation and novelty, and method inclusiveness; the latter consists of succinctness, scene-setting adequacy, critical synthesis and analogy, implicational justification, and efficacy and consistency. Implicationally, the results of this study demonstrates that reviewers across diverse ELT journals have substantial common criteria for paper publishing, that the ties uniting the ELT journals seeking to publish articles are strong, and that the potential for future ELT research regarding how authors inform one another on the criteria is correspondingly robust and consistent.
 

Keywords


Article Title [Persian]

طرح ارزیابی مفروض جهت ارزیابی انتقادی مقالات آموزش زبان انگلیسی

Author [Persian]

  • سید آیت الله رزمجو
استاد آموزش زبان انگلیسی، دانشگاه شیراز
Abstract [Persian]

با توجه به عدم انسجام در بین مجلات آموزش زبان انگلیسی در ارزیابی مقالات، این مطالعه به چگونگی ارزیابی داوران مجلات جهت تعیین مقاله مطلوب می پردازد. به عبارت دیگر، هدف این تحقیق، پیشنهاد طرحی مفروض به منظور ارزیابی مقالات ارائه شده به مجلات آموزش زبان است. از این رو، بیست و دو استاد و دانشجوی دکتری آموزش زبان انگیسی از طریق نمونه گیری هدفمند انتخاب شدند و با استفاده از ابزار مصاحبه ی نیمه ساختار یافته مورد مصاحبه قرار گرفتند. یافته های این پژوهش در قالب یک طرح ارزیابی متشکل از دو مضمون اصلی به عنوان دو معیار ارزیابی ارائه شامل معیار تحت محتوا و تحت استراتژی ارایه شد.  اولین معیار شامل اصالت مقاله، نقش پژوهش، تازگی و نوآوری و روش شناسی جامع می شود؛ دومین معیار متشکل از اختصار، کفایت موضوعی زمینه ای، مقایسه تلفیقی و انتقادی، توجیه آموزشی  و سودمندی و انسجام است. از لحاظ آموزشی، نتایج حاصل از این مطالعه بیان کننده این است که داوران در مجلات مختلف آموزش زبان انگلیسی معیارهای مشترک قابل توجهی جهت انتشار مقاله دارند، وجه مشترک مجلات آموزش زبان انگلیسی از پایه قوی برخوردار هستند و  همچنین پتانسیل مقالات چاپ شده به عنوان آگاهی دهنده به پژوهشگران برای ادامه مسیر دارای انسجام و قابل دفاع است.

Keywords [Persian]

  • مجلات آموزش زبان انگلیسی
  • مقالات آموزش زبان انگلیسی
  • طرح ارزیابی
  • نظریه مبتنی بر زمینه
  • ارزیابی مقاله
Ary, D., Jacobs, L. C., Sorensen, C., & Razavieh, A. (2010). Introduction to research in education (8th ed.). Orlando, FL: Harcourt Brace College Publishers.

Barbour, R. S. (2001). Checklists for improving rigour in qualitative research: A case of the tail wagging the dog. BMJ, 332, 1115-7.

Bornhöft, G., Maxion-Bergemann, S., Wolf, U., Kienle, G. S., Michalsen, A., Vollmar, H. C., et al. (2006). Checklist for the qualitative evaluation of clinical studies with particular focus on external validiy and model validity. BMC Medical Research Methodology, 6(56). Retrieved from  http://bmcmedresmethodol.biomedcentral.com/articles/10.1186/1471-2288-6-56.

Crack, T. F., Gieves, R., & Lown, M. G. (2011). Put your best food forward: A pre-submission checklist for journal articles. Retrieved 17 January, 2015 from http://jfe.rochester.edu/checklist.pdf.

Derntl, M. (2014). Basics of research paper writing and publishing. Int. J. Technology Enhanced Learning, 6(2), 105-123.

DuRant, R. H. (1994). Checklist for the evaluation of research articles. Journal of Adolescent Health, 15, 4-8.

Henningsen, A. (2015). Checklist for manuscripts to be submitted to scientific journals. Retrieved, 20 January, 2015 from https://files.itslearning.com/data/ku/103018/teaching/checklistmanuscripts.pdf.

Koopman, p. (1997). How to write an abstract. Carnegie Mellon University. Retrieved 15 January, 2015 from http://www.ece.cmu.edu/~koopman/essays/abstract.html.

Letts, L., Wilkins, S., Law, M., Stewart, D., Bosch, J., & Westmorland, M. (2007). Guidelines for critical review form: Qualitative studies (Version 2.0). Retrieved 20 January, 2015, from http://www.srs-mcmaster.ca/Portals/20/pdf/ebp/qualguidelines_version2.0.pdf.

Lovejoy, T.I., Revenson, T.A., & France, C.R. (2011). Reviewing manuscripts for peer-reviewed journals: a primer for novice and seasoned reviewers. Annals of Behavioral Medicine, 42, 1-13.

Soozandehfar, S. M. A. (2015). A putative model of transformative teaching self for Iranian EFL teachers. Unpublished PhD Dissertation. Shiraz: Shiraz University.

Strauss, A., & Corbin, J. (1998). Basics of qualitative research: Techniques and procedures for developing grounded theory (2nded.). Thousand Oaks, CA: Sage.