- 누가 이 연구를 했는가?
- 그들은 해당 분야에 대해 훈련을 받은 믿을만한 연구자들인가?
- 누가 연구비를 지원했는가?
- 연구비 지원이 결과나, 결과를 제시하는 방법에 영향을 끼쳤는가?
- 해당과학과 연구분야는 어느 정도나 발전했는가?
- 연구자들이 전반적으로 인정하고 확증한 지식이 이분야에서 두루 사용되는가?
- 이 연구결과가 어디에 발표됐는가?
- 믿을 만한 출판물인가?
- 그 출판물에 실린 논문들은 해당 분야의 전문가들이 평가하고 심사하는가?
- 이 연구는 어떤 주제, 어떤 문제를 다루었는가?
- 어떤 결론을 내리고 있는가?
연구대상, 혹은 연구 문제
- 연구 문제 (research question)가 어떻게 정리됐는가?
- 명쾌하게 제시됐는가?
- 그 질문에 대답하는 게 가능한가?
- 연구 문제를 제시할 때 사용된 어휘가 편향성을 띠지는 않는가?
- 사용된 개념들에 대한 정의가 주어졌는가?
- 일반적이 정의인가?
- 합리적이 정의인가?
- 만약 편향성을 띤다면, 제시된 연구 문제나 연구 주제에 어떤 가치관을 암묵적으로 받아들이거나 인정하고 있는가?
- 그런 편향성이 연구에 영향을 줄 수 있는가?
- 중요한 정보를 언급하는 걸 빠뜨리지 않았는가?
- 참고문헌의 조사가 완전한가?
- 연구자들이 자신의 연구가 참고문헌에 언급된 내용과 어떤 점에서 비슷하고 다르다고 설명하는가?
연구 방법
- 표본은 충분한가?
- 모집단을 대표하는가?
- 표본이 어떻게 수집됐는가?
- 제어된 변수가 있는 실험을 했다면, 편향성을 방지하기 위해 어떤 조치를 했는가?
- 대조군을 둔 실험이 필요했는데도 그 실험을 하지 않았다면, 그 이유를 어떻게 설명하고 있는가?
- 반면에 대조군을 둔 실험을 했다면, 이중맹검실험(double-blind experiment)을 했는가?
- 이중맹검실험이 올바로 행해졌는가?
자료의 분석
- 어떤 측정방법이 사용됐는가?
- 측정된 자료들이 어떻게 정의됐는가?
- 측정 방법의 신뢰성과 유효성에 관련된 자세한 설명이 있는가?
결론
- 요약이 정직하게 작성됐는가?
- 연구가 처음에 제기한 문제에 답을 하고 있는가?
- 자료가 다른 식으로 해석됐을 수도 있는가?
- 그렇다면, 다른 해석의 가능성을 언급하고 그 가능성을 배제한 이유가 설명됐는가?
- 평가의 5가지 기준, 즉 검증가능성, 생산성, 적용 범위, 단순성, 순응성을 충실하게 적용했는가?
댓글 없음:
댓글 쓰기