평가의 분석

이 분석은 예제에 대한 평가뿐만 아니라 동료평가 단계에서 한 평가에 대해서도 해당된다. 교사 및 학생들의 평가 중에서 좀 더 나은 평가결과를 추출하려고 시도하는 것이다. 이러한 "훌륭한" 평가는 최종 점수의 계산에 활용된다.

이 분석은 교사의 평가가 활용 가능할 때 가장 잘 수행될 수 있다. 교사의 평가는 학생들의 평가를 판단할 때 준거로 사용할 수 있다. 교사는 모든 예제나 제출물을 평가할 필요는 없으나, 의미있는 분석을 위해서는 개개의 학생들이 하는 평가의 평균 갯수보다는 더 많이 평가하는 것이 바람직하다. 교사가 더 많은 평가를 할수록, 분석 결과의 신뢰도는 더 커진다.

분석은 대개 수차례 실시되며, 매 회마다 한 두개의 옵션이 변경된다. 분석은 화면 상단에 있는 세 개의 옵션에 의해 조절된다.

  1. 교사가 한 평가를 적재하는 것은 오차 분석 단계에서 학생들의 평가와 비교하여 가중치를 부여하기 위한 것이다. 만약 교사들이 자신의 채점 전략에서 학생 제출물 평가를 위주로 하기를 원한다면 교사는 "오차표"의 평균 오차를 적게 낸 평가자가 될 것이다. 만일 교사가 목록에 나타난 처음 사람이 아니라면, 교사 평가의 적재는 교사가 가장 최저의 평균 오차로 될 때까지 계속될 것이다. 이는 교사의 평가가 주가 되며, 교사와 비슷하게 평가한 학생이 오차표의 상위에 보여질 것이라는 것을 의미한다. 표의 마지막 부분에 나타나는 학생들은 교사의 평가와는 일치하지 않는 점수를 준 학생들이 된다.(그런 학생들은 아무도 표의 상단에 위치할 수 없다.) 더 많은 교사 평가를 활용할수록 교사를 표의 상단에 위치하게 하기 위한 이 옵션을 사용할 필요성이 적어지게 된다. 다만 이 옵션은 최종 점수를 산출할 때에 사용되는 교사 평가의 가중치 요소에는 적용되지 않는다는 점을 염두에 두기 바란다. 이러한 계산에는 교사의 평가가 학생의 평가와 동일한 비중을 갖게 된다. 그러므로 만일 학생 제출물이 교사에 의해 41%, 동료들에 의해 각각 45%, 55% 를 획득했다면, 최종 점수는 (41% + 45% + 55%) / 3, 즉 47%가 된다.
  2. 평가 점수에 대한 가중치는 최종 점수를 산출할 때 사용된다. 학생의 "채점 능력"은 단순한 수식에 의해 계산된다. 이는 "훌륭한" 평가의 비율로서 그들에게 제시된 평가의 최대수에 비교한 것이다. 따라서 만일 과제에서 학생들에게 3개의 예제에 대한 평가를 하고 5개의 동료 평가를 요구했다고 했을 때, 학생이 7개의 평가를 하고 하나가 분석에서 탈락되었다고 할 때(아래 참조) 학생의 채점 능력은 (7 - 1)/8 즉 75%가 된다. The final grade for the assignment a weighted combination of this grading performance and the grade given to their submission (or best grade if they made more than one submission). The grade for the submission is always given a weight of 1. So setting this option to say, 0.5, means that the two grades are added together in the proportion 0.5:1 or 33% of the grading performance and 66% of the grade of the submission.
  3. The Percentage of Assessments to drop determines the number of the assessments which are to be excluded when calculating the final grades. This number can be set in one of two ways.
    • Given the way the Grading Performance is calculated each student could, if they assessed all the work allocated to them, achieve full marks (for this element) if no assessments are dropped. If the teacher wishes to have a more reason average grade then setting this option to 30% would result in the average Grading Performance of about 70% (again if all students graded all the assessments open to them).
    • Alternatively the number of assessments to drop might be set such that the remaining "good" assessments result in the Average Errors being constrained to some reasonable value. These are the percentages given in the fourth column of the Error Table. For example, it may be thought that all the student assessments should (on average) lie within the 20% range. Then the analysis is repeated a number of times adjusting the number of assessments to drop until the figures in this column all lie within a particular limit.

In addition to the Error Table the analysis lists the grades of all assessments and the final grades given to the students. This table should be inspected to see if the results are reasonable. In particular if many assessments are dropped then some submissions may left unassessed and the student's final grade will be far too small. The analysis does given the number of submissions at the top of page and again just before the Grades Table. These two numbers should be same. If there are one or more unassessed submissions and the teacher does not want to decrease the number of dropped assessments then those submissions should be assessed by the teacher and the analysis repeated. It is important that all submissions are assessed at least once in the final stage of the analysis that is when the final grades are calculated.

There is a balance between the number of assessments dropped and the overall final grade. The more assessments dropped the lower the final grades are likely to be. However, if poor assessments are not dropped then students may complain about the quality of the assessments which determine the grade for their work. Provided there are enough assessments by the teacher to dominate the analysis without too much forcing, then it would seem reasonable to drop somewhere between 15% and 30% of the assessments.

Note that this analysis does take a long time as it involves an iterative process. Lengthy delays are to be expected.

도움말 파일 색인