문항 분석

이 표는 평가의 기능을 가진 각 문항의 성능을 판단하고 분석하기에 적합하도록 퀴즈의 문항들을 처리하여 보여준다. 여기에 쓰인 통계적 계수들은 전형적인 검증이론에 의해 설명된 것들이다.(ref. 1)

난이도 지수(정답율)

이것은 퀴즈를 푸는 사람들에게 문항이 얼마나 쉽고 어려우냐를 측정하는 것이다. 계산식은 다음과 같다.
FI = (Xaverage) / Xmax
여기에서 Xaverage 는 문제를 푼 전체 학생들의 평균 점수이고, Xmax 는 그 문항의 만점 점수이다.
만일 질문이 전체적으로 옳고 그른(OX문제와 같은) 것이라면, 계수가 나타내는 것은 질문의 정답을 얼마나 맞췄냐하는 것과 일치할 것이다.

표준 편차(SD)

이는 반응 표집에서 답안이 어떻게 분포해 있는가를 나타내는 지수이다. 만일 모든 사용자가 동일한 답을 했다면 표준편차는 0이다. 표준편차는 각 질문에 대한 점수비(득적/만점)에 대한 통계적인 표준편차로 계산된다.

변별도 지수(DI)

이는 잘 푸는 사용자 못 푸는 사용자를 구분할 수 있는 각 문항의 수행정도를 개략적으로 나타내는 지수를 제공한다. 이 매개변수는 먼저 학습자를 퀴즈의 총점을 기반으로 하여 세 무리로 나누어 계산된다. 그 다음 상위 모둠과 하위 모둠의 성취도 대하여 분석된 항목의 평균점을 계산한 후, 전체의 평균점과의 편차를 구한다. 수식은 다음과 같다.
DI = (Xtop - Xbottom)/ N
여기에서 Xtop 는 이 항목에 대한 총점의 상위 1/3 인 학생들의 점수비(득정/만점)의 합이며(예를들어 모둠내 정답을 맞춘 학생 수),
Xbottom 는 하위 1/3 학생들의 점수비의 합이다.

이 변수는 +1 에서 -1 사이의 값을 가질 수 있다. 만일 이 지수가 0.0 이하로 내려간다면 이는 잘 못 하는 학생이 잘 하는 학생보다 그 문항을 더 잘 풀었다는 의미가 된다. 그러한 문항은 가치가 없으므로 폐기하여야 한다. 사실 그러한 문항은 퀴즈 전체의 총점의 정밀도를 감소시킨다.

변별도 계수(DC)

이것은 잘 하는 학생과 못하는 학생을 구별할 수 있는 또 다른 문항의 구분 방법을 알려준다.

변별도 계수는 항목과 퀴즈 전체의 득점간의 상관 관계를 나타내는 계수이다. 이는 다음과 같이 계산된다.
DC = Sum(xy)/ (N * sx * sy)
여기에서 Sum(xy)은 문항 점수와 총점에 대한 편차의 곱의 합이고,
N은 본 질문에 답한 수,
sx는 이 질문에 대한 점수비의 표준 편차,
sy는 퀴즈 전체 점수의 표준편차이다.

이 변수 역시, +1 에서 -1 사이의 값을 가진다. 양의 값은 항목이 잘하는 학생이, 음의 값은 오히려 잘하는 학생이 그 문항에 대하여 낮은 점수를 맞았다는 것을 보여 준다. 음의 변별도 계수를 갖는 문항을 잘 하는 학습자가 틀릴 확률이 높으며 따라서 최상위 학생들에게 실제로 가혹한 감점이 주어지게 된다. 이러한 문항은 폐기되어야 마땅하다. 만일 모든 학생이 이 문제에 대해 동일한 점수를 얻는다면 sx는 0이되며, 변별도계수는 정의되지 않을 것이다. 이 경우 변별도 계수는 DC = -999.00로 나타남을 유의하기 바란다.i

변별도 계수가 변별도 지수보다 나은 점은 변별도 계수가 학습자 전체를 모집단으로 하여 정보를 얻는 반면, 변별도 지수는 상하위 1/3의 양 극단 값만으로 계산한다는 데 있다. 따라서 변별도 계수가 좀 더 문항의 수행 능력을 점검하는 데 정밀한 결과를 보일 수 있다.

도움말 파일 색인