가설에는 차이와 관련을 나타내는 것이 있다고 하였다 (Hypothesis 참조). 가설에 나타나는 IV 와 DV 가 어떻게 측정(measure)이 되었는가에 따라서 차이와 관련의 가설로 나누게 된다. 아래 가설들은 각각의 변인(독립, 종속변인)들이 어떻게 측정되었는가에 따라서 예를 들기 위해 만들어진 것이다.

독립변인=종류변인 :: 종속변인=숫자변인 인 경우:

가설1] 여성과 남성 간의 수학점수에는 차이가 있을 것이다.

위의 가설관 관련된 변인은 성(gender)과 수학점수(math score) 이 있다. 전자는 독립변인(IV) 후자는 종속변인(DV)으로 볼 수 있다 (Variable Identification 참조). 각각의 변인은 어떻게 측정되어야 할까? 이 가설의 경우에는 쉽다.

• 성: 남/여 Gender: Male / Female ==> 종류변인 (Nominal)
• 수학점수: 0-100 점 사이의 점수 ==> 숫자변인 (Interval)

1. 위의 측정을 위해서 연구자인 당신이 해야할 일은 무엇인가? –> 사람을 구하는 것이다. 이를 샘플링이라고 한다. 구한 사람들의 집합을 샘플이라고 한다.
2. 사람을 구하여 측정해야 하는 것은 무엇인가? –> 성과 수학점수이다.
3. 위에서 얻은 측정치의 집합을 데이터라고 한다. 데이터를 어떻게 정리해서 기록해두어야 하는가?

위에서처럼 데이터는 변인을 항목으로 하여 각각의 케이스(사람)에 대한 측정값을 기록하는 형태로 정리되어야 한다.

1. 그렇다면, 이를 훗날 독자 (혹은 당신의 보고서를 읽는 사람들) 에게는 어떤 식으로 보고를 해야 하는가? –> 위의 데이터를 그냥 (raw data라고 한다) 보여주는 것은 의미가 없다. 가설과 연관지어 이 데이터를 보여주는 형식을 생각해 보면 아래와 같은 방법이 가장 합리적이다.

만약에 위의 실제 평균점수가 아래와 같다면,

연구자인 당신은 $ 74.88 \ne 67.54 $ 를 보여 주고, 따라서 당신이 선언한 가설이 검증되었다고 주장해야 한다. 이 예는 IV 가 종류변인(nominal)이고 DV가 숫자변인(interval)일 때 유용하다. 따라서 이를 기억하여 두도록 한다.

독립변인 = 종류 변인 :: 종속변인 = 종류 변인인 경우:

가설2] 남자와 여자 간에 이타심은 차이를 보일 것이다.

위에서 나타나는 변인들은 성(남성/여성)과 이타심이다. 성의 경우 측정은 종류변인이며 쉽게 측정될 수 있을 것으라고 생각된다. 그러나, 이타심의 경우는 좀 다르다. 우선 이타심이 정확히 무엇을 의미하는지에 대한 구체적인 근거가 없을 수 있고, 설령 있다고 해도, 다른 사람들의 머릿속에 있는 이타심과 내 머릿속의 이타심이 서로 다를 수도 있다. 이를 명확히 밝히는 작업을 개념화(Conceptualization)이라고 하였다. 또한 조작화의 문제 나타날 수 있다.

아뭏든, 이 예에서는 개념화와 조작화의 문제를 극복했다고 가정하고, 이타심이 있고 없음을 측정하였다고 하면, 아래와 같은 데이터를 얻을 것이다.

위의 데이터 테이블을 간단히 정리하자면, 위의 집단 간 평균을 구해서 기록하는 방법으로는 잘 안된다. 왜냐하면, 두 변인이 모두 종류변인 (Nominal variable)이기 때문이다. 종류의 변인이 정리가 되는 경우, 대개는 빈도수가 사용된다. 빈도수(머리수)를 센 결과를 아래와 같이 정리할 수 있고, 이를 관측결과라고도 부를 수 있다.

이제 위의 테이블을 보고 연구자는 성별의 차이가 이타심의 존재 유무에 영향을 미치는가에 대한 판단을 해야 한다. 남들에게 가장 확신을 주는 테이블은 아마도 아래와 같은 경우일 것이다.

그리고, 성별 간의 차이가 없다고 가정을 한다면 아래와 같은 테이블을 기대해 볼 수 있을 것이다.

그렇지만 현실적으로 이런 상태의 데이터를 얻을 수는 없을 것이다. 따라서 연구자는 위의 기대치의 테이블과 관측치의 테이블을 비교하여 남성과 여성사이에 이타심이 다르게 나타나는 지를 비교, 판단해야 한다.

Hypothesis testing.
Hypothesis test란, 샘플을 이용한 통계학 방법을 가르키는 말로서, 모집단의 성격에 대한 가설을 평가하는 작업을 말한다.

간단히 그 절차를 살펴 보면,

1. 먼저, 모집단에 대한 가설을 선언한다. 가설은 대개 모집단의 parameter를 밝히게 된다. 예를 들면, 우리나라 사람들의 IQ 점수가 110이라고 선언하는 것이다.
2. 다음으로, 모집단에서 샘플을 추출한다. 여기서 샘플이라 함은 활률적 샘플링의 방법을 사용한 샘플을 말한다 (probability sampling). 예를 들면, 확률적 샘플로 n=200의 샘플을 한국인이라는 모집단에서 골라 낸다.
3. 마지막으로 그 샘플의 성격(statistics)을 가설과 비교한다. 만약에 데이터가 가설을 지지하게 되면, 가설은 실제 모집단의 성격을 제대로 나타내는 선언문이라고 결론 지을 수 있다. 그러나, 가설과 데이터가 일치하지 않는 경우에는 반대로 가설이 잘못되었다고 결론지을 수 있다.

가설은 대개 위와 같이 현 상태를 진단하기 위해서 세워지기 보다는 약품, 방법, 처치 등의 (일종의) 자극의 효과를 알아보기 위해서 세워지는 경우가 많다.

가령 예를 들면, 어느 시간 강사가 강의에 사용하는 wiki의 효과를 측정해 보기 위해서 가설 테스트(hypothesis testing)를 하는 것이다. 즉, 강사의 wiki 사용(treatment)으로 학생들의 학습효과가 높아 졌는가를 확인(test)하기 위해서 wiki를 사용한 그룹(mean=?)과 사용하지 않은 그룹 (mean=50, sd=10)간의 차이를 확인해 보는 것이다 (이를 위해서 강사는 16명의 샘플을 구하였고 이들의 성적 평균을 60점이었다고 가정을 하자). 위의 예에서 연구자는 wiki를 사용한 그룹의 평균이 wiki를 사용치 않은 그룹과 다르다는 것을 선언하고 이것이 통계적으로 의미가 있는가를 진단하고 결정하는 것이다.

연구자는 조사방법론 수업을 듣는 전체 모집단 학생들의 평균(이런 종류의 테스트가 있다고 가정)이 얼마인지를 알고 있다(평균 = 50, stdev = 10).

연구자는 wiki를 사용하여 한 학기의 수업을 한 후에 같은 종류의 테스트를 wiki사용자들에게 하여, 이들의 평균이 wiki를 사용하지 않는 평범한 학생들의 성적과 차이가 있음을 밝힌다면, 가설검증이 성공된다.

이를 위해서 흔히 연구자는 null hypothesis를 세우게 되는데, 이것은 아래와 같이 나타낸다.

$\displaystyle \text{H(0): } \overline{X}_{\text{student with wiki}} = \mu \;\;\; \text{where } \mu = 50 $

즉, $ \text{H(0):} $ 는 wiki의 사용에도 불구하고 학생들의 성적이 일반 성적인 50점에 머문다는 것을 선언하는 것이다. 다시 말하면, $ \text{H(0):} $ 는 변화가 없음, 차이가 없음, 관계가 없음을 나타내는 선언문이다. 이를 풀어서 말하자면, wiki라는 independent variable(teatment)가 학생들의 실력(dependent variable)에 아무 효과가 없다(no effects)는 것을 나타낸다.

위의 영가설은 정확한 의미에서 내 샘플이 50점 모집단에서 나오지 않았다는, 즉 모집단에 속한 샘플이 아니라 다른 집단에 (존재하지는 않지만 위키를 사용해서 성적이 다른 모집단) 속한다는 뜻이다.

$\displaystyle \text{H(0): } \overline{X}_{\text{student with wiki}} \subseteq \mu \;\;\; \text{where } \mu = 50 $

alternative hypothesis 혹은 research hypothesis는 위의 $ \text{H(0):} $ 를 반대로 선언하는 것을 말한다. 위의 예를 계속 사용하자면,

$\text{H(1): } \overline{X}_{\text{student with wiki}} \neq \mu $
$\text{H(1): } \overline{X}_{\text{student with wiki}} \not\subseteq \mu $

라고 선언하는 것을 말한다. 위의 선언문은 treatment인 wiki가 효과가 있다는 것을 의미한다. 단, 이 선언에서 주의해서 봐야 할 점은 wiki가 점수를 올리거나 내린다는 선언을 한 것은 아니라는 점이다. 단지 일반 population과 다를 것이라는 점만을 선언하였다 ¹⁾

가설을 검증하기 위해서는 (즉, 위키페이지를 효과를 검증하기 위해서는) 영가설을 이용하여 테스트를 하는 수 밖에 도리가 없다. 이를 설명하고자 한다. 만약에 위키의 효과가 없다고 하면, 위키를 사용한 16명의 학생은 (위키를 사용했음에도 불구하고) 원래의 모집단에 (N(50, 10)) 속하는 학생일 것이다. 만약에 이 시나리오가 맞다면, 16명의 시험점수는

• 모집단 평균 = 50, 표준편차 = 10 의 집합에서
• n=16의 사이즈를 갖는 샘플을 구해 평균을 낸 집합에 속하는 (distribution of sample means) 성격을 갖을 것이다.
• 즉, CLT의 논리에 따라서
  • 이 집합의 평균은 = 50
  • SD 는 (샘플평균의 표준편차) = $\dfrac{\sigma}{n} = \dfrac{10}{\sqrt{16}} = \dfrac{10}{4} = 2.5 $ 일것이다 (우리는 이를 standard error라고 부른다).
  • 위에 따라서, 우리는 100번의 샘플링한다면 그 중 95번은 모집단의 평균인 50을 중심으로 +- 2se값에서 그 샘플의 평균이 나타날 것을 알 수 있다. 이 값은 45에서 55점이다.
• 그런데, 이 특정한 샘플의 평균은 60점이다. 이 점수가 의미하는 것은 두 가지이다.
  • 첫 째는 100중 95는 샘플의 평균이 45에서 55에서 나와야 하는데, 이 번 샘플은 이 확률에 걸리지 않은 특이한 케이스이다. 즉, 나머지 5%의 확률에 걸려 60점이라는 점수가 나왔다. 이는 위키의 효과가 없었음을 가정하고, 그럼에도 불구하고, 특이하게 높은 점수가 나왔다고 주장하는 것이 된다. 그러나, 이 주장의 확률은 5%에 불과하다.
  • 다른 하나는, 이 위키 샘플이 평범한 학생의 샘플이 아니다. 즉, $\overline{X} \sim N(50, 100)$의 모집단에서 추출되는 그런 샘플이 아닌, 특별한 샘플이기에 학생들의 평균이 높은 것이다. 이를 알기 쉽게 이야기하면 오른 쪽 빨간 집단에 속하는 학생이기에 그런 점수가 나온 것이다. 이것이 의미하는 것은 위키를 이용한 학생은 평범한 모집단에 속하지 않는다는 것을 말하는데, 이는 곧 위키의 효과가 있다는 것을 주장하는 것이 된다. 그런데, 이 주장이 맞을 확률이 이 전과 같이 5%가 아닌, 95%이다. 따라서, 후자를 택하는 것이 더 안전한 결론이 된다. 이는 곧 영가설을 부정하고 (위키가 효과가 없다는 것), 연구가설을 채택하는 것이 된다. 이로써 우리는 연구가설을 검증한 것이 된다.
  • 그리고 위에서 구한 $45 ~ 55$의 구간을 우리는 confidence interval이라고 부르며
  • standard error 두 단위를 쓴 95%를 confidence level 이라고 부른다.
  • 반면에 5%의 error 가능성을 type I error 혹은 probability level이라고 (줄여서 p-level 혹은 p-value) 부른다.

위에서 언급한 두개의 standard error를 사용하여 confidence interval을 구하는 것을 책에서는
$ a = 2 (1.96)$
$ a = 3 (2.58)$

$$ \overline{X} \pm a * \frac{\sigma}{\sqrt{n}} $$
$$ \overline{X} \pm a * \frac{s}{\sqrt{n}} $$

위의 테스트 방법에서 우리는 모집단의 평균에서 표준오차 점수 2단위를 빼고 더한 범위에 우리 샘플의 평균이 존재하는가를 보았다. 이를 보다 편리하게 결정하는 방법은 내 샘플의 평균이 모집단의 평균에서 표준오차를 하나의 유닛으로 몇개나 떨어져 있는가를 보는 것이다. 즉, 내 샘플의 평균점수는 60이므로 모집단 평균의 50에서 10만큼 떨어져 있는데, 이 점수차이 10은 표준오차로 4개만큼 오른 쪽으로 떨어져 있는 것을 의미한다. 그런데, 위의 논리에 의하면 우리는 표준오차가 2개보다 더 많이 떨어진 점수는 확률 95%에 드는 점수가 아니므로 영가설 부정에 사용하기로 하였다. 따라서, 4라는 점수는 2보다 크므로 영가설을 부정하고, 연구가설을 채택한다.

이런 비교를 z-score 변환을 통한 비교라고 한다.

sampling mean을 위한 z -score 의 공식은 아래와 같다:

$\displaystyle z = \frac{ \overline{X} - \mu } {\sigma_{\overline{X}}} $

위의 공식에서 $\overline{X}$ 는 샘플에서 얻은 평균 값이며, $\mu=50$ 과 $\sigma_{\overline{X}}$ 는 $\text{H(0)}$ 에서 얻은 것이다.

만약에 한 샘플의 평균값이 57.5이었다는 가정을 하면 (case A),

$\displaystyle \sigma_{\overline{X}}=\frac{10}{\sqrt{16}}=2.5$

$\displaystyle \text{z} = \frac{\overline{X}-\mu}{\sigma_{\overline{X}}}=\frac{57.5-50}{2.5}=7.5/2.5=3.00$

위의 경우 z-score = 3 은 z-score = 2 를 넘어서 critical region에 속하는 점수이다. 이것이 의미하는 것은 샘플의 점수가 굉장히 unusual하다는 것이고, 이를 바탕으로 강사는 샘플 학생들의 성적이 일반성적(population)보다는 다르다고 주장할 수 있다. 다시 말하면, 강사는 이제 이것을 근거로 null hypothesis를 부정(reject)하고 research hypothesis를 채택할 수 있다.

만약에 샘플의 평균값이 52.5였다고 가정을 하면 (case B),

$\displaystyle \text{z} = \frac{\overline{X}-\mu}{\sigma_{\overline{X}}}=\frac{52.5-50}{2.5}=\frac{2.5}{2.5} = 1.00$

이 경우에는 z-score = 1 이고, 이는 critical region에 포함되므로, 즉, 일반학생들을 샘플링했을 때 얻을 수 있는 평균점수가 나왔으므로 wiki학생들의 점수가 일반학생들과 다르지 않다고 결론을 내릴 수 있다. 다시 말하자면, 강사는 null hypothesis를 부정(reject)하는데 실패하였다.

z test는 이와 같이 샘플의 점수와 모집단 평균 점수 차이를 표준오차로 나눈 점수를 가지고 영가설 부정을 하는 판단에 사용하는 것을 말한다.

만약에 n = 16이 아닌 n = 36 이었고, 이 샘플의 평균이 위의 case b 처럼 52.5였다면 어떻게 판단해야 할까?

# n = 16일 경우 se는 2.5 이므로
1-pnorm(57.5, mean=50, sd=2.5)
pnorm(115, mean=100, sd=5)
pnorm(3, mean=0, sd=1)