실험(experiments)이라 함은 주로 심리학적인 연구에서 많이 쓰이는 연구방법 혹은 디자인 중에 하나이다. 이론을 소개하면서, attribute적인 입장에 대해서 이야기 했었는데, 여기서 다시 정리를 하자면, attribute적인 접근방법은 인간에 대한 일종의 기재(원리, 원칙)를 밝히는 것을 기본적인 목적으로 하고, 이런 기재가 다른 사람에게도 공통적으로 적용이 될 수 있으므로 이를 통해서 전체(사회)를 파악할 수 있다는 입장이다.

전통적으로 심리학적인 입장이다. Barbie는, 실험(experiements)이 잘 정리된 개념(concepts)이나 명제(propositions)에 대한 조사연구에 적합하다고 하였는데, 이는 바로 attribute 입장의 연구와 맥락을 같이 한다는 것을 뜻한다.

가령 예를 하나 들자면, 외국인 노동자에 대한 편견을 줄이는 방법에 관한 연구를 위해서 실험을 실시해 볼 수 있다. 60년대와 70년대 한국에서 건너 간 독일과 미국 등지의 이민자들의 생활상을 그린 도큐멘타리물을 시청하는 것이 외국인노동자에 대한 편견을 줄일 수 있을 것이라는 가정을 하고 가설을 세울 수 있다.

이런 가설을 테스트하기 위해서 실험(experiment)를 디자인 할 수 있는데, 실험 참가자를 모집하여 두 그룹(A and B)으로 나누고, A 그룹은 도큐멘타리를 시청하도록 하고, B 그룹은 다른 다른 종류의 영상물을 시청하도록 한 후, 외국인 노동자에 대한 편견을 측정하는 방법을 사용할 수 있다.

물론, 가설(60년대와 70년대 한국에서 건너 간 독일과 미국 등지의 이민자들의 생활상을 그린 도큐멘타리물을 시청하는 것이 외국인노동자에 대한 편견을 줄일 수 있을 것)을 테스트하기 위해서, 도큐멘타리 영상물을 방영하고, 이에 대한 효과를 전국적인 규모의 서베이를 통해서 측정하는 방법도 있을 수 있겠지만, 이런 상당한 규모의 예산과 시간을 필요로 하고, 또한, 무엇보다 중요하게, 영상물 방영의 효과의 유/무를 알지 못한채 방영시간대를 사용하는 것이 비효율적일 수 있다. 따라서, 먼저 제시한 것처럼 실험을 통해서 그 효과를 측정해 보는 것이 좋은 방법이 될 수 있다.

또 다른 예로는, 모바일 디바이스의 사용이 조직의 커뮤니케이션 능력을 향상시켜 궁극적으로는 일에 대한 만족감과 동료에 대한 신뢰감, 그리고 업무능력의 향상을 가져 온다는 가설을 생각해 볼 수 있다.

이를 위해서, 연구자는 3-4개의 그룹의 실험 참가자에게 problem solving task를 부여하고, 각각 다른 종류의 모바일 커뮤니케이션 디바이스를 준 후에, 어떤 결과가 나오는 지를 관찰해 볼 수 있다. 만약에 어떤 이유로든지간에 이런 실험의 설계가 어렵다면, 실제로 존재하는 조직과 협력하여 실제 조직생활을 하는 그룹을 대상으로 실험설계를 하고, 그 결과를 분석 할 수 있는데, 이런 방법은 실제로 통제된 실험의 범주를 약간 벗어나므로, 유사실험(quasi-experiment)이라고 부른다.

첫 번째 예에서 소개하였듯이, 실험은 그룹을 인위적으로 나누고, 실험 참가자(participants)로 하여금 효과를 기대하는 그 어떤 것을 주입, 투여, 복용, 시청하도록 하고 그 효과를 측정하는 것을 말하므로, 연구자는 면밀한 계획을 바탕으로 엄격한 통제를 할 수 있다. 반면에 두 번째 예에서의 유사실험의 경우는 이런 통제의 가능성이 많이 줄게 된다. 어떤 방법을 택하느냐는 연구자에게 달려 있다.

실험과 관련된 개념으로는 아래와 같은 것들이 있다.

1. IV and DV (Independent variable and dependent variable): Variable Identification 참조
2. pre-testing and post-testing (Within subject group design)
   1. pre-test – post1 – post2 — post 3 (동일그룹 = within group)
3. control group and experiment group (Between group design)
   1. no-treatment group (control) – treatment A – treatment B – treatment C
   • assignment of subjects: Double blind experiment (이중눈가림 실험)

실험을 위해서는 실험참가자(subject, or experiment participants)를 모집해야 하는데, 이와 관련해서는 아래와 같은 이슈가 중요하다.

1. probability sampling
2. randomization
   • 차이점: random selection and random assignment

• 실험을 하면서 실험참가자가 모집단을 대표하는 성격을 갖기를 바라는 것은 쉽지 않다. 그리고, 실험이라는 연구방법을 사용하는 사람의 입장에는 어떤 사람이 참여하더라도 그 사람은 전체를 구성하는 개인으로서 다른 사람을 생물학적, 심리학적, 사회심리학적으로 대신할 수 있다는 (일종의 물리학적인) 입장을 견지하게 된다. 즉, 실험에 참여하는 사람의 확률적인 표본으로서의 모집단 대표성에는 크게 신경을 쓰지 않는다.
• 그 보다는 위에서 언급한 것처럼 참여자를 실험그룹들과 (experiment group) 제어그룹 (control group) 등으로 나눌 때, 나누는 연구자 혹은 실험설계자가 의도적 혹은 비의도적으로 편향적인 그룹화를 할 가능성이 있게된다. 이를 피하기 위해서 가장 많이 사용되는 방법이 random assignment이다.
• 예를 들면 실험진행자, 혹은 x 제약회사를 대표하는 연구자 A는 3가지 종류의 약과 (w, x (x사의 제품), y) 한가지 유사약에 (placebo, z) 대한 효과를 판단하고자 한다. 궁극적인 목표는 약 x가 다른 약들에 비해서 효과가 있다는 것을 검증하려고 하는 것인데, x사에 소속된 연구자는 이 실험에 성공하여 약이 시판되도록 하기 위한 무언, 유언의 압력에 증상이 덜한 사람을 x 약을 복용하는 군에 지정할 수도 있게 된다. 이런 bias를 방지하기 위해서 연구자는 참자가 개인에게 약을 투여하면서도 해당 약이 어느 회사것인지를 알 수 없도록 하는 방법을 쓰는데 이를 random selection 혹은 random assignment 라고 한다.
• 실험의 가장 큰 장점은 상황을 컨트롤하여 원인이 되는 변인과 결과의 과정을 과학적으로 유추해 내기 용이한 것이다.

실험은 대개 아래의 기호를 사용하여 간단히 도식화한다.

1. 'O' :: Observations or Measures
   • 'O' 로 표기되는 디자인 표시는 (어떤 것을) 측정(measure)함을 나타낸다. 가령 IQ테스트는 이 측정방법을 통해서 실험참가자의 지적능력을 재는 것을 의미한다. 이 때 IQ test는 'O'로 표시할 수 있다. 측정은 여러가지로 실시 될 수 있는데, (1) 한가지 목적을 위해서 한번의 측정을 하는 것 (single measure; 가령, 발바닥의 길이를 재는 것); (2) 한가지 개념이나 구성을 위해서 여러개의 측정을 하는 것 (가령, self-exteem을 위해서 열개의 문항을 제시하는 것); (3) 보다 복잡하게 여러가지 개념이나 구성을 위해서 다양한 측정을 하는 것 (가령, IQ test 혹은 survey) 등이 그 예이다. 'O'는 이런 측정을 나타내기 위해서 쓰는 기호이다. 만약에 여러개의 측정을 동시에 표시하고 싶다면 번호를 붙여서 표시를 한다 ('O1', 'O2', 'O3' 등등)

1. 'X' :: Treatments or Programs
   • 'X'로 표시되는 이것은 '처방(투약, 시청, 주입, 복용, 교육 등등)의 실시'를 의미한다. 외국인 노동자에 대한 편견의 완화를 위해서 재외 한국인노동자들의 도큐멘타리를 시청시키는 것이 treatment 혹은 program이다. 이런 treatment를 받았을 때에는 'X'를 표시하고, treatment를 받지 못한 그룹의 경우는 아무런 표시를 하지 않는다. 여러번의 treatment를 행하고 이를 구분할 필요가 있다면, 'X1', 'X2', 등으로 표시를 한다.

1. lines :: Groups
   • 실험을 기술하는 도식에서 각각의 라인(선)들은 실험에 참가한 그룹을 가르킨다. 즉, 도식에 4개의 라인이 있다면, 그 실험에 4개의 그룹이 존재하는 것을 의미한다.

1. Assignment to group
   • 실험참가자들은 실험에 필요한 그룹에 할당되는데 (assigned), 이를 기호화 하여 표시를 한다. 이에 사용되는 기호로는 'R', 'N', 'C' 등이 있는데 각각, random assignment, non-equivalent assignment, cut-off assignment를 가르킨다.

위의 4가지 방법을 섞어서 사용하면 아래와 같은 실험 디자인을 계획할 수 있다. 일반적으로 연구자가 실험을 디자인할 때 고려해야 할 사항으로는 (1) ranomization을 통한 assignment를 할 것인가?; (2) control 그룹과 experiment 그룹이 필요한 가에 관한 것이 있다. 이 결정을 통해서 다양한 실험디자인이 만들어 지게 된다.

Threats to Internal Validity

Randomized post-test only control group design () 혹은
Static Group Comparison design

같은 맥락에서, 아래는 One group post test only design (단일집단 사후조사)

One group pre-test post-test design

Pre-test Pos-ttest design 혹은
Control Group Pre-test Post-test design
Pre-test Post-test Control Group design 혹은

pre-test 자체가 영향을 주는지를 확인할 수 있는 잇점

위의 pre-test post-test control group design에서 pre-test (O_1-1 O_1-2) 자체가 실험 결과에 영향을 줄 수 있다 (e.g., Reactivity와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 – 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다. 이 방법은 external validity의 문제, 즉 generalization의 문제를 해결하기 위한 방안으로 사용된다.

threats to internal validity

• treatment effects 주효과

• history 외부사건효과
• maturation 참가자변화효과
• reactivity 반응효과 혹은 테스트효과 (호손효과, 관찰 혹은 측정 혹은 treatment만으로 영향을 받는 효과)
• selection 셀렉션효과 (그룹을 bias하게 고른 효과)
• mortality 참가자탈락효과
• diffusion of treatment (treatment 를 나누어서 생기는 효과)

위의 주효과라고 부르는 treatment effect 외의 것들은 주효과 측정을 방해하는 즉, internal validity를 해하는 요소이다. 솔로몬 그룹 디자인은 이런 요소를 솎아 내서 파악할 수 있도록 해준다.
아래와 같이 디자인한다.

위에서

• R = random assignment
• O = observation (test)
• x = treatment (처치)

위에서

• X = treatment (abb 이용학습) 연구자는 abb를 이용한 학습이 효과가 있는지를 보고 싶다
• R = random assignment

이 때

• history 외부사건효과 + maturation 참가자변화효과 (?)
• + reactivity 반응효과 혹은 프리테스트효과 (?)
  • 40 - 34 = 6
  • 이 6 점은 시간이 흘러서 나타난 효과로
  • treatment 외에 어떤 영향력이 작용하여 이렇게 다른 점수가 나왔다고 주장할 수 있다
  • 그 어떤 영향력으로는
    • (1) 외부사건효과와
    • (2) 참가자자신이변화한 효과, 그리고
    • (3) pre-test의 효과를 들 수가 있다.
  • 그러나, 참가자자신이변화한 효과가 있는지 없는지는 알 수 없다 (이 상황에서는)
  • pre-test의 효과 크기도 포함되어 있음만을 안다.
  • history + pre-test효과(reactivity) + maturation (?) = 6
• selection 셀렉션효과 (그룹을 bias하게 고른 효과)
  • 34 - 30 = 4
  • 이 4 점은 random하게 그룹을 구성했느데도 나타나는 무작위효과이다
  • 그룹구성에 bias가 끼면 이 4점이 문제가 될 수도 있다.
  • 그러나, 현재 점수는 작으므로 무시할 정도로 파악할 수 있다.
  • 그럼에도 불구하고 우리는 이를 group selection효과라고 부르기로 한다
• mortality 참가자탈락효과
  • Group O1의 94 - 30 점의 차이인 64 점에는
  • treatment 때문에 나타나는 차이도 있지만
  • history + maturation 때문에 나타난 차이,
  • selection 효과 등이 포함되어 있다.
  • 그 외에도 mortality 효과도 포함한다
  • Group 1의 구성원 평균은 94점이지만 이 점수는 아예 수업을 따라가지 못한 사람들 일부가 수업을 포기했기 때문이다. treatment가 너무 강도가 높아서든 어떤 요소 때문이었든 간에 일부 사람들이 빠짐으로서 종국의 평균 점수가 상승하는 효과가 나타났다. 이는 mortality 때문이다.
• testing 참가자체효과 (호손효과)
  • 여기서 안나타났지만, 94, 40, 84, 30 점이 모두 비슷한 점수였다면, 이를 설명할 수 있는 것으로 observation 자체가 (실험에 참가한 것 자체가) 문제가 되어 점수가 비슷하게 되었다고 설명할 수도 있다. 이를 testing 효과 혹;은 호손효과 라고 한다. 여기서는 보이지 않는다.
• 94 - 30 = 64
  • 64 점에는 treatment 효과도 있겠지만
  • history effect로 여겼던 6점정도의 효과도 포함되어 있다고 생각하는 것이 논리적이다
  • 거기에 랜덤하게 차이가 나타나는 selection 효과 4 점도 포함되어 있다. 즉, 4점을 더해 줘야 한다.
  • mortality효과의 점수상승효과도 포함되어 있다. 그러나 이 점수의 크기는 잘 모른다
  • 이를 모두 고려하면, 64 - (6 - 4) = 62점
  • 62점이 treatment 효과이다.
• 마지막으로
  • 그룹 2의 pre-test 점수의 평균인 34점이나 그룹 1의 30점은
  • history + maturation 점수의 효과가 없었다면 post-test 때까지 지속되어야 한다.
  • 우리는 이 변화한 6점을 history + maturation이라고 하였다.
  • 만약에 위의 6점의 효과를 배제하려면
    • 34 와 30 점의 평균인 32점이 random하게 시작되는 pre-test의 점수라고 할 수 있고, 이것이 30점으로 된 것이 history 의 효과라고 볼 수도 있다.
    • 즉, -2 점은 외부환경변화 효과라고 할 수 있다.
• 따라서 제일 처음의 분석인 그룹 2의 6점 차이에는
  • -2점이 포함되어 있고 이 -2점이 history 효과이다.
  • 따라서 matruation + reactivity 효과가 6 에서 -2 점을 뺀 점수인 8점이 있다고 하겠다.

Solomon Four Group Design 참조