실험(experiments)이라 함은 주로 심리학적인 연구에서 많이 쓰이는 연구방법 혹은 디자인 중에 하나이다. 이론을 소개하면서, attribute적인 입장에 대해서 이야기 했었는데, 여기서 다시 정리를 하자면, attribute적인 접근방법은 인간에 대한 일종의 기재(원리, 원칙)를 밝히는 것을 기본적인 목적으로 하고, 이런 기재가 다른 사람에게도 공통적으로 적용이 될 수 있으므로 이를 통해서 전체(사회)를 파악할 수 있다는 입장이다.

전통적으로 심리학적인 입장이다. Barbie는, 실험(experiements)이 잘 정리된 개념(concepts)이나 명제(propositions)에 대한 조사연구에 적합하다고 하였는데, 이는 바로 attribute 입장의 연구와 맥락을 같이 한다는 것을 뜻한다.

가령 예를 하나 들자면, 외국인 노동자에 대한 편견을 줄이는 방법에 관한 연구를 위해서 실험을 실시해 볼 수 있다. 60년대와 70년대 한국에서 건너 간 독일과 미국 등지의 이민자들의 생활상을 그린 도큐멘타리물을 시청하는 것이 외국인노동자에 대한 편견을 줄일 수 있을 것이라는 가정을 하고 가설을 세울 수 있다.

이런 가설을 테스트하기 위해서 실험(experiment)를 디자인 할 수 있는데, 실험 참가자를 모집하여 두 그룹(A and B)으로 나누고, A 그룹은 도큐멘타리를 시청하도록 하고, B 그룹은 다른 다른 종류의 영상물을 시청하도록 한 후, 외국인 노동자에 대한 편견을 측정하는 방법을 사용할 수 있다.

물론, 가설(60년대와 70년대 한국에서 건너 간 독일과 미국 등지의 이민자들의 생활상을 그린 도큐멘타리물을 시청하는 것이 외국인노동자에 대한 편견을 줄일 수 있을 것)을 테스트하기 위해서, 도큐멘타리 영상물을 방영하고, 이에 대한 효과를 전국적인 규모의 서베이를 통해서 측정하는 방법도 있을 수 있겠지만, 이런 상당한 규모의 예산과 시간을 필요로 하고, 또한, 무엇보다 중요하게, 영상물 방영의 효과의 유/무를 알지 못한채 방영시간대를 사용하는 것이 비효율적일 수 있다. 따라서, 먼저 제시한 것처럼 실험을 통해서 그 효과를 측정해 보는 것이 좋은 방법이 될 수 있다.

또 다른 예로는, 모바일 디바이스의 사용이 조직의 커뮤니케이션 능력을 향상시켜 궁극적으로는 일에 대한 만족감과 동료에 대한 신뢰감, 그리고 업무능력의 향상을 가져 온다는 가설을 생각해 볼 수 있다.

이를 위해서, 연구자는 3-4개의 그룹의 실험 참가자에게 problem solving task를 부여하고, 각각 다른 종류의 모바일 커뮤니케이션 디바이스를 준 후에, 어떤 결과가 나오는 지를 관찰해 볼 수 있다. 만약에 어떤 이유로든지간에 이런 실험의 설계가 어렵다면, 실제로 존재하는 조직과 협력하여 실제 조직생활을 하는 그룹을 대상으로 실험설계를 하고, 그 결과를 분석 할 수 있는데, 이런 방법은 실제로 통제된 실험의 범주를 약간 벗어나므로, 유사실험(quasi-experiment)이라고 부른다.

첫 번째 예에서 소개하였듯이, 실험은 그룹을 인위적으로 나누고, 실험 참가자(participants)로 하여금 효과를 기대하는 그 어떤 것을 주입, 투여, 복용, 시청하도록 하고 그 효과를 측정하는 것을 말하므로, 연구자는 면밀한 계획을 바탕으로 엄격한 통제를 할 수 있다. 반면에 두 번째 예에서의 유사실험의 경우는 이런 통제의 가능성이 많이 줄게 된다. 어떤 방법을 택하느냐는 연구자에게 달려 있다.

실험과 관련된 개념으로는 아래와 같은 것들이 있다.

1. IV and DV (Independent variable and dependent variable): Variable Identification 참조
2. pre-testing and post-testing
3. control group and experiment group
   • Double blind experiment (이중눈가림 실험)

실험을 위해서는 실험참가자(subject, or experiment participants)를 모집해야 하는데, 이와 관련해서는 아래와 같은 이슈가 중요하다.

1. probability sampling
2. randomization
   • 차이점: random selection and random assignment

• 실험을 하면서 실험참가자가 모집단을 대표하는 성격을 갖기를 바라는 것은 쉽지 않다. 그리고, 실험이라는 연구방법을 사용하는 사람의 입장에는 어떤 사람이 참여하더라도 그 사람은 전체를 구성하는 개인으로서 다른 사람을 생물학적, 심리학적, 사회심리학적으로 대신할 수 있다는 (일종의 물리학적인) 입장을 견지하게 된다. 즉, 실험에 참여하는 사람의 확률적인 표본으로서의 모집단 대표성에는 크게 신경을 쓰지 않는다.
• 그 보다는 위에서 언급한 것처럼 참여자를 실험그룹들과 (experiment group) 제어그룹 (control group) 등으로 나눌 때, 나누는 연구자 혹은 실험설계자가 의도적 혹은 비의도적으로 편향적인 그룹화를 할 가능성이 있게된다. 이를 피하기 위해서 가장 많이 사용되는 방법이 random assignment이다.
• 예를 들면 실험진행자, 혹은 x 제약회사를 대표하는 연구자 A는 3가지 종류의 약과 (w, x (x사의 제품), y) 한가지 유사약에 (placebo, z) 대한 효과를 판단하고자 한다. 궁극적인 목표는 약 x가 다른 약들에 비해서 효과가 있다는 것을 검증하려고 하는 것인데, x사에 소속된 연구자는 이 실험에 성공하여 약이 시판되도록 하기 위한 무언, 유언의 압력에 증상이 덜한 사람을 x 약을 복용하는 군에 지정할 수도 있게 된다. 이런 bias를 방지하기 위해서 연구자는 참자가 개인에게 약을 투여하면서도 해당 약이 어느 회사것인지를 알 수 없도록 하는 방법을 쓰는데 이를 random selection 혹은 random assignment 라고 한다.
• 실험의 가장 큰 장점은 상황을 컨트롤하여 원인이 되는 변인과 결과의 과정을 과학적으로 유추해 내기 용이한 것이다.

실험은 대개 아래의 기호를 사용하여 간단히 도식화한다.

1. 'O' :: Observations or Measures
   • 'O' 로 표기되는 디자인 표시는 (어떤 것을) 측정(measure)함을 나타낸다. 가령 IQ테스트는 이 측정방법을 통해서 실험참가자의 지적능력을 재는 것을 의미한다. 이 때 IQ test는 'O'로 표시할 수 있다. 측정은 여러가지로 실시 될 수 있는데, (1) 한가지 목적을 위해서 한번의 측정을 하는 것 (single measure; 가령, 발바닥의 길이를 재는 것); (2) 한가지 개념이나 구성을 위해서 여러개의 측정을 하는 것 (가령, self-exteem을 위해서 열개의 문항을 제시하는 것); (3) 보다 복잡하게 여러가지 개념이나 구성을 위해서 다양한 측정을 하는 것 (가령, IQ test 혹은 survey) 등이 그 예이다. 'O'는 이런 측정을 나타내기 위해서 쓰는 기호이다. 만약에 여러개의 측정을 동시에 표시하고 싶다면 번호를 붙여서 표시를 한다 ('O1', 'O2', 'O3' 등등)

1. 'X' :: Treatments or Programs
   • 'X'로 표시되는 이것은 '처방(투약, 시청, 주입, 복용, 교육 등등)의 실시'를 의미한다. 외국인 노동자에 대한 편견의 완화를 위해서 재외 한국인노동자들의 도큐멘타리를 시청시키는 것이 treatment 혹은 program이다. 이런 treatment를 받았을 때에는 'X'를 표시하고, treatment를 받지 못한 그룹의 경우는 아무런 표시를 하지 않는다. 여러번의 treatment를 행하고 이를 구분할 필요가 있다면, 'X1', 'X2', 등으로 표시를 한다.

1. lines :: Groups
   • 실험을 기술하는 도식에서 각각의 라인(선)들은 실험에 참가한 그룹을 가르킨다. 즉, 도식에 4개의 라인이 있다면, 그 실험에 4개의 그룹이 존재하는 것을 의미한다.

1. Assignment to group
   • 실험참가자들은 실험에 필요한 그룹에 할당되는데 (assigned), 이를 기호화 하여 표시를 한다. 이에 사용되는 기호로는 'R', 'N', 'C' 등이 있는데 각각, random assignment, non-equivalent assignment, cut-off assignment를 가르킨다.

위의 4가지 방법을 섞어서 사용하면 아래와 같은 실험 디자인을 계획할 수 있다. 일반적으로 연구자가 실험을 디자인할 때 고려해야 할 사항으로는 (1) ranomization을 통한 assignment를 할 것인가?; (2) control 그룹과 experiment 그룹이 필요한 가에 관한 것이 있다. 이 결정을 통해서 다양한 실험디자인이 만들어 지게 된다.

Threats to Internal Validity

Randomized post-test only control group design () 혹은
Static Group Comparison design

같은 맥락에서, 아래는 One group post test only design (단일집단 사후조사)

One group pre-test post-test design

Pre-test Pos-ttest design 혹은
Control Group Pre-test Post-test design
Pre-test Post-test Control Group design 혹은

위의 pre-test post-test control group design에서 pre-test (O_1-1 O_1-2) 자체가 실험 결과에 영향을 줄 수 있다 (e.g., Reactivity와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 – 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다. 이 방법은 external validity의 문제, 즉 generalization의 문제를 해결하기 위한 방안으로 사용된다.

위에서, 그룹3과 그룹4가 다를 경우, 실험자는 이것이 X(treatment)에 의해서 이루어진 것임을 안다. 더우기 그룹1과 2의 차이가 그룹3과 4의 차이와 유사(동일)할 경우, 실험자는 pretest 효과는 없었다는 것을 알고, 자신의 treatment의 validity를 더 확고히 할 수 있다.

아래는 좀 더 정교하게 상황을 본 것으로 2-way ANOVA에서 방법을 따왔다.

1. 만약에 Row means 가 서로 다르다면 → pre-test와 post-test간에 차이가 있다는 것을 의미하고 → pre-test의 영향력이 있었다는 것을 의미.
2. 만약에 Column means 가 서로 다르다면 → x 와 no-x 간에 차이가 있다는 것을 의미하고 (즉, treatment가 있고 없는 차이) → 이는 실험처치 (x) 의 영향력이 있었다는 것을 의미.
3. 만약에 4개의 cell이 서로 다르다면 → 두 개의 콘디션 (x vs. no-x 와 pre vs. post) 의 상호작용이 있었다는 것을 의미할 것.

위에서

• 1, 2 = main effects
• 3 = interaction effects

Solomon Four Group Design 참조
Factorial ANOVA 참조

Do not consider design 8 and 8 - after . . . .