User Tools

Site Tools


experimental_design

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
experimental_design [2016/11/07 09:52] – [용어들] hkimscilexperimental_design [2021/05/10 08:21] (current) – [Solomon Four Group Design] hkimscil
Line 17: Line 17:
  
 실험과 관련된 개념으로는 아래와 같은 것들이 있다. 실험과 관련된 개념으로는 아래와 같은 것들이 있다.
-  - IV and DV (Independent variable and dependent variable): [[:types_of_variable|Variable Identification]] 참조+  - IV and DV (Independent variable and dependent variable): [[:types_of_variables|Variable Identification]] 참조
   - pre-testing and post-testing   - pre-testing and post-testing
   - control group and experiment group   - control group and experiment group
Line 26: Line 26:
   - randomization   - randomization
     * 차이점: random selection and random assignment      * 차이점: random selection and random assignment 
 +  * 실험을 하면서 실험참가자가 모집단을 대표하는 성격을 갖기를 바라는 것은 쉽지 않다. 그리고, 실험이라는 연구방법을 사용하는 사람의 입장에는 어떤 사람이 참여하더라도 그 사람은 전체를 구성하는 개인으로서 다른 사람을 생물학적, 심리학적, 사회심리학적으로 대신할 수 있다는 (일종의 물리학적인)  입장을 견지하게 된다. 즉, 실험에 참여하는 사람의 확률적인 표본으로서의 모집단 대표성에는 크게 신경을 쓰지 않는다. 
 +  * 그 보다는  위에서 언급한 것처럼 참여자를 실험그룹들과 (experiment group) 제어그룹 (control group) 등으로 나눌 때, 나누는 연구자 혹은 실험설계자가 의도적 혹은 비의도적으로 편향적인 그룹화를 할 가능성이 있게된다. 이를 피하기 위해서 가장 많이 사용되는 방법이 random assignment이다. 
 +  * 예를 들면 실험진행자, 혹은 x 제약회사를 대표하는 연구자 A는 3가지 종류의 약과 (w, x (x사의 제품), y) 한가지 유사약에 (placebo, z) 대한 효과를 판단하고자 한다. 궁극적인 목표는 약 x가 다른 약들에 비해서 효과가 있다는 것을 검증하려고 하는 것인데, x사에 소속된 연구자는 이 실험에 성공하여 약이 시판되도록 하기 위한 무언, 유언의 압력에 증상이 덜한 사람을 x 약을 복용하는 군에 지정할 수도 있게 된다. 이런 bias를 방지하기 위해서 연구자는 참자가 개인에게 약을 투여하면서도 해당 약이 어느 회사것인지를 알 수 없도록 하는 방법을 쓰는데 이를 random selection 혹은 random assignment 라고  한다.
 +  * 실험의 가장 큰 장점은 상황을 컨트롤하여 원인이 되는 변인과 결과의 과정을 과학적으로 유추해 내기 용이한 것이다.
  
-====== Experimental design ====== +====== Terms in Experiment Design ======
-===== 용어들 =====+
 실험은 대개 아래의 기호를 사용하여 간단히 도식화한다.  실험은 대개 아래의 기호를 사용하여 간단히 도식화한다. 
  
Line 46: Line 49:
  
 [[:Threats to Internal Validity]] [[:Threats to Internal Validity]]
 +====== Experiment Design ======
 ===== Post-test only control group ===== ===== Post-test only control group =====
  
Line 74: Line 77:
 |  R  |  O<sub>1-1</sub>  |  X  |  O<sub>1-2</sub>  | |  R  |  O<sub>1-1</sub>  |  X  |  O<sub>1-2</sub>  |
 |  R  |  O<sub>2-1</sub>  |      O<sub>2-2</sub>  | |  R  |  O<sub>2-1</sub>  |      O<sub>2-2</sub>  |
 +
  
 ===== Solomon Four Group Design ===== ===== Solomon Four Group Design =====
-위의 pre-test post-test control group design에서 pre-test (O<sub>1-1</sub> O<sub>1-2</sub>) 자체가 실험 결과에 영향을 줄 수 있다 (e.g.,  [[Reactivity]]와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 -- 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다. +위의 pre-test post-test control group design에서 pre-test (O<sub>1-1</sub> O<sub>1-2</sub>) 자체가 실험 결과에 영향을 줄 수 있다 (e.g.,  [[Reactivity]]와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 -- 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다. 이 방법은 [[Validity|external validity]]의 문제, 즉 generalization의 문제를 해결하기 위한 방안으로 사용된다.
  
-| Groups  | Assignment  | Observation | Treatment | Observation | +[[:threats to internal validity]] 
-| Group 1  |  R  |  O<sub>1-1</sub>  |  |  O<sub>1-2</sub> +  * treatment effects 주효과
-| Group 2  |  R  |  O<sub>2-1</sub>  |  X  |  O<sub>2-2</sub> +
-| Group 3  |  R  |  |    O<sub>3-2</sub> +
-| Group 4  |  R  |  |  X  |  O<sub>4-2</sub>  |+
  
-위에서, 그룹3과 그룹4가 다를 경우, 실험는 이것이 X(treatment)에 의해서 이루어진 것임을 안다. 더우기 그룹1과 2의 차이가 그룹3과 4의 차이와 유사(동일)할 경우, 실험는 pretest 효과는 없었다는 것을 알고, 자신의 treatment의 validity를 더 확고히 할 수 있다.  +  * history 외부사건효 
 +  * maturation 참가자변화효과 
 +  * reactivity 반응효과 혹은 테스트효과 
 +  * selection 셀렉션효과 (그룹을 bias하게 고른 효
 +  * mortality 참자탈락효 
 +  * testing (diffusion of treatment참가효과 (호손효과)
  
- |  no-x    | |+위의 주효과라고 부르는 treatment effect 외의 것들은 주효과 측정을 방해하는 즉, internal validity를 해하는 요소이다. 솔로몬 그룹 디자인은 이런 요소를 솎아 내서 파악할 수 있도록 해준다. 
-pre-test   O<sub>1-2</sub>  |  O<sub>2-2</sub>   $ \overline{X}_\text{pre-test}$  Row Means  +아래와 같이 디자인한다.  
-| post-test   O<sub>3-2</sub>  |  O<sub>4-2</sub>  |  $ \overline{X}_\text{post-test} $  :::  + 
-| |$ \overline{X}_\text{no-x} $ |  $ \overline{X}_\text{x} $ | | +Groups   Assignment  | Observation 1 \\ pre-test Treatment | Observation 2 \\ post-test  | 
-| |  Column Mean  || | |+Group 1  |  R   O<sub>11</sub>  |  X   |  O<sub>12</sub>    
 +| Group 2  |    O<sub>21</sub>  |      |  O<sub>22</sub>   |  
 +| Group 3  |                       |  O<sub>32</sub>   |  
 +Group 4  |                          O<sub>42</sub>   
  
-  - 만약에 Row means 가 서로 다르다면 -> pre-test와 post-test간에 차이가 있다는 것을 의미하고 -> pre-test의 영향력이 있었다는 것을 의미. 
-  - 만약에 Column means 가 서로 다르다면 -> x 와 no-x 간에 차이가 있다는 것을 의미하고 (즉, treatment가 있고 없는 차이) -> 이는 실험처치 (x) 의 영향력이 있었다는 것을 의미.  
-  - 만약에 4개의 cell이 서로 다르다면 -> 두 개의 콘디션 (x vs. no-x 와 pre vs. post) 의 상호작용이 있었다는 것을 의미할 것. 
 위에서  위에서 
-  * 1, 2 main effects +  * random assignment 
-  * interaction effects+  * observation (test) 
 +  * x = treatment (처치)
  
-| Groups  | Assignment Observation | Treatment | Observation +| Groups  | Assignment pre-test | Treatment | post-test 
-| Group O<sub>1</sub>  | R | 30 |   40 +| Group O<sub>1</sub>  | R | 30 | 94 
-| Group O<sub>2</sub>  | R | 35 95 +| Group O<sub>2</sub>  | R | 34   40 
-| Group O<sub>3</sub>  | R |    |   30 +| Group O<sub>3</sub>  | R |    | 84 
-| Group O<sub>4</sub>  | R |    | 85 |+| Group O<sub>4</sub>  | R |    |   30 |
  
 +위에서 
 +  * X = treatment (abb 이용학습) 연구자는 abb를 이용한 학습이 효과가 있는지를 보고 싶다
 +  * R = random assignment
  
-[[Solomon Four Group Design]]  +이 때 
-[[Factorial ANOVA]] +  * history 외부사건효과 +   maturation 참가자변화효과 (?) 
 +  * + reactivity 반응효과 혹은 프리테스트효과 (?) 
 +    * 40 - 34 = 6  
 +    * 이 6 점은 시간이 흘러서 나타난 효과로 
 +    * treatment 외에 어떤 영향력이 작용하여 이렇게 다른 점수가 나왔다고 주장할 수 있다 
 +    * 그 어떤 영향력으로는  
 +      * (1) 외부사건효과와  
 +      * (2) 참가자자신이변화한 효과, 그리고  
 +      * (3) pre-test의 효과를 들 수가 있다.  
 +    * 그러나, 참가자자신이변화한 효과가 있는지 없는지는 알 수 없다 (이 상황에서는) 
 +    * pre-test의 효과 크기도 포함되어 있음만을 안다. 
 +    * history + pre-test효과(reactivity) + maturation (?) = 6 
 +  * selection 셀렉션효과 (그룹을 bias하게 고른 효과) 
 +    * 34 - 30 = 4  
 +    * 이 4 점은 random하게 그룹을 구성했느데도 나타나는 무작위효과이다 
 +    * 그룹구성에 bias가 끼면 이 4점이 문제가 될 수도 있다.  
 +    * 그러나, 현재 점수는 작으므로 무시할 정도로 파악할 수 있다.  
 +    * 그럼에도 불구하고 우리는 이를 group selection효과라고 부르기로 한다 
 +  * mortality 참가자탈락효과 
 +    * 94 - 30 점의 차이인 64 점에는 
 +    * treatment 때문에 나타나는 차이도 있지만 
 +    * history + maturation 때문에 나타난 차이,  
 +    * selection 효과 등이 포함되어 있다.  
 +    * 그 외에도 mortality 효과도 포함한다 
 +    * Group 1의 구성원 평균은 94점이지만 이 점수는 아예 수업을 따라가지 못한 사람들 일부가 수업을 포기했기 때문이다. treatment가 너무 강도가 높아서든 어떤 요소 때문이었든 간에 일부 사람들이 빠짐으로서 종국의 평균 점수가 상승하는 효과가 나타났다. 이는 mortality 때문이다. 
 +  * testing (diffusion of treatment) 가자체효과 (호손효과) 
 +    * 여기서 안나타났지만, 94, 40, 84, 30 점이 모두 비슷한 점수였다면, 이를 설명할 수 있는 것으로 observation 자체가 (실험에 가한 것 자체가) 문제가 되어 점수가 비슷하게 되었다고 설명할 수도 있다. 이를 testing 효과라고 한다. 여기서는 보이지 않는다. 
 +  * 94 - 30 = 64  
 +    * 64 점에는 treatment 효과도 있겠지만  
 +    * history effect로 여겼던 6점정도의 효과도 포함되어 있다고 생각하는 것이 논리적이다 
 +    * 거기에 랜덤하게 차이가 나타나는 selection 효과 4 점도 포함되어 있다. 즉, 4점을 더해 줘야 한다.  
 +    * mortality효과의 점수상승효과도 포함되어 있다. 그러나 이 점수의 크기는 잘 모른다 
 +    * 이를 모두 고려하면, 64 - (6 - 4) = 62점  
 +    * 62점이 treatment 효과이다. 
 +  * 마지막으로 
 +    * 그룹 2의 pre-test 점수의 평균인 34점이나 그룹 1의 30점은  
 +    * history + maturation 점수의 효과가 없었다면 post-test 때까지 지속되어야 한다.  
 +    * 우리는 이 변화한 6점을 history + maturation이라고 하였다.  
 +    * 만약에 위의 6점의 효과를 배제하려면 
 +      * 34 와 30 점의 평균인 32점이 random하게 시작되는 pre-test의 점수라고 할 수 있고, 이것이 30점으로 된 것이 history 의 효과라고 볼 수도 있다.  
 +      * 즉, -2 점은 외부환경변화 효과라고 할 수 있다.  
 +  * 따라서 제일 처음의 분석인 그룹 2의 6점 차이에는 
 +    * -2점이 포함되어 있고 이 -2점이 history 효과이다.  
 +    * 따라서 matruation + reactivity 효과가 6 에서 -2 점을 뺀 점수인 8점이 있다고 하겠다.
  
-Do not consider design 8 and 8 - after . . . . 
  
 +[[Solomon Four Group Design]] 참조
  
experimental_design.1478481755.txt.gz · Last modified: 2016/11/07 09:52 by hkimscil

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki