User Tools

Site Tools


experimental_design

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
Last revisionBoth sides next revision
experimental_design [2020/05/26 18:26] – [Solomon Four Group Design] hkimscilexperimental_design [2021/05/03 07:58] hkimscil
Line 31: Line 31:
   * 실험의 가장 큰 장점은 상황을 컨트롤하여 원인이 되는 변인과 결과의 과정을 과학적으로 유추해 내기 용이한 것이다.   * 실험의 가장 큰 장점은 상황을 컨트롤하여 원인이 되는 변인과 결과의 과정을 과학적으로 유추해 내기 용이한 것이다.
  
-====== Experimental design ====== +====== Terms in Experiment Design ======
-===== 용어들 =====+
 실험은 대개 아래의 기호를 사용하여 간단히 도식화한다.  실험은 대개 아래의 기호를 사용하여 간단히 도식화한다. 
  
Line 50: Line 49:
  
 [[:Threats to Internal Validity]] [[:Threats to Internal Validity]]
 +====== Experiment Design ======
 ===== Post-test only control group ===== ===== Post-test only control group =====
  
Line 83: Line 82:
 위의 pre-test post-test control group design에서 pre-test (O<sub>1-1</sub> O<sub>1-2</sub>) 자체가 실험 결과에 영향을 줄 수 있다 (e.g.,  [[Reactivity]]와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 -- 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다. 이 방법은 [[Validity|external validity]]의 문제, 즉 generalization의 문제를 해결하기 위한 방안으로 사용된다. 위의 pre-test post-test control group design에서 pre-test (O<sub>1-1</sub> O<sub>1-2</sub>) 자체가 실험 결과에 영향을 줄 수 있다 (e.g.,  [[Reactivity]]와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 -- 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다. 이 방법은 [[Validity|external validity]]의 문제, 즉 generalization의 문제를 해결하기 위한 방안으로 사용된다.
  
-| Groups   | Assignment  | Observation 1 \\ pre-test | Treatment | Observation 2 \\ post-test  |  | +[[:threats to internal validity]] 
-| Group 1  |  R  |  O<sub>1-1</sub>  |      |  O<sub>1-2</sub>   | 1. Group 1 + 2 \\ = pre-test를 받은 그룹   | +  * treatment effects 주효과
-| Group 2  |  R  |  O<sub>2-1</sub>  |  X    O<sub>2-2</sub>   :::   | +
-| Group 3  |  R  |                        |  O<sub>3-2</sub>   | 2. Group 3 + 4 \\ = post-test를 받은 그룹 +
-| Group 4  |  R  |                    X    O<sub>4-2</sub>   | :::  |+
  
-위에서, 그룹3과 그룹4가 다를 경우, 실험는 이것이 X(treatment)에 의해서 이루어진 것임을 안다. 더우기 그룹1과 2의 차이가 그룹3과 4의 차이와 유사(동일)할 경우, 실험는 pretest 효과는 없었다는 것을 알고, 자신의 treatment의 validity를 더 확고히 할 수 있다.  +  * history 외부사건효 
 +  * maturation 참가자변화효과 
 +  * reactivity 반응효과 혹은 테스트효과 
 +  * selection 셀렉션효과 (그룹을 bias하게 고른 효
 +  * mortality 참자탈락효 
 +  * testing (diffusion of treatment참가효과 (호손효과)
  
-| Groups   | Assignment  | Observation 1 \\ pre-test | Treatment | Observation 2 \\ post-test  |  | +위의 주효과라고 부르는 treatment effect 외의 것들은 주효과 측정을 방해하는 즉, internal validity를 해하는 요소이다. 솔로몬 그룹 디자인은 이런 요소를 솎아 내서 파악할 수 있도록 해준다. 
-| Group 2  |  R  |  O<sub>2-1</sub>  |  X    O<sub>2-2</sub>  | 3. Group 2 + 4  \\ = treatment를 받은 그룹 | +아래와 같이 디자인한다
-| Group 4  |  R  |                    X    O<sub>4-2</sub>  | :::  | +
-| Group 1  |  R  |  O<sub>1-1</sub>  |      |  O<sub>1-2</sub>  | 4Group 1 + 3 \\ = treatment를 받지 않은 그룹   | +
-| Group 3  |  R  |                        |  O<sub>3-2</sub>  | :::  |+
  
-과 셀을 비교하는 것은 treatment의 효과가 있었는가를 보는 것이 된다.+| Groups   | Assignment  | Observation 1 \\ pre-test | Treatment | Observation 2 \\ post-test 
 +| Group 1  |  R  |  O<sub>11</sub>  |  X    O<sub>12</sub>   |  
 +| Group 2  |  R  |  O<sub>21</sub>  |      |  O<sub>22</sub>   |  
 +| Group   R  |                  |  X    O<sub>32</sub>   |  
 +| Group   R  |                  |      |  O<sub>42</sub>   
  
----- +에서  
-아래는 좀 더 정교하게 상황을 본 것으로 2-way ANOVA에서 방법을 따왔다.+  * R = random assignment 
 +  * O = observation (test) 
 +  * x = treatment (처치)
  
-|  |  no-x  |  x  | || +Groups  Assignment  | pre-test Treatment post-test 
-pre-test  |  O<sub>1-2</sub>  O<sub>2-2</sub>  $ \overline{X}_\text{pre-test}$  Row Means  +Group O<sub>1</sub> R | 30 | X | 94 | 
-post-test  |  O<sub>3-2</sub>  O<sub>4-2</sub>  $ \overline{X}_\text{post-test} $  | :::  | +| Group O<sub>2</sub> 34 |   | 40 
-| |$ \overline{X}_\text{no-x} $ |  $ \overline{X}_\text{x} $ | | | +Group O<sub>3</sub> R |    | X | 84 | 
-| |  Column Mean  || | |+| Group O<sub>4</sub>      30 |
  
-  - 만약에 Row means 가 서로 다르다면 -> pre-test와 post-test간에 차이가 있다는 것을 의미하고 -> pre-test의 영향력이 있었다는 것을 의미. 
-  - 만약에 Column means 가 서로 다르다면 -> x 와 no-x 간에 차이가 있다는 것을 의미하고 (즉, treatment가 있고 없는 차이) -> 이는 실험처치 (x) 의 영향력이 있었다는 것을 의미.  
-  - 만약에 4개의 cell이 서로 다르다면 -> 두 개의 콘디션 (x vs. no-x 와 pre vs. post) 의 상호작용이 있었다는 것을 의미할 것. 
 위에서  위에서 
-  * 1, 2 main effects +  * treatment (abb 이용학습) 연구자는 abb를 이용한 학습이 효과가 있는지를 보고 싶다 
-  * interaction effects+  * random assignment
  
-| Groups  | Assignment  | Observation | Treatment | Observation | +이 때 
-| Group O<sub>1</sub>  | R | 30 |   | 40 | +  * history 외부사건효과 +   maturation 참가자변화효과 (?) 
-| Group O<sub>2</sub>  | R | 35 | X | 95 | +  * + reactivity 반응효과 혹은 프리테스트효과 (?) 
-Group O<sub>3</sub>  | R |    |   30 | +    * 40 - 34 = 6  
-| Group O<sub>4</sub>  | R |    | X | 85 |+    * 이 6 점은 시간이 흘러서 나타난 효과로 
 +    * treatment 외에 어떤 영향력이 작용하여 이렇게 다른 점수가 나왔다고 주장할 수 있다 
 +    * 그 어떤 영향력으로는  
 +      * (1) 외부사건효과와  
 +      * (2) 참가자자신이변화한 효과, 그리고  
 +      * (3) pre-test의 효과를 들 수가 있다.  
 +    * 그러나, 참가자자신이변화한 효과가 있는지 없는지는 알 수 없다 (이 상황에서는) 
 +    * pre-test의 효과 크기도 포함되어 있음만을 안다. 
 +    * history + pre-test효과(reactivity) + maturation (?) = 6 
 +  * selection 셀렉션효과 (그룹을 bias하게 고른 효과) 
 +    * 34 - 30 = 4  
 +    * 이 4 점은 random하게 그룹을 구성했느데도 나타나는 무작위효과이다 
 +    * 그룹구성에 bias가 끼면 이 4점이 문제가 될 수도 있다.  
 +    * 그러나, 현재 점수는 작으므로 무시할 정도로 파악할 수 있다.  
 +    * 그럼에도 불구하고 우리는 이를 group selection효과라고 부르기로 한다 
 +  * mortality 참가자탈락효과 
 +    * 94 - 30 점의 차이인 64 점에는 
 +    * treatment 때문에 나타나는 차이도 있지만 
 +    * history + maturation 때문에 나타난 차이,  
 +    * selection 효과 등이 포함되어 있다.  
 +    * 그 외에도 mortality 효과도 포함한다 
 +    * Group 1의 구성원 평균은 95점이지만 이 점수는 아예 수업을 따라가지 못한 사람들 일부가 수업을 포기했기 때문이다. treatment가 너무 강도가 높아서든 어떤 요소 때문이었든 간에 일부 사람들이 빠짐으로서 종국의 평균 점수가 상승하는 효과가 나타났다. 이는 mortality 때문이다. 
 +  * testing (diffusion of treatment) 참가자체효과 (호손효과) 
 +    * 여기서 안나타났지만, 94, 40, 84, 30 점이 모두 비슷한 점수였다면, 이를 설명할 수 있는 것으로 observation 자체가 (실험에 참가한 것 자체가) 문제가 되어 점수가 비슷하게 되었다고 설명할 수도 있다. 이를 testing 효과라고 한다. 여기서는 보이지 않는다. 
 +  * 94 - 30 = 64  
 +    * 64 점에는 treatment 효과도 있겠지만  
 +    * history effect로 여겼던 6점정도의 효과도 포함되어 있다고 생각하는 것이 논리적이다 
 +    * 거기에 랜덤하게 차이가 나타나는 selection 효과 점도 포함되어 있다. 즉, 4점을 더해 줘야 한다.  
 +    * mortality효과의 점수상승효과도 포함되어 있다. 그러나 이 점수의 크기는 잘 모른다 
 +    * 이를 모두 고려하면, 64 - (6 - 4) = 62점  
 +    * 62점이 treatment 효과이다. 
 +  * 마지막으로 
 +    * 그룹 2의 pre-test 점수의 평균인 34점이나 그룹 1의 30점은  
 +    * history + maturation 점수의 효과가 없었다면 post-test 때까지 지속되어야 한다.  
 +    * 우리는 이 변화한 6점을 history + maturation이라고 하였다.  
 +    * 만약에 위의 6점의 효과를 배제하려면 
 +      * 34 와 30 점의 평균인 32점이 random하게 시작되는 pre-test의 점수라고 할 수 있고, 이것이 30점으로 된 것이 history 의 효과라고 볼 수도 있다.  
 +      * 즉, -2 점은 외부환경변화 효과라고 할 수 있다.  
 +  * 따라서 제일 처음의 분석인 그룹 2의 6점 차이에는 
 +    * -2점이 포함되어 있고 이 -2점이 history 효과이다.  
 +    * 따라서 matruation + reactivity 효과가 6 에서 -2 점을 뺀 점수인 8점이 있다고 하겠다.
  
  
 [[Solomon Four Group Design]] 참조 [[Solomon Four Group Design]] 참조
-[[Factorial ANOVA]] 참조 
- 
-Do not consider design 8 and 8 - after . . . . 
- 
  
experimental_design.txt · Last modified: 2021/05/10 08:21 by hkimscil

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki