Differences

This shows you the differences between two versions of the page.

--- experimental_design [2020/05/26 18:44] – [Solomon Four Group Design] hkimscil
+++ experimental_design [2024/05/16 10:28] (current) – [Solomon Four Group Design] hkimscil
@@ Line 18: / Line 18: @@
 실험과 관련된 개념으로는 아래와 같은 것들이 있다.
   - IV and DV (Independent variable and dependent variable): [[:types_of_variables|Variable Identification]] 참조
-  - pre-testing and post-testing
+  - pre-testing and post-testing (Within subject group design)
-  - control group and experiment group
+    - pre-test -- post1 -- post2 --- post 3 (동일그룹 = within group)
-    * [[Double blind experiment]] (이중눈가림 실험)
+  - control group and experiment group (Between group design)
+    - no-treatment group (control) -- treatment A -- treatment B -- treatment C
+    * assignment of subjects: [[Double blind experiment]] (이중눈가림 실험)
 실험을 위해서는 실험참가자(subject, or experiment participants)를 모집해야 하는데, 이와 관련해서는 아래와 같은 이슈가 중요하다.
@@ Line 31: / Line 33: @@
   * 실험의 가장 큰 장점은 상황을 컨트롤하여 원인이 되는 변인과 결과의 과정을 과학적으로 유추해 내기 용이한 것이다.
-====== Experimental design ======
+====== Terms in Experiment Design ======
-===== 용어들 =====
 실험은 대개 아래의 기호를 사용하여 간단히 도식화한다.
@@ Line 50: / Line 51: @@
 [[:Threats to Internal Validity]]
+====== Experiment Design ======
 ===== Post-test only control group =====
@@ Line 79: / Line 80: @@
 |  R  |  O<sub>2-1</sub>  |     |  O<sub>2-2</sub>  |
+pre-test 자체가 영향을 주는지를 확인할 수 있는 잇점
 ===== Solomon Four Group Design =====
 위의 pre-test post-test control group design에서 pre-test (O<sub>1-1</sub> O<sub>1-2</sub>) 자체가 실험 결과에 영향을 줄 수 있다 (e.g.,  [[Reactivity]]와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 -- 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다. 이 방법은 [[Validity|external validity]]의 문제, 즉 generalization의 문제를 해결하기 위한 방안으로 사용된다.
-아래에서,
+[[:threats to internal validity]]
-  * Group 1, 2는 pre-test가 있는 그룹이고
+  * treatment effects 주효과
-  * Group 3, 4는 pre-test가 없고 post-test만 있는 그룹이다
-  * 이 둘 간의 차이는 pre-test 때문에 나타나는 것이라고 생각할 수 있다.
+  * history 외부사건효과
+  * maturation 참가자변화효과
+  * reactivity 반응효과 혹은 테스트효과 (호손효과, 관찰 혹은 측정 혹은 treatment만으로 영향을 받는 효과)
+  * selection 셀렉션효과 (그룹을 bias하게 고른 효과)
+  * mortality 참가자탈락효과
+  * diffusion of treatment (treatment 를 나누어서 생기는 효과)
+위의 주효과라고 부르는 treatment effect 외의 것들은 주효과 측정을 방해하는 즉, internal validity를 해하는 요소이다. 솔로몬 그룹 디자인은 이런 요소를 솎아 내서 파악할 수 있도록 해준다.
+아래와 같이 디자인한다.
 | Groups   | Assignment  | Observation 1 \\ pre-test | Treatment | Observation 2 \\ post-test  |
-| Group 1  |  R  |  O<sub>1-1</sub>  |      |  O<sub>1-2</sub>   |
+| Group 1  |  R  |  O<sub>11</sub>  |  X   |  O<sub>12</sub>   |
-| Group 2  |  R  |  O<sub>2-1</sub>  |  X   |  O<sub>2-2</sub>   |
+| Group 2  |  R  |  O<sub>21</sub>  |      |  O<sub>22</sub>   |
-| Group 3  |  R  |                   |      |  O<sub>3-2</sub>   |
+| Group 3  |  R  |                  |  X   |  O<sub>32</sub>   |
-| Group 4  |  R  |                   |  X   |  O<sub>4-2</sub>   |
+| Group 4  |  R  |                  |      |  O<sub>42</sub>   |
+위에서
+  * R = random assignment
+  * O = observation (test)
+  * x = treatment (처치)
+| Groups  | Assignment  | pre-test | Treatment | post-test |
+| Group O<sub>1</sub>  | R | 30 | X | 94 |
+| Group O<sub>2</sub>  | R | 34 |   | 40 |
+| Group O<sub>3</sub>  | R |    | X | 84 |
+| Group O<sub>4</sub>  | R |    |   | 30 |
+위에서
+  * X = treatment (abb 이용학습) 연구자는 abb를 이용한 학습이 효과가 있는지를 보고 싶다
+  * R = random assignment
-| Groups  | Assignment  | Observation | Treatment | Observation |
+이 때
-| Group O<sub>1</sub>  | R | 30 |   | 40 |
+  * history 외부사건효과 +   maturation 참가자변화효과 (?)
-| Group O<sub>2</sub>  | R | 35 | X | 95 |
+  * + reactivity 반응효과 혹은 프리테스트효과 (?)
-| Group O<sub>3</sub>  | R |    |   | 30 |
+    * 40 - 34 = 6
-| Group O<sub>4</sub>  | R |    | X | 85 |
+    * 이 6 점은 시간이 흘러서 나타난 효과로
+    * treatment 외에 어떤 영향력이 작용하여 이렇게 다른 점수가 나왔다고 주장할 수 있다
+    * 그 어떤 영향력으로는
+      * (1) 외부사건효과와
+      * (2) 참가자자신이변화한 효과, 그리고
+      * (3) pre-test의 효과를 들 수가 있다.
+    * 그러나, 참가자자신이변화한 효과가 있는지 없는지는 알 수 없다 (이 상황에서는)
+    * pre-test의 효과 크기도 포함되어 있음만을 안다.
+    * history + pre-test효과(reactivity) + maturation (?) = 6
+  * selection 셀렉션효과 (그룹을 bias하게 고른 효과)
+    * 34 - 30 = 4
+    * 이 4 점은 random하게 그룹을 구성했느데도 나타나는 무작위효과이다
+    * 그룹구성에 bias가 끼면 이 4점이 문제가 될 수도 있다.
+    * 그러나, 현재 점수는 작으므로 무시할 정도로 파악할 수 있다.
+    * 그럼에도 불구하고 우리는 이를 group selection효과라고 부르기로 한다
+  * mortality 참가자탈락효과
+    * Group O1의 94 - 30 점의 차이인 64 점에는
+    * treatment 때문에 나타나는 차이도 있지만
+    * history + maturation 때문에 나타난 차이,
+    * selection 효과 등이 포함되어 있다.
+    * 그 외에도 mortality 효과도 포함한다
+    * Group 1의 구성원 평균은 94점이지만 이 점수는 아예 수업을 따라가지 못한 사람들 일부가 수업을 포기했기 때문이다. treatment가 너무 강도가 높아서든 어떤 요소 때문이었든 간에 일부 사람들이 빠짐으로서 종국의 평균 점수가 상승하는 효과가 나타났다. 이는 mortality 때문이다.
+  * testing 참가자체효과 (호손효과)
+    * 여기서 안나타났지만, 94, 40, 84, 30 점이 모두 비슷한 점수였다면, 이를 설명할 수 있는 것으로 observation 자체가 (실험에 참가한 것 자체가) 문제가 되어 점수가 비슷하게 되었다고 설명할 수도 있다. 이를 testing 효과 혹;은 호손효과 라고 한다. 여기서는 보이지 않는다.
+  * 94 - 30 = 64
+    * 64 점에는 treatment 효과도 있겠지만
+    * history effect로 여겼던 6점정도의 효과도 포함되어 있다고 생각하는 것이 논리적이다
+    * 거기에 랜덤하게 차이가 나타나는 selection 효과 4 점도 포함되어 있다. 즉, 4점을 더해 줘야 한다.
+    * mortality효과의 점수상승효과도 포함되어 있다. 그러나 이 점수의 크기는 잘 모른다
+    * 이를 모두 고려하면, 64 - (6 - 4) = 62점
+    * 62점이 treatment 효과이다.
+  * 마지막으로
+    * 그룹 2의 pre-test 점수의 평균인 34점이나 그룹 1의 30점은
+    * history + maturation 점수의 효과가 없었다면 post-test 때까지 지속되어야 한다.
+    * 우리는 이 변화한 6점을 history + maturation이라고 하였다.
+    * 만약에 위의 6점의 효과를 배제하려면
+      * 34 와 30 점의 평균인 32점이 random하게 시작되는 pre-test의 점수라고 할 수 있고, 이것이 30점으로 된 것이 history 의 효과라고 볼 수도 있다.
+      * 즉, -2 점은 외부환경변화 효과라고 할 수 있다.
+  * 따라서 제일 처음의 분석인 그룹 2의 6점 차이에는
+    * -2점이 포함되어 있고 이 -2점이 history 효과이다.
+    * 따라서 matruation + reactivity 효과가 6 에서 -2 점을 뺀 점수인 8점이 있다고 하겠다.
 [[Solomon Four Group Design]] 참조