User Tools

Site Tools


experimental_design

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
experimental_design [2016/11/07 09:44] hkimscilexperimental_design [2021/05/10 08:21] (current) – [Solomon Four Group Design] hkimscil
Line 17: Line 17:
  
 실험과 관련된 개념으로는 아래와 같은 것들이 있다. 실험과 관련된 개념으로는 아래와 같은 것들이 있다.
-  - IV and DV (Independent variable and dependent variable): [wiki:../VariablesIdentification Variable Identification 참조]+  - IV and DV (Independent variable and dependent variable): [[:types_of_variables|Variable Identification]] 참조
   - pre-testing and post-testing   - pre-testing and post-testing
   - control group and experiment group   - control group and experiment group
-    * double blind experiment+    * [[Double blind experiment]] (이중눈가림 실험)
  
 실험을 위해서는 실험참가자(subject, or experiment participants)를 모집해야 하는데, 이와 관련해서는 아래와 같은 이슈가 중요하다.  실험을 위해서는 실험참가자(subject, or experiment participants)를 모집해야 하는데, 이와 관련해서는 아래와 같은 이슈가 중요하다. 
Line 26: Line 26:
   - randomization   - randomization
     * 차이점: random selection and random assignment      * 차이점: random selection and random assignment 
 +  * 실험을 하면서 실험참가자가 모집단을 대표하는 성격을 갖기를 바라는 것은 쉽지 않다. 그리고, 실험이라는 연구방법을 사용하는 사람의 입장에는 어떤 사람이 참여하더라도 그 사람은 전체를 구성하는 개인으로서 다른 사람을 생물학적, 심리학적, 사회심리학적으로 대신할 수 있다는 (일종의 물리학적인)  입장을 견지하게 된다. 즉, 실험에 참여하는 사람의 확률적인 표본으로서의 모집단 대표성에는 크게 신경을 쓰지 않는다. 
 +  * 그 보다는  위에서 언급한 것처럼 참여자를 실험그룹들과 (experiment group) 제어그룹 (control group) 등으로 나눌 때, 나누는 연구자 혹은 실험설계자가 의도적 혹은 비의도적으로 편향적인 그룹화를 할 가능성이 있게된다. 이를 피하기 위해서 가장 많이 사용되는 방법이 random assignment이다. 
 +  * 예를 들면 실험진행자, 혹은 x 제약회사를 대표하는 연구자 A는 3가지 종류의 약과 (w, x (x사의 제품), y) 한가지 유사약에 (placebo, z) 대한 효과를 판단하고자 한다. 궁극적인 목표는 약 x가 다른 약들에 비해서 효과가 있다는 것을 검증하려고 하는 것인데, x사에 소속된 연구자는 이 실험에 성공하여 약이 시판되도록 하기 위한 무언, 유언의 압력에 증상이 덜한 사람을 x 약을 복용하는 군에 지정할 수도 있게 된다. 이런 bias를 방지하기 위해서 연구자는 참자가 개인에게 약을 투여하면서도 해당 약이 어느 회사것인지를 알 수 없도록 하는 방법을 쓰는데 이를 random selection 혹은 random assignment 라고  한다.
 +  * 실험의 가장 큰 장점은 상황을 컨트롤하여 원인이 되는 변인과 결과의 과정을 과학적으로 유추해 내기 용이한 것이다.
  
-===== Experimental design ===== +====== Terms in Experiment Design ======
-==== 용어들 ====+
 실험은 대개 아래의 기호를 사용하여 간단히 도식화한다.  실험은 대개 아래의 기호를 사용하여 간단히 도식화한다. 
  
Line 43: Line 46:
     * 실험참가자들은 실험에 필요한 그룹에 할당되는데 (assigned), 이를 기호화 하여 표시를 한다. 이에 사용되는 기호로는 '''R''', '''N''', '''C''' 등이 있는데 각각, random assignment, non-equivalent assignment, cut-off assignment를 가르킨다.      * 실험참가자들은 실험에 필요한 그룹에 할당되는데 (assigned), 이를 기호화 하여 표시를 한다. 이에 사용되는 기호로는 '''R''', '''N''', '''C''' 등이 있는데 각각, random assignment, non-equivalent assignment, cut-off assignment를 가르킨다. 
  
-위의 4가지 방법을 섞어서 사용하면 아래와 같은 실험 디자인을 계획할 수 있다. 일반적으로 연구자가 실험을 디자인할 때 고려해야 할 사항으로는 (1) ranomization을 통한 assignment를 할 것인가?; (2) control 그룹과 experiment 그룹이 필요한 가에 관한 것이 있다. 이 결정을 통해서 다양한 실험디자인이 만들어 지게 된다. 가령, +위의 4가지 방법을 섞어서 사용하면 아래와 같은 실험 디자인을 계획할 수 있다. 일반적으로 연구자가 실험을 디자인할 때 고려해야 할 사항으로는 (1) ranomization을 통한 assignment를 할 것인가?; (2) control 그룹과 experiment 그룹이 필요한 가에 관한 것이 있다. 이 결정을 통해서 다양한 실험디자인이 만들어 지게 된다. 
  
-==== Post-test only control group ====+[[:Threats to Internal Validity]] 
 +====== Experiment Design ====== 
 +===== Post-test only control group =====
  
-Randomized post-test only control group design 혹은 +Randomized post-test only control group design () 혹은 
 __Static Group Comparison__ design __Static Group Comparison__ design
  
Line 54: Line 59:
 |  R  |      O<sub>2</sub>  | |  R  |      O<sub>2</sub>  |
  
-같은 맥락에서, 아래는 One group post test only design +같은 맥락에서, 아래는 One group post test only design (단일집단 사후조사)
  
 | Assignment | Treatment | Group Comparison | | Assignment | Treatment | Group Comparison |
 |  R  |  X  |  O<sub>1</sub>  | |  R  |  X  |  O<sub>1</sub>  |
  
-==== One group pre- and post-test design ====+===== One group pre- and post-test design =====
 One group pre-test post-test design One group pre-test post-test design
 |  Assignment  |  Observation  |  Treatment  |  Observation  | |  Assignment  |  Observation  |  Treatment  |  Observation  |
 |  R  |  O<sub>1-1</sub>  |  X  |  O<sub>1-2</sub>  | |  R  |  O<sub>1-1</sub>  |  X  |  O<sub>1-2</sub>  |
  
-==== Pre-test Post-test Control Group design ====+===== Pre-test Post-test Control Group design =====
 Pre-test Pos-ttest design 혹은  Pre-test Pos-ttest design 혹은 
 Control Group Pre-test Post-test design Control Group Pre-test Post-test design
Line 73: Line 78:
 |  R  |  O<sub>2-1</sub>  |      O<sub>2-2</sub>  | |  R  |  O<sub>2-1</sub>  |      O<sub>2-2</sub>  |
  
-==== Solomon Four Group Design ==== 
-위의 pre-test post-test control group design에서 pre-test (O<sub>1-1</sub> O<sub>1-2</sub>) 자체가 실험 결과에 영향을 줄 수 있다 (e.g.,  [[Reactivity]]와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 -- 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다.  
  
-| Groups  | Assignment  | Observation | Treatment | Observation | +===== Solomon Four Group Design ===== 
-| Group 1  |  R  |  O<sub>1-1</sub>   |  O<sub>1-2</sub>  +위의 pre-test post-test control group design에서 pre-test (O<sub>1-1</sub> O<sub>1-2</sub>) 자체가 실험 결과에 영향을 줄 수 있다 (e.g.,  [[Reactivity]]와 같은 경우). 즉, pre-test가 어떤 영향력을 가지지 않을까? 라는 의문이 드는 경우 -- 아래와 같은 실험 디자인 (experiment design)을 채용할 수 있다. 이 방법은 [[Validity|external validity]]의 문제, 즉 generalization의 문제를 해결하기 위한 방안으로 사용된다.
-| Group 2  |  R  |  O<sub>2-1</sub>  |  X  |  O<sub>2-2</sub> +
-| Group 3  |  R  |  |    O<sub>3-2</sub> +
-| Group 4  |  R  |  | X |  O<sub>4-2</sub>  |+
  
-위에서, 그룹3과 그룹4가 다를 경우, 실험자는 이것이 X(treatment)에 의해서 이루어진 것임을 안다. 더우기 그룹1과 2의 차이가 그룹3과 4의 차이와 유사(동일)할 경우, 실험자는 pretest 효과는 없었다는 것을 알고, 자신의 treatment의 validity를 더 확고히 할 수 있다.  +[[:threats to internal validity]] 
 +  * treatment effects 주효과
  
-  no-x    | || +  * history 외부사건효과 
-pre-test  | O<sub>1-2</sub>  | O<sub>2-2</sub>  $ \overline{X}_\text{pre-test}$  Row Means  | +  * maturation 참가자변화효과 
-| post-test  | O<sub>3-2</sub>  | O<sub>4-2</sub>  $ \overline{X}_\text{post-test} $  :::  | +  * reactivity 반응효과 혹은 테스트효과 
-|$ \overline{X}_\text{no-x} $ | $ \overline{X}_\text{x} $ | | | +  * selection 셀렉션효과 (그룹을 bias하게 고른 효과) 
-| |  Column Mean  || | |+  * mortality 참가자탈락효과 
 +  * testing (diffusion of treatment) 참가자체효과 (호손효과) 
 + 
 +위의 주효과라고 부르는 treatment effect 외의 것들은 주효과 측정을 방해하는 즉, internal validity를 해하는 요소이다. 솔로몬 그룹 디자인은 이런 요소를 솎아 내서 파악할 수 있도록 해준다. 
 +아래와 같이 디자인한다.  
 + 
 +Groups   Assignment  Observation 1 \\ pre-test | Treatment | Observation 2 \\ post-test  | 
 +| Group 1  |  R  |  O<sub>11</sub>    |  O<sub>12</sub>    
 +Group 2     O<sub>21</sub>      |  O<sub>22</sub>    
 +| Group 3                         O<sub>32</sub>   |  
 +Group 4  |                          O<sub>42</sub>   
  
-  - 만약에 Row means 가 서로 다르다면 -> pre-test와 post-test간에 차이가 있다는 것을 의미하고 -> pre-test의 영향력이 있었다는 것을 의미. 
-  - 만약에 Column means 가 서로 다르다면 -> x 와 no-x 간에 차이가 있다는 것을 의미하고 (즉, treatment가 있고 없는 차이) -> 이는 실험처치 (x) 의 영향력이 있었다는 것을 의미.  
-  - 만약에 4개의 cell이 서로 다르다면 -> 두 개의 콘디션 (x vs. no-x 와 pre vs. post) 의 상호작용이 있었다는 것을 의미할 것. 
 위에서  위에서 
-  * 1, 2 main effects +  * random assignment 
-  * interaction effects+  * observation (test) 
 +  * x = treatment (처치)
  
-| Groups  | Assignment Observation | Treatment | Observation +| Groups  | Assignment pre-test | Treatment | post-test 
-| Group O<sub>1</sub>  | R | 30 |   40 +| Group O<sub>1</sub>  | R | 30 | 94 
-| Group O<sub>2</sub>  | R | 35 95 +| Group O<sub>2</sub>  | R | 34   40 
-| Group O<sub>3</sub>  | R |    |   30 +| Group O<sub>3</sub>  | R |    | 84 
-| Group O<sub>4</sub>  | R |    | 85 |+| Group O<sub>4</sub>  | R |    |   30 |
  
 +위에서 
 +  * X = treatment (abb 이용학습) 연구자는 abb를 이용한 학습이 효과가 있는지를 보고 싶다
 +  * R = random assignment
  
-[[Solomon Four Group Design]]  +이 때 
-[[Factorial ANOVA]] +  * history 외부사건효과 +   maturation 참가자변화효과 (?) 
 +  * + reactivity 반응효과 혹은 프리테스트효과 (?) 
 +    * 40 - 34 = 6  
 +    * 이 6 점은 시간이 흘러서 나타난 효과로 
 +    * treatment 외에 어떤 영향력이 작용하여 이렇게 다른 점수가 나왔다고 주장할 수 있다 
 +    * 그 어떤 영향력으로는  
 +      * (1) 외부사건효과와  
 +      * (2) 참가자자신이변화한 효과, 그리고  
 +      * (3) pre-test의 효과를 들 수가 있다.  
 +    * 그러나, 참가자자신이변화한 효과가 있는지 없는지는 알 수 없다 (이 상황에서는) 
 +    * pre-test의 효과 크기도 포함되어 있음만을 안다. 
 +    * history + pre-test효과(reactivity) + maturation (?) = 6 
 +  * selection 셀렉션효과 (그룹을 bias하게 고른 효과) 
 +    * 34 - 30 = 4  
 +    * 이 4 점은 random하게 그룹을 구성했느데도 나타나는 무작위효과이다 
 +    * 그룹구성에 bias가 끼면 이 4점이 문제가 될 수도 있다.  
 +    * 그러나, 현재 점수는 작으므로 무시할 정도로 파악할 수 있다.  
 +    * 그럼에도 불구하고 우리는 이를 group selection효과라고 부르기로 한다 
 +  * mortality 참가자탈락효과 
 +    * 94 - 30 점의 차이인 64 점에는 
 +    * treatment 때문에 나타나는 차이도 있지만 
 +    * history + maturation 때문에 나타난 차이,  
 +    * selection 효과 등이 포함되어 있다.  
 +    * 그 외에도 mortality 효과도 포함한다 
 +    * Group 1의 구성원 평균은 94점이지만 이 점수는 아예 수업을 따라가지 못한 사람들 일부가 수업을 포기했기 때문이다. treatment가 너무 강도가 높아서든 어떤 요소 때문이었든 간에 일부 사람들이 빠짐으로서 종국의 평균 점수가 상승하는 효과가 나타났다. 이는 mortality 때문이다. 
 +  * testing (diffusion of treatment) 가자체효과 (호손효과) 
 +    * 여기서 안나타났지만, 94, 40, 84, 30 점이 모두 비슷한 점수였다면, 이를 설명할 수 있는 것으로 observation 자체가 (실험에 가한 것 자체가) 문제가 되어 점수가 비슷하게 되었다고 설명할 수도 있다. 이를 testing 효과라고 한다. 여기서는 보이지 않는다. 
 +  * 94 - 30 = 64  
 +    * 64 점에는 treatment 효과도 있겠지만  
 +    * history effect로 여겼던 6점정도의 효과도 포함되어 있다고 생각하는 것이 논리적이다 
 +    * 거기에 랜덤하게 차이가 나타나는 selection 효과 4 점도 포함되어 있다. 즉, 4점을 더해 줘야 한다.  
 +    * mortality효과의 점수상승효과도 포함되어 있다. 그러나 이 점수의 크기는 잘 모른다 
 +    * 이를 모두 고려하면, 64 - (6 - 4) = 62점  
 +    * 62점이 treatment 효과이다. 
 +  * 마지막으로 
 +    * 그룹 2의 pre-test 점수의 평균인 34점이나 그룹 1의 30점은  
 +    * history + maturation 점수의 효과가 없었다면 post-test 때까지 지속되어야 한다.  
 +    * 우리는 이 변화한 6점을 history + maturation이라고 하였다.  
 +    * 만약에 위의 6점의 효과를 배제하려면 
 +      * 34 와 30 점의 평균인 32점이 random하게 시작되는 pre-test의 점수라고 할 수 있고, 이것이 30점으로 된 것이 history 의 효과라고 볼 수도 있다.  
 +      * 즉, -2 점은 외부환경변화 효과라고 할 수 있다.  
 +  * 따라서 제일 처음의 분석인 그룹 2의 6점 차이에는 
 +    * -2점이 포함되어 있고 이 -2점이 history 효과이다.  
 +    * 따라서 matruation + reactivity 효과가 6 에서 -2 점을 뺀 점수인 8점이 있다고 하겠다.
  
-Do not consider design 8 and 8 - after . . . . 
  
 +[[Solomon Four Group Design]] 참조
  
experimental_design.1478481274.txt.gz · Last modified: 2016/11/07 09:44 by hkimscil

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki