experimental_design
Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
experimental_design [2016/11/07 09:48] – hkimscil | experimental_design [2020/05/26 19:39] – [Solomon Four Group Design] hkimscil | ||
---|---|---|---|
Line 17: | Line 17: | ||
실험과 관련된 개념으로는 아래와 같은 것들이 있다. | 실험과 관련된 개념으로는 아래와 같은 것들이 있다. | ||
- | - IV and DV (Independent variable and dependent variable): [[:Variables Identification|Variable Identification]] 참조 | + | - IV and DV (Independent variable and dependent variable): [[:types_of_variables|Variable Identification]] 참조 |
- pre-testing and post-testing | - pre-testing and post-testing | ||
- control group and experiment group | - control group and experiment group | ||
- | * [[Double blind experiment]] | + | * [[Double blind experiment]] |
실험을 위해서는 실험참가자(subject, | 실험을 위해서는 실험참가자(subject, | ||
Line 26: | Line 26: | ||
- randomization | - randomization | ||
* 차이점: random selection and random assignment | * 차이점: random selection and random assignment | ||
+ | * 실험을 하면서 실험참가자가 모집단을 대표하는 성격을 갖기를 바라는 것은 쉽지 않다. 그리고, 실험이라는 연구방법을 사용하는 사람의 입장에는 어떤 사람이 참여하더라도 그 사람은 전체를 구성하는 개인으로서 다른 사람을 생물학적, | ||
+ | * 그 보다는 | ||
+ | * 예를 들면 실험진행자, | ||
+ | * 실험의 가장 큰 장점은 상황을 컨트롤하여 원인이 되는 변인과 결과의 과정을 과학적으로 유추해 내기 용이한 것이다. | ||
====== Experimental design ====== | ====== Experimental design ====== | ||
Line 43: | Line 47: | ||
* 실험참가자들은 실험에 필요한 그룹에 할당되는데 (assigned), 이를 기호화 하여 표시를 한다. 이에 사용되는 기호로는 ''' | * 실험참가자들은 실험에 필요한 그룹에 할당되는데 (assigned), 이를 기호화 하여 표시를 한다. 이에 사용되는 기호로는 ''' | ||
- | 위의 4가지 방법을 섞어서 사용하면 아래와 같은 실험 디자인을 계획할 수 있다. 일반적으로 연구자가 실험을 디자인할 때 고려해야 할 사항으로는 (1) ranomization을 통한 assignment를 할 것인가?; (2) control 그룹과 experiment 그룹이 필요한 가에 관한 것이 있다. 이 결정을 통해서 다양한 실험디자인이 만들어 지게 된다. | + | 위의 4가지 방법을 섞어서 사용하면 아래와 같은 실험 디자인을 계획할 수 있다. 일반적으로 연구자가 실험을 디자인할 때 고려해야 할 사항으로는 (1) ranomization을 통한 assignment를 할 것인가?; (2) control 그룹과 experiment 그룹이 필요한 가에 관한 것이 있다. 이 결정을 통해서 다양한 실험디자인이 만들어 지게 된다. |
+ | |||
+ | [[:Threats to Internal Validity]] | ||
===== Post-test only control group ===== | ===== Post-test only control group ===== | ||
- | Randomized post-test only control group design 혹은 | + | Randomized post-test only control group design |
__Static Group Comparison__ design | __Static Group Comparison__ design | ||
Line 54: | Line 60: | ||
| R | | | R | | ||
- | 같은 맥락에서, | + | 같은 맥락에서, |
| Assignment | Treatment | Group Comparison | | | Assignment | Treatment | Group Comparison | | ||
Line 72: | Line 78: | ||
| R | O< | | R | O< | ||
| R | O< | | R | O< | ||
+ | |||
===== Solomon Four Group Design ===== | ===== Solomon Four Group Design ===== | ||
- | 위의 pre-test post-test control group design에서 pre-test (O< | + | 위의 pre-test post-test control group design에서 pre-test (O< |
- | | Groups | + | [[:threats to internal validity]] |
- | | Group 1 | R | O< | + | |
- | | Group 2 | R | O< | + | |
- | | Group 3 | R | | | + | |
- | | Group 4 | R | | X | O< | + | |
- | 위에서, 그룹3과 그룹4가 다를 경우, 실험자는 이것이 X(treatment)에 의해서 이루어진 것임을 안다. 더우기 | + | * history 외부사건효과 |
+ | * maturation 참가자변화효과 | ||
+ | * reactivity 반응효과 혹은 테스트효과 | ||
+ | * selection 셀렉션효과 | ||
+ | * mortality 참가자탈락효과 | ||
+ | * testing | ||
- | | | | + | 위의 주효과라고 부르는 treatment effect 외의 것들은 주효과 측정을 방해하는 즉, internal validity를 해하는 요소이다. 솔로몬 그룹 디자인은 이런 요소를 솎아 내서 파악할 수 있도록 해준다. |
- | | pre-test | + | 아래와 같이 디자인한다. |
- | | post-test | + | |
- | | |$ \overline{X}_\text{no-x} $ | | + | | Groups |
- | | | | + | | Group 1 | R |
+ | | Group 2 | ||
+ | | Group 3 | ||
+ | | Group 4 | ||
- | - 만약에 Row means 가 서로 다르다면 -> pre-test와 post-test간에 차이가 있다는 것을 의미하고 -> pre-test의 영향력이 있었다는 것을 의미. | ||
- | - 만약에 Column means 가 서로 다르다면 -> x 와 no-x 간에 차이가 있다는 것을 의미하고 (즉, treatment가 있고 없는 차이) -> 이는 실험처치 (x) 의 영향력이 있었다는 것을 의미. | ||
- | - 만약에 4개의 cell이 서로 다르다면 -> 두 개의 콘디션 (x vs. no-x 와 pre vs. post) 의 상호작용이 있었다는 것을 의미할 것. | ||
위에서 | 위에서 | ||
- | * 1, 2 = main effects | + | * R = random assignment |
- | * 3 = interaction effects | + | * O = observation (test) |
+ | * x = treatment (처치) | ||
- | | Groups | + | | Groups |
- | | Group O< | + | | Group O< |
- | | Group O< | + | | Group O< |
- | | Group O< | + | | Group O< |
- | | Group O< | + | | Group O< |
+ | 위에서 | ||
+ | * X = treatment (abb 이용학습) 연구자는 abb를 이용한 학습이 효과가 있는지를 보고 싶다 | ||
+ | * R = random assignment | ||
- | [[Solomon Four Group Design]] | + | 이 때 |
- | [[Factorial ANOVA]] | + | * history 외부사건효과 + |
+ | * + reactivity 반응효과 혹은 프리테스트효과 (?) | ||
+ | * 40 - 34 = 6 | ||
+ | * 이 6 점은 시간이 흘러서 나타난 효과로 | ||
+ | * treatment 외에 어떤 영향력이 작용하여 이렇게 다른 점수가 나왔다고 주장할 수 있다 | ||
+ | * 그 어떤 영향력으로는 | ||
+ | * (1) 외부사건효과와 | ||
+ | * (2) 참가자자신이변화한 효과, 그리고 | ||
+ | * (3) pre-test의 효과를 들 수가 있다. | ||
+ | * 그러나, 참가자자신이변화한 효과가 있는지 없는지는 알 수 없다 (이 상황에서는) | ||
+ | * pre-test의 효과 크기도 포함되어 있음만을 안다. | ||
+ | * history + pre-test효과(reactivity) + maturation (?) = 6 | ||
+ | * selection 셀렉션효과 (그룹을 bias하게 고른 효과) | ||
+ | * 34 - 30 = 4 | ||
+ | * 이 4 점은 random하게 그룹을 구성했느데도 나타나는 무작위효과이다 | ||
+ | * 그룹구성에 bias가 끼면 이 4점이 문제가 될 수도 있다. | ||
+ | * 그러나, 현재 점수는 작으므로 무시할 정도로 파악할 수 있다. | ||
+ | * 그럼에도 불구하고 우리는 이를 group selection효과라고 부르기로 한다 | ||
+ | * mortality 참가자탈락효과 | ||
+ | * 94 - 30 점의 차이인 64 점에는 | ||
+ | * treatment 때문에 나타나는 차이도 있지만 | ||
+ | * history + maturation 때문에 나타난 차이, | ||
+ | * selection 효과 등이 포함되어 있다. | ||
+ | * 그 외에도 mortality 효과도 포함한다 | ||
+ | * Group 1의 구성원 평균은 95점이지만 이 점수는 아예 수업을 따라가지 못한 사람들 일부가 수업을 포기했기 때문이다. treatment가 너무 강도가 높아서든 어떤 요소 때문이었든 간에 일부 사람들이 빠짐으로서 종국의 평균 점수가 상승하는 효과가 나타났다. 이는 mortality 때문이다. | ||
+ | * testing (diffusion of treatment) | ||
+ | * 여기서 안나타났지만, | ||
+ | * 94 - 30 = 64 | ||
+ | * 64 점에는 treatment 효과도 있겠지만 | ||
+ | * history effect로 여겼던 6점정도의 효과도 포함되어 있다고 생각하는 것이 논리적이다 | ||
+ | * 거기에 랜덤하게 차이가 나타나는 selection 효과 4 점도 포함되어 있다. 즉, 4점을 더해 줘야 한다. | ||
+ | * mortality효과의 점수상승효과도 포함되어 있다. 그러나 이 점수의 크기는 잘 모른다 | ||
+ | * 이를 모두 고려하면, | ||
+ | * 62점이 treatment 효과이다. | ||
+ | * 마지막으로 | ||
+ | * 그룹 2의 pre-test 점수의 평균인 34점이나 그룹 1의 30점은 | ||
+ | * history + maturation 점수의 효과가 없었다면 post-test 때까지 지속되어야 한다. | ||
+ | * 우리는 이 변화한 6점을 history + maturation이라고 하였다. | ||
+ | * 만약에 위의 6점의 효과를 배제하려면 | ||
+ | * 34 와 30 점의 평균인 32점이 random하게 시작되는 pre-test의 점수라고 할 수 있고, 이것이 30점으로 된 것이 history 의 효과라고 볼 수도 있다. | ||
+ | * 즉, -2 점은 외부환경변화 효과라고 할 수 있다. | ||
+ | * 따라서 제일 처음의 분석인 그룹 2의 6점 차이에는 | ||
+ | * -2점이 포함되어 있고 이 -2점이 history 효과이다. | ||
+ | * 따라서 matruation + reactivity 효과가 6 에서 -2 점을 뺀 점수인 8점이 있다고 하겠다. | ||
- | Do not consider design 8 and 8 - after . . . . | ||
+ | [[Solomon Four Group Design]] 참조 | ||
experimental_design.txt · Last modified: 2024/05/16 10:28 by hkimscil