* 연구문제에 관해서는 Research Question 또한 참조.

연구자는 자신이 속한 소속학문(academic discipline)에서, 관심이 있는 분야에 대한 문제를 제기한다. 문제는 처음에 넓게 시작할 수 있으나, 문제에 대한 충분한 생각을 통해서 점차 좁혀가는 것을 목적으로 한다. 광의의 연구문제를 좁혀가는 것에는 두 가지의 잇점이 있을 수 있는데, 첫 째는, 자신이 연구하고자 하는 문제에 대한 해답을 얻을 수 있도록 하는 것이다. 연구문제가 너무 광범위하여, 현실적으로 그 해답을 밝히기 위한 일련의 연구절차를 수행할 수 없게 되어 버리면 (경제적인 문제로, 혹은 너무 많은 일련의 연구를 해야하는 문제로), 애초에 자신이 제시한 문제가 그야말로 문제제기로만 끝날 수 있다. 둘 째로는, 연구문제를 좁힘으로써, 자신이 제기한 문제에 대한 기존의 연구를 전반적으로, 완전하게 살펴볼 수 있다. 누군가가 자신이 제기한 문제에 대해서 이미 연구를 했으며, 그 연구결과가 공개되어 있다면, 자신이 그것을 반복할 필요가 없다. 이런 기존의 연구들을 살펴보는 작업은 자신의 연구문제가 어느 정도 구체화되어 있을 때 효과적이다.

가령 예를 들면, 어느 한 학생이 컴퓨터를 이용한 커뮤니케이션과 핸드 폰을 이용한 커뮤니케이션의 차이점이 어떤 것일가에 대한 연구문제를 제기했다면, 이 문제에 대한 해답을 얻기 위해서 구체적으로 행해야 할 연구들이 한 두가지에 그치질 않는다. 우선 컴퓨터를 이용한 커뮤니케이션이 뜻하는 것이 무엇인지에 대한 정의가 명확하질 않다. 이매일을 이용한 커뮤니케이션을 말하는 것인지, mailing list를 사용한 커뮤니케이션을 뜻하는 것인지, 아니면, 웹상에서의 게시판 등을 이용한 것인지, 개인적인 메신저를 이용한 것인지에 대한 고찰이 없다. 따라서, 자신이 원하는 해답을 얻기위해서 위의 매체(computer mediated communication)에 대해서 일일이 조사를 해야 하는데, 이는 시간적으로나, 금전적으로나 불가능한 일이다.

또한 비교대상으로 선정한 모바일 폰을 이용한 커뮤니케이션에 대한 정의도 명확, 혹은 구체적이지 않다. 모바일 폰이라면, 일반적인 핸드폰을 의미하는 것인지, 핸드폰의 기능이 여러가지가 있는데 그 중 어떤 것을 의미하는 것인지 (sms 서비스, 일반통화, 게임 등등)에 대한 구체적인 고려가 없으면, 이 연구문제에 대한 해답을 얻기위해서 취해야할 것들이 너무 많아지게 된다.

사실 이런 문제는 일생을 두고 풀어나가야할 연구과제로 보아야 하지, 일정 기간동안에 답을 찾을 수 있는 문제는 아니라고 하겠다.

1. Descriptive. 연구문제가 현 사회상태 혹은 문제의 존재의 유무 등과 관련이 있을 때, 보통 Descriptive한 연구문제를 제기하게 된다. 가장 흔한 예가, (리서치회사에서 자주 하는) public opinion poll이다. 다음 대통령이 누가 될 것이라고 예상하느냐는 질문은 바로 현 사회상태에 대한 궁금증을 해소하기 위해서 제기된 연구문제이고 답은 전화를 이용한 조사(poll) 방법으로 구하게 된다. 다른 예로는, 현재 우리 사회에서 우리당, 한나라당의 지지율이 몇 % 정도씩 될까?하는 질문은 현재 우리 사회의 지지 정도 구도에 대한 질문이다.
2. Relational. 연구문제가 두 가지 이상의 개념간의 관계(relations)와 관련되어서 만들어 질 때이다. 가령, 위의 예에서 열린우리당, 한나라당의 정당 지지도 자체에 한한 궁금증은 descriptive한 문제이겠지만, 남성과 여성의 두 당의 지지율에 대한 궁금증은 성(gender)라는 개념과 지지정당이라는 개념간의 관계에 대한 궁금증이므로 relational한 연구문제라고 하겠다.
3. Causal. 관계는 관계되, 두 가지 이상의 개념간에 인과관계가 존재할까 하는 궁금증에서 나오는 연구문제이다. 막 개발된 약품이 머리를 좋아지게 하는 효과가 있을까라는 질문은 약품의 복용과 지능의 향상간에 원인과 결과의 관계가 있을까?하는 질문이다. PR회사에서 정치선전(political campaign)이 선거에 영향을 미쳤을까?라는 질문을 하는 것은 두 개념간의 인과관계 규명을 위한 연구문제이다.

연구 문제의 설정에 있어서 또 하나의 중요한 요소는 시간(time)이다. 시간과 관련해서 나타나는 연구문제의 설정은 cross-sectional한 연구와 longitudinal한 연구가 있다. Cross-sectional 연구는 어느 특정한 시점에서 이루어지는 단발성 연구이다. 이와는 반대로 longitudinal 연구는 시간범주를 두고 이루어지는 지속적 연구이다. 다시 말하면, longitudinal 연구에서는 적어도 시간차를 둔 두 번의 측정(measurements)이 이루어진다. 연구의 규모에 따라서, 그리고 관심의 대상에 따라서, 시간차의 정도는 다양할 수 있다. 가령, 충분한 예산과 연구절차를 거쳐서 해방이후 현재까지의 한국인의 민족성에 대한 인식의 변화에 대해서 연구를 한다면, 1945년-2005년까지 매 10년간 민족성을 나타내는 지표 혹은 measurement를 측정하여 비교하는 것이 될것이다 (물론 이런 연구는 없었다).

시간차가 위의 예와 같이 길지 않을 수도 있다. 가령, 새로 개발된 문공부의 교육프로그램의 효과를 측정해보기 위해서 연구자는 약 6개월의 기간을 두고 새로운 프로그램을 학생들에게 적용하며, 성적의 변화를 추적해 볼 수 있다. 이 경우, 시간차는 6개월이다.

광범위한 연구문제를 좀더 구체화하기 위한 작업으로 conceptualization이 있다. Concept(개념)를 만드는 과정으로 생각할 수 있는데, 이는 곧 컴퓨터를 이용한 커뮤니케이션이 무엇을 의미하는 지에 대해서 고찰하고, 이를 구체화하는 것이다. 컴퓨터를 이용한 커뮤니케이션으로 이메일을 이용한 것에 한정지어 생각을 해 볼 수 있을 것이고, 특히 이매일이 부모와의 커뮤니케이션에 어떻게 사용되는 지에 대해서 궁금할 수 있을 것이다.

따라서, 연구자는 컴퓨터를 이용한 커뮤니케이션에서 –> 부모와 자식간의 커뮤니케이션에서 이매일을 사용하는 것으로 구체화함으로써 자신의 연구문제를 manageable한 것으로 만든다.

이와 더불어서, 모바일 커뮤니케이션과의 비교는 동등한 상태의 커뮤니케이션을 의미하므로, 연구자는 모바일 폰을 이용하여 나타나는 부모와 자식간의 커뮤니케이션을 의미한다고 정의할 수 있겠다. 또한 모바일 폰을 이용하는 것 중에서 sms를 포함할 것인지 아니면 음성전화사용에만 제한을 둘것인지에 대한 정의를 할 수 있다.

또한 차이점이라고 제기되어던 것이 어떤 의미를 갖는지에 대한 고찰(concept-ualization)과 이것을 구체적으로 observation하기 위해서 무엇을 살펴보아야 할 것인지에 대한 고찰이 필요하다. 자식/부모간의 이매일사용이 자식/부모간의 원할한 관계유지에 도움이 된다는 생각이면, 두가지 다른 종류의 커뮤니케이션 미디어를 이용하여 나타나는 원할한 관계유지의 차이점이 무엇인지를 알아보는 것을 목표로 할 수 있다.

이런 과정을 거치고 나면, 자신의 연구문제가 좀 더 구체화되어 이에 대한 해답을 추구할 수 있는 (manageable한) 단계가 된다.

위에서 내린 정의는 처음의 연구문제를 구체화하기는 하지만, 이매일을 사용하는 것을 살펴보는 것이 어떤 observation을 뜻하는 지에 대한 정의가 없다. 이매일을 사용한다는 것이 구체적으로 무엇을 살펴보는 것을 의미하는지에 대한 정의를 내리는 것을 Operationalization(조작적 정의)이라고 한다. 메시지를 포워딩하는 행위를 이매일 사용에 포함하는 것인지, 메시지를 주고 받는, 한 사이클을 이매일을 사용한 행위로 할 것인지 등에 관한 정의를 내리면, 자신이 세운 문제에 대한 해답을 구체적으로 어떻게 얻을 것인지에 대한 아이디어가 서게 된다.

반대로 모바일 폰의 사용도 마찬가지이다. 핸드폰을 이용한 메시지의 송신 혹은 수신만을 의미하는지, 아니면, 이 둘을 모두 포함하는지, 송신/수신을 한 짝으로 한것을 커뮤니케이션 행위의 단위로 볼 것인지, 음성통화만을 모바일 폰의 사용으로 볼 것인지, 모바일 폰을 이용한 이매일 사용은 어떤 범주에 넣을 것인지 등등에 대한 고찰을 한 후, 모바일 폰을 사용한 커뮤니케이션이 무엇을 의미하는지에 대한 정의를 내린다.

또한 차이점(핸드폰 대, 이매일 사용)을 포착하기 위해서 무엇을 살펴볼 것인지에 대한 고찰도 필요하다. 위의 conceptualization 단계에서는 원할한 관계유지의 차이점이라고 하였는데, 이 차이점이 구체적으로 어떤 것인지, 그리고 이것을 어떻게 얻을 것인지(obtain)에 대해서 명확히 하여야 한다. 가령, 관계의 유지에 대해서 서베이를 하여, 당사자들이 서로가 서로를 어떻게 생각하고 있는지를 얻을 것인가? 아니면, 실지로 유통된 메시지를 직접 분석하여 커뮤니케이션 당사자간의 관계를 판단할 것인가? 등등을 명확히 하도록 한다.

• Variables
• Read the status_of_frustrator.pdf file first.

• Level of Measurement

• Unit of Analysis 참조
• ecological fallacy
• exception fallacy

• Validity
• Reliability

위의 두 과정 (C, O)을 연구자 혼자 고찰하고 생각해 냄으로써 가능할 수도 있지만, 이것은 효과적인 방법이 아니다. 우선, 자신이 구체화하고 있는 연구문제가 기존의 연구에 포함이 되어 있는지에 대한 확인이 필요한다. 우선 이매일을 이용한 부모/자식간의 대화에 대한 기존의 연구가 있었는지에 대해서 살펴 볼 수 있다. 만약에 그런 연구가 있었다면, 그 연구에서는 이매일사용이 무엇을 의미하는 것으로 정의(conceptualization)되었는지, 그리고 이 정의된 개념을 관찰(observation)하기 위해서 무엇을 살펴보았는지(operationalization)에 대해서 참고할 수 있다. 이렇게 기존연구와 동일한 개념(concepts)과 조작(operation)을 사용한다면, 기존연구와 자신의 연구의 결과를 비교 검토할 수 있는 기반을 마련하는 것이므로 자신의 연구의 가치를 높이는 결과를 갖는다.

자신의 연구문제와 관련해서 나타나는 기존의 연구가 너무 많을 수도 혹은 너무 적을 수도 있다. 너무 많은 경우에는 자신의 연구문제와 동일한 문제를 연구한 기존논문이 있을 수 있다. 이런 경우에는 자신의 연구문제에 대해서 다시 생각해야 한다 (똑같은 문제에 대한 연구를 다시하는 것은 그렇게 바람직하지 않다고 여기는 경향이 있다). 너무 적은 경우에는, 자신의 연구문제와 가장 근접한 연구가 무엇을 추구하였느지에 대해서 살펴보고, 이것과 자신의 연구문제 혹은 잠정적인 발견(findings)이 어떤 관계를 갖게 될 것인지에 대해서 생각해봐야 한다. 기존의 유사한 연구가 특별한 이유가 있어서 자신의 문제와 같은 문제의 제기를 포기했는지에 대해서 살펴본다.

Literature review

Hypothesis 참조

차이점에 대한 궁금증으로 애초에 연구문제를 세웠다고 하면, 그 차이점이 어떻게 실현될 것인지에 대한 구체적인 예측이 가능할 것이다. 이런 예측은 이론과 논리에 입각하여 세워진다. 커뮤니케이션 테크놀로지(email과 phone calls)가 긍정적(positive)한 영향을 미치는지에 대해서 이론적으로 생각해 볼 수 있다. Technology가 인간에게 긍정적인 것인가 부정적인 것인가에 대한 이론서적들을 탐구한 상태라면 이에 대한 구체적인 생각이 있을 것이다.

연구자가 이론서적과 논문을 살펴보고, 다음과 같은 결과를 얻어 냈다고 가정할 수 있다. technology의 사용이 긍정과 부정의 결과를 미치는 것에 대한 논의에는 다음과 같은 것들이 있었다는 것을 요약하고 이 관점들을 명확하게 정리하고, 논리적으로 연관을 지어, 자신이 구체적으로 어떤 관점을 가지고 있는지에 대한 정리를 할 수 있다.

• 첫 째, technology는 긍정적인 결과를 갖도록 한다. technology를 바라보는 일단의 이론가 혹은 학자들은 기술의 발전이 항상 인간사회/인간생활/복지의 향상을 결과한다고 믿는다. 이를 테크놀로지에 대한 유토피안(Utopian)적인 접근 방법이라고 하겠다.

• 둘 째, technology는 부정적인 결과를 갖도록 한다. technology의 발전으로 인간의 복지가 향상되고 생활이 윤택해지는 듯 하지만, 이는 단편적인 면에서만 그럴 뿐이고, 사실은 같은 시간(기간) 동안에 좀더 많은 노동력을 효율적으로 뽑아내는 부정적인 결과를 초래한다는 의견이 있다.

• 세 째, technology 자체가 가지는 성격에 대한 부정의 의견이 있다. technology가 특정한 성격을 가진다는 관점 자체에 대한 비판과 함께, technology의 성격은 언제나 그것이 사회적으로 어떻게 사용되었는가와 이런 사용으로 사용자가 어떤 perception을 가지는가에 의해서 결정된다는 의견이다.

위와 같은 의견에 대한 요약은, 물론, 기존연구에 대한 치밀한 검토와 이론적인 고찰에 대한 검색과 독서로 가능하다. 위의 이론적인 고찰 중에서 특정 이론이 좀더 정당하고 합리적이라고 생각이 된다면, 연구자는 그 이론을 수용한다.

• 주의:
  • 이론에 따라서 전혀 다른 방법론을 사용할 수 있다. Survey이나, content analysis의 방법으로 통계기법을 이용하여 연구를 하는 것 외에도 핸드폰을 이용하여 커뮤니케이션을 하는 소수 학생들의 생활을 뒤쫒아서 부모와 그 학생간의 관계의 변화를 자세히 살필 수 있다. 이럴 경우, 통계기법이 사용되기 보다는 학생이 처한 사회적, 커뮤니케이션적 상황에 대한 학생의 이해와 대처방법, 이런 과정을 통해서 나타나는 부모와 학생간의 커뮤니케이션 기록, 서로간의 신뢰와 믿음의 정도(의 변화) 등등을 자세히 연구하는 방법도 있을 수 있겠다. 이런 방법은 위에서 연구자가 취하는 이론적인 기반이 다르기 때문에 가능한 것이다. 보통, situated 입장의 연구자들이 이런 방법론을 취한다. 대표적으로는 William White의 The corner street society를 들수 있다.

• Google:William+Foote+Whyte+%22street+corner+society%22
• WikiPedia:William_Foote_Whyte
• ISBN:0226895459

선택된 이론을 기반으로 연구자는 다시 논리적인 생각을 전개할 수 있다. 즉, technology가 사회적인 것이어서 긍정적이거나 부정적이거나 하지 않다면, 부모와 자식간의 관계에 양쪽 모두의 영향력을 행할 수 있다고 결론지을 수 있다. 따라서, 연구자가 연구문제에서 발견하고 싶은 것은 어느 한 쪽의 (긍정 혹은 부정적) 영향력이 아니라, 어떤 쪽으로든지의 차이점을 원하는 것이라고 생각할 수 있고, 이런 점을 명확히 하여, 자신이 데이터를 수집하여 분석을 한다면, 그 차이점이 어떠할 지에 대해서 선언한다.

위에서 선언을 한다고 하였는데, 이는 자신이 발견할 데이터 분석의 결과에 대한 가/부간의 (틀렸는지 맞았는지에 관한) 선언을 의미한다. 다시 말하면, 이 선언은 옳고 그름을 가릴 수 있는(testable) 선언을 말한다.

이 선언은 또한 이전에 명확히 한 개념(conceptualization)과 관찰방법(observation through operationalization)에 그 기반을 둔다. 즉, 자신이 정의한 개념과 관찰방법으로 정확히 어떤점을 발견을 할 것인지를 예측하는 것이다.

위와 같은 일련의 작업을 가설을 세운다 (building a hypothesis)고 한다 – Hypothesis 참조.

또한 이 가설에 사용되는 개념들은 논리적으로 원인과 결과를 포함하게 된다. 즉, 이매일이라는 매체의 사용이 부모자식간의 긍정적인 영향을 미칠 것이라는 의견이라든지, 핸드폰의 사용이 부모자식간의 부정적인 영향을 미칠 것이라는 의견등이 그 예이다.

가설은 test 가능한(testable) 것이어야 한다.즉, 어떤 식으로든 예측이 가능한 형태의 선언문이어야 한다. 이와 비교되는 개념으로 연구문제(research question)라는 것이 있는데, 이것은 이론에 좀 더 기반을 둔 문제의 제기로 test 가능한 형식을 취하지 않아도 된다.

• WPK:가설

아래는 가설의 한 예이다.

• 가설 1: 학생 수가 많아질 수록 학습의 효과는 떨어진다.
• 가설 2: 적절한 미디어를 선택하는 매니저가 그렇지 않은 매니저보다 업무수행평가가 좋을 것이다.

가설 1의 경우는 학급의 학생 수와 학습의 효과간의 관계에 대한 테스트 가능한 선언문이다. 즉, 학생의 숫자와 학습효과는 반비례의 관계에 있다는 것을 주장한다. 이 가설이 만들어 졌을때에는 학생 수라는 개념에 대한 정의와 어떻게 이 개념을 측정할 것인지에 대한 명확한 의견과 방법이 서 있어야 한다. 학습이 효과가 무엇인지, 그리고 이것을 어떻게 측정(measure)할 것인지에 대해서도 마찬가지이다. 이 두가지 변수에 대한 명확한 동의가 연구자와 연구자의 가설을 읽는 독자(reader, reviewer)간에 이루어지지 않으면 연구 절차가 아무리 훌륭해도 연구결과에 대한 비판과 혼란이 있게된다.

가설은 일반상식, 논리, 이론, 법칙, 명리 등등에 기반을 하여 만들어지게 된다. 가설 1은 상식적으로도 통용이 되는 개념과 논리이다 (그럼에도 불구하고, 연구자가 논문을 쓸 때에는 이 가설을 선언하기 이전에 각 개념과 변수에 대한 conceptualization과 operationalization이 이루어져 있어야 한다). 반면에 이론에 기반을 두고 세워진 가설이 두번째 것이다. 가설 2는 “media richness”라는 이론에 기반을 둔 선언이다. “media richness”는 . . . .

따라서 이 가정은 매니저가 업무의 사안에 따라서 “적절한 richness를 가지고 있는 미디어”를 선택해서 쓰면, 업무 능력이 향상되고 따라서 평가가 좋고 승진이 빠를 것이라는 가정을 하고 있다.

위에 밝힌 경로를 거쳐 가설을 세우는 작업을 마치면, 연구자는 실제로 데이터를 수집하게 된다. 데이터를 수집하여 무엇을 살펴 볼 것인가?에 대한 것은 이미 위의 작업에서 이루어졌으므로 무리없는 데이터 수집의 과정을 거칠 것이다.

중요한 점으로는 데이터이 수집 중에 어떤 종류의 데이터를 수집할 것인가에 대한 명확한 아이디어를 가지고 있어야 한다는 점이다. 이 결정은 Operationalization의 와중에 결정이 되는데, 이를 통하여 변수(variable)를 결정하고, 각 변수간의 관계들(hypotheses)을 세우는 와중에 이루어 진다.

즉, 가설을 세우는 작업에서 나타나는 변수들이 어떤 성격을 갖는가에 따라서, 그리고 연구문제에 나타나는 개념, 구성 등(concepts, constructs, etc.)이 서로 어떤 관계를 갖는가에 따라서 데이터의 수집방법과 분석의 형태가 결정된다.

소속정당과 특정 신문의 구독에 대한 연구를 예로 들면, 소속정당, 그리고 특정 신문의 구독이라는 변수가 Nominal한 변수이기 때문에, 연구자는 자연스럽게 데이터를 수집하는 대상(설문지를 작성해주는 샘플의 구성원)에게 소속정당이 무엇인지, 그리고 어떤 신문을 구독하는지에 대해서 물어 볼것이다. 이런 질문은 대개 아래와 같은 형식으로 나타나는데,

이와 같은 질문이 보여주는 것은 두 변수가 모두 Nominal한 성격을 가지고 있다는 것이다. 이는 곧 chi-square라는 통계수치를 이용해서 소속정당과 신문의선택 변수간의 관계를 살펴봐야 한다는 것을 의미한다. 여기서 Nominal 성격이 무엇인지, chi-sqaure test가 무엇인지에 관해서는 설명을 하지 않겠지만, 중요한 것은 연구문제의 제기, 개념화, 가설제기 등의 과정을 통해서 연구자는 변수의 성격과 데이터 분석에 사용될 통계기법 등이 미리 결정된다는 점이다.

만약에 연구자가 보수적인 입장을 표방하는 조중동과 진보적인 입장을 보이는 오마이뉴스, 한겨레신문에, 그리고 보수적인 한나라당 과 개혁적인 열린우리당에 관심을 한정한다면 질문은 아래와 같이 더 간단해 질 수 있다.

위의 간단한 질문의 예에서 프러시안이라든지 그 외의 진보적 성향을 가지는 신문을 왜 포함시키지 않았는지? 혹은 진보누리라는 사이트는 신문에 포함이 되는 것인지 등등에 대한 질문이 있을 수 있는데, 이는 conceptualization과 operationalization의 과정에서 명확히 하여야 한다. 즉, 연구자는 어떠 어떠한 이유에서 신문을 이렇게 규정을 하고 따라서 이에 포함되는 신문에는 어떠 어떠한 신문이 있다 등의 입장을 밝혀야 한다. 만약에 이 입장에 동의를 하지 않는 다른 학자(readers)가 있을 수 있는데, 이는 곧, 연구자의 철학적, 이론적입장이 다른 학자와 상충하는 것을 의미한다.

위의 예는 서베이를 이요한 설문지 작성으로 데이터를 수집하는 방법을 보여 준다. 이 방법외에도 여러가지 방법이 있을 수 있다.
1. content analysis
2. experiment
3. quasi-experiment
또한 연구를 수행하는 시간에 따라서 아래와 같이 나누기도 한다.
1. Longitudinal
1. Cross-sectional

* see Level of measurement

서베이, content analysis, experiment, quasi-experiment 등을 통해서 얻은 데이터를 이용해서 연구자는 분석을 하게 된다. 분석은 가설들(hypotheses)을 테스트 함으로써, 자신이 예측한 변수간의 관계가 맞았음을 입증하는 것이고, 이를 통해서 연구자는 자신의 이론적인 기반이 맞다는 것을 확인하는 것이다.

보통 이 단계에서 연구자는 computer를 이용한 통계 패키지를 많이 쓰는데, 대표적인 것이 SPSS 혹은 SAS이다. SPSS와 SAS는 직접 통계 계산에 들여야 하는 노력과 시간을 절약하게 해주는데, 이런 패키지의 사용방법은 통계에 대한 이해를 기반으로 한다. 즉, 패키지의 사용법만을 익힌다고 해서 연구결과를 분석할 수 있는 것은 아니다.

통계분석이 끝나면, 연구자는 자신의 가설의 검증여부를 판단할 수 있다. 이 결과를 기록하면서, 그 결과가 의미하는 것들을 논의한다. 이 때, 가설의 검증이 성공하게 되면 연구자는
애초에 자신이 채택했던 이론적인 기반과, 논리적이 추론 등이 옳았다는 것을 증명하게 된다. 만약에 가설의 검증에 실패를 하게되면 연구자는 이론적 면과 논리적인 면 등을 검토하여 연구설계의 헛점 혹은 실수에 대해서 반성적으로 살펴보아야 하고, 이를 논리적으로 기술하여야 한다.

이렇게 해서 모든 가설의 검증이 끝나면 연구자는 연구 결과를 전반적으로 정리하면서, 연구결과가 가지는 의미, 그 연구가 연관된 연구분야에 어떤 공헌을 했는지에 대한 평가를 하여야 한다. 마지막으로 연구가 가질 수 있는 잠재적인 단점, generalizability 등에 관해서 언급을 한다.

CategoryResearchMethods