논문 읽는 법: 세 번에 나눠 읽는 3패스 방법(S. Keshav, How to Read a Paper)

우리 대부분은 논문을 책 읽듯 읽습니다. 첫 줄부터 마지막 줄까지. 이것은 느리고, 요점을 놓치는 가장 쉬운 길입니다. 효과가 있는 방법은 한 논문을 세 번 읽되, 매번 목적을 달리하는 것입니다. 첫 번째 패스는 5~10분이 걸리고, 계속 읽을지를 알려 줍니다. 두 번째는 최대 1시간이 걸리고, 내용을 줍니다. 세 번째는 몇 시간이 걸리며, 깊이 알아야 하는 논문에만 씁니다. 이 방법은 당시 워털루 대학교에 있던 컴퓨터과학자 S. Keshav가 쓴 두 쪽짜리 글 「How to Read a Paper」(2007)에서 나왔고, 박사과정을 막 시작한 사람이 읽기에 대해 배울 수 있는 가장 유용한 한 가지입니다.

3분으로 줄여 태블릿 위에서 보여 드립니다(영상은 영어입니다). 자세한 내용은 아래 본문에 있습니다.

▶YouTube에서 보기 · 2:42

세 번의 패스를 표 하나로

1패스: 조감

첫 번째 패스는 논문의 감을 잡기 위한 빠른 훑어보기이며, 5~10분이면 끝나야 합니다. Keshav의 단계는 다음과 같습니다.

1. 제목, 초록, 서론을 주의 깊게 읽습니다.
2. 절과 소절의 제목을 읽고, 나머지는 모두 무시합니다.
3. 결론을 읽습니다.
4. 참고문헌을 훑어보며, 이미 읽은 것에 표시합니다.

첫 번째 패스가 끝나면 다섯 가지 C에 답할 수 있어야 합니다.

• Category(유형). 어떤 종류의 논문인가? 측정 논문인가, 기존 시스템의 분석인가, 연구용 시제품의 설명인가?
• Context(맥락). 어떤 다른 논문들과 관련이 있는가? 문제를 분석하는 데 어떤 이론적 기반을 썼는가?
• Correctness(타당성). 가정이 타당해 보이는가?
• Contributions(기여). 이 논문의 주요 기여는 무엇인가?
• Clarity(명료성). 잘 쓰인 논문인가?

그다음 결정합니다. 더 읽지 않기로 할 수도 있습니다. 논문이 흥미롭지 않거나, 이해하기에 그 분야를 충분히 알지 못하거나, 저자가 타당하지 않은 가정을 세웠기 때문입니다. 손에 드는 논문의 대부분은 여기서 끝나야 합니다. 그것이 이 패스의 목적이지, 실패가 아닙니다. Keshav는 쓰는 사람을 위한 교훈도 덧붙입니다. 심사자와 독자 대부분은 정확히 한 번만 읽으니, 절 제목은 그것만 보고도 뜻이 통하게 붙이고, 초록은 혼자서도 설 수 있게 쓰라는 것입니다.

2패스: 내용

두 번째 패스에서는 논문을 더 꼼꼼히 읽되, 증명 같은 세부는 무시합니다. 읽으면서 핵심을 적어 두거나 여백에 의견을 씁니다. 두 가지에 특히 주의를 기울입니다.

• 그림, 도표, 그 밖의 삽화. 그래프에 특히 주의합니다. 축에 제대로 라벨이 붙어 있는가? 결과에 오차 막대가 있어서 결론이 통계적으로 유의한가? 논문의 근거는 대부분 그림에 있고, 그림은 그것을 설명하는 본문 옆에 있는 경우가 드물기 때문에, 시간은 여기에 쓰입니다.
• 참고문헌. 아직 읽지 않은 관련 참고문헌에 표시해 두고 나중에 읽습니다. 이것이 논문의 배경을 더 알아가는 방법이고, 아래의 문헌 조사로 이어집니다.

이 패스는 숙련된 독자에게 최대 1시간이 걸립니다. 끝났을 때는 논문의 내용을 파악하고, 핵심 주장을 근거와 함께 다른 사람에게 요약해 줄 수 있어야 합니다. 관심은 있지만 자신의 연구 전공은 아닌 논문이라면, 이 정도가 알맞은 이해 수준입니다.

두 번째 패스가 끝나도 논문을 이해하지 못할 때가 있습니다. 주제가 처음이거나, 저자가 모르는 증명이나 실험 기법을 썼거나, 논문이 형편없이 쓰였을 수 있습니다. Keshav는 세 가지 길을 제시합니다. 필요 없기를 바라며 논문을 치워 두기, 배경 자료를 읽은 뒤 나중에 돌아오기, 아니면 버티고 세 번째 패스로 나아가기.

3패스: 논문을 가상으로 다시 구현하기

세 번째 패스는 완전히 이해해야 하는 논문, 예컨대 자신의 학위논문에 가장 가까운 논문이나 심사 중인 논문을 위한 것입니다. 핵심은 가상으로 다시 구현해 보는 것입니다. 저자와 같은 가정을 세우고 그 연구를 다시 만들어 봅니다. 자신이 다시 만든 것을 실제 논문과 비교하면, 논문의 혁신뿐 아니라 숨은 결함과 가정까지 찾아낼 수 있습니다. 이 패스는 세부에 대한 큰 주의를 요구합니다. 모든 문장의 모든 가정에 이의를 제기하고, 자신이라면 각 아이디어를 어떻게 제시할지 생각합니다. 향후 연구의 아이디어도 바로 이 비교에서 나오니, 읽으면서 적어 둡니다.

초보자는 네다섯 시간, 숙련된 독자는 1시간 정도 걸립니다. 끝났을 때는 논문의 전체 구조를 기억만으로 재구성하고, 강점과 약점을 짚고, 암묵적인 가정과 빠진 인용, 기법의 잠재적인 문제를 지적할 수 있어야 합니다.

세 번의 패스를 문헌 조사에 쓰기

논문 읽는 실력이 시험대에 오르는 곳은 문헌 조사입니다. 수십 편의 논문을, 그것도 흔히 낯선 분야에서 읽게 됩니다. Keshav는 논문을 고르는 데도 이 패스를 씁니다.

1. 학술 검색 엔진과 잘 고른 몇 개의 키워드로 그 분야의 최근 논문 3~5편을 찾습니다. 각각 한 번씩 패스하고, 관련 연구 절을 읽습니다. 운이 좋으면 그중 하나가 서베이 논문이어서 거기서 끝납니다. 아니면 계속합니다.
2. 그 논문들이 공통으로 인용하는 문헌과 반복해서 나오는 저자 이름을 찾습니다. 그것이 그 분야의 핵심 논문과 핵심 연구자입니다. 핵심 논문을 내려받아 따로 두고, 핵심 연구자의 웹사이트에서 최근 연구를 살펴봅니다.
3. 그 분야가 어디에 발표하는지 찾습니다. 주요 학회나 학술지의 웹사이트에 가서 최근 논문집을 보고, 수준 높은 관련 연구를 골라냅니다.

이 논문들과 따로 둔 논문들이 조사의 첫 번째 판입니다. 두 번째 패스까지 읽고, 거기서 찾지 못했던 핵심 논문이 가리켜지면 그것을 가져와 반복합니다.

논문을 위해 만든 리더가 도움이 되는 곳

이 방법은 인쇄물과 연필로도 됩니다. 태블릿에서는 몇 가지가 더 빨라지는데, 영상이 보여 주는 것이 바로 그 부분입니다.

• 1패스는 제목과 초록을 훑는 일인데, 좌우로 끌어 가며 봐야 하는 두 단 페이지에서는 느립니다. 읽기 모드는 논문을 한 단으로 다시 흘려서, 제목이 한 줄로 정렬되고 초록이 한눈에 읽힙니다.
• 2패스는 그림과 여백 속에 있습니다. 그림을 본문 옆에 고정해 두고 계속 읽습니다. 인용을 탭하면 자리를 잃지 않고 참고문헌을 볼 수 있습니다. 하이라이트와 메모는 한 기기에 남지 않고 Zotero나 Mendeley 라이브러리로 돌아갑니다.
• 3패스는 쓰는 일입니다. 의심스러운 단계에 손으로 동그라미를 치고 그 옆에 질문을 적습니다. 자기 요약을 다 썼으면 논문 카드와 비교합니다. 카드는 연구 질문, 방법, 데이터, 결과, 저자가 밝힌 한계를 문장마다 페이지와 함께 나열하고, 의견이 다른 곳은 그 페이지를 열어 보면 됩니다.

자주 묻는 질문

각 패스는 얼마나 걸리나요?

첫 번째 패스는 5~10분, 두 번째는 최대 1시간, 세 번째는 이 방법이 처음일 때 네다섯 시간이며 익숙해지면 1시간 정도로 줄어듭니다. 수치는 Keshav의 것입니다.

모든 논문을 세 번 읽어야 하나요?

아닙니다. 첫 번째 패스의 목적은 결정하는 것이고, 대부분의 논문에서 그 결정은 멈추는 것입니다. 두 번째 패스는 관심 있는 논문을 위한 것이고, 세 번째 패스는 깊이 알아야 하는 논문, 예컨대 자신의 학위논문에 가장 가까운 논문이나 심사 중인 논문에만 씁니다.

다섯 가지 C란 무엇인가요?

첫 번째 패스 뒤에 답할 수 있어야 하는 다섯 가지 질문입니다. Category(어떤 종류의 논문인가?), Context(어떤 논문과 이론적 기반 위에 서 있는가?), Correctness(가정이 타당해 보이는가?), Contributions(주요 기여는 무엇인가?), Clarity(잘 쓰였는가?).

3패스 방법은 컴퓨터과학에만 해당하나요?

Keshav는 컴퓨터과학과 네트워킹 분야를 위해 썼고, 그곳에서 20년 가까이 새 대학원생에게 전해져 왔지만, 내용 중 분야에 특정한 것은 없습니다. 연구 논문의 구조는 다른 분야에서도 같습니다. 초록, 서론, 방법, 결과, 논의, 참고문헌. 바뀌는 것은 무엇을 "다시 구현하기"로 볼 것인가라는 질문뿐입니다.

두 번째 패스에서는 무엇을 적어야 하나요?

나오는 대로 핵심을 적고, 여백에 의견을 씁니다. 의심스러운 주장, 축이나 오차 막대가 표제의 결과를 뒷받침하지 못하는 그림, 읽고 싶은 참고문헌. 메모는 별도의 파일이 아니라 논문과 함께 두어야, 세 번째 패스에서도, 글을 쓸 때도 거기에 있습니다.

두 번째 패스 뒤에도 논문이 이해되지 않으면요?

Keshav는 세 가지 선택지를 줍니다. 필요 없기를 바라며 치워 두기, 논문이 기대고 있는 배경 자료를 읽은 뒤 돌아오기, 아니면 버티고 세 번째 패스로 들어가기. 어느 것이 맞는지는 그 논문이 자신의 연구에 얼마나 가까운가에 달려 있습니다.

원문은 어디에 있나요?

S. Keshav, "How to Read a Paper," ACM SIGCOMM Computer Communication Review, vol. 37, no. 3, July 2007, pp. 83–84, doi:10.1145/1273445.1273458. 무료 사본이 강의 자료로 web.stanford.edu에 있습니다. 두 쪽이며, 10분을 들일 가치가 있습니다.

첫 논문을 위해 만든 앱

학위논문, 세미나, 막 들어간 연구실 때문에 첫 논문을 읽고 있다면, 바로 그것을 위해 만든 앱이 이제 있습니다. Rectoly: How to Read Papers입니다. 논문을 세 번의 패스로 안내하고, 다섯 가지 질문을 던져 하이라이트로 답을 찾게 하며, 이미 갖고 있는 PDF 위에서 논문을 자기 말로 정리하게 합니다. iPad와 iPhone용 App Store에 곧 나옵니다. 앱 페이지에 이메일을 남겨 주시면 나왔을 때 알려 드리겠습니다.