거짓말을 파는 스페셜리스트

거짓말을 파는 스페셜리스트
	원제Wrong
	지은이데이비드 프리드먼
	옮긴이안종희
	펴낸곳지식갤러리
	쪽수367쪽
	ISBN9788962603033
	펴낸날2011년 03월 25일
	읽은날

전문가들은 왜 거짓말을 하는것일까
그리고 그들의 말을 언제 믿어야 할까

만약 무릎이 약하다면 언덕이 가파르다고 말하지 말라
- 헨리 데이비드 소로(Henry David Thoreau)

6쪽
성공이란 단순한 실패에서 열정이 살아 있는 실패에 이르는 것이다
-윈스터 처칠 Winston Churchill

그런데 그는 논문의 오류 여부를 말해주기 위해 세부적인 연구 내용을 들여다 보지도 않는다. 그가 아는 것이라곤 이 논문이 최고 수준의 학술 저널에 발표됐다는 사실뿐이다.

7쪽
드디어 그의 판결이 내려졌다. 논문이 틀렸을 것이라고 그는 예측했다. 그의 예측은 전문지식과 그것에 대한 우리의 신뢰를 근본적으로 뒤흔들어 놓는다.

그의 이름은 존 이오아니디스 John Ioannidis로, 연구 결과들이 거짓일 확률을 계산하는 분야를 전공한 의사이자 연구원이다. ... 사회에서는 보통 자신의 결점을 드러내는 사람들을 따돌리려고 애쓰지만, 의학 연구계(가장 낮은 수준의 인정을 받기 위해서도 남다른 재능과 노력이 필요한 분야다)는 이 분야에서 성공하려면 통과해야 할 표준적인 관문으로서 그를 대우하고 있다. 

8쪽
오류를 밝혀내는 사람이 되기 위한 표준적인 경력은 따로 없다. ... 의학계는 점차 '증거 중심의 의학'이라는 새로운 분야에 대해 관심을 갖게 되었다. 이것은 의사들이 학교에서 배운 추정된 지식뿐만 아니라 연구를 통해 엄격하게 검증된 지식이 환자에게 도움을 줄 수 있도록 의사들을 훈련시키려는 시도였다. 이오아니디스는 다음과 같이 말한다. "놀랍게도 대부분의 의료적 처방은 충분하고 계량적인 증거가 뒷받침 되지 않았습니다."


10쪽
시간이 흐른 후 '별 가치가 없는' 연구 결과가 지속적으로 유효한 연구 결과보다 2:1 비율로 더 많아지는 패턴을 보였다.

그러나 실제 상황은 이오아니디스가 발견한 3분의 2 수준의 오류율보다 더 심각하다. 그는 가장 권위 있는 의학저널에 발표된 연구들 중 0.1% 미만만 조사했다. 달리 말하면, 그가 발표된 의학 연구의 3분의 2가 틀렸다고 말한 것은 지나치게 낙관적인 평가라고 볼 수 있다는 것이다. 만약 낮은 수준의 저널에 발표된 부실한 연구를 조사하고, 그 연구 결과가 대학과 광고업계, 언론인들에 의해 돌고 돌아 잘못 해석되는 상황을 고려한다면, 이오아니디스가 저명한 의학저널에서 발견한 전문적인 연구의 오류율이 어떤 수준이든지 간에 실제 오류율은 그보다는 확실히 높을 것이다.

11쪽
그것은 마치 그가 해군의 전투 효율성을 향상시키는 연구에 착수했다가 곧 대부분의 배가 뜨지 않는다는 사실을 발견한 것과 같았다. 이런 문제는 비단 의학에만 있는 것 같지 않았다. 화학, 물리학, 심리학을 비롯한 다른 과학 분야를 조사한 후 그는 상황이 상당히 비슷하다는 것을 발견했다. 그는 다음과 같이 말한다. "자료를 근거해서 볼 때, 대다수는 아니지만 많은 과학 분야들의 경우 발표된 연구의 대다수가 오류일 가능성이 있습니다. 아마 대다수 연구가 그럴 것입니다."

12쪽
물론 전문지식에 관한 이야기를 정리하고 전문가들의 말을 인용한다고 해서 전문가들이 일반적으로 우리를 오도한다는 사실이 입증되지는 않는다.

41쪽
결국 학교를 평가하는 데 사용된 기준들은 타당성이 약하고, 아마 제대로 평가하지 못할 가능성이 높을 것이다. 다섯 개 주 38명의 학교 교장들은 이러한 견해를 확실하게 밝혔다. 그들은 <뉴스위크>에 자신의 학교를 평가에서 제외시켜 달라고 공식적으로 요청했다(그러나 무시되었다). 그들이 보낸 공동 서신을 보면 다음과 같다. "어느 고교가 전국에서 '최우수 학교'인지 안다는 것은 불가능합니다. 여러 학교가 높은 수준의 교육 서비스를 젝오하는 여부를 결정하려면 학생들의 전반적인 학업성취 수준, 대학 진학 후 성적, 각 지역사회의 고유한 요구를 비롯한 다양한 평가기준을 살펴보아야 합니다." 어느 연구도 이러한 다양한 평가기준을 통합적으로 고려했다고 주장할 수 없다.

그러나 우리가 평가기관마다 서로 다른 평가요소를 핵심적인 평가기준으로 받아들이는 덕분에 전문가들은 그런 자료를 널리 퍼뜨리고 다닐 수 있고, 또 우리가 일상적으로 만나는 '주변'의 전문가들에게 자신의 입지를 높일 수 있다. 즉, 이런 평가제도를 남용 또는 조작할 수 있다는 뜻이다. 공립학교의 표준화된 시험은 고전적인 사례다. 어떤 주가 표준화된 시험점수를 기준으로 학교 재원을 주기 시작하면, 아마 교사들은 결국 '시험에 대비한 교육'을 실시할 것이다. 곧 교과과정은 학생들이 그 시험에서 좋은 성적을 올리는 방향으로 운영된다는 것이다. 미국에서 '독서력 향상' 프로그램이 급속도로 인기를 얻고 있는 것에서 볼 수 있듯, 교과과정이 계량적인 평가에 초점을 맞추는 식으로 바뀔 수도 있다. 이 프로그램은 다양한 책에 점수를 배정한 다음 <이클립스Eclipse>는 최고 22점이고, <햄릿Hamlent>은 7점이다. 컴퓨터를 사용하여 이해력을 평가하고 점수를 부여한다.

물론 교육계에서 시험에 맞춘 교육을 종종 반대하는 이유는 점수가 높다고 해도 더 종합적이고, 잠재적으로 더 중요한 다른 방식에 따라 평가할 경우 교육성취도가 낮은 학생이 될 수도 있기 때문이다. 예를 들어 런던의 킹스칼리지의 연구자들이 수행한 연구에서 영국의 표준화된 시험이 학생들의 성취도가 지속적으로 개선되었음을 보여주지만, 더 폭넓은 평가지표를 포함시킨 한 연구에서는 오늘날의 학생들이 중학교에 들어갈 때 1970년대 같은 학년보다 2년 정도 뒤쳐진다는 것을 보여주었다. 이 연구는 특히 영국 학생들이 보다 단순한 문제에 빠르게 대응하는 능력은 개선되었지만, 복잡한 문제를 해결하는 능력이 더 나빠졌다는 점을 부여주었다(전자는 표준화된 시험에 의해 길러진 능력이다).

맛보기는 여기까지