SCI 논문 기반 교수 평가, 한계 적지 않다

대학은 신임 교수 채용, 승진 및 영년직 심사, 연말 고과 평가를 위해 교수를 평가한다. 우수한 신임 교수를 채용하고, 승진시키고, 인센티브를 지급함으로써 더 열심히 일하게 하고, 또 성과가 우수한 교수를 격려하기 위함이다.

김정호 카이스트 교수

그런데 가장 논란이 될 수 있는 부분이 논문 평가이다.  논문 평가는 일반적으로 학술지 논문(Journal Paper)발표와 학회 논문(conference Paper)발표 실적으로 나뉘어 진다. 각 연구 분야에는 다양한 수천 종류의 학술지 논문이 있으니 그 실적의 질을 판단하기 매우 어렵다. 그래서 통상적으로 그 논문 중에 SCI (Science Citation Index)에 포함된 논문만을 실적에 반영하기도 한다.

SCI에 등재된 학술지 논문은 다른 SCI 학술지에서 활발하게 인용되고 있다. 그런데 문제는 SCI 에 소속된 학술지 논문도 너무 많다는 것이다. 그래서 SCI 학술지에 논문을 낸다고 해도 그 수준을 가늠하기 어렵다.

가장 중요한 문제는 교수가 높은 평가를 받기 위해서 논문의 질을 높이기 보다는 논문의 숫자를 늘리는 데 더 노력할 수 있다는 위험성이다. 그리고 읽히지 않는 논문이 부지기수다.

최근 문제가 되고 있는 WASET(World Academy Science, Engineering, and Technology) 논문 문제도 마찬가지이다. 수준 미달의 허술한 학회에 관광 삼아 교수나 학생이 학술대회 논문을 발표하는 것이 사회적 문제가 되고 있다. 이러한 배경으로 해서 최근 KAIST 는 학생의 박사 학위 조건에 SCI 논문 개제 조건을 없앴다. 

여행사 홈페이지와 비슷하게 생긴 WASET 학술대회 소개 페이지, [출처: WASET]

빅데이터가 교수 평가한다면?

이같은 현재의 교수 평가의 대안으로 빅데이터를 분석해서 교수를 평가하는 인터넷 사이트가 등장하기 시작했다. 구글에서 제공하는 서비스(https://scholar.google.co.kr)에서는 저자 이름을 영문으로 입력하면 그 동안 저자가 발표한 학술지와 학회 논문의 목록이 나온다. 저자의 논문 인용 횟수 통계도 보여 준다. 총 인용 횟수뿐만 아니라 연도별 추이도 보여 준다. 'H10 index'라고 불리는 10회 이상 인용된 논문의 수를 보여 준다.

그리고 그 논문을 인용한 또 다른 저자와 그 논문을 볼 수 있다. 구글의 이 서비스를 이용하면 최소한 해당 교수의 논문 활동과 인용 횟수는 정확하게 볼 수 있다. 이것이 가능한 것은 모두 4차 산업혁명 시대를 맞아 빅데이터 분석이 가능해 지고, 이 모든 서비스를 클라우드 시스템에서 제공하기 때문에 가능하게 되었다.

구글 서비스를 이용한 해당 교수의 연도별 논문 인용 추이와 통계 결과, [출처: KAIST]

마이크로소프트(https://academic.microsoft.com)는 더 진보한 서비스를 제공한다. 마이크로소프트는 추가로 교수의 활동 분야, 주로 발표하는 잡지, 같이 활동하는 공저자들, 같은 분야를 연구하는 기관들의 목록도 같이 보여 준다.

이 중에서 가장 교수 평가에 도움을 주는 것은 각 분야별 전세계 교수 순위이다. 각 교수를 평가할 때 그 분야들의 숫자가 너무 많고 아주 다양하고 넓어서 객관적으로 평가하기 어렵다. 그런데 이러한 빅데이터를 분석해서 그 분야의 세계적 순위를 안다면 매우 큰 도움이 된다. 

https://academic.microsoft.com/ 를 이용한 교수 평가 정보, [출처: KAIST]

바야흐로 빅데이터 시험 시대

빅데이터 분석은 여러 가지 장점이 있다. 일단 인터넷이나 클라우드 빅데이터에 올라온 모든 논문 정보를 가져올 수 있다. 요즘은 대부분의 학술지, 학술대회 논문이 인터넷에 올라와 있다. 거기에 더해서 매우 빠른 속도로 검색한다. 같은 저자의 논문을 순식간에 찾아 낸다.

도저히 인간이 할 수 없는 작업을 대신해 준다. 거기에 인공지능 알고리즘을 더하면 평가도 인간을 대신해 객관적이고 효율적이면서 빠르게 내려준다. 해당 교수와의 사적 관계는 완전히 배제 가능하고 합리적이고 투명한 평가가 가능해 진다.

여기에 더해서 논문의 중복과 표절 여부도 빅데이터 분석이 가능하다. 한 개의 논문을 논문 분석 프로그램에 올리면 몇 분내에 전세계의 유사 논문을 찾아내고, 몇 페센트의 중복 여부까지 바로 판별해 낸다. 이처럼 논문의 중복과 표절 여부도 빅데티터를 통해서 분석해 낸다.

이러한 빅데이터 분석은 대학 입학 시험, 기업 입사 시험에도 그대로 적용할 수 있다. 빅데터를 이용한 교수 평가의 원리와 똑 같다. 다양한 데이터 분석을 통하여 지원자의 진실성, 정직성, 적합성, 지식 수준, 의지, 열정, 창의성, 그리고 리더십도 판단하고, 총 지원자의 순위까지 매길 수 있다. 그러면 현행 대학 입시 문제를 해결할 수 있지 않을 까.

바야흐로 빅데이터 평가와 시험 시대가 다가오고 있다.

1979년 대학입시 예비고사 장면, [출처: 한국일보 자료 사진]

joungho@kaist.ac.kr      

[김정호 카이스트 전기 및 전자공학과 교수]