주제는 "언론사 홈페이지별 기사 추천 서비스 사례 분석"이었다. 사실 이 주제는 꽤나 모호했다. '언론사', '홈페이지', '기사', '추천 시스템', '사례'와 같은 단어들의 정의와 특성이 분명하게 주어지지 않았기 때문이다. 상식적인 차원에서 아이디어를 떠올려도 카테고리를 분류하는 경우의 수가 매우 많아 보였다. 일단 언론사만 해도 보수 언론사와 진보 언론사, 중앙 언론사와 지역 언론사, 국내 언론사와 해외 언론사 등으로 나눌 수 있다. 기사도 스트레이트 기사와 심층 기사, 일반 기사와 광고 기사, 텍스트 기사와 시각화 기사 등으로 구분할 수 있었다. 이러한 세분화 과정을 주제에 포함된 '언론사', '홈페이지', '기사', '추천 시스템', '사례' 모두에 적용하고 사례 분석 프로젝트를 준비하는 것은 현실적으로 불가능하다고 생각했다.
그래서 주제 단어에 집착하지 않고, 출제자의 의도를 이해하는 데 집중하고자 했다. 주제를 주신 박사님은 한국언론진흥재단 연구위원으로 계셨다. 대한민국 언론사 데이터 분석 및 추천 알고리즘 관련 분야의 권위자로 보였다. 미디어 관련 논문을 쓴 한 석사생은 이미 이 분을 알고 있었고, 논문 작성 시 인용도 많이 했다고 했다. 그분이 하루 워크숍을 진행했을 때 느꼈던 점을 떠올려 보면, 그분은 언론사 시스템 운영 실태에 대한 강한 문제의식을 가지고 있는 것 같았다. 국내 포털사들의 정치 편향 문제로 '뉴스트러스트 프로젝트'라는 공공 최초의 대중적으로 신뢰성 있는 뉴스 배열 및 추천 알고리즘 코드를 만들고 배포하는 프로젝트를 주도하셨다고 했다. 이런 커리어 백그라운드를 고려해보니 발제 의도가 나름 사회적인 맥락으로 짐작이 갔다. 그래서 이번 미니 프로젝트의 컨셉을 단순 추천 케이스 스터디보다 뉴스 도메인 문제 실제 이해로 설정했다.
이러한 컨셉 접근을 구체화할 가장 좋은 방법은 물론 1) '개발'이었다. 각 언론사나 포털사별로 어떤 기사 추천 알고리즘을 사용하는지 코드를 알아내고, 언론사별 유의미한 차별성을 짚어내는 것이었다. 하지만 모든 미디어 및 유통 회사가 마찬가지겠지만, 이들은 데이터와 기술에 아주 민감해서 실제로 내부적으로 어떻게 구현되는지 알아내기는 사실상 불가능하다는 판단을 했다. 차선책으로 2) '검증'의 방법이 떠올랐다. 사전 서칭을 몇 가지 해본 결과, 언론사별로 자신들이 사용하는 추천 시스템을 홍보하는 기사를 몇 가지 찾을 수 있었다. 그 핵심은 모두가 예상하다시피 AI이고, 조금 더 나아가 개인화 추천이었다. 이러한 공개된 자료를 잘 활용한다면, 우리 팀원들도 첫 프로젝트의 부담을 줄이고, 박사님이 원하실 프로젝트의 사회적 의미를 효과적으로 도출할 수 있을 것이라고 판단했다. 주말까지 이어진 팀 회의 결과, 프로젝트 방향을 언론사들이 공표한 기사를 바탕으로 추천 시스템을 확인하고 검증하는 것으로 정했다.
"언론사별 AI 추천 시스템 검증"이라는 프로젝트 컨셉을 잡고 나니, 이후 작업은 비교적 수월하게 진행됐다. 우리는 먼저 그들의 주장을 "우리 회사는 홈페이지에서 AI 추천 시스템을 이용하고 있다"라고, 가설을 설정했다. 실제로 동아일보, 부산일보 등은 자신들이 AI 추천 시스템을 이용하고 있다는 홍보 기사를 냈기 때문이다. 반대로 우리는 "실제로는 AI 추천 시스템이 이용되지 않는다"라는 대립 가설을 세웠다. 우리가 직접 이용해본 결과, 체감상으로 그런 알고리즘 추천 시스템이 잘 작동하지 않는다고 느끼고, 코딩 강사님도 이러한 홈페이지에서 유저 개별 추천이 실제로 이뤄질 가능성은 낮아 보인다고 말씀하셨다. 하지만 이런 직관적 근거는 똑똑한 상대방을 설득하기에는 빈약했다. 일반인이나 친구들 사이에서 스몰토크할 때는 "그냥 내가 이렇다고 느꼈어"가 설득력 있는 주장일 수 있지만, 비즈니스적 사안에 대해 박사님과 수강생들을 대상으로 설득하기에는 부족했다. 따라서 더 객관적이고 체계적인 근거와 설득의 논리를 구성하고자 했다.
팀원들 간의 논의를 거친 결과, 변수 테스트를 떠올렸다. 여기서 변수 테스트는 개별화된 정보 제공을 기준으로 사용자에게 제공되는 서비스의 모습을 비교하여 어떤 변화가 생기는지 판단하는 실험이다. 이는 AI 추천 시스템의 가장 큰 특징인 개인화에서 아이디어를 얻은 것이다. 인공지능 추천 시스템의 목적은 개별화된 추천이니, 개별화된 정보를 제공했을 때와 제공하지 않았을 때의 콘텐츠 제공 결과를 비교하면 사람들이 자연스럽게 납득할 수 있다고 판단했다.
그렇다면 개별화된 정보는 어떤 핵심적인 변수로 설정될 수 있을지 고민해봤다. "로그인"이 가장 강력한 더미 변수라고 생각되었다. 로그인이란 "운영체제나 인터넷 사이트 등에서 자신의 계정을 이용하기 위해 사용자 인증을 거쳐 자신의 계정으로 접속하는 것"이라고 정의된다. 결국, 유저 데이터가 담긴 로그인된 계정 정보를 회사 측에 제공하고, 만일 콘텐츠 공급자가 비로그인 유저와 다른 정보를 제공한다면 AI 추천 시스템의 핵심인 개인화된 추천이 이뤄진다고 판단할 수 있었다.
로그인을 통해 구체적으로 어떻게 서비스 공급자에게 개인 선호를 전달할 수 있을지에 대한 생각도 필요했다. 이에는 크게 두 가지 방식이 있을 수 있었다. 첫 번째는 수동적인 인적 정보 전달이다. 예를 들어, 내가 20대 서울에 사는 남성으로 회원 가입을 한다면, 이것만으로도 개인화된 추천을 기대할 수 있을 것 같았다. 애초에 서비스나 마케팅 기획을 할 때 가장 먼저 하는 것이 타겟군 설정이고, 나는 그 인적 사항을 가진 사람임을 공급자에게 막바로 제공한 것이기 때문이다. 두 번째는 적극적인 정보 전달이다. 이 경우에는 유저의 활동이 기반이 된다. 만일 내가 바이오 섹션의 기사만 30가지 읽고, 검색창에 '신체', '건강' 등의 키워드를 10번 입력했다면, 나는 헬스나 의학에 관심이 많은 유저라는 힌트를 공급자에게 줄 수 있는 것으로 보였다.
이번 프로젝트에서 우리가 검증하고자 하는 가설은 "언론사의 개인화된 추천이 잘 이뤄지고 있다"라는 명제이므로, 두 가지 방식을 유저 입장에서 병행해도 문제 없어 보였다. 정리하자면 우리는 변수 테스트를 통해 동일한 조건에서 유저 데이터를 갖춘 로그인 정보를 제공하면 홈페이지에서 어떤 추천 변화가 일어나는지 알고자 했다. 만일 로그인을 했을 때 명확한 변화가 있다면, 언론사의 AI 추천 시스템 도입에 대한 홍보는 믿을 만한 것이고, 변화가 없다면 우리의 직관적인 체감이 맞는 것으로 밝혀낼 수 있을 것으로 보였다. 이에 실제로 *최대한 로그인 외 작동하지 않을 상황에서 로그인 테스트를 진행했다.
* 경제학 모델에서는 항상 '세테리스 파리부스(Ceteris Paribus)' 가정을 붙인다. 이는 라틴어로 "다른 모든 조건이 동일하다면"이라는 뜻으로, 실험 설계의 필수적인 가정이다. 진짜 독립변수를 가려내기 위해 다른 요소들을 최대한 비슷하게 맞춰두는 것이다. 변수 테스트에서도 이 가정은 핵심으로 보였다. 이에 로그인 변수를 제외한 나머지 온라인 환경은 최대한 비슷하게 맞춰두고자 했다. 이를 위해 1) 팀원들 간 같은 날 같은 시간대에 2) 같은 네트워크를 사용하며 3) PC의 쿠키나 로그 기록을 최대한 가릴 수 있는 크롬 시크릿 브라우저를 사용했다. 이렇게 하면 유저 데이터가 아닌 시간적, 지리적, 로컬적 데이터 오염을 최대한 줄일 수 있을 것으로 판단했다.
결과
결론부터 이야기하자면, 이번 실험으로는 유저 데이터를 기반으로 한 추천 시스템이 실제로 존재하지 않는 것으로 보였다. 로그인했을 때와 로그인하지 않았을 때 콘텐츠 추천 성격이 크게 변하지 않았기 때문이다.
구체적으로, 나는 20대 남성이라는 인적사항을 기입하고 "비타민"이라는 검색어를 여러 번 입력하며 관련 기사만 30개 클릭했다. 이외의 다른 활동은 하지 않음으로써 바이오에 대한 관심만을 서비스 제공자에게 전달하고, 다른 입력이나 행동으로 선호도가 희석되는 것을 최대한 방지했다. 그럼에도 불구하고, 언론사 홈페이지에서 바이오에 관심이 있는 유저로서 시사나 사회 뉴스를 클릭했을 때 추천 콘텐츠에 바이오나 비타민 관련 콘텐츠가 나오지 않았다. 동일한 시사, 사회 관련 콘텐츠가 추천되었는데, 이는 사용자 특성에 기반한 추천(CF)보다는 현재 보고 있는 콘텐츠(CB) 방식의 추천 시스템으로 보였다.
이러한 현상은 각 페르소나가 각 언론사를 방문할 때 공통적으로 나타났다. 다른 팀원은 연예 뉴스에 관심이 많은 20대 여성, 또 다른 팀원은 시사나 사회 뉴스에 관심이 많은 20대 대학생으로 페르소나를 설정하고 성별, 나이 등 인적 사항을 기입한 후 각각 관심사에 맞는 "코로나", "연예" 등의 검색어 입력과 기사 구독을 했다. 그럼에도 불구하고, 이들은 나와 비슷한 현상을 겪었다. "나는 코로나, 연예에 관심이 많은 독자에요"라고 아무리 표출을 해도 지금 내가 경제 기사를 조회했다면 서비스 공급자는 경제 관련 기사들만 추천을 나한테 하고 있는것이다.
특히, 부산일보의 경우 CB 방식조차 도입되지 않은 것으로 보였다. 로그인 유무와 상관없이, 어느 섹션의 기사를 클릭해도 추천 기사에 동일한 뉴스가 떴기 때문이다. 이는 개인화된 추천이나 현재 보고 있는 기사 기반 추천도 아니므로, AI와는 거리가 먼 큐레이션 방식으로 보였다. 다만 중앙일보의 경우, 기자나 테마 구독이라는 명시적 콘텐츠 요청을 한 경우에는 이 요청이 홈페이지 추천 시스템에 반영되는 모습을 보였다.
원인
왜 추천 시스템이 제대로 작동하지 않는 것일까? 첫 번째로 떠오른 것은 언론사 특유의 아젠다 세팅 역할이다. 아젠다 세팅이란 언론사나 정당과 같은 사회적 기능을 수행하는 집단이 대중적 논의가 필요한 주제를 선정하고 여론을 유도하는 행위이다. 만약 언론사가 이러한 추천 행위를 단순히 유저의 기호에 맞춰서만 진행한다면, 공익성 차원에서 문제가 생길 수 있기에 의도적으로 하지 않을 수 있다고 생각했다. 약간 유행이 지난 이야기지만, 인스타그램에 '돋보기 챌린지'라는 것이 있었다. 자신의 인스타그램 계정에서 추천 콘텐츠 목록을 보여주는 돋보기 칸을 눌러, 그 안에 어떤 것이 나오는지 인증하는 방식이었다. 진지하고 과묵해 보이는 사람도 오락이나 노출 콘텐츠 같은 연성 콘텐츠가 추천 목록에 등장했다. 다들 안 그런 척하지만 연성 콘텐츠에 더 눈길이 가는 건 인간의 본능이다. 그런데 언론사마저 그런 기호 맞춤 추천을 적극적으로 한다면 사회적 관심을 가져야 할 사항들이 묻힐 수 있으니, 순수한 유저 선호 중심의 기사 추천이 어려웠을 것이라고 생각했다.
두 번째로는 콜드스타트 문제를 생각해볼 수 있다. 콜드스타트란 어떤 추천 시스템에서 초기에 풍부한 유저 데이터를 확보하지 못했을 때 발생하는 질 낮은 추천 문제로, 알고리즘이 제대로 작동하지 못하는 상황을 말한다. 이는 신용도가 중요한 비즈니스에서 더욱 큰 문제가 된다. 갑자기 이상한 추천이 눈에 띄게 등장하면 브랜드 신용도가 타격을 받을 수 있다. 카카오페이와 같은 핀테크 금융회사도 이와 같은 문제로 인해 알고리즘 개발에 신중을 기했다는 글을 본 적이 있다. 언론사도 이 문제를 겪었을 가능성이 크다고 추측했다. 대부분의 사람들은 홈페이지에 가입한 후 기사를 읽지 않기 때문에, "유저 협업" 기반 알고리즘을 작동시킬 만큼의 가입 유저 집단 자체가 부족할 수 있다. 결국, 현재 언론사들은 CF(협업 필터링) 시스템을 작동시킬 데이터가 부족한 상황이다. 이에 미국 뉴욕타임즈는 온라인 기사를 읽기 위해 회원가입 및 로그인을 필수로 요구하고, 국내에서는 한국경제신문이 '로그인월'을 도입했다는 기사를 봤던 기억이 났다. 이는 충성 고객층의 유저 데이터라도 확보하려는 시도로 이해되었다.
세 번째로는 현실적인 기술 및 금전적인 문제를 고려할 수 있다. CF 알고리즘을 개발하고 구현하며, 이를 유지하는 데는 생각보다 많은 비용과 노력이 들기 때문이다. 언론사도 콘텐츠를 발행하는 기업인 만큼, 그간 축적된 데이터가 많을 것이다. 일례로 동아일보는 100년이 넘게 매일 신문이라는 콘텐츠를 발행해 왔다. 그러한 방대한 데이터를 저장하고, 그때그때 개인에게 맞는 기사를 추천하는 것은 쉽지 않은 작업이다. 그러기에 일단 CB(콘텐츠 기반) 시스템을 유지하는 것이 경제적으로 효율적이지 않을까라는 생각도 들었다.
전문가 의견: 박사님도 언론사들이 AI 개인화 추천 시스템이 제대로 작동하지 않는다고 판단하셨다. 그 이유로는 세 번째 현실적인 문제를 언급하셨다. 예를 들어, 우리가 조사했던 부산일보의 AI 추천 시스템 개발에 박사님이 직접 도움을 주셨는데, 중소 언론사의 현실은 상상 이상으로 열악하다고 하셨다. 부산일보의 경우 2023년 신문 발행업 매출액 기준으로 19위였고, 지역 언론사 중에서는 1위인 지역 강세 언론사였지만, 악화된 비즈니스 상황 때문에 실제 AI 추천 시스템 운영이 이미 내부적으로 중단되었다고 하셨다.
이 프로젝트를 통해 미디어 도메인의 문제 정의를 분명히 했으니 본격적으로 남은 작업은 "이 문제를 어떻게 해결할까요?"가 되었다.