지난 글에서는 멀티모달 AI 모델을 평가하는 다양한 벤치마크를 살펴봤습니다. 이번에는 완전히 다른 분야로 이동합니다. 넷플릭스에서 영화를 보고 나면 「당신이 좋아할 것 같은 영화」가 뜨고, 쇼핑몰에서 상품을 구경하면 「이 상품을 구매한 고객이 함께 구매한 상품」이 나타납니다. 이렇게 사용자가 아직 모르는 것 가운데 좋아할 만한 것을 골라 내미는 시스템을 추천 시스템이라 부르고, 그 가장 오래된 핵심 알고리즘이 협업 필터링(Collaborative Filtering, CF)입니다.
협업 필터링의 발상은 한 문장입니다. 비슷한 취향을 가진 사람들은 새로운 것에 대해서도 비슷한 반응을 보인다. 영화 A, B, C를 모두 좋아한 두 사람이 있다면, 한 사람이 영화 D를 좋아했을 때 다른 사람도 D를 좋아할 가능성이 높습니다. 아이템의 내용은 하나도 보지 않고 사람들의 행동만으로 추천한다는 점이 이 방법의 힘이자 한계입니다. 이 글에서는 그 발상을 계산으로 옮길 때 내려야 하는 결정들 — 데이터를 어떤 모양으로 놓을지, 「비슷하다」를 무엇으로 잴지, 몇 명의 의견을 들을지, 규모가 커지면 무엇이 무너지는지 — 을 차례로 짚습니다.
사용자-아이템 행렬
행렬의 구성
협업 필터링의 데이터는 사용자-아이템 행렬 하나로 정리됩니다. 행은 사용자, 열은 아이템(영화, 상품, 음악 등)이고, 각 칸에는 그 사용자가 그 아이템에 남긴 반응이 들어갑니다.
# 사용자-아이템 행렬 예시 (? = 아직 평가하지 않음)
# 영화A 영화B 영화C 영화D 영화E
# 사용자1: 5 3 ? 1 4
# 사용자2: 4 ? 4 1 2
# 사용자3: 1 1 ? 5 4
# 사용자4: ? 3 ? 4 3
# 사용자5: 2 1 5 ? ?
칸에 들어가는 값은 두 종류입니다. 1~5점 별점처럼 사용자가 직접 남긴 평가를 명시적 피드백이라 하고, 클릭·구매·재생처럼 행동에서 추정하는 신호를 암시적 피드백이라 합니다. 명시적 피드백에는 「싫다」가 있습니다. 1점이 그것입니다. 암시적 피드백에는 「했다」만 있고 「싫다」가 없습니다. 안 산 상품이 싫어서 안 산 것인지 몰라서 안 산 것인지 행렬은 알려 주지 않습니다. 이 차이 때문에 같은 협업 필터링이라도 유사도 계산과 평가 방법이 갈립니다. 이 글은 주로 명시적 평점을 예로 들고, 암시적 피드백에서 달라지는 자리는 따로 짚습니다.
희소도
위 예시는 25칸 중 7칸이 비어 있습니다. 실제 서비스는 이와 비교가 안 됩니다. 영화 1만 편을 가진 서비스에서 사용자 한 명이 평점을 남기는 영화는 많아야 수백 편이라, 채워진 칸의 비율이 1%를 밑돕니다. 연구에 흔히 쓰는 MovieLens 100K도 사용자 943명, 영화 1,682편에 평점 10만 개로, 채워진 비율이 약 6.3%입니다. 쇼핑몰의 상품 행렬은 이보다 훨씬 비어서 0.01% 아래로도 내려갑니다. 채워진 칸의 비율을 밀도, 빈 칸의 비율을 희소도라 부릅니다.
희소도는 알고리즘 선택을 바꿉니다. 두 사용자의 유사도를 재려면 둘이 함께 평가한 아이템이 있어야 하는데, 밀도가 1%면 무작위 두 사용자가 함께 본 영화의 기대 개수는 1만 편 × 1% × 1% = 1편입니다. 대부분의 사용자 쌍은 비교할 근거가 아예 없거나 한두 개뿐입니다. 사용자끼리 직접 비교하는 방식이 희소한 데이터에서 약해지는 이유이고, 뒤에서 볼 아이템 기준 방식과 행렬 분해가 나온 배경이기도 합니다.
빈칸과 마스킹
행렬을 코드로 옮길 때 가장 흔한 실수는 빈칸을 0으로 두고 그대로 계산하는 것입니다. NumPy 배열에는 「비어 있음」이 없으니 편의상 0을 넣게 되는데, 그 0이 유사도 계산에 들어가면 「0점을 줬다」로 읽힙니다. 1~5점 척도에는 0점이 없으므로, 0은 가장 싫다는 1점보다 더 싫다는 뜻이 되어 버립니다.
그래서 계산할 때는 0인 칸을 빼고 실제로 값이 있는 칸만 고르는 마스킹을 합니다. 아래 유사도 함수들이 첫 줄에서 rated = (u != 0) & (v != 0)로 둘 다 평가한 칸만 남기는 것이 그 처리입니다. 실제 서비스 규모에서는 행렬을 통째로 배열에 담지 않고, 값이 있는 칸의 위치와 값만 저장하는 희소 행렬 형식(scipy.sparse)을 씁니다. 저장 공간이 줄어드는 것 외에도, 「없는 칸」과 「0인 칸」이 형식 자체에서 구별된다는 이점이 있습니다.
유사도
코사인 유사도
코사인 유사도는 두 사용자의 평점을 벡터로 보고 그 사이의 각도를 잽니다. 각도가 0이면 1, 직각이면 0입니다. 길이로 나누기 때문에 평점의 절대 크기가 아니라 방향, 곧 어느 아이템을 상대적으로 높게 줬는지의 패턴을 비교합니다.
import numpy as np
def cosine_similarity_manual(u, v):
"""두 사용자 벡터 간 코사인 유사도 (둘 다 평가한 항목만)"""
rated = (u != 0) & (v != 0)
u_r, v_r = u[rated], v[rated]
if len(u_r) == 0:
return 0.0
return np.dot(u_r, v_r) / (np.linalg.norm(u_r) * np.linalg.norm(v_r) + 1e-8)
그런데 평점은 모두 양수라 코사인 유사도에는 약점이 있습니다. 1~5점 벡터는 전부 같은 사분면에 있어서 각도가 크게 벌어지지 않습니다. 위 예시 행렬에서 사용자1과 사용자4가 함께 평가한 영화 B, D, E를 보면, 사용자1은 3·1·4점, 사용자4는 3·4·3점을 줬습니다. 사용자1이 가장 낮게 준 D를 사용자4는 가장 높게 줬으니 취향이 거의 반대인데도 코사인 유사도는 0.84로 꽤 높게 나옵니다.
피어슨 상관계수
피어슨 상관계수는 이 약점을 고칩니다. 두 사용자 각자의 평균을 먼저 빼고 나서 코사인을 잽니다. 평균을 빼면 「이 사람 기준으로 높게 줬나 낮게 줬나」만 남고 값이 음수도 될 수 있으므로, 반대 취향이 음의 유사도로 드러납니다. 같은 사용자1과 사용자4의 피어슨 상관계수는 −0.95입니다. 코사인이 「꽤 닮았다」고 한 두 사람을 피어슨은 「거의 정반대」라고 말합니다.
def pearson_correlation(u, v):
"""피어슨 상관계수 기반 유사도"""
rated = (u != 0) & (v != 0)
u_r, v_r = u[rated], v[rated]
if len(u_r) < 2:
return 0.0
du, dv = u_r - u_r.mean(), v_r - v_r.mean()
return np.sum(du * dv) / (np.sqrt(np.sum(du**2) * np.sum(dv**2)) + 1e-8)
평균을 빼는 일은 사람마다 다른 점수 기준을 맞추는 일이기도 합니다. 어떤 사람은 3점이 「보통」이고 어떤 사람은 4점이 「보통」입니다. 4점을 받은 영화가 앞사람에게는 꽤 좋은 영화이고 뒷사람에게는 그저 그런 영화입니다. 평균을 빼야 이 두 4점이 서로 다른 뜻으로 읽힙니다. 같은 생각을 아이템 간 유사도에 옮겨, 두 아이템의 평점 열에서 각 사용자의 평균을 빼고 코사인을 재는 변형을 조정 코사인이라 부릅니다.
공통 평가 수
어느 유사도를 쓰든 함께 평가한 아이템 수가 적으면 값이 쉽게 극단으로 튑니다. 예시 행렬의 사용자1과 사용자5는 영화 A와 B 두 편만 함께 봤습니다. 사용자1은 5·3점, 사용자5는 2·1점이라 둘 다 「A를 B보다 좋아한다」는 것 하나만 같은데, 코사인 유사도는 0.997이고 피어슨 상관계수는 정확히 1입니다. 점이 둘이면 언제나 한 직선 위에 있으므로 피어슨은 1 아니면 −1이 나옵니다. 영화 두 편으로 「완벽하게 같은 취향」을 선언하는 셈입니다.
대응은 둘입니다. 하나는 공통 평가가 일정 수 미만이면 이웃 후보에서 빼는 것입니다. 다른 하나는 유사도에 신뢰도 할인을 곱하는 것입니다. 흔한 방식은 공통 평가 수를 , 기준을 라 할 때 유사도에 를 곱하는 것으로, 이면 공통 평가 2개짜리 유사도는 , 곧 원래 값의 4%로 깎입니다. 같은 생각을 더 부드럽게 한 것이 유사도를 로 줄이는 방식입니다. 어느 쪽이든 「근거가 적은 유사도는 덜 믿는다」는 규칙을 식으로 적은 것입니다.
사용자 기반과 아이템 기반
사용자 기반 예측
사용자 기반 CF는 추천받을 사용자와 닮은 사용자들을 찾아, 그들이 그 아이템에 준 평점으로 예측합니다. 평점 예측 공식은 닮은 정도로 가중한 평균입니다.
는 사용자 와 가장 닮은 이웃 가운데 아이템 를 평가한 사람들, 는 사용자 의 평균 평점입니다. 식을 말로 읽으면 이렇습니다. 이웃들이 그 아이템을 「자기 평균보다 얼마나 높게」 줬는지를 모아, 닮은 정도로 가중 평균하고, 그 차이를 내 평균에 더합니다. 이웃 평점을 그대로 가져오지 않고 차이를 가져오는 것이 앞에서 본 점수 기준 차이를 보정하는 자리입니다. 짜게 주는 이웃의 3점과 후하게 주는 이웃의 5점이 둘 다 「평균보다 1점 높다」로 같은 뜻이 됩니다.
아이템 기반 예측
아이템 기반 CF는 방향을 바꿉니다. 사용자끼리가 아니라 아이템끼리의 유사도를 재고, 사용자가 이미 평가한 아이템 중 예측할 아이템과 닮은 것들의 평점으로 예측합니다. 두 아이템의 유사도는 그 두 아이템을 함께 평가한 사용자들의 평점 열을 비교해 구합니다. 쇼핑몰의 「이 상품을 구매한 고객이 함께 구매한 상품」이 이 방식입니다.
from sklearn.metrics.pairwise import cosine_similarity
def item_based_recommend(ratings, user_id, top_n=5):
"""아이템 기반 CF 추천. ratings: (n_users, n_items), 0=미평가"""
item_sim = cosine_similarity(ratings.T) # 아이템 간 유사도
user_ratings = ratings[user_id]
rated_items = np.where(user_ratings > 0)[0]
predictions = {}
for item in np.where(user_ratings == 0)[0]:
sims = item_sim[item, rated_items]
if sims.sum() > 0:
predictions[item] = np.dot(sims, user_ratings[rated_items]) / sims.sum()
return sorted(predictions.items(), key=lambda x: x[1], reverse=True)[:top_n]
두 방식이 무엇을 평균하는지 비교해 보면 차이가 선명합니다. 사용자 기반은 「다른 사람들이 이 아이템에 준 평점」을 평균하고, 아이템 기반은 「내가 다른 아이템들에 준 평점」을 평균합니다. 그래서 아이템 기반의 추천은 설명하기 쉽습니다. 「당신이 『인터스텔라』를 높게 평가했기 때문에」라고 근거를 그대로 보여 줄 수 있습니다. 사용자 기반의 근거는 「당신과 닮은 익명의 사람 40명이 좋아했기 때문에」라 보여 주기 어렵습니다.
사전 계산과 갱신 주기
실무에서 아이템 기반이 더 널리 쓰이게 된 결정적 이유는 계산을 미리 해 둘 수 있다는 점입니다. 2003년 아마존이 이 방식을 논문으로 공개하며 든 이유도 이것이었습니다. 사용자는 매일 새로 가입하고 그들의 취향 벡터는 평점 하나가 늘 때마다 바뀝니다. 사용자 간 유사도는 그래서 금세 낡습니다. 반면 아이템 간 유사도는 수많은 사용자의 행동이 쌓여 정해지므로, 사용자 몇 명이 새로 들어와도 거의 안 움직입니다. 『인터스텔라』와 『그래비티』가 닮았다는 사실은 오늘과 내일이 같습니다.
그래서 아이템 간 유사도를 하루 한 번 같은 주기로 미리 계산해 아이템마다 가장 닮은 수십~수백 개 목록으로 저장해 두고, 추천 시점에는 사용자가 최근에 본 아이템들의 이웃 목록을 조회해 합치기만 합니다. 조회는 밀리초 단위로 끝납니다. 신규 아이템이 등록된 경우처럼 계산을 미리 못 한 자리만 다음 갱신까지 기다리거나 다른 방법으로 메웁니다. 아이템 수가 사용자 수보다 훨씬 많은 서비스(예를 들어 사용자는 적고 게시물이 끝없이 늘어나는 커뮤니티)에서는 이 계산이 뒤집혀 사용자 기반이 유리할 수도 있습니다. 어느 쪽이 덜 변하고 덜 많은가가 선택을 정합니다.
이웃 수와 가중치
이웃 수 K
예측에 쓸 이웃의 수 는 직접 정해야 하는 값입니다. 가 작으면 가장 닮은 몇 사람의 의견만 듣는 것이라 예측이 개인화되지만, 그 몇 사람의 변덕이 그대로 실립니다. 이웃 셋 중 한 명이 우연히 어떤 영화에 1점을 줬다면 예측이 크게 흔들립니다. 를 키우면 평균을 내는 사람이 많아져 예측이 안정되지만, 덜 닮은 사람까지 섞이면서 예측이 점점 전체 평균 쪽으로 밋밋해집니다. 를 사용자 전체로 키우면 결국 「모두의 평균」이 됩니다.
실험에서는 대개 20~60 사이에서 오차가 가장 낮고, Surprise의 KNN 계열 기본값도 40입니다. 다만 이 수는 「이웃 후보 수」가 아니라 「그 아이템을 평가한 이웃 수」라는 점을 기억해야 합니다. 닮은 사람 40명을 골라도 그중 그 영화를 본 사람이 셋뿐이면 실제 예측은 셋의 평균입니다. 인기 없는 아이템일수록 실제 이웃 수가 줄어드는 이유가 여기에 있습니다.
음수 유사도
피어슨 상관계수를 쓰면 음수 유사도가 나옵니다. 취향이 반대인 사람의 정보를 어떻게 쓸지가 문제입니다. 이론적으로는 쓸모가 있습니다. 나와 정반대인 사람이 어떤 영화를 싫어했다면 나는 좋아할 가능성이 높다고 볼 수 있고, 위 예측 공식은 실제로 음의 가중치를 곱해 그렇게 계산합니다.
실무에서는 음수 유사도를 버리고 양수 이웃만 쓰는 경우가 많습니다. 「닮았다」는 근거보다 「반대다」라는 근거가 덜 안정적이기 때문입니다. 취향이 반대라고 재어진 두 사람은 대개 몇 편 안 되는 공통 평가로 우연히 그렇게 나온 경우가 많고, 취향은 한 축의 양 끝이 아니라 여러 갈래라서 한 갈래에서 반대인 사람이 다른 갈래에서는 아무 관계가 없기도 합니다. 버릴지 쓸지는 데이터에 따라 결과가 달라지므로 두 방식으로 검증 오차를 재 보고 정합니다.
예측값 자르기
평균 차이를 더하는 공식은 평점 범위를 벗어난 값을 낼 수 있습니다. 평균이 4.5점인 사용자에게 이웃들이 「평균보다 1점 높다」는 신호를 주면 예측이 5.5점이 됩니다. 그래서 흔히 예측값을 1~5 범위로 자릅니다. 5.5를 5로 자르는 것은 합리적이지만, 자르는 행동이 평가 지표에 영향을 준다는 점은 알아 둬야 합니다. 범위 밖 예측이 잦은 모델은 자르기만으로 RMSE가 꽤 좋아지는데, 그것은 모델이 좋아진 것이 아니라 끝에서 오차가 깎인 것입니다.
자르기가 편향을 숨기는지 확인하는 방법은 단순합니다. 자르기 전 예측값의 분포를 그려 보고 범위 밖으로 나간 비율을 셉니다. 그 비율이 몇 퍼센트를 넘으면 평균 보정이나 가중치에 문제가 있다는 신호입니다. 그리고 추천 목록을 만들 때는 5점으로 잘린 아이템 여러 개가 동점이 되어 순위가 무작위로 정해지므로, 순위를 매길 때는 자르기 전 값을 쓰는 편이 낫습니다.
메모리 기반과 모델 기반
유사도 행렬의 크기
지금까지 본 방식처럼 평점 행렬을 통째로 들고 있다가 추천할 때 유사도를 계산하는 것을 메모리 기반 CF라 부릅니다. 이해하기 쉽고 학습이라 할 단계가 따로 없지만, 규모가 커지면 무너집니다. 직접 계산해 보면 이유가 보입니다. 사용자 1억 명의 사용자 간 유사도 행렬은 쌍이 약 개이고, 값 하나에 4바이트를 쓰면 20페타바이트입니다. 저장은 물론 계산도 불가능합니다.
아이템 기준으로 바꾸면 사정이 달라집니다. 아이템 100만 개의 아이템 간 유사도 행렬은 쌍이 약 개, 2테라바이트입니다. 여전히 크지만, 아이템마다 가장 닮은 100개만 남기면 1억 개 항목에 수백 메가바이트로 줄어듭니다. 대부분의 아이템 쌍은 함께 평가한 사용자가 없어 유사도가 의미 없으므로, 상위 이웃만 남겨도 잃는 정보가 거의 없습니다.
아래 코드는 예시 행렬로 사용자 기반 예측을 해 보는 가장 짧은 구현입니다.
이 코드는 앞의 「빈칸과 마스킹」에서 말한 실수를 그대로 보여 줍니다. 사용자1과 가장 닮은 셋은 사용자2·3·4로 나오는데, 영화 C를 평가한 사람은 사용자2(4점)뿐입니다. 코드는 나머지 둘의 빈칸 0을 평점으로 세어 점을 예측합니다. 영화 C를 평가한 사람만 남기고 유사도로 가중해 다시 계산하면 사용자2(4점)와 사용자5(5점)가 남아 약 4.33점입니다. 같은 데이터에서 「싫어할 것」이 「좋아할 것」으로 뒤집힙니다. 계산을 줄이려고 쓴 짧은 코드가 정답을 바꾸는 자리입니다.
근사 최근접 이웃
메모리 기반을 큰 규모에서 살리는 방법은 모든 쌍을 계산하지 않는 것입니다. 사용자나 아이템을 벡터로 두고, 정확한 최근접 이웃 대신 「거의 가장 가까운」 이웃을 빠르게 찾는 근사 최근접 이웃 검색을 씁니다. 공간을 미리 나눠 두거나 그래프로 이어 두고 일부만 훑어, 수백만 개 중 상위 수십 개를 밀리초 단위로 찾습니다. 정확도를 1~2% 잃는 대신 계산을 수천 배 줄이는 맞바꿈입니다.
이것을 쓰면 실시간 갱신이 필요한 자리와 배치로 충분한 자리를 나눌 수 있습니다. 아이템 간 유사도는 하루 한 번 배치로 계산해 두고, 사용자가 방금 본 아이템 몇 개를 기준으로 이웃을 조회해 추천 목록을 실시간으로 만드는 식입니다. 「방금 본 것과 비슷한 것」을 바로 보여 주는 반응성과 무거운 계산의 비용을 이렇게 떼어 놓습니다.
행렬 분해로의 이동
메모리 기반과 대비되는 것이 모델 기반 CF입니다. 평점 데이터에서 규칙을 학습해 작은 모델로 압축해 두고, 추천할 때는 그 모델만 씁니다. 대표가 행렬 분해입니다. 사용자와 아이템을 각각 수십 차원의 벡터로 바꾸고, 두 벡터의 내적으로 평점을 예측합니다. 유사도 행렬 대신 사용자 수와 아이템 수에 비례하는 벡터만 들고 있으면 되므로 저장 공간이 극적으로 줄어듭니다.
희소도 문제에도 강합니다. 메모리 기반에서는 함께 평가한 아이템이 없는 두 사용자의 유사도를 잴 수 없었지만, 행렬 분해에서는 두 사용자가 각자 다른 영화로 학습되어도 같은 좌표 공간에 놓이므로 거리를 잴 수 있습니다. 공통 평가가 없어도 「SF를 좋아하는 사람」끼리는 가까이 놓입니다. 행렬 분해의 원리와 학습 방법은 뒤에 이어지는 행렬 분해 글에서 자세히 다룹니다.
CF의 한계
두 가지 콜드 스타트
콜드 스타트는 협업 필터링의 가장 잘 알려진 한계인데, 실제로는 성격이 다른 둘입니다. 신규 사용자 문제는 가입한 사람이 아직 아무것도 평가하지 않아 닮은 사람을 찾을 수 없는 것입니다. 이건 비교적 빨리 풀립니다. 가입할 때 좋아하는 장르나 작품 몇 개를 고르게 하거나, 처음 며칠은 인기 아이템을 보여 주며 행동을 모으면 평가 열 개 남짓에서 이웃이 잡히기 시작합니다.
신규 아이템 문제는 더 고약합니다. 아무도 평가하지 않은 아이템은 어떤 이웃 목록에도 들어가지 않으니 추천에 뜨지 않고, 추천에 뜨지 않으니 아무도 평가하지 않습니다. 스스로는 빠져나올 수 없는 고리입니다. 그래서 신규 아이템에는 장르·설명·제작자 같은 내용 정보로 닮은 아이템을 찾는 콘텐츠 기반 방법을 함께 쓰거나, 노출을 일부러 일정량 배정하는 탐색 장치를 둡니다.
인기 편향
인기 편향은 많은 사람이 평가한 아이템이 유사도 계산에서 유리한 자리를 차지하는 현상입니다. 인기 아이템은 거의 모든 사용자 쌍이 함께 평가했으므로 유사도 계산에 늘 끼고, 아이템 기반에서는 수많은 아이템의 이웃 목록에 들어갑니다. 무엇을 봐도 「함께 본 상품」에 같은 베스트셀러가 뜨는 이유입니다.
이것이 시간을 따라 자기 강화됩니다. 인기 아이템이 추천에 많이 뜨면 클릭을 많이 받고, 그 클릭이 다음 학습 데이터에 들어가 인기 아이템을 더 인기하게 만듭니다. 몇 바퀴 돌면 추천 목록이 소수의 아이템으로 수렴하고, 사용자는 새로운 발견을 못 하게 됩니다. 대응으로는 유사도를 계산할 때 아이템의 인기도로 나눠 할인하는 방법, 추천 목록을 만들 때 다양성을 따로 점수에 넣는 방법이 쓰입니다.
롱테일
평점이 몇 개 안 되는 다수의 아이템을 롱테일이라 부릅니다. 인기순으로 줄 세웠을 때 그래프 오른쪽으로 길게 늘어진 꼬리이고, 아이템 수로는 대부분을 차지합니다. 협업 필터링에서 이 아이템들은 이중으로 불리합니다. 평점이 적어 다른 아이템과 함께 평가한 사용자가 거의 없으니 유사도가 계산되지 않거나, 앞의 「공통 평가 수」에서 본 신뢰도 할인에 걸려 크게 깎입니다.
결과적으로 롱테일 아이템은 이웃 목록에서 체계적으로 밀려납니다. 이것이 사업상 손해인 서비스가 많습니다. 판매량의 상당 부분이 꼬리에서 나오는 온라인 서점이나 음원 서비스에서는 꼬리를 잘 추천하는 것이 곧 매출입니다. 이런 자리에서는 협업 필터링만으로 부족하고, 내용 정보를 함께 쓰는 하이브리드 구성이 필요합니다.
도구와 구성
라이브러리 고르기
직접 구현해 원리를 익힌 뒤에는 검증된 라이브러리를 쓰는 편이 낫습니다. 어느 것을 고를지는 데이터의 모양이 정합니다.
Surprise는 명시적 평점에 맞춘 라이브러리입니다. KNN 계열 협업 필터링부터 행렬 분해까지 같은 인터페이스로 갈아 끼우며 비교할 수 있고, 교차 검증 도구가 들어 있습니다. 한 기계에 들어가는 평점 데이터로 알고리즘을 비교하는 실험에 맞습니다.
from surprise import KNNBasic, Dataset, Reader, accuracy
from surprise.model_selection import train_test_split
reader = Reader(rating_scale=(1, 5))
data = Dataset.load_from_df(df[['user', 'item', 'rating']], reader)
trainset, testset = train_test_split(data, test_size=0.2)
algo = KNNBasic(k=40, sim_options={
'name': 'pearson',
'user_based': False, # True면 사용자 기반
})
algo.fit(trainset)
print(f"RMSE: {accuracy.rmse(algo.test(testset)):.4f}")
implicit는 클릭·구매 같은 암시적 피드백에 맞춘 라이브러리로, 대규모 희소 행렬에서 빠르게 학습합니다. LightFM은 협업 필터링에 사용자·아이템의 메타데이터를 결합한 하이브리드 모델을 지원해, 앞에서 본 신규 아이템 문제를 어느 정도 완화합니다. 평점이 있으면 Surprise, 행동 로그만 있으면 implicit, 내용 정보까지 함께 쓰려면 LightFM이 출발점입니다.
오프라인 지표와 온라인 지표
라이브러리가 내놓는 RMSE는 사용자가 실제로 평가한 칸을 얼마나 잘 맞히는지를 잽니다. 그런데 서비스가 원하는 것은 추천 목록을 보고 사용자가 클릭하는 것입니다. 이 둘이 자주 어긋납니다. 사용자는 볼 만하다고 생각한 것만 골라 평가하므로, 평가된 칸은 실제 추천 후보와 분포가 다릅니다. RMSE를 0.01 줄인 모델이 클릭률은 오히려 떨어뜨리는 일이 드물지 않습니다.
그래서 오프라인에서는 RMSE보다 상위 K개 목록의 적중률이나 순위 지표를 함께 보고, 최종 판단은 실제 사용자 일부에게 새 모델을 보여 주는 온라인 A/B 테스트의 클릭률(CTR)과 전환율로 내립니다. 오프라인 지표는 실험에 올릴 후보를 고르는 체로 쓰는 것이 맞는 자리입니다.
후보 생성 단계
규모가 큰 추천 시스템에서 협업 필터링이 오늘날 가장 많이 서는 자리는 후보 생성입니다. 큰 시스템은 보통 두 단계로 돕니다. 수백만 개의 아이템에서 수백 개를 값싸게 추리는 후보 생성 단계와, 그 수백 개를 시간·기기·최근 행동 같은 맥락까지 넣은 무거운 모델로 정밀하게 줄 세우는 랭킹 단계입니다.
아이템 기반 협업 필터링은 미리 계산해 둔 이웃 목록을 조회하기만 하면 되므로 후보 생성에 딱 맞습니다. 사용자가 최근 본 아이템 열 개의 이웃 목록을 합치면 곧바로 후보 수백 개가 나옵니다. 랭킹은 다른 모델이 맡으니, 협업 필터링이 맥락을 못 담는다는 한계도 여기서는 문제가 덜 됩니다. 단순한 방법이 큰 시스템 안에서 오래 살아남는 전형적인 모습입니다.
협업 필터링은 사람들의 행동만으로 추천하므로 아이템의 내용을 모르고, 그 때문에 신규 아이템과 롱테일에서 막혔습니다. 다음 글에서는 반대로 아이템 자체의 속성을 분석해 추천하는 콘텐츠 기반 필터링을 알아보겠습니다.
읽어주셔서 감사합니다. 😊

