비전·음성·추천

DOMAIN / 29번째 글

콘텐츠 기반 필터링: 아이템 특성으로 추천하는 방법 완전 해설

TF-IDF·원-핫·문장 임베딩으로 아이템을 벡터로 만들고, 사용자 프로파일과 코사인 유사도로 추천하는 콘텐츠 기반 필터링을 다양성·설명 가능성·CF 하이브리드까지 따라갑니다.

PALDYN Team37 MIN READ

지난 글에서 협업 필터링(CF)이 "나와 비슷한 사람들이 좋아한 것"을 추천하는 방식임을 살펴봤다. 그런데 서비스 초기에 사용자가 거의 없다면? 어제 등록된 영화를 아직 아무도 보지 않았다면? 협업 필터링은 다른 사람의 행동이 쌓여야 움직이는 방법이라 이런 자리에서 할 말이 없다. 이 빈자리를 메우는 접근이 콘텐츠 기반 필터링(Content-Based Filtering, CBF)이다. "이 영화를 좋아했으니, 장르·감독·줄거리가 비슷한 영화는 어때요?"라는 논리로 추천한다. 다른 사용자의 행동 없이 아이템 자체의 특성만으로 개인화를 만든다는 점에서 CF와 출발점이 다르다.

아이템만으로 추천하기

동작 구조

콘텐츠 기반 필터링이 쓰는 재료는 아이템에 붙은 설명 정보다. 영화라면 장르, 감독, 출연 배우, 줄거리, 개봉 연도 같은 것이고, 이렇게 아이템을 설명하려고 따로 적어 둔 정보를 메타데이터라고 부른다. 계산은 세 걸음으로 돈다.

  1. 아이템마다 메타데이터를 숫자 목록 하나로 바꾼다. 이 목록이 그 아이템의 특성 벡터다.
  2. 사용자가 좋아한 아이템들의 특성 벡터를 모아 같은 공간에 점 하나를 세운다. 이 점이 그 사용자의 취향을 대신하는 사용자 프로파일이다.
  3. 사용자 프로파일과 아직 보지 않은 아이템의 특성 벡터가 얼마나 가까운지 재서 가까운 순으로 늘어놓는다.

콘텐츠 기반 필터링 파이프라인

세 번째 걸음의 "가깝다"를 재는 자로 가장 널리 쓰이는 것이 코사인 유사도다. 두 벡터가 이루는 각의 코사인 값으로, 벡터의 길이는 보지 않고 가리키는 방향만 비교한다.

cosine(A,B)=A⋅B∥A∥⋅∥B∥\text{cosine}(A, B) = \frac{A \cdot B}{\|A\| \cdot \|B\|}

값은 -1에서 1 사이이고 1에 가까울수록 같은 방향이다. 아래에서 다룰 TF-IDF 벡터처럼 성분이 전부 0 이상인 벡터끼리는 0에서 1 사이에 머문다. 방향만 보므로 줄거리가 세 줄인 영화와 서른 줄인 영화도 공정하게 비교된다. 그리고 세 걸음 어디에도 다른 사용자가 등장하지 않는다.

협업 필터링과의 차이

두 방식은 추천의 근거부터 다르고, 그 차이가 나머지 성질을 줄줄이 결정한다.

항목 협업 필터링 콘텐츠 기반 필터링
추천 근거 다른 사용자의 행동 패턴 아이템의 내용·속성
필요 데이터 사용자-아이템 상호작용 아이템 메타데이터 + 그 사용자의 이력
콜드 스타트 신규 사용자·신규 아이템 모두 약함 신규 아이템에 강함, 신규 사용자에는 약함
다양성 상대적으로 높음 비슷한 것만 나오기 쉬움
설명 가능성 낮음 높음("SF 장르라서 추천")

콜드 스타트는 기록이 아직 없는 사용자나 아이템을 추천에 넣지 못하는 문제다. 협업 필터링에서 아무도 손대지 않은 아이템은 근거가 0이지만, 콘텐츠 기반 필터링은 등록과 동시에 메타데이터라는 근거가 생긴다. 반대로 사용자 쪽은 둘 다 약하다. 콘텐츠 기반 필터링도 사용자 프로파일을 세우려면 그 사람이 좋아한 아이템이 최소 몇 개는 있어야 하기 때문이다. 가입 직후에 좋아하는 장르를 고르게 하는 화면이 흔한 이유다.

다양성과 설명 가능성의 차이도 근거에서 나온다. 협업 필터링은 "SF 팬들이 의외로 이 다큐멘터리도 봤다" 같은 장르 밖 연결을 주워 오지만 이유는 말하지 못한다. 콘텐츠 기반 필터링은 특성이 겹쳐야만 추천하므로 이유는 분명하되 장르 밖으로 잘 나가지 못한다.

신규 아이템

신규 아이템에 강하다는 성질은 아이템이 쉴 새 없이 들어오고 수명이 짧은 서비스에서 값이 된다. 뉴스 기사, 중고 거래 게시글, 채용 공고가 그렇다. 이런 곳에서 협업 필터링만 쓰면 클릭이 쌓여 추천에 들어갈 즈음에는 이미 아이템의 수명이 끝나 있다.

콘텐츠 기반 필터링은 기사 본문이 등록되는 순간 특성 벡터를 만들고, 바로 그 기사와 방향이 맞는 사용자에게 보낼 수 있다. 대신 추천의 품질이 곧 메타데이터의 품질이 된다. 메타데이터를 누가 어떻게 채우는지가 설계의 일부다.

아이템 벡터

추천의 품질은 아이템을 얼마나 잘 숫자로 표현하느냐에 달려 있다. 메타데이터의 모양에 따라 쓰는 방법이 갈린다 — 자유로운 텍스트, 정해진 범주, 그리고 뜻까지 담고 싶은 텍스트다.

TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency)는 텍스트를 낱말별 점수가 담긴 벡터로 바꾸는 고전적인 방법이다. 벡터의 칸 하나가 낱말 하나이고, 칸에 들어가는 점수는 두 값을 곱한 것이다. TF는 그 문서 안에서 낱말이 몇 번 나왔는지이고, IDF는 그 낱말이 전체 문서 중 얼마나 적은 문서에만 나오는지다. 많이 나오되 다른 문서에는 드문 낱말이 높은 점수를 받는다.

영화 다섯 편에 태그를 붙여 직접 계산해 보자.

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

movies = pd.DataFrame({
    'title': ['인터스텔라', '마션', '그래비티', '어벤져스', '아이언맨'],
    'tags': [
        'SF 우주 과학 시간',
        'SF 우주 과학 생존',
        'SF 우주 재난',
        '슈퍼히어로 액션',
        '슈퍼히어로 로봇 액션'
    ]
})

tfidf = TfidfVectorizer()
tfidf_matrix = tfidf.fit_transform(movies['tags'])
sim = cosine_similarity(tfidf_matrix)

idx = 0  # 인터스텔라
scores = sorted(enumerate(sim[idx]), key=lambda x: x[1], reverse=True)
print([(movies['title'][i], round(s, 3)) for i, s in scores[1:]])
# [('마션', 0.608), ('그래비티', 0.408), ('어벤져스', 0.0), ('아이언맨', 0.0)]

scikit-learn의 기본 설정은 IDF를 ln⁡1+n1+df+1\ln\frac{1+n}{1+\text{df}} + 1 로 계산한다. nn 은 문서 수, df는 그 낱말이 나온 문서 수다. 문서가 다섯이니 세 편에 나오는 「SF」는 ln⁡(6/4)+1≈1.41\ln(6/4)+1 \approx 1.41 이고, 인터스텔라에만 나오는 「시간」은 ln⁡(6/2)+1≈2.10\ln(6/2)+1 \approx 2.10 이다. 같은 태그 한 번이어도 「시간」이 「SF」보다 1.5배 무겁다. 만약 「SF」가 다섯 편 모두에 붙어 있었다면 IDF는 ln⁡(6/6)+1=1\ln(6/6)+1 = 1 로 가장 낮아진다. 모든 영화에 붙은 낱말은 영화들을 가르는 데 아무 도움이 안 되므로 무게를 깎는 것이고, 거꾸로 「크리스토퍼 놀란」처럼 몇 편에만 붙는 낱말은 무게가 살아남아 강한 특성이 된다.

TfidfVectorizer는 이렇게 만든 벡터를 마지막에 길이가 1이 되도록 나눠 둔다(L2 정규화). 그래서 각 칸의 값은 그 낱말이 이 영화의 벡터에서 차지하는 몫이 된다.

결과도 이 무게대로 나온다. 인터스텔라와 마션은 SF·우주·과학 셋을 공유해 0.608, 그래비티는 SF·우주 둘만 공유해 0.408이다. 슈퍼히어로 영화 둘과는 겹치는 낱말이 하나도 없어 정확히 0이다.

원-핫 인코딩

장르, 관람 등급, 제작 국가처럼 값이 정해진 목록 안에서 하나로 떨어지는 특성은 원-핫 인코딩으로 바꾼다. 범주 하나마다 칸을 하나 만들고, 해당하는 칸에만 1을, 나머지에는 0을 넣는다.

import pandas as pd

df = pd.DataFrame({
    'title': ['인터스텔라', '어벤져스'],
    'genre': ['SF', '액션']
})

encoded = pd.get_dummies(df['genre'])
print(encoded)
#       SF     액션
# 0   True  False
# 1  False   True

직관적이지만 범주 수가 늘면 문제가 생긴다. 감독을 원-핫으로 바꾸면 감독이 만 명일 때 칸이 만 개가 되고, 영화 한 편의 벡터는 만 칸 중 한 칸만 1이다. 대부분이 0인 이런 벡터를 희소 벡터라고 한다. 진짜 문제는 비교에 있다. 감독이 다른 두 영화는 작품 세계가 아무리 닮아도 감독 칸에서는 완전히 무관하다. 원-핫은 "같다/다르다"만 말할 수 있고 "비슷하다"는 말하지 못한다.

문장 임베딩

TF-IDF도 같은 한계를 갖는다. 「우주 탐험」과 「외계 행성 여행」은 겹치는 낱말이 없어 TF-IDF 유사도가 0이다.

이 틈을 메우는 것이 문장 임베딩이다. 대량의 문장으로 미리 학습된 신경망에 문장을 넣으면, 뜻이 비슷한 문장일수록 가까운 자리에 놓이도록 수백 차원의 벡터를 내준다. 칸 하나가 낱말 하나에 대응하던 TF-IDF와 달리 칸 하나하나에는 이름이 없고, 거의 모든 칸이 0이 아닌 밀집 벡터다.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
descriptions = ["우주 탐험", "외계 행성 여행"]
embeddings = model.encode(descriptions)
print(embeddings.shape)  # (2, 384)

이 모델은 여러 언어를 같은 공간에 놓도록 학습되어 한국어에도 쓸 수 있고, 문장 하나를 384차원 벡터로 바꾼다. 대가는 계산이 무겁다는 것과, 칸에 이름이 없어 "어느 특성 때문에 가까운가"를 말하기 어렵다는 것이다.

특성 결합

실제 아이템에는 줄거리, 장르, 감독처럼 모양이 다른 메타데이터가 함께 붙어 있다. 이것들을 하나의 특성 벡터로 묶는 방법은 크게 둘이다.

단일 문서 방식

가장 간단한 것은 모든 필드를 이어 붙여 TF-IDF를 한 번 돌리는 것이다. 「SF 우주 크리스토퍼놀란 아버지가 딸을 남겨두고 우주로 떠나…」 같은 문서가 영화마다 하나씩 생긴다. 감독 이름처럼 띄어쓰기가 들어간 값은 한 낱말로 붙여 써야 한 칸에 들어간다.

이 방식은 빠르게 만들 수 있지만 필드 사이의 무게를 통제하지 못한다. 줄거리가 낱말 100개이고 장르 태그가 2개라면, L2 정규화 뒤에도 벡터의 대부분을 줄거리 낱말이 차지한다. 장르가 같은 두 영화라도 줄거리 문체가 다르면 유사도가 낮게 나오고, 장르 정보는 줄거리 속에 사실상 묻힌다.

필드별 가중합

그래서 필드마다 따로 벡터를 만들고, 유사도를 필드별로 잰 뒤 가중치를 곱해 더하는 방식을 쓴다.

sim(a,b)=∑fwf⋅cosine(af,bf),∑fwf=1\text{sim}(a, b) = \sum_{f} w_f \cdot \text{cosine}(a_f, b_f), \qquad \sum_f w_f = 1

예를 들어 장르 0.5, 줄거리 0.3, 감독 0.2로 정했다고 하자. 두 영화의 장르가 완전히 같고(1.0), 줄거리 유사도가 0.2이고, 감독이 다르다면(0) 전체 유사도는 0.5×1.0+0.3×0.2+0.2×0=0.560.5 \times 1.0 + 0.3 \times 0.2 + 0.2 \times 0 = 0.56 이다. 필드마다 맞는 표현을 따로 고를 수도 있다 — 장르는 원-핫, 줄거리는 문장 임베딩, 감독은 원-핫으로 두는 식이다.

가중치를 정할 근거는 두 곳에서 얻는다. 하나는 오프라인 지표다. 사용자 이력을 시간 순으로 잘라 앞부분으로 프로파일을 만들고, 뒷부분에서 실제로 좋아한 아이템이 추천 상위 K개 안에 몇 개나 들었는지를 센다. 이 비율을 Recall@K라고 하고, 가중치 조합을 바꿔 가며 이 값이 가장 높은 조합을 고른다. 다른 하나는 편집자가 "이 영화와 비슷한 것"으로 뽑은 목록과 맞대 보는 사람의 판단이다. 지표는 과거 행동만 보므로 아무도 본 적 없는 좋은 아이템을 맞혀도 점수가 안 오르고, 사람은 그 틈을 보지만 표본이 작다. 대개 지표로 후보를 좁히고 사람이 마지막을 본다.

빈 메타데이터

메타데이터는 늘 어딘가 비어 있다. 독립 영화는 줄거리가 한 줄뿐이고, 오래된 작품은 감독 정보가 빠져 있기도 하다. 비어 있는 필드는 0벡터가 되는데, 0벡터의 코사인 유사도는 분모가 0이라 정의되지 않는다. 라이브러리가 이를 0으로 처리하면 줄거리가 빈 영화는 줄거리 가중치 0.3만큼을 누구와도 받을 수 없어, 다른 것이 다 맞아도 점수 상한이 0.7에 묶여 추천에 거의 오르지 않는다.

이를 막는 흔한 규칙은 두 아이템이 모두 가진 필드만으로 계산하고 가중치를 다시 나눠 맞추는 것이다. 줄거리가 빠졌다면 남은 장르 0.5와 감독 0.2를 합이 1이 되게 0.5/0.7 ≈ 0.71, 0.2/0.7 ≈ 0.29로 키운다. 다만 남은 필드가 장르 하나뿐이면 같은 장르의 모든 영화와 유사도가 1이 되어 버리므로, 필드가 너무 적은 아이템은 따로 표시해 인기순 같은 다른 신호로 보충한다. 근본 해법은 등록 단계에서 필수 필드를 정해 두는 것이다.

사용자 프로파일

아이템을 벡터로 만들었다면 이제 사용자의 취향을 같은 공간에 세워야 한다.

가중 평균

가장 단순한 사용자 프로파일은 그 사람이 좋아한 아이템들의 특성 벡터를 평균 낸 것이다. 평점이 있다면 평점을 가중치로 쓴다.

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# 사용자가 좋아한 아이템: 인터스텔라, 마션, 그래비티
liked = [0, 1, 2]
ratings = np.array([5.0, 4.5, 4.0])

user_profile = np.average(
    tfidf_matrix[liked].toarray(), axis=0, weights=ratings
)

scores = cosine_similarity(
    user_profile.reshape(1, -1), tfidf_matrix
).flatten()

# 이미 본 것은 빼고 점수 순으로
recommendations = sorted(
    ((i, s) for i, s in enumerate(scores) if i not in set(liked)),
    key=lambda x: x[1], reverse=True
)

평균이 담는 것은 "이 사람이 좋아한 것들이 공통으로 가진 방향"이다. 세 영화에 모두 있는 SF와 우주는 평균에서도 크게 남고, 한 편에만 있는 시간·생존·재난은 작게 남는다. 평점이 높은 영화일수록 그 영화의 방향 쪽으로 더 당겨진다.

평균이 잃는 것도 분명하다. 언제 좋아했는지가 사라지고, 좋아한 것만 더했으므로 "공포가 섞인 SF는 싫다"는 정보가 들어갈 자리가 없다(싫어한 아이템을 음의 가중치로 빼는 변형도 있다). 그리고 가장 큰 손실은 취향이 여러 갈래인 사람에게서 생긴다.

다중 취향

어떤 사용자가 SF 다섯 편과 로맨틱 코미디 다섯 편을 똑같이 좋아한다고 하자. 그림을 단순하게 하려고 특성을 두 축만 두면 SF 영화들은 (1, 0) 근처에, 로맨틱 코미디는 (0, 1) 근처에 있다. 평균을 내면 사용자 프로파일은 (0.5, 0.5), 정확히 두 갈래의 한가운데다.

이 점과의 코사인 유사도를 재면 순수한 SF 영화도, 순수한 로맨틱 코미디도 0.707로 같다. 그런데 SF이면서 로맨스인 (0.7, 0.7) 방향의 영화가 하나 있다면 그 영화는 1.0으로 맨 위에 오른다. 평균 하나가 두 갈래 어느 쪽도 아닌 가운데 점이 된 것이다. 비율이 기울면 다른 일이 생긴다. SF 여덟 편, 로맨틱 코미디 두 편이면 프로파일이 (0.8, 0.2)가 되고, 로맨틱 코미디와의 유사도는 약 0.24로 떨어져 사실상 다시는 추천되지 않는다.

평균 프로파일과 군집 프로파일

해법은 프로파일을 여러 개로 나누는 것이다. 좋아한 아이템 벡터들을 k-means 같은 군집화로 묶어 갈래마다 따로 평균을 낸다. 위 사용자라면 SF 프로파일과 로맨틱 코미디 프로파일이 따로 서고, 추천 목록은 각 프로파일에서 후보를 뽑아 갈래의 비중대로 자리를 나눈다. 여덟 대 둘이면 열 자리 중 여덟을 SF에, 둘을 로맨틱 코미디에 주는 식이다. 이력이 짧으면 군집을 하나로 둔다 — 아이템 열 개로 다섯 갈래를 나누면 우연을 취향으로 착각한다.

시간 감쇠

취향은 변한다. 시간 감쇠는 행동이 오래될수록 가중치를 지수적으로 줄이는 방법이다. 가중치가 절반이 되는 데 걸리는 시간을 반감기 hh 라고 하면, dd 일 전 행동의 가중치는 다음과 같다.

w(d)=0.5d/h=e−dln⁡2/hw(d) = 0.5^{d/h} = e^{-d \ln 2 / h}

import math
from datetime import datetime

def time_decay_weight(timestamp, half_life_days=30):
    days_ago = (datetime.now() - timestamp).days
    return math.exp(-math.log(2) * days_ago / half_life_days)

반감기 30일이면 30일 전 행동은 0.5, 90일 전은 0.125, 1년 전은 0.0002 정도로 거의 사라진다. 이 가중치를 평점 가중치에 곱해 위의 가중 평균에 넣으면 된다.

반감기는 도메인이 정한다. 뉴스는 관심사가 며칠 단위로 바뀌므로 반감기를 13일로 짧게 잡는다. 반감기 2일이면 일주일 전에 읽은 기사의 무게는 0.53.5≈0.090.5^{3.5} \approx 0.09 로, 이미 지난 화제가 오늘의 추천을 끌고 다니지 않는다. 영화·음악은 취향이 오래 가므로 3090일로 길게 잡는다. 너무 짧으면 어제 실수로 누른 장르가 프로파일을 휘두르고, 너무 길면 취향이 바뀐 사람에게 몇 달째 옛 장르를 권한다.

과잉 특화

필터 버블

콘텐츠 기반 필터링의 가장 큰 약점은 구조 자체에서 나온다. 추천의 근거가 "이미 좋아한 것과 특성이 겹친다"이므로, 겹치지 않는 것은 아무리 좋아도 점수가 오를 길이 없다. SF만 봐 온 사람은 SF만 추천받고, 그걸 보면 프로파일이 더 SF로 기운다. 이렇게 사용자가 좋아한 것과 지나치게 비슷한 것만 추천하는 현상을 과잉 특화(over-specialization)라고 부른다.

이 고리가 되먹임되면 사용자는 자기 취향의 좁은 방 안에 갇힌다. 이를 필터 버블이라고 부른다. 앞의 TF-IDF 예에서 인터스텔라를 본 사람에게 어벤져스의 점수가 정확히 0이었던 것이 바로 이 구조다.

재랭킹

다양성은 먼저 재야 고칠 수 있다. 흔한 지표는 목록 안 다양성이다. 추천 목록에 든 아이템들끼리 짝지은 모든 쌍의 유사도를 평균 내고, 1에서 뺀다. 목록이 거의 같은 영화로 차 있으면 0에 가깝고, 서로 다른 영화로 차 있으면 1에 가깝다.

이 값을 올리는 대표적인 방법이 MMR(Maximal Marginal Relevance) 재랭킹이다. 점수순 목록을 그대로 내보내지 않고, 한 자리씩 채우면서 매번 "사용자와의 관련도"와 "이미 고른 것들과의 유사도"를 함께 본다.

MMR(i)=λ⋅rel(i)−(1−λ)⋅max⁡j∈Ssim(i,j)\text{MMR}(i) = \lambda \cdot \text{rel}(i) - (1 - \lambda) \cdot \max_{j \in S} \text{sim}(i, j)

SS 는 이미 목록에 넣은 아이템들이고, λ\lambda 는 관련도와 다양성 사이의 저울이다. λ=1\lambda = 1 이면 원래 점수순과 같고, 작아질수록 다양성 쪽으로 기운다.

숫자로 따라가 보자. λ=0.7\lambda = 0.7 이고 후보가 셋이다. A는 관련도 0.61, B는 0.60, C는 0.40이다. B는 A와 거의 같은 영화라 서로 유사도가 0.9이고, C는 A와 0.2다. 첫 자리는 비교할 것이 없으니 관련도가 가장 높은 A다. 둘째 자리에서 B의 MMR은 0.7×0.60−0.3×0.9=0.150.7 \times 0.60 - 0.3 \times 0.9 = 0.15 이고, C는 0.7×0.40−0.3×0.2=0.220.7 \times 0.40 - 0.3 \times 0.2 = 0.22 다. 관련도가 낮은 C가 B를 앞질러 둘째 자리에 들어간다. 목록 안 다양성은 [A, B]였다면 1−0.9=0.11 - 0.9 = 0.1 이지만 [A, C]는 1−0.2=0.81 - 0.2 = 0.8 이다.

MMR 재랭킹 두 걸음

탐색 비율

MMR은 후보 안에서 다양하게 고를 뿐, 후보 밖으로는 나가지 못한다. 그래서 목록의 일부 자리를 아예 프로파일과 무관한 아이템에 내준다. 스무 자리 중 두 자리(10%)를 인기 아이템이나 사용자가 한 번도 안 본 장르의 좋은 평가작에 주는 식이다. 이런 자리를 탐색 자리라고 하고, 나머지는 활용 자리라고 부른다.

탐색에는 값이 든다. 가정을 하나 세워 계산해 보자. 활용 자리의 클릭률이 4%이고 탐색 자리는 그 절반인 2%라면, 탐색 비율 10%인 목록 전체의 클릭률은 0.9×4+0.1×2=3.8%0.9 \times 4 + 0.1 \times 2 = 3.8\% 다. 클릭률이 상대적으로 5% 줄어든다. 탐색에서 클릭이 나온 장르는 프로파일에 새 갈래로 들어가 뒤의 추천을 넓히므로, 이 손실은 당장의 클릭률이 아니라 몇 주 뒤의 재방문율로 견줘 정한다.

설명 가능성

특성 기여도

콘텐츠 기반 필터링의 큰 장점은 추천의 이유를 특성으로 되짚을 수 있다는 점이다. 코사인 유사도는 정규화된 두 벡터의 칸별 곱을 더한 값이므로, 칸 하나하나의 곱이 그 칸이 점수에 보탠 몫이다.

앞의 예에서 인터스텔라와 마션의 유사도 0.608을 칸별로 풀어 보자. 정규화된 두 벡터에서 SF는 둘 다 0.42, 우주도 둘 다 0.42, 과학은 둘 다 0.505다. 곱하면 SF가 0.42×0.42≈0.1760.42 \times 0.42 \approx 0.176, 우주가 0.176, 과학이 0.5052≈0.2550.505^2 \approx 0.255 이고, 셋을 더하면 0.608이다. 비율로 보면 과학이 약 42%, SF와 우주가 각각 약 29%를 만들었다. IDF가 더 높은 과학이 SF보다 많은 몫을 가져간 것이다.

사용자 프로파일과 아이템 사이에서도 계산은 같다. 필드별 가중합을 쓴다면 먼저 필드 단위로 wf⋅cosine(af,bf)w_f \cdot \text{cosine}(a_f, b_f) 를 나눠 보고, 그 안에서 다시 칸 단위로 들어간다.

근거 문장

기여도 계산이 끝나면 근거 문장을 만드는 절차는 단순하다.

  1. 추천된 아이템의 기여도를 큰 순으로 정렬한다.
  2. 위에서 두세 개를 고른다. 몫이 너무 작은 칸(예컨대 전체의 10% 미만)은 이유로 쓰지 않는다.
  3. 사용자 이력에서 그 특성을 가장 강하게 가진 아이템을 하나 찾는다.
  4. 「인터스텔라처럼 SF·우주 과학 영화라서 추천해요」 같은 틀에 채운다.

3번이 중요하다. 사람은 추상적인 특성보다 자기가 본 작품을 기억하므로 "SF라서"보다 "인터스텔라처럼"이 빨리 납득된다.

문장 임베딩을 쓰면 이 절차가 막힌다. 384개 칸 어디에도 이름이 없어서 칸별 기여도를 계산해도 말로 옮길 수 없다. 그래서 설명만 장르·감독 같은 이름 있는 필드에서 따로 뽑기도 하는데, 그 설명은 점수를 만든 실제 이유와 어긋날 수 있다.

틀린 설명

설명은 신뢰를 올리지만, 틀린 설명은 아무 설명이 없을 때보다 나쁘다. 메타데이터에 「우주」 태그가 잘못 붙은 드라마가 「우주 영화를 좋아하셔서」라는 이유로 추천되면, 사용자는 그 추천 하나가 아니라 시스템 전체를 의심한다. 설명은 메타데이터의 오류도 함께 펼쳐 보인다.

기여도가 의미 없는 특성에 몰리는 경우도 있다. 개봉 연도를 텍스트에 섞어 TF-IDF를 돌렸다면 「2014」 같은 낱말이 높은 IDF를 받아 이유의 맨 위에 올 수 있다. 그래서 근거 문장에 쓸 수 있는 특성을 미리 허용 목록으로 정해 두고, 그 밖의 특성은 점수에는 쓰되 설명에는 쓰지 않는다.

하이브리드

콘텐츠 기반 필터링과 협업 필터링은 약점이 서로 엇갈린다. 하나는 신규 아이템에 강하고 장르 밖으로 못 나가며, 다른 하나는 장르 밖의 연결을 찾지만 신규 아이템에 약하다. 그래서 실제 서비스는 둘을 겹쳐 쓰는 하이브리드 구성을 기본으로 둔다.

가중 결합과 전환

가장 단순한 결합은 두 점수를 가중 합산하는 것이다.

score=α⋅scoreCF+(1−α)⋅scoreCBF\text{score} = \alpha \cdot \text{score}_{\text{CF}} + (1 - \alpha) \cdot \text{score}_{\text{CBF}}

여기서 먼저 맞춰야 하는 것이 점수의 척도다. 콘텐츠 기반 필터링의 코사인 유사도는 01이고, 협업 필터링의 예측 평점은 15일 수 있다. 그대로 더하면 큰 쪽이 결과를 다 정하므로, 후보 안에서 0~1로 다시 펼치거나 순위로 바꿔 척도를 맞춘 뒤 더한다.

또 하나는 조건에 따라 아예 한쪽으로 바꾸는 전환 방식이다. 상호작용이 기준치보다 적은 사용자에게는 콘텐츠 기반 필터링을, 많은 사용자에게는 협업 필터링을 쓴다.

def recommend(user_id, threshold=20):
    if get_interaction_count(user_id) < threshold:
        return cbf_recommend(user_id)  # 이력이 짧다: CBF
    return cf_recommend(user_id)       # 이력이 충분하다: CF

전환은 이해하기 쉽지만 경계에서 목록이 갑자기 바뀐다. 상호작용이 19개이던 사용자가 하나를 더하는 순간 추천 화면이 통째로 달라지는 것이다.

이력 길이와 가중치

경계의 급변을 없애려면 α\alpha 를 상수로 두지 않고 이력 길이에 따라 부드럽게 움직인다. 흔한 꼴은 사용자의 상호작용 수 nn 과 상수 kk 로 만든 비율이다.

α=nn+k\alpha = \frac{n}{n + k}

k=20k = 20 이면 처음 온 사용자(n=0n = 0)는 α=0\alpha = 0 이라 콘텐츠 기반 필터링만 쓴다. 상호작용이 5개면 0.2, 20개면 정확히 0.5로 반반이다. 60개면 0.75로 협업 필터링이 주도한다. kk 는 "협업 필터링을 콘텐츠 기반 필터링만큼 믿으려면 상호작용이 몇 개 필요한가"를 뜻하는 값이고, 서비스의 데이터 밀도에 따라 오프라인 지표로 맞춘다. 상호작용이 적은 신규 아이템 쪽에도 같은 꼴을 쓸 수 있다.

랭킹 모델

신호가 둘을 넘으면 손으로 가중치를 정하는 방식이 한계에 닿는다. 인기도, 최근성, 기기와 시간대까지 들어오면 조합할 가중치가 너무 많다. 그래서 단계를 나눈다. 먼저 콘텐츠 기반 필터링과 협업 필터링이 각자 후보를 수백 개씩 뽑고, 그 후보에 대해 여러 신호를 특성으로 받는 랭킹 모델이 실제 클릭이나 시청 여부를 정답으로 학습해 최종 점수를 매긴다. 어느 신호를 얼마나 믿을지를 데이터가 정하고, 콘텐츠 기반 유사도는 입력 특성 하나가 된다.

랭킹 모델 뒤에는 앞에서 본 다양성 재랭킹과 탐색 자리를 둔다. 클릭 확률만 좇는 랭킹 모델은 비슷한 것을 다시 위로 모으기 때문이다. 후보 생성, 랭킹, 재랭킹의 세 단계가 각각 넓게 모으기, 정확하게 줄 세우기, 다양하게 섞기를 맡는 셈이다.

콘텐츠 기반 필터링은 신규 아이템을 등록 즉시 추천하고 이유를 댈 수 있는 대신, 과잉 특화와 메타데이터 의존을 안고 간다. 다음 글에서는 협업 필터링 쪽으로 돌아가, 듬성듬성한 사용자-아이템 평점 행렬을 낮은 차원의 사용자 벡터와 아이템 벡터로 쪼개는 행렬 분해를 다룬다.


읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN