비즈니스 Case와 딥러닝을 활용한 추천시스템 구현

협업 필터링 알고리즘을 이해하고 사용자의 평점 데이터에 대한 추천 알고리즘을 구현합니다. 협업필터링의 분류를 이해하여 적절한 유즈 케이스에 사용할 수 있도록 합니다. 또한 협업 필터링의 도구로 사용되는 유사도의 개념과 다양한 유사도 계산 방법을 이해하고, 문제에 따라 적절한 방법을 선택할 수 있습니다. 평점 데이터를 유저-아이템 Matrix의 형태로 변환하고, 유사도를 직접 프로그래밍하여 이웃 기반 협업 필터링을 구현합니다. 마지막으로 상용화된 협업 필터링 라이브러리를 활용하여 추천시스템을 구축하고, 실제로 추천되는 결과를 확인합니다. 향후 강의를 위해서 필요한 데이터 산출 방식을 이론 뿐만 아니라 실습을 통해서 선행역량을 향상시키는 것을 목표로 합니다.

1) 이론

– 협업필터링의 기본 원리 및 파악하기
– 다양한 협업필터링의 분류 살펴보기
– 자카드, 유클리드, 코사인, 피어슨 유사도의 개념을 이해하기
– 상황에 따른 유사도 선택 기준 이해하기
– 유저-아이템 Matrix의 형태 이해하기

2) 실습

– 로그데이터를 협업필터링에 필요한 데이터의 형태로 변환하기
– 추천 시스템에 꼭 필요한 데이터 전처리 과정 실습
– 자카드, 유클리드, 코사인, 피어슨 유사도를 직접 구현하기
– 이웃기반 협업필터링의 간단한 추천 시스템 구현하기
– Surprise 라이브러리를 활용하여 협업필터링 추천 시스템 만들기

데이터를 통해 스스로 학습할 수 있는 머신러닝 기반의 협업 필터링 추천시스템을 구축합니다. 이를 위해 필요한 사용자의 피드백 데이터는 직접적 선호를 나타내는 평점, 별점 등이 존재하지만 데이터 희소성과 심한 편향을 보이기 때문에, 간접 선호를 나타내는 클릭, 구매 등의 암묵적 피드백을 더 많이 사용합니다. 이번 강의에서는 암묵적 데이터를 사용하여 모델 기반의 협업 필터링인 Matrix Factorization을 구현하고 잠재 변수의 이점을 이해합니다. 또한 실제 현업에서 활용하는 implicit 라이브러리와 spotify의 annoy를 활용하여 고객의 선호를 예측하는 추천시스템을 구축합니다.

1) 이론

– 모델 기반의 추천 시스템의 개념과 필요성을 이해하고 분류하기
– 추천 시스템에서의 머신러닝의 원리를 이해하기
– 잠재변수와 행렬분해에 대한 개념과 필요성 이해하기
– Matrix Factorization의 접근 방법과 원리 이해하기
– MF 모델 기반 추천 시스템에서 SGD, ALS, BPR의 원리

2) 실습

– 암묵 데이터를 모델 기반 추천 시스템을 위한 형태로 변환하기
– Implicit 라이브러리를 사용하여 암묵데이터를 위한 추천 시스템 구축하기
– 행렬분해를 통한 잠재변수 도출로 유사도 기반 추천 구현하기
– Annoy 라이브러리와 임베딩 행렬을 이용하여 빠른 추천 시스템 구축하기
– 현업에 활용되는MF 모델 학습 및 서빙에 도움이 되는 Tip 실습하기

추천 시스템의 주류 기법으로 분류되진 않았으나, 실제로 현업에서는 많이 활용되는 2가지 추천 기법에 대해 다룹니다. 먼저 추천 분야 외에 게임, 광고 등에 다양하게 활용되고 있는 Multi-Armed Bandit 알고리즘들에 대해 살펴보고 이를 직접 구현해봅니다. 그리고 MAB 알고리즘 가운데 하나인 Thompson Sampling을 사용자 클러스터링과 결합하여 하이브리드 추천 시스템을 구축합니다. 또한 딥러닝의 등장과 함께 가장 많이 사용되는 Item2Vec 접근법을 사용하여 추천 아이템을 임베딩하는 방법을 익히고, 이를 활용한 유사도 기반의 추천 시스템을 구현합니다.

1) 이론

– 추천 시스템의 Cold Start 문제 이해하기
– Bandit 문제와 Reward의 개념 이해하기
– Multi-Armed Bandit 알고리즘 종류별로 살펴보기
– 임베딩의 개념 및 Word2Vec 원리 이해하기
– 추천 시스템에 사용되는 Item2Vec 응용 사례 살펴보기

2) 실습

– Multi-Armed Bandit 알고리즘 직접 구현하기
– 사용자 군집화와 Thompson Sampling을 이용한 간단한 추천 시스템 구현하기
– Gensim 라이브러리를 활용하여 추천 아이템을 Item2Vec 형태로 임베딩하기
– Item2Vec 임베딩을 활용한 간단한 유사도 기반의 추천 시스템 구축하기

사용자와 아이템 간의 상호작용 데이터가 추천 시스템에 필요한 데이터 중에 제일 중요하지만 더 나은 추천 결과를 제공하기 위해는 추가적인 데이터를 사용합니다. 사용자 정보(성별, 연령, 관심사 등), 상품의 메타정보(브랜드, 카테고리, 출시년도 등), 그리고 둘의 상호작용이 일어났던 환경(시간, 날씨) 등은 추천 시스템을 고도화 할 수 있는 컨텍스트 데이터입니다. 최신 추천 시스템 트렌드에서는 이렇게 컨텍스트까지 고려한 추천 시스템을 “초개인화 추천 시스템”이라 일컫습니다. 주어진 로그 데이터를 다양한 정보를 포괄하는 Feature Table형태로 변환하고 협업필터링을 일반화하여 다양한 메타정보를 활용하는 Factorization Machine 추천 시스템을 구축합니다.

1) 이론

– 피쳐간의 교호작용과 Matrix Factorization 모델의 한계 이해하기
– 컨텍스트 데이터를 담고 있는 Feature Table의 구조 이해하기
– Factorization Machine의 원리와 접근 방식 이해하기

2) 실습

– 컨텍스트 정보를 활용하기 위한 데이터 전처리 및 EDA
– 학습 데이터를 Factorization Machine에 맞게 Feature Table로 변환하기
– Tensorflow를 활용하여 Factorization Machine 직접 구현하기
– FastFM 라이브러리를 활용하여 추천 시스템 구축하기

딥러닝이 이미지, 텍스트 데이터에 대해 높은 성능으로 엄청난 반향을 일으켰지만, 실시간 서빙과 빠른 응답속도가 중요한 추천 시스템에서는 다소 외면받는 듯 했습니다. 이를 극복하기 위해 단순하면서 높은 성능을 딥러닝 모델이 등장하였으며 그 중 하나가 Factorization Machine에 딥러닝 요소를 추가한 DeepFM입니다. 이번 시간엔 DeepFM의 구성와 접근 방법을 이해하고, Tensorflow로 직접 구현하여 추천 결과를 확인합니다. 또한 딥러닝 추천 시스템의 바이블로 여겨지는 유튜브 추천 시스템의 원리를 이해하고 Candidate Selection과 Ranking으로 나눠진 2단계 추천 시스템을 구축합니다. 마지막으로 모델 평가 방식과 현업의 온라인 A/B 테스트 환경 소개를 통해 고도화된 추천 시스템의 청사진을 제시합니다.

1) 이론

– DeepFM의 구성과 접근 방법 이해하기
– 유튜브 추천 시스템의 원리와 작동 방식 살펴보기 (Candidate Selection & Ranking)
– 추천 시스템의 오프라인 테스트와 다양한 평가 방법 이해하기
– 현업에 사용되는 온라인 A/B 테스트 환경 소개
– Real World 추천 시스템 구축에 대한 질의 응답

2) 실습

– Tensorflow로 DeepFM을 구현하여 추천 시스템 구축하기
– 유튜브 추천 시스템 내 Candidate Selection 간이 모델 구현하기
– Candidate Selection 모델과 DeepFM을 결합한 2단계 추천 시스템 구축하기