조환희의 학습 블로그

상황에 맞는 취향 장소 발견하기. HyperLocal 추천 시스템 A to Z

johh — Sun, 4 Aug 2024 23:37:53 +0900

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : os(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

1. 지역 관점의 장소 추천 시스템

1.1 장소 추천의 목표 : 왜 장소 추천을 해야하는가?

쇼핑몰, 백화점, 마트, 편의점, 지하철역, 맛집, 술집, 전시회 (POI: point of interest)
- 장소들은 소비재로 볼 수 있음.
  - 우리는 일주일간 다양한 장소에서 시간을 소비함
- 네이버 서비스에서 검색을 하는 경우들이 있음
  - 가족들과 시간을 보낼만한 맛집
  - 친구들과 시간을 보낼만한 카페
  - 여행을 가서 리프레시 할만한 숙소

1.2 사용자들이 새로운 장소를 발견하기 어려운 이유

가로수길 맛집 검색시 (장소와 원하는 것을 넣어 검색)
- 네이버에서는 지역 내의 퀄리티 있는 맛집들을 선별해서 알려줌
- 좋은 결과임에도 아쉬운 부분들이 있음
  - 검색어의 키워드가 떠오르지 않는 경우 - 맛집 이외에는 뭐라고 검색해야할까?
  - 취향 장소를 찾지 못한 경우 - 내가 어떤걸 좋아했지?
  - 탐색의 상황에 맞지 않는 경우 - 함께 갈만한 1차, 2차 장소를 함께 볼 수는 없을까?

1.3 장소 발견의 가치를 제공하는 HLP Engine

사용자가 취향과 상황에 맞는 장소를 만나게 하는 추천엔진 개발 - HyperLocal Personalization Engine!
기존의 검색 결과에 개인화된 추천 결과를 통해 발견의 가치를 제공
- 지역 내 유명한 장소들을 검색의 결과로 제공 + 개인화된 추천을 통한 발견의 가치
- → 개인화된 지역 검색 결과를 제공

2. HyperLocal Personalization의 구성요소

2.0 HyperLocal Personalization의 구성요소

추천 대상(무엇을 추천하여 장소를 발견하게 할 것인가) x 추천 방식 (어떤 방식으로 추천할 것인가) = HLP 추천기술

2.1 Objects of HyperLocal Personalization

추천대상
1. POI(장소) 자체를 추천
2. POI를 소비하는 유저를 추천 : 유저가 방문했던 혹은 좋아했던 다른 장소들을 발견하기 위해 다른 장소를 간접적으로 발견하도록 함
3. UGC 컨텐츠 : 사용자가 생성한 컨텐츠로 가장 활발한 컨텐츠
4. 테마 : 공통 특성으로 묶인 POI나 UGC의 그룹을 잘 묶어 하나의 테마나 컬렉션 형태로 제공
  - ex) 아이와 함께 가볼만한 장소의 묶음 혹은 리뷰의 묶음 → 장소를 새로운 가치로 발견하도록

2.2 Levels of HyperLocal Personalization

추천 방식(레벨)
1. no personalization - 지역의 다양한 트렌드 추천
  - ex) 부산 맛집 : 지역 특색메뉴 - 수육백반 / 갈삼구이 / 참불꼼장어 / 멸치쌈밥 / 멸치회 …
2. segmentation - 내가 속한 그룹의 인기에 기반하여 추천
  - ex) 부산 맛집 : 연령대/성별 추천 - 남자 / 여자 / 10대초반 / 10대후반 / 20대 초반 …
3. personalization - 사용자의 취향을 깊이 있게 이해햐여 추천
  - ex) 부산 맛집 : 개인화 추천 ForYou - 내 취향과 비슷한
4. HyperLocal Personalization - 사용자가 놓인 상황까지 이해하여 추천
  - ex) 부산 맛집 : 함께 가볼만한 장소 - 라운딩과 함께 가볼만한 맛집

2.3 HyperLocal Personalization의 기술들

4가지 추천 대상과 4가지 추천 방식을 조합하여 추천 기술을 개발
이전에 Deview나 콜로키움을 통해 발표
- Deview
  - 2016 : 딥러닝을 이용한 지역 컨텍스트 검색 (POI)
  - 2018 : Location Based Recommendation (POI)
  - 2020 : 당신의 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (POI+User)
  - 2021 : Knowledge Graph에게 맛집과 사용자를 묻는다. - GNN으로 맛집 취향 저격하기! (POI+User+UGC)
- 콜로키움
  - 2017 : POI Understanding AI. ConA (POI)
  - 2019 : SmartAround (POI)
  - 2021 : Understanding POI (POI+User)
  - 2022 : User/POI/UGC Recommendation using Graph Neural Network (POI+User+UGC)

3. HyperLocal Personalization의 Representation Learning

3.0 Process of Representation Learning

representation learning의 중요성 (추천시스템의 근간이 되는 기술)
- 추천 대상(POI, user, UGC 등)을 latent space에 embedding 시키는 기술
top k nearest에 기반한 추천을 하고있다
- 추천 object간에 유사도가 가까운 것들은 우선적으로 추천
- 간편하며 시스템 적으로 설계하기 편하며 효과도 좋음
representation learning의 3가지 단계
- Context Discovery : 어떠한 발견의 가치를 줘야할지 컨텍스트 발굴 단계
- Model Development : 컨텍스트에 맞는 데이터 정의. 데이터에 맞는 모델을 설계
- Service Application : service를 실제로 적용하는 단계
representation learning은 Personalization과 HyperLocal Personalization에서 가장 중요한 단계
- 이 두 가지 추천 방식에 맞춰 각각의 사례를 설명

3.1 Next POI Recommendation with Heterogeneous Domain

RelatedPOI2VEC : “특정 업체를 다음에 방문할 만한 장소를 추천하자”
- POI x HyperLocal Personalization = 다음에 방문할 장소 추천
Context Discovery
- 특정 장소 다음에 갈만한 장소를 어떻게 찾고 있을까?
  - 가족과 함께하는 부산 여행을 준비하며
    1. 해운대 인기 호텔 예약
    2. 숙소 주변의 맛집, 카페들 찾아 저장
    3. 약간 멀더라도 갈만한 거리의 전시회 및 명소 검색
  - 사용자들은 방문 장소와 유사한 성격을 지니는 장소들을 주로 탐색함
    - 가족과 함께 갈만한 맛집, 자연명소, 리조트
    - 골프장 이후/이전의 갈만한 맛집
    - 미술관 관람 이후, 휴식 공간
Model Development
- 방문 장소와 같은 탐색 의도를 가지는 장소들을 어떻게 데이터로 표현할 수 있을까?
  - 네이버 서비스 내 방문/클릭(관심) 데이터를 사용
    - 방문 날짜 전 후에 검색했던 장소 (근처 지역에서)
    - 방문 및 이용 날짜 (예약, 영수증 기준)
  - Model
    - 다른 Domain의 장소들간의 Co-occurrence를 잘 표현하는 것이 중요! → word2vec 기반 모델
      - word2vec은 하나의 문장내에서 함께 등장하는 단어들 간의 Co-occurrence를 고려한 언어모델
    - 방문이라는 Explicit Feedback을 모델에 강하게 반영해보자! → Global Context를 반영한 모델
  - describe
    - 모든 문장내의 POI들과 함께 Co-occurence가 일어날 수 있게 실제 문장을 설계
      1. 방문과 사용자 클릭 데이터를 기반으로 POI들을 word로 구성
      2. 방문데이터 자체를 Global Context로 고려하여
    - 각각의 POI들로 구성된 Document를 구성하고, word2vec을 백본으로 학습하여 RelatedPOI2VEC 모델을 개발
Service Application
- 정확도를 올릴 수 없을까?
  - Limitation
    - Click을 정말 같은 의도라고 볼 수 있을까? - 탐색의 의도나 신뢰도가 떨어진다고 생각됨
    - 특정 기간 내에도 다른 의도의 탐색이 섞여 있지 않을까?
    → 다른 데이터를 함께 사용하여 정확도를 올리고자 함
  - 네이버 지도 내 길찾기 데이터 사용
    - 사용자의 피드백이 확실함
    - 출발지와 도착지가 존재하며, 길찾기의 빈도 수 정보가 있음 (통계모델)
- 다른 데이터를 이용해서 정확도를 올릴 수 없을까?
  - RelatedPOI2VEC의 다음 장소에 대한 score와 통계 모델에 대한 다음 장소에 대한 score를 종합하여 최종 추천 스코어를 계산
- 실제 서비스 적용 결과
  - 골프장 전/후 가볼만한 맛집/카페
  - 서핑 게스트하우스와 함께 가볼만한 장소/맛집
  - 키즈풀빌라 이후 갈만한 맛집/장소

3.2 Optimization with Joint Representation Learning

Global-POI2VEC : “취향 장소와 가장 유사한 특성을 지닌 장소를 추천하자”
- POI x Personalization = 취향 기반 장소 추천
Context Discovery
- 장소간 유사성은 어떻게 판단할 수 있을까?
  - 사용자가 POI를 탐색하는 상황을 잘 이해해야 한다.
  - 사용자와 POI는 다양한 Interaction이 있고, 다양한 context에서 POI는 user에 의해서 소비되게 된다.
    - context들에 대해서 깊이 이해하고, POI를 embedding 할수록 취향을 기반으로 좋은 추천을 할 수 있다.
Model Development
- 다양한 Context들을 어떻게 정의할 수 있을까?
- Context들을 어떻게 Data로 정의하고 Model로 표현할 수 있을까?
  1. Context 1 : Nearby Alternative
    - 특정 지역을 중심으로 특정 반경 내의 장소를 탐색하는 경우
      - ex) 야식, 데이트하기 좋은 장소
    - 하나의 검색 질의를 session으로 가정하고 session 내의 POI sequence를 동일한 근처의 대체제적인 성격을 지닌 데이터라고 간주할 수 있다.
      - POI들 간의 Co-occurence를 잘 임베딩하여 반영해야한다 → POI2VEC 모델 개발
  2. Context 2 : Similar Metadata
    - 유사한 특성을 지닌 장소를 찾는 경우
      - ex) 특정 메뉴, 특정 분위기, 특정 가격대
    - POI들이 가지고 있는 실제 데이터(족발, 치킨, 삼겹살 등)들을 공통적으로 검색하는 경우가 있음 → 공통적인 POI들끼리 가까이 임베딩 시킬 필요가 있음
      - 공통된 Metadata를 지닌 POI들간의 POI-Metadata의 관계를 표현하기 위해 Graph 사용
    - POI-Metadata간의 관계를 깊이있게 고려하여 representation learning을 할 필요가 있다.
      - POI가 Metadata 상의 random walk에 기반한 metapath를 가장 잘 정의할수 있는 MetaPath2VEC라는 Graph learning Model을 백본 → POIMeta2VEC 모델 개발
  3. Context 3 : Similar Taste
    - 사용자가 방문했던/좋아했던 장소를 추천해주는 것
      - ex) 사용자들은 내가 아는 사람이 좋아했다고 하면 선호하는 경향성을 띔
    - user들이 방문한 POI가 비슷하거나 POI를 방문한 유저들이 비슷하다면, POI끼리는 매우 유사하다고 판단할 수 있다.
      - POI와 User로 구성된 Heterogeneous한 Graph를 잘 표현하기 위해 Graph 방식을 취함
      - POI와 Graph간 Random Walk(주변 노드와의 Importance 고려)를 이용
      - PinSage를 백본으로 사용 → POISage 개발
        
        scalability에 강하게 됨
        
        서로 다른 유저가 좋아하지 않았던 POI를 고려할 수 있음
        
        실제 collabolative한 성향이 더 잘 녹아드는 것을 확인할 수 있음
- 이런 행동들을 어떻게 Model로 녹여낼 수 있을까?
  - POI가 유저에 의해 소비되는 것은 다양한 Context가 있고 아래와 같이 3가지 모델로 압축할 수 있음.
- 실제로 Context별로 학습한 모델들이 다른 특성을 보이는가?
  - 서로다른 컨텍스트에 대해 representation learning을 진행해서인지 서로다른 특성을 보이고 있다.
    - 파랑 : others(고기구이), 붉은색 : 소고기, 녹색 : 돼지고기, 주황색 : 정육식당
  1. POI2VEC : 유사한 취향의 사용자들이 좋아한 장소를 찾는 경우
    - 지역을 중심으로 임베딩되어 그런지 서로 뭉쳐져 있지 않은 것을 확인할 수 있음
  2. POIMeta2VEC : 사용자들이 방문한 poi에 기반한 poi-user graph
    - 메타데이터라는 것을 고려해서인지 서로 뭉쳐져서 표현되는 것을 확인할 수 있음
  3. POISAGE : 다양한 user, poi feature를 고려하고, collabolative filtering의 성향을 반영
    - 사용자의 취향을 고려해서 각각의 업종들 간에도 분리되는 것을 확인할 수 있음
- 어떻게 모든 context를 고려하여 optimization 할 수 있을까?
  - 모든 context를 고려하여 최적의 우리만의 POI embedding을 만들고 싶었다.
    - 그렇게 해야 모든 상황에 맞는 모든 downstream task에 맞는 취향기반 장소 추천을 잘할수 있지 않을까 생각
  - AutoEncoder를 백본으로 하여 joint representation learning을 진행
    1. cosine similarity(top k nearest)에 기반한 추천에 적합한 joint representation learning은 무엇일까?
    2. 기존 context를 뭉개지 않고 context별 모델로 부터 생성된 POI embedding들을 어떻게 유지할 수 있을까?
- 어떻게 모든 Context를 고려하여 Optimization 할 수 있을까?
  1. 앞에서 나온 3가지 결과의 모델은 concat
  2. reconstruction loss + classification loss → our loss 개발
    - reconstruction loss : AutoEncoder
    - classification loss : POI에 가장 중요하다고 할 수 있는 업종을 분리
  3. GLOBAL POI2Vec 모델 개발
- 실제로 다양한 Context에 대해 optimization 되었는가?
  - 앞선 3개의 모델에 비해 우수한 성능을 보여줌 (precision)
  - 추천에서는 내가 생각하지 못한 다양한 장소를 발견하는 가치도 중요 (diversity)
  - 더 정확한 결과는 ICDM에서 발표했던 논문결과에서 확인할 수 있음
Service Application
- 추천에 신뢰를 어떻게 줄 수 있는가?
  - Naver 통합검색 ForYou와 Line Place ForYou에 적용됨
  - 과거에 내가 좋아요 했던 어떤 식당과 비슷하다는 형식으로 추천이 됨을 확인할 수 있음
  - 다양한 추천 사유에 기반한 explainable recommendation
    - 사용자에게 신뢰도를 높여 서비스 품질 향상
    - 목적, 메뉴, 장소가 tv에 나왔기 때문인지에 대한 추천 레이블을 붙임

3.3 Understanding User Behavior with graph deep learning

FollowSAGE, VisitSAGE, History2VEC : “나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자”
- 네이버에는 myPlace와 같은 피드시스템이 있으며, 내가 구독하고 있는 유저를 통해 나만의 장소를 발견하는 것이 중요
- 이러한 유저 추천 역시 지역관점의 장소를 발견하게 해주는 추천시스템에서 매우 중요한 요소
- User x Personalization = 사용자 행동 기반 User 추천
Context Discovery
- 나와 유사한 행동을 보이는 사용자를 추천하고, 그 사용자들을 통해 취향 장소를 발견하게 하자.
  - FollowSAGE, VisitSAGE, History2VEC
  - User x Personalization = 사용자 행동 기반 User 추천
Model Development
- 유사한 유저들을 판단하는 행동들은 어떻게 정의할 수 있을가?
- Context들을 어떻게 데이터로 정의하고 모델로 표현할 수 있을까?
  - FollowSAGE : Fllow behavior on user
    - Following, Follow하는 유저들이 유사한 정도
    - Follow Action(user간 action)에 기반한 User Homogeneous Graph
      - User Homogeneous Graph : user간의 관계를 그리는 user homogeneous한, 노드가 한개만 존재하는 그래프로 데이터 표현 가능
    - User간의 Follow에 기반한 Topological한 구조를 잘 이해해보자
      - 유저를 잘 임베딩 시키기 위해서는 내 주변에 어떠한 유저들이 있고, 그래프 상에서 유저 노드가 어떠한 위치에 표현이 되어 있는지 topological한 구조를 잘 이해하고 있어야해
      - 유저의 follow에 기반한 topological한 구조를 가장 잘 이용할 수 있는 graph sage를 백본으로 함 → Follow Sage 모델 개발
  - VisitSAGE : Explicit Feedback Behavior on POI
    - POISage와 매우 유사
      - POI 관점에서 보는 것이 아니라 유저가 소비한 POI가 유사한 정도를 통해 추천 (collaborative한 필터링 성향을 띄고있음)
    - User와 User는 직접 연결되지 않고, 함께 방문했던 POI를 통해 추천되게 됨 (Bipartite Graph)
    - User와 POI만 가진 Heterogeneous한 graph라고 할 수 있다.
      - 이러한 Graph를 가장 잘 이해하는데는 PinSage라는 모델이 scalable하며 User와 POI 피쳐를 다양하게 고려할 수 있기 때문에 가장 적합하다고 할 수 있다. → VisitSage 모델 개발
  - History2VEC : User’s Recent Visit Behavior on POI
    - 최근에 관심을 가지고 있는 다음에 갈 장소가 유사할 수 있다라는 가정
      - 연속해서 방문하고 관심을 갖는 장소들을 User에 대한 POI Sequence 데이터로 표현
    - 다음에 방문할 장소를 업종이나 장소 기반으로 맞추는 것은 multi-lable에 대한 classification 문제로 볼 수 있다.
      - Deep Neural Network for Youtube Recommendation을 백본으로 하여 우리만의 모델 개발
        
        이를통해 다음에 갈 장소를 제공하는 모델을 개발
      - classification 하기 전 단계에 있는 임베딩 값을 유저라고 가정하고, 유저간의 유사도를 구하는 과정을 통해 실제 유저를 추천
      → History2Vec 개발
- Context들을 어떻게 Data로 정의하고 Model로 표혈할 수 있을까?
  - User의 유사도를 정의하는데, 3가지 context로 분류하고 각 컨텍스트에 맞는 모델을 개발
- Local Domain의 특성에 맞게 어떻게 최적화하여 학습할까?
  - 똑같이 선호도를 표현하였어도 강도에 차이가 있을 것이다. ex)Follow
    - Edge를 binary relation이 아닌 weighted relation로 간주하여 표현
  - positive와 negative loss 이외에 Low-rank positive term을 추가하여 조금 더 Node간에 relation을 weight로 간주하여 모델 고도화
- 어떤 추천 모델이 가장 좋은 결과를 보이는가?
  - Precision(정확도) 측면에서는 Follow Sage가 가장 좋음
    - Follow라는 action이 방문, 관심, 최근이라는 것보다 명확한 사용자의 피드백이기 때문
    - 그러나 Diversity 측면에서는 가장 약한 모습을 보여줬다.
- 하나의 Collection을 통해, User 추천을 한다면 어떻게 최적화할 수 있을까?
  - 추천에서 가장 큰 가치 중 하나도, 다양한 유저들을 추천하고 following 함으로써 더 다양한 장소들을 통해 나도 몰랐던 장소를 추천 받는 것
  - 단일 모델로는 최적의 결과를 만들어내기는 어렵다.
- 어떻게 여러 모델을 조합하여 최적의 추천 결과를 제공할 수 있을까?
  - 3가지 모델을 통해 추천된 추천 User의 candidate를 기반
    1. 각각이 나와 얼마나 유사한지 조금 더 구체적으로 확인하는 관심지역이나 최근 검색했던 메뉴, 관심업종과 같은 것을 Jacard Distance로 계산
    2. 계산 결과를 기반으로 다시 하나의 컬렉션으로 만들어 나의 취향과 유사한 유저를 추천해주는 방식을 취함
Service Application
- 실제 서비스 적용 결과는?
  - Line Place나 Naver My Place를 보면, 나와 취향이 유사한 유저라는 하나의 방식으로 추천
  - 하나의 collection 안에는 여러가지 모델이 앙상블 되어 다양한 추천 사유에 기반이 되어 추천
  - 사용자에게 novelty, diversity, 높은 정확도까지 제공

3.4 Understanding User Intent with Multimodality

ReviewSAGE : “Multimodality에 기반한 검색 의도를 이해하여 추천해보자.”
- UGC x HyperLocal Personalization = UGC 기반 실시간 반응형 추천
- 가장 lively한 추천 결과 제공
Context Discovery
- 네이버에는 다양한 UGC가 있다.
  - ex) 블로그, 리뷰
  - 이미지와 텍스트가 존재한다는 특징을 가지고 있음
  - UGC를 소비하는데 있어 Image와 text를 이용해 장소를 갈지 말지 판단. (multi-modality)
- UGC는 어떠한 특성을 지닐까?
  - 장소와 POI 모두를 포함하는 global 적인 structure를 가지고 있다.
Model Development
- Structured Data를 모델로 어떻게 녹여낼 수 있을까?
  - Graph 구조로 표현하는 것!
    - UGC의 Structure를 잘 이해하고 multi-modality적인 성격을 잘 녹여내는데 있어 Graph modeling을 선택
  - 가장 명확한 표현은 UGC는 POI에 포함되어 있다는 것
    1. 그래프로 표현하면 POI를 중심으로 연결되어 있는 각각이 Separated 된 Star Graph 형태를 띄게 됨
    2. 이렇게 되면 서로 POI간에 UGC가 가져갈 수 있는 정보라는 것은 단일 POI 뿐이기 때문에 UGC가 제대로 임베딩 되지 않음
  - Separated Graph를 User 취향 기반으로 연결하여 Node간 Feature를 공유할 수 있도록 Graph를 Design
    1. 사용자가 남긴 다른 POI지만 같은 업종에 있다하면 유사한 특성을 지닐수 있기 때문에 이러한 것들을 virtual edge로 연결하여 POI와 UGC로 생성된 Heterogeneous한 그래프 구성
    2. 이 그래프로 앞서 말한 PinSage 모델에 적용하기 좋음
      - 두 가지 타입으로만 구성된 Bipartite Graph이므로
      - 이때는 negative sample(서로 유사하지 않음)을 정의하는 것이 매우 중요
- Negative Loss는 어떻게 정의할 수 있을까?
  - 장소추천에서 가장 중요하다고 할 수 있는 “서로 다른 업종은 분명히 다를 가능성이 높다.”에 기반하여 negative sample로 정의하여 Review Sage 개발
- 실제로 Multimodality를 고려한 추천의 품질은 어떠한가?
  - Multi-modality적인 성격을 녹여내는 것이 좋다는 것을 확인할 수 있음
    1. Review Sage의 Node Feature로 UGC에 Image와 Text들을 PreTrained 모델을 임베딩시켜 넣음
    2. Review Sage는 UGC와 POI, User의 Global Structure까지 고려하기 때문에 훨씬 더 좋은 성능을 보이며, Diversity 측면에서도 다양한 장소들을 발견하게 해줌
      - 단순히 Image나 Text에 기반하여 nearest를 찾는 것이나 Image와 Text를 concat시켜 찾는 것 보다 훨씬 좋은 성능이 나옴
Service Application
- 실제 서비스 적용 결과는?
  - 어떤 이미지를 가지고 있는 UGC를 클릭을 하거나 피드백을 보인 경우에 유사한 방식으로 장소를 소비한 리뷰들을 리스트 형식으로 제공하는 것을 고려
  - 실시간적인 사용자의 Intent를 고려하여 반응형으로 추천해주는 모델을 적용 예정

4. 사용자들은 추천 서비스들을 어떻게 사용하고 있을까?

4.0 HLP Engine이 적용된 다양한 서비스들

4.1 얼마나 많은 사용자들이 HLP Engine을 통해, 발견의 가치를 누리고 있는가?

기술을 통해 소상공인을 발견해나가는 유저들이 한해동안 꾸준히 늘어남

4.2 사용자들은 얼마나 많은 SME들을 발견하고 있는가?

서비스를 적용해 나갈때마다 계속적으로 증가

4.3 HLP Engine이 얼마나 장소 발견에 기여하고 있는가?

5. What’s Next for HyperLocal Personalization

5.1 Understanding local Trend Visually

지역을 소비하는게 가장 중요하다고 할 수 있는 이미지를 기반으로 “지역의 Visual Trend를 추천해보자!”
- 과거엔 POI나 UGC를 추천하는 경우가 많았는데, UGC 중에서 Image를 직접적으로 추천하여 해당 장소에 가면 어떤 방식으로 사진을 찍으며 놀 수 있는지 발견의 가치를 제공하고자 함
- 보유하고 있는 데이터인 Query와 UGC 데이터를 바탕으로 만들어진 모델을 통해 Visual Trend를 추천하고자 함
  - NLP기반 Trend 추천모델 (LocalTrendRec)
  - Contrastive Image-Text Foundation Model (ThumbnailRec)
- 실제 지역을 소비할 수 있는 컨텐츠 제공
  - ex) 힐링파크에서 카약을 탈 수 있다. 해수욕장에 갈 수 있다..

5.2 Optimize Recommendation on HyperLocal Context

“Real Time Context를 이해하여, 추천을 최적화하자!”
- 사용자의 취향은 다양하고, 취향에 해당하는 장소들이 실시간적으로 나의 needs에 맞게 달라질 수 있다.
  - 어느 요일인지, 어느 시간대인지, 어느 날씨인지에 따라 달라질 수 있다.
    - 퇴근 후, 금요일 저녁에는 어떤 메뉴를 추천해주는 것이 좋을까?
    - 바쁜 평일 점심에는 어떤 메뉴를 추천해주는게 좋을까?
  - 위와 같은 컨텍스트를 고려하여 장소를 추천해주는 기술을 개발
- 실제 상황에 맞는 사용자 취향 기반의 최적화된 추천 결과(reranking)

6. Conclusion

추천에서 최적의 모델(Sota)가 있다고 가정하고 개발하고 있진 않다.
사용자들에게 다양한 관점에서 서비스적인 가치와 발견의 가치를 제공하는 것이 중요
- (Context Discovery) 어떠한 상황에서 발견을 하게 해줘야 하는지
- (Context Discovery) 발견에 최적화된 모양의 데이터는 무엇인지
- (Model Development) 그것을 가장 최적화 하기위한 모델은 어떤 형태가 좋을지
- (Service Application) 서비스에 제공하는데 정확도와 신뢰도를 주기위해 다양한 기법들을 적용

[k8s] kubernetes Upgrade-Node

johh — Mon, 10 Jul 2023 22:14:55 +0900

Control plane upgrade (hk8s)

Kubernetes cluster upgrade
- kubeadm, kubelet, kubectl을 각각 업그레이드
Woker node Upgrade
1. Upgrade할 node에 접속
2. kubeadm 업그레이드
3. "kubeadm upgrade" 호출
4. 노드 드레인
5. kubelet과 kubectl 업그레이드
6. 노드 uncordon

Solution

Worker node Upgrade (https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/upgrading-linux-nodes/)

1. Upgrade할 node에 접속

# worker1 업그레이드를 위해 접속. (나머지 worker도 전 과정을 똑같이 진행해주면 된다.)
$ ssh hk8s-worker1 
Welcome to Ubuntu 22.04.1 LTS (GNU/Linux 5.15.0-76-generic x86_64)

$ sudo -i

2. kubeadm 업그레이드

$ apt-mark unhold kubeadm && \
  apt-get update && apt-get install -y kubeadm=1.27.1-00 && \
  apt-mark hold kubeadm
...
The following packages will be upgraded:
  kubeadm
1 upgraded, 0 newly installed, 0 to remove and 78 not upgraded.
Need to get 9928 kB of archives.
...

3. "kubeadm upgrade" 호출

$ sudo kubeadm upgrade node
[upgrade] Reading configuration from the cluster...
[upgrade] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
[preflight] Running pre-flight checks
[preflight] Skipping prepull. Not a control plane node.
[upgrade] Skipping phase. Not a control plane node.
[upgrade] Backing up kubelet config file to /etc/kubernetes/tmp/kubeadm-kubelet-config495210393/config.yaml
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[upgrade] The configuration for this node was successfully updated!
[upgrade] Now you should go ahead and upgrade the kubelet package using your package manager.

4. 노드 드레인

# worker의 drain 작업은 콘솔환경으로 나가서 진행해야 한다.
$ exit
logout #root
$ exit
logout #hk8s-worker1
Connection to hk8s-worker1 closed.

$ kubectl drain hk8s-worker1 --ignore-daemonsets
node/hk8s-worker1 cordoned
evicting pod kube-system/metrics-server-7fcb88f75-8wnhn
evicting pod calico-apiserver/calico-apiserver-79856c48fc-hpxjm
evicting pod calico-apiserver/calico-apiserver-79856c48fc-x9hv2
evicting pod calico-system/calico-kube-controllers-7f55d475d-ctdqx
evicting pod calico-system/calico-typha-7b57995ddf-zwh2k
evicting pod kube-system/coredns-5d78c9869d-6v46k
evicting pod kube-system/coredns-5d78c9869d-qctzk

$ kubectl get nodes
NAME           STATUS                     ROLES           AGE    VERSION
hk8s-master    Ready                      control-plane   131d   v1.27.1
hk8s-worker1   Ready,SchedulingDisabled   <none>          131d   v1.26.0
hk8s-worker2   NotReady                   <none>          131d   v1.26.0

5. kubelet과 kubectl 업그레이드

$ ssh hk8s-worker1 
Welcome to Ubuntu 22.04.1 LTS (GNU/Linux 5.15.0-76-generic x86_64)
$ sudo -i

# kubelet과 kubectl 업그레이드
$ apt-mark unhold kubelet kubectl && \
  apt-get update && apt-get install -y kubelet=1.27.1-00 kubectl=1.27.1-00 && \
  apt-mark hold kubelet kubectl
...
The following packages will be upgraded:
  kubectl kubelet
2 upgraded, 0 newly installed, 0 to remove and 77 not upgraded.
Need to get 29.0 MB of archives.
...

# kubelet을 다시 시작
$ sudo systemctl daemon-reload
$ sudo systemctl restart kubelet

6. 노드 uncordon

$ exit
logout #root
$ exit
logout #hk8s-worker1
Connection to hk8s-worker1 closed.

# uncordon
$ kubectl uncordon hk8s-worker1
node/hk8s-worker1 uncordoned

# 업그레이드 확인
$ kubectl get nodes
NAME           STATUS     ROLES           AGE    VERSION
hk8s-master    Ready      control-plane   131d   v1.27.1
hk8s-worker1   Ready      <none>          131d   v1.27.1
hk8s-worker2   NotReady   <none>          131d   v1.26.0

[k8s] kubernetes Upgrade-master

johh — Mon, 10 Jul 2023 17:51:07 +0900

Control plane upgrade (hk8s)

Kubernetes cluster upgrade
- kubeadm, kubelet, kubectl을 각각 업그레이드
Control-plane Upgrade
1. Upgrade할 master에 접속
2. 업그레이드 할 버전 확인
3. kubeadm 업그레이드
4. 노드 드레인 : console이나 master에서 실행
5. kubelet과 kubectl 업그레이드
6. 노드 uncordon

Solution

Control-plane Upgrade (https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/#determine-which-version-to-upgrade-to)

1. Upgrade할 master에 접속

# hk8s-master 노드에 접속
$ kubectl config use-context hk8s 
Switched to context "hk8s".
$ kubectl config current-context 
hk8s
$ kubectl get nodes
NAME           STATUS     ROLES           AGE    VERSION
hk8s-master    Ready      control-plane   130d   v1.26.0
hk8s-worker1   Ready      <none>          130d   v1.26.0
hk8s-worker2   NotReady   <none>          130d   v1.26.0
$ ssh hk8s-master 
Welcome to Ubuntu 22.04.1 LTS (GNU/Linux 5.15.0-60-generic x86_64)

# os 확인
$ sudo cat /etc/os-release 
PRETTY_NAME="Ubuntu 22.04.1 LTS"
NAME="Ubuntu"
...

2. 업그레이드 할 버전 확인

# 업그레이드할 버전 확인하고 결정
$ apt update \
  apt-cache madison kubeadm
...
79 packages can be upgraded. Run 'apt list --upgradable' to see them.
   kubeadm |  1.27.3-00 | https://apt.kubernetes.io kubernetes-xenial/main amd64 Packages
   kubeadm |  1.27.2-00 | https://apt.kubernetes.io kubernetes-xenial/main amd64 Packages
   kubeadm |  1.27.1-00 | https://apt.kubernetes.io kubernetes-xenial/main amd64 Packages
...

3. kubeadm 업그레이드

# kubeadm 1.27.1-00 다운로드
$ apt-mark unhold kubeadm && \
  apt-get update && apt-get install -y kubeadm=1.27.1-00 && \
  apt-mark hold kubeadm
...
The following packages will be upgraded:
  kubeadm
1 upgraded, 0 newly installed, 0 to remove and 78 not upgraded.
Need to get 9928 kB of archives.
...

# 다운로드 하려는 버전이 잘 받아졌는지 확인
$ kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"27", GitVersion:"v1.27.1", 
GitCommit:"4c9411232e10168d7b050c49a1b59f6df9d7ea4b", GitTreeState:"clean", 
BuildDate:"2023-04-14T13:20:04Z", GoVersion:"go1.20.3", Compiler:"gc", Platform:"linux/amd64"}

# 업그레이드 계획 확인
$ kubeadm upgrade plan v1.27.1
Components that must be upgraded manually after you have upgraded the control plane with 
'kubeadm upgrade apply':
COMPONENT   CURRENT       TARGET
kubelet     3 x v1.26.0   1.27.1

Upgrade to the latest version in the v1.26 series:

COMPONENT                 CURRENT   TARGET
kube-apiserver            v1.26.2   1.27.1
kube-controller-manager   v1.26.2   1.27.1
kube-scheduler            v1.26.2   1.27.1
kube-proxy                v1.26.2   1.27.1
CoreDNS                   v1.9.3    v1.10.1
etcd                      3.5.6-0   3.5.7-0

You can now apply the upgrade by executing the following command:

	kubeadm upgrade apply 1.27.1
_____________________________________________________________________

# 업그레이드 할 버전을 선택하여 명령을 실행
$ sudo kubeadm upgrade apply v1.27.1
...
[upgrade/staticpods] Preparing for "etcd" upgrade
[upgrade/staticpods] Renewing etcd-server certificate
[upgrade/staticpods] Renewing etcd-peer certificate
[upgrade/staticpods] Renewing etcd-healthcheck-client certificate
...
[upgrade/successful] SUCCESS! Your cluster was upgraded to "v1.27.1". Enjoy!

[upgrade/kubelet] Now that your control plane is upgraded, please proceed with upgrading your kubelets
if you haven't already done so.

4. 노드 드레인 : console이나 master에서 실행

# unschedulable로 표시하고 워크로드를 제거하여 유지 관리를 위해 노드를 준비
$ kubectl drain hk8s-master --ignore-daemonsets
node/hk8s-master cordoned
Warning: ignoring DaemonSet-managed Pods: calico-system/calico-node-99wtw, calico-system/ ...
node/hk8s-master drained

※ drain 하던 과정에서 'exevicting pod calico-system/calico-typha-5d975894b7-7g9zm
error when evicting pods/"calico-typha-5d975894b7-7g9zm" -n "calico-system" (will retry after 5s): Cannot evict pod as it would violate the pod's disruption budget.' 라는 에러가 발생하였다.

hk8s-master의 component.yaml 파일의 maxUnavailable 값을 0에서 1로 변경해주었더니 에러가 발생하지 않았다.
https://github.com/projectcalico/calico/issues/4211

# ~/component.yaml
...
spec:
  selector:
    matchLabels:
      k8s-app: metrics-server
  strategy:
    rollingUpdate:
      maxUnavailable: 1
...

5. kubelet과 kubectl 업그레이드

# 컨트롤플레인에서  kublet과 kubectl을 업그레이드 한다.
$ apt-mark unhold kubelet kubectl && \
  apt-get update && apt-get install -y kubelet=1.27.1-00 kubectl=1.27.1-00 && \
  apt-mark hold kubelet kubectl
...
The following packages will be upgraded:
  kubectl kubelet
2 upgraded, 0 newly installed, 0 to remove and 77 not upgraded.
...

# kubelet 다시 시작
$ sudo systemctl daemon-reload
$ sudo systemctl restart kubelet

6. 노드 uncordon

# hk8s-master node의 Status와 version확인
$ kubectl get nodes
NAME           STATUS                     ROLES           AGE    VERSION
hk8s-master    Ready,SchedulingDisabled   control-plane   130d   v1.27.1
hk8s-worker1   Ready                      <none>          130d   v1.26.0
hk8s-worker2   NotReady                   <none>          130d   v1.26.0

# 노드를 스케줄 가능하도록 표시하여 다시 온라인 상태로 전환
$ kubectl uncordon hk8s-master
node/hk8s-master uncordoned
$ kubectl get nodes
NAME           STATUS     ROLES           AGE    VERSION
hk8s-master    Ready      control-plane   130d   v1.27.1
hk8s-worker1   Ready      <none>          130d   v1.26.0
hk8s-worker2   NotReady   <none>          130d   v1.26.0

[k8s] ETCD Backup&Restore(2)

johh — Mon, 10 Jul 2023 15:32:04 +0900

문제1. ETCD Backup&Restore (k8s)

https://127.0.0.1:2379에서 실행 중인 etcd의 snapshot을 생성하고 snapshot을 /data/etcd-snapshot.db에 저장한다.
그런 다음 /data/etcd-snapshot-previous.db에 있는 기존의 이전 스냅샷을 복원한다.
etcdctl을 사용하여 서버에 연결하기 위해 다음 TLS 인증서/키가 제공된다.

CA certificate: /etc/kubernetes/pki/etcd/ca.crt
Client certificate: /etc/kubernetes/pki/etcd/server.crt
Client key: /etc/kubernetes/pki/etcd/server.key

Solution

https://127.0.0.1:2379에서 실행 중인 etcd의 snapshot을 생성하고 snapshot을 /data/etcd-snapshot.db에 저장한다.

$ ssh k8s-master 
Welcome to Ubuntu 22.04.1 LTS (GNU/Linux 5.15.0-60-generic x86_64)

$ sudo ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save /data/etcd-snapshot.db
{"level":"info","ts":"2023-07-10T15:17:38.710+0900","caller":"snapshot/v3_snapshot.go:65","msg":"created temporary db file","path":"/data/etcd-snapshot.db.part"}
{"level":"info","ts":"2023-07-10T15:17:38.728+0900","logger":"client","caller":"v3@v3.5.7/maintenance.go:212","msg":"opened snapshot stream; downloading"}
{"level":"info","ts":"2023-07-10T15:17:38.728+0900","caller":"snapshot/v3_snapshot.go:73","msg":"fetching snapshot","endpoint":"https://127.0.0.1:2379"}
{"level":"info","ts":"2023-07-10T15:17:38.869+0900","logger":"client","caller":"v3@v3.5.7/maintenance.go:220","msg":"completed snapshot read; closing"}
{"level":"info","ts":"2023-07-10T15:17:38.882+0900","caller":"snapshot/v3_snapshot.go:88","msg":"fetched snapshot","endpoint":"https://127.0.0.1:2379","size":"11 MB","took":"now"}
{"level":"info","ts":"2023-07-10T15:17:38.882+0900","caller":"snapshot/v3_snapshot.go:97","msg":"saved","path":"/data/etcd-snapshot.db"}
Snapshot saved at /data/etcd-snapshot.db

# 저장된 스냅샷 확인
$ sudo ls -l /data/etcd-snapshot.db
-rw------- 1 root root 10829856 Jul 10 15:17 /data/etcd-snapshot.db

그런 다음 /data/etcd-snapshot-previous.db에 있는 기존의 이전 스냅샷을 복원한다.

# 문제에서 별 말이 없었으므로 data-dir-location은 임의로 지정 (/var/lib/etcd-previous)
$ sudo ETCDCTL_API=3 etcdctl \
 --data-dir /var/lib/etcd-previous \
 snapshot restore /data/etcd-snapshot.db
 
2023-07-10T15:27:12+09:00	info	snapshot/v3_snapshot.go:248	restoring snapshot	{"path": "/data/etcd-snapshot.db" ...
2023-07-10T15:27:12+09:00	info	membership/store.go:141	Trimming membership information from the backend...
2023-07-10T15:27:12+09:00	info	membership/cluster.go:421	added member	{"cluster-id": "cdf818194e3a8c32", ...
2023-07-10T15:27:12+09:00	info	snapshot/v3_snapshot.go:269	restored snapshot	{"path": "/data/etcd-snapshot.db",...

# 복원이 잘 되었는지 확인
$ sudo tree /var/lib/etcd-previous/
/var/lib/etcd-previous/
└── member
    ├── snap
    │   ├── 0000000000000001-0000000000000001.snap
    │   └── db
    └── wal
        └── 0000000000000000-0000000000000000.wal

3 directories, 3 files

# etcd static pod data dir 수정
$ sudo vi /etc/kubernetes/manifests/etcd.yaml 
# /etc/kubernetes/manifests/etcd.yaml 
  volumes:
  - hostPath:
      path: /etc/kubernetes/pki/etcd
      type: DirectoryOrCreate
    name: etcd-certs
  - hostPath:
      path: /var/lib/etcd-previous
      type: DirectoryOrCreate
    name: etcd-data
status: {}

[k8s] ETCD Backup&Restore(1)

johh — Mon, 10 Jul 2023 15:00:30 +0900

ETCD Backup&Restore

ETCD를 호스팅 할 시스템에 ssh 로그인
ETCD 툴의 설치 여부 확인
ETCD 백업
snapshot 파일을 이용해 복원했을 때 원래대로 복원되는지 확인하기 위해 현재 ETCD 상태를 수정
ETCD 복원
ETCD Pod에 복원된 etcd-data 위치를 적용하고 Pod 다시 시작

Solution

ETCD를 호스팅 할 시스템에 ssh 로그인

$ kubectl config current-context 
k8s
$ ssh k8s-master 
Welcome to Ubuntu 22.04.1 LTS (GNU/Linux 5.15.0-60-generic x86_64)

ETCD 툴의 설치 여부 확인

$ etcdctl version
etcdctl version: 3.5.7
API version: 3.5

ETCD 백업 (https://kubernetes.io/docs/tasks/administer-cluster/configure-upgrade-etcd/#backing-up-an-etcd-cluster)

# trusted-ca-file 검색
# trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
$ ps -ef | grep kube | grep trusted-ca-file
... --trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt

# cert-file 검색
# cert-file=/etc/kubernetes/pki/etcd/server.crt
$ ps -ef | grep kube | grep cert-file
... --cert-file=/etc/kubernetes/pki/etcd/server.crt ...

# key-file 검색
# key-file=/etc/kubernetes/pki/etcd/server.key
$ ps -ef | grep kube | grep key-file
... --key-file=/etc/kubernetes/pki/etcd/server.key ...

# Snapshot using etcdctl options
$ sudo ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save /tmp/etcd-backup
# 스냅샷 파일 안에 쿠버네티스 상태 정보 저장된다. (pods, deployments ...)
{"level":"info","ts":"2023-07-10T14:12:12.082+0900","caller":"snapshot/v3_snapshot.go:65","msg":"created temporary db file","path":"/tmp/etcd-backup.part"}
{"level":"info","ts":"2023-07-10T14:12:12.101+0900","logger":"client","caller":"v3@v3.5.7/maintenance.go:212","msg":"opened snapshot stream; downloading"}
{"level":"info","ts":"2023-07-10T14:12:12.101+0900","caller":"snapshot/v3_snapshot.go:73","msg":"fetching snapshot","endpoint":"https://127.0.0.1:2379"}
{"level":"info","ts":"2023-07-10T14:12:12.267+0900","logger":"client","caller":"v3@v3.5.7/maintenance.go:220","msg":"completed snapshot read; closing"}
{"level":"info","ts":"2023-07-10T14:12:12.283+0900","caller":"snapshot/v3_snapshot.go:88","msg":"fetched snapshot","endpoint":"https://127.0.0.1:2379","size":"11 MB","took":"now"}
{"level":"info","ts":"2023-07-10T14:12:12.284+0900","caller":"snapshot/v3_snapshot.go:97","msg":"saved","path":"/tmp/etcd-backup"}
Snapshot saved at /tmp/etcd-backup

snapshot 파일을 이용해 복원했을 때 원래대로 복원되는지 확인하기 위해 현재 ETCD 상태를 수정

#deployments를 삭제하여 상태를 변경
$ kubectl get deployments.apps
NAME        READY   UP-TO-DATE   AVAILABLE   AGE
front-end   2/2     2            2           130d
webui       3/3     3            3           130d
$ kubectl delete deployments.apps front-end
deployment.apps "front-end" deleted
$ kubectl get deployments.apps
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
webui   3/3     3            3           130d

ETCD 복원 (https://kubernetes.io/docs/tasks/administer-cluster/configure-upgrade-etcd/#restoring-an-etcd-cluster)

# 기존에 운영중인 공간(/var/lib/etcd)에는 이미 etcd가 작동하고 있기 때문에 
# 새로운 공간(/var/lib/etcd-new)에 restore 해줘야 한다.
$ sudo ETCDCTL_API=3 \
    etcdctl snapshot restore \
    --data-dir /var/lib/etcd-new /tmp/etcd-backup
    
# 데이터 저장소 확인
$ sudo ls /var/lib/etcd
member
$ sudo tree /var/lib/etcd
/var/lib/etcd
└── member
    ├── snap
    │   ├── 0000000000000008-0000000000033466.snap
    │   ├── 0000000000000008-0000000000035b77.snap
    │   ├── 0000000000000008-0000000000038288.snap
    │   ├── 0000000000000008-000000000003a999.snap
    │   ├── 0000000000000008-000000000003d0aa.snap
    │   └── db
    └── wal
        ├── 0.tmp
        ├── 0000000000000000-0000000000000000.wal
        ├── 0000000000000001-00000000000136d4.wal
        ├── 0000000000000002-0000000000027946.wal
        └── 0000000000000003-000000000003db25.wal

3 directories, 11 files

ETCD Pod에 복원된 etcd-data 위치를 적용하고 Pod 다시 시작

# etcd pod의 data 저장소를 /var/lib/etcd-new로 변경해서 다시실행
$ sudo vi /etc/kubernetes/manifests/etcd.yaml 

# 대문자 G를 입력하여 yaml파일 맨 뒤로 이동
# path를 etcd에서 etcd-new로 변경 후 저장(:wq)하면, 
# static pod는 kublet이라는 데몬이 자동으로 restart해준다.

# etcd.yaml
...
  volumes:
  - hostPath:
      path: /etc/kubernetes/pki/etcd
      type: DirectoryOrCreate
    name: etcd-certs
  - hostPath:
      path: /var/lib/etcd-new
      type: DirectoryOrCreate
    name: etcd-data
status: {}

# 복원 확인
$ kubectl get deployments
NAME        READY   UP-TO-DATE   AVAILABLE   AGE
front-end   2/2     2            2           130d
webui       3/3     3            3           130d

[k8s] CKA 커리큘럼

johh — Mon, 10 Jul 2023 09:24:10 +0900

25% - Cluster Architecture, Installation & Configuration

Manage role based access control (RBAC)
Use Kubeadm to install a basic cluster
Manage a highly-available Kubernetes cluster
Provision underlying infrastructure to deploy a Kubernetes cluster
Perform a version upgrade on a Kubernetes cluster using Kubeadm
Implement etcd backup and restore

15% - Workloads & Scheduling

Understand deployments and how to perform rolling update and rollbacks
Use ConfigMaps and Secrets to configure applications
Know how to scale applications
Understand the primitives used to create robust, self-healing, application deployments
Understand how resource limits can affect Pod scheduling
Awareness of manifest management and common templating tools

20% - Services & Networking

Understand host networking configuration on the cluster nodes
Understand connectivity between Pods
Understand ClusterIP, NodePort, LoadBalancer service types and endpoints
Know how to use Ingress controllers and Ingress resources
Know how to configure and use CoreDNS
Choose an appropriate container network interface plugin

10% - Storage

Understand storage classes, persistent volumes
Understand volume mode, access modes and reclaim policies for volumes
Understand persistent volume claims primitive
Know how to configure applications with persistent storage

30% - Troubleshooting

Evaluate cluster and node logging
Understand how to monitor applications
Manage container stdout & stderr logs
Troubleshoot application failure
Troubleshoot cluster component failure
Troubleshoot networking

[k8s] 실습 환경 확인

johh — Mon, 10 Jul 2023 09:09:23 +0900

문제1. 쿠버네티스 클러스터 정보 보기

console에 계정으로 로그인 한 후 hk8s 클러스터로 이동하시오.
hk8s 클러스터의 control-plane, worker node의 이름을 찾아서 ~/hk8s-node-info.txt 파일로 저장하시오.
hk8s 클러스터에서 ready인 노드의 이름만 추출하여 ~/hk8s-node-ready.txt 파일에 저장하시오.

Solution

console에 계정으로 로그인 한 후 hk8s 클러스터로 이동하시오.

# 현재 클러스터 위치 확인
$ kubectl config current-context 
k8s

# hk8s의 클러스터로 변경후 확인해준다.
$ kubectl config use-context hk8s 
Switched to context "hk8s".
$ kubectl config current-context 
hk8s

hk8s 클러스터의 control-plane, worker node의 이름을 찾아서 ~/hk8s-node-info.txt 파일로 저장하시오.

# node 정보 확인
$ kubectl get nodes
NAME          STATUS   ROLES           AGE    VERSION
k8s-master    Ready    control-plane   137d   v1.26.0
k8s-worker1   Ready    <none>          137d   v1.26.0
k8s-worker2   Ready    <none>          137d   v1.26.0

# 첫번째 필드만 필터링
$ kubectl get nodes | cut -d' ' -f1
NAME
hk8s-master
hk8s-worker1
hk8s-worker2

# 출력 결과에서 NAME을 제거
$ kubectl get nodes | cut -d' ' -f1 | grep -v NAME
hk8s-master
hk8s-worker1
hk8s-worker2

# 출력 결과 '~/hk8s-node-info.txt'에 저장 및 확인
$ kubectl get nodes | cut -d' ' -f1 | grep -v NAME > ~/hk8s-node-info.txt
$ cat ~/hk8s-node-info.txt 
hk8s-master
hk8s-worker1
hk8s-worker2

hk8s 클러스터에서 ready인 노드의 이름만 추출하여 ~/hk8s-node-ready.txt 파일에 저장하시오.

# word가 ready인 것만 출력
$ kubectl get nodes | grep -i -w ready
hk8s-master    Ready      control-plane   130d   v1.26.0
hk8s-worker1   Ready      <none>          130d   v1.26.0

# 첫번째 필드만 출력
$ kubectl get nodes | grep -i -w ready | cut -d' ' -f1
hk8s-master
hk8s-worker1

# 저장 및 확인
$ kubectl get nodes | grep -i -w ready | cut -d' ' -f1 > ~/hk8s-node-ready.txt
$ cat ~/hk8s-node-ready.txt 
hk8s-master
hk8s-worker1

문제2. 멀티 클러스터 정보 보기

k8s 클러스터로 이동하시오.
k8s 클러스터 상태를 확인하시오.
k8s 클러스터에서 동작중인 모든 CNI 이름을 ~/k8s_cni_name.txt에 저장하시오.
k8s 클러스터에서 ready 상태 인 노드 이름을 추출하여 ~/k8s-node-ready.txt에 저장하시오.

Solution

k8s 클러스터로 이동하시오.

# k8s 클러스터로 이동 및 확인
$ kubectl config use-context k8s 
Switched to context "k8s".
$ kubectl config current-context 
k8s

k8s 클러스터 상태를 확인하시오.

# k8s 클러스터 상태정보 확인
$ kubectl cluster-info
Kubernetes control plane is running at https://10.0.2.10:6443
CoreDNS is running at https://10.0.2.10:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

k8s 클러스터에서 동작중인 모든 CNI 이름을 ~/k8s_cni_name.txt에 저장하시오.

# 해당 master 위치로 이동
$ ssh k8s-master 
Welcome to Ubuntu 22.04.1 LTS (GNU/Linux 5.15.0-60-generic x86_64)

# 사용중인 CNI 확인 방법1
# calico라는 것을 확인할 수 있다.
$ ls /etc/cni/net.d/
10-calico.conflist  calico-kubeconfig

# 사용중인 CNI 확인 방법2
$ ps -ef | grep cni
root        3529    2830  0 Jul09 ?        00:00:00 runsv cni
root        3694    3661  0 Jul09 ?        00:00:00 svlogd -ttt /var/log/calico/cni
root      404182  402203  0 08:58 pts/1    00:00:00 grep --color=auto cni

# yaml 파일을 뒤져보는 등의 다양한 방법들이 있음

# k8s master에서 나와 '~/k8s_cni_name.txt'에 저장 및 확인
$ exit
logout
Connection to k8s-master closed.
$ echo "calico" > ~/k8s_cni_name.txt
$ cat ~/k8s_cni_name.txt 
calico

k8s 클러스터에서 ready 상태 인 노드 이름을 추출하여 ~/k8s-node-ready.txt에 저장하시오.

# 1번 문제와 동일
$ kubectl get nodes | grep -i -w ready | cut -d' ' -f1 > ~/k8s-node-ready.txt
$ cat ~/k8s-node-ready.txt 
k8s-master
k8s-worker1
k8s-worker2

[k8s] 커맨드 자동완성 기능

johh — Mon, 10 Jul 2023 07:48:49 +0900

kubectl Cheat Sheet(https://kubernetes.io/docs/reference/kubectl/cheatsheet/)

kubectl 명령어 구조는 다음과 같으며, 세부적인 기능은 --help 기능을 이용해 확인할 수 있다.

명령어의 요소들을 모두 정확하게 외우고 있기는 어렵기 때문에 자동완성 기능을 이용하면 정확하고 빠르게 명령어를 입력할 수 있다.

쿠버네티스에 커맨드 자동완성 기능이 없을 경우 bash shell에 다음 명령어를 입력하면 자동완성 기능을 사용할 수 있다.

source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc

추가로 다음 명령어를 통해 kubectl을 k만을 입력하여 실행시킬수 있다. (ex. k get nodes)

alias k=kubectl
complete -o default -F __start_kubectl k

2. 추천 시스템 프로젝트

johh — Mon, 29 May 2023 17:50:02 +0900

추천 시스템 개발에 필요한 3가지 스킬
추천 시스템 프로젝트 진행 방법
정리

1. 추천 시스템 개발에 필요한 3가지 스킬

비즈니스 문제 해결 능력
- 비즈니스 관점에서 추천 시스템을 도입함으로써 무엇을 기대할 수 있는지 정의!
  - 경우에 따라서는 추천 시스템이 필요하지 않거나 인기순 추천만으로 충분
- 사용자의 어떤 행동 변화를 기대하는가에 관한 Key Goal Indicator(KGI) 또는 Key Performance Indicator(KPI) 책정이 매우 중요
  - 어떤 사용자의 행동을 최대화하고 싶은지에 따라 구현할 추천 시스템이 달라지기 때문에 대상 시스템에 관해 숙지하고 서비스상에서의 사용자 행동에 관해 깊이 이해해야 함
데이터 사이언스 능력
- 비즈니스 목표 달성을 위한 이상적인 추천 시스템을 실제로 구현하는 능력
- 요구되는 데이터 사이언스 능력은 다루는 데이터의 양과 종류, 비즈니스에 필요한 추천 시스템의 구현 복잡도에 따라 다름
- 전통적인 방법을 사용해 얼마만큼의 정확도가 나오는지 확인하고 이상과 현실의 차이가 너무 크지 않은지 검토하여, 적정 비즈니스 관련 부서와 커뮤니케이션 하는 것이 중요
- 시행 착오 과정에서 데이터의 성질이나 각 추천 알고리즘의 장단점을 파악하는 것이 중요
- 추천 알고리즘에 관한 논문을 조사하거나 자사 데이터에 적용할 수 있도록 수식이나 코드를 개선하는 고급 능력도 필요
데이터 엔지니어링 능력
- 추천 시스템을 실제 서비스에 조합할 때는 다양한 비즈니스 요건을 고려해 구현하고 시스템을 안정적으로 가동시켜야 한다.
  - 시간 문제 : 처리를 병렬화 하거나 데이터베이스 설계, 튜닝 등
  - 데이터를 가공하고 추천 목록 작성 연산을 수행하며 데이터베이스에 저장하는 파이프라인을 조정해야 함

2. 추천 시스템 프로젝트 진행 방법

2.1 과제 정의

시스템을 도입하고 싶을 때는 먼저 ‘매출을 2배로 올리고 싶다’, ‘회원 등록을 2배로 늘리고 싶다’와 같이 비즈니스상의 목적(KPI)을 명확히
KPI와 현재와의 차이를 확인한 뒤 현재 자사 사이트의 과제를 정리하고 적절한 조치를 검토하여 과제 정확도를 높임
- 정량적 분석 : ex. 웹 사이트 사용자의 행동 로그 데이터 분석을 통해 사용자의 상태 파악
- 정성적 분석 : ex. 왜 사용자가 해당 상태인지 데이터로 조사하는 것보다 직접 사용자에게 물어 시사점 파악
비즈니스 목표를 달성하기 위한 과제의 중요도 결정

2.2 가설 수립

과제 해결 방법과 그것을 실현하기 위한 비용을 검토하여 Return On Investment(비용대비효과, ROI)가 높은 이니셔티브부터 실행
- 과제를 대응책, 중요도와 비용으로 나열하여 우선순위 판단
- 추천 시스템 대신 비용 대비 효과가 높은 경우가 많은 검색 시스템 기능이나 UI를 개선 하는 방향도 검토

2.3 데이터 설계/수집/가공

자사 서비스가 어떤 데이터를 갖고 있는지 정리하고 그 데이터로 추천 시스템을 구축할 수 있는지 검토
- 특히 서비스 초기 단계에서는 사용자와 아이템의 인터렉션 데이터가 없는 경우가 많으므로 우선 아이템 정보를 사용한 추천 시스템 구축부터 검토해야 할 때가 많음

2.4 알고리즘 선정

알고리즘 계산 시간, 필요한 데이터, 요구되는 예측 정확도 등 다양한 관점에서 비즈니스 목표에 적합한 것을 선택
서비스 초기에는 먼저 간단한 알고리즘부터 구현할 것. 추후 비용을 들여 정확도를 올릴 것

2.5 학습/파라미터 튜닝

온라인에서 추천 시스템의 정확도를 검증할 때는 Recall, Precision과 같은 머신러닝 지표도 중요하지만 구체적으로 이 아이템을 넣으면 어떤 아이템이 나오는지 확인하고 그 결과가 납득되는지 확인해야 함
개발자가 비즈니스 관련 부서와 의논할 때 추천 결과의 구체적인 사례를 제시하면 이미지를 떠올리기 쉬워 원만하게 커뮤니케이션을 할 수 있음
데이터 편향을 제거 후 추천 시스템을 만들어 평가
- 별 개수가 5개인 이유는 호감을 가진 사람이 주로 평가하는 경향
- 검색엔진의 영향을 받아 검색 결과 상위에 나타나는 것을 주로 클릭하기 때문에 해당 자료가 잘 추천 됨

2.6 시스템 구현

배치 추천
- 정해진 시점에 해당 시점의 정보를 기반으로 추천 목록을 업데이트하여 사용자에게 제공하는 것
실시간 추천
- 사용자의 직전 행동 이력을 즉시 반영해 추천 목록을 만드는 것
- 데이터의 동기화나 실시간 연산 등 엔지니어링 기술이 필요

2.7 평가 및 개선

추천 기능을 출시하고 그것이 실제로 효과가 있는지 검증
구입 금액이나 체류 시간을 검증 : A/B 테스트로 일부 사용자에게만 추천 기능을 제공해 추천했을 때와 그렇지 않을 때 비교검증
추천 시스템 도입 후 추천을 통한 매출이 발생해도 그것을 성공이라고 간주하기는 아직 이름
- 추천을 통한 매출이 증가해도 검색을 통한 매출이 감소하여 전체 매출이 감소한건 아닌지 같이 시스템 전체를 보고 확인하는 것이 중요

3. 정리

프로젝트를 진행할 때 비즈니스 목표를 결정하고 데이터와 사용자 조사를 통해 현재 상태의 과제 정확도를 높이며 비용 대비 효과가 높은 이니셔티브를 수행하는 것이 가장 중요.

출처 : Oreilly 추천 시스템 입문

[강연정리] 쿠팡 추천 시스템 2년간의 변천사(1)

johh — Mon, 29 May 2023 11:23:15 +0900

https://tv.naver.com/v/11212875

I. 쿠팡 추천 플랫폼의 변화

쿠팡 추천 팀이 하는 일
과거, 추천 모델 중심의 플랫폼
현재, 서비스와 모델을 분리하는 플랫폼

II. 더 나은 추천을 위해

Learning to Rank
실시간 개인화

III. 요약&팁

I. 쿠팡 추천 플랫폼의 변화

1. 쿠팡 추천 팀이 하는 일

과거 상품 추천
- Item을 input으로 받아 item을 output으로 출력 (item-item)
- e-commerce는 대표적으로 함께 본 상품과(대체재) 함께 산 상품(보완재)이 있다.
하고 싶었던 것 :
- 특정 상품을 컨텍스트로 하지 않는 유저, 카테고리, 시간을 컨텍스트 또는 복합적 컨텍스트로 하는 추천
  - example
    - 나를 위한 개인화 추천 (user - item)
    - 오늘의 쇼핑 제안 (time - item)
    - 요즘 인기있는 상품들
    - 나를 위한 할인 상품들
    - 특정 카테고리에서 내가 자주 산 상품 (category - item)
    - 특정 카테고리에서 요즘 인기있는 상품
  - 복합적 컨텍스트의 경우 다양한 Weight를 통해 서비스를 다양화
  - 실제 서비스를 운영할 때 좋지 않은 퀄리티의 상품이나 좋은 방향을 위해 필터를 걸도록
- 아이템 뿐만 아니라 고객별로 추천영역이나 UI도 개인화 추천 할 수 있다고 생각
  - 할인 제품을 좋아하는 고객에게는 할인 추천 영역을 제공
  - 트렌디한 패션 상품을 좋아하는 고객에게는 최신 인기 패션 추천 영역 제공
  - 빨간색을 좋아하는 유저에게는 빨간색을 입힌 UI를 제공
- Cart에서는 유저들이 더 빠른 결정을 돕기 위한 추천
  - 함께 구매하면 좋을 상품, 무료배송 추천 상품

2. 과거, 추천 모델 중심의 플랫폼

상품 추천을 위주로 할때는 추천 모델 중심의 플랫폼이었다.
- item-item의 관계를 찾는게 중요했었고, 이 관계는 그대로 서비스로 나가게 되었다.
- 그렇기 때문에 모델과 서비스는 강한 연결관계를 가지고 있었고, 모델은 꽤나 복잡하게 만들어지게 된다.

2.1 아키텍처

데이터
- 상품정보, 유저정보, 유저로그를 이용해 복잡한 테이블들(후보 상품들, 필터 적용, 임베딩)이 나오게 되고, 이 테이블들을 이용해 모델링을 하여 결과(item-item의 score)가 출력된다. 해당 결과가 그대로 서비스로 나가게 됨.
서버
- 서버쪽 아키텍처는 단순
- 모델 파이프라인의 결과가 추천 서비스 전체를 결정했기 때문에, 서버는 어떤 product id에 대해 다른 product id를 점수 순서대로 key-value storage를 lookup하는 것으로 충분했다.
- 컨텍스트는 item밖에 없었기 때문에 key는 선형적으로 증가하였고 별 무리 없이 낮은 latency를 유지할 수 있었다.
- 서버 api를 이용해 필터 및 세부조정을 할 수 있었지만, 추천 랭킹 측면에서 할 수 있는 기능은 별로 없었다.

2.2 단점/한계

모델 변경에 따라 길어지는 파이프라인 (필터, 부스팅, ..)
추가 요청사항을 처리하기 어려움
완성 전가지 결과를 알 수 없음
개발에 시간이 오래 걸림
점진적인 개선이 힘들다. 새로운 컨텍스트나 weight를 시도할때마다 전체적인 파이프 라인을 새롭게 만들어야해. 기존의 모델은 재사용할 필요없이 버려져

2.3 목표

추천 모델은 서비스의 흥망과 상관없이 계속해서 발전 할 수 있다.
- 추천 모델과 서비스를 분리시킬 것
서비스는 모델작업과 별개로 이슈에 대응
- 상품 정보나 유저 정보를 서빙 중에 접근 가능할 것
- 필터, 부스팅 등의 변경이 쉽고 빠를것

3. 현재, 서비스와 모델을 분리하는 플랫폼

3.1 검색과 추천

플랫폼에 검색엔진을 사용검색 자연어 키워드 매칭 관련도

검색 자연어 키워드 매칭 관련도

추천 상품/유저 모델 결과 모델 스코어
자연어를 쿼리로 받아 키워드 매칭을 통해 관련 문서를 찾고 관련도에 따라 랭킹을 구하는 것처럼, 추천은 상품이나 유저를 쿼리로 받아 추천모델이 알려주는 관계를 토대로 관련된 상품을 찾고 모델과 기타 정보들을 이용해 랭킹을 구한다.

3.2 중앙화 된 상품 정보

검색과 추천 데이터 중앙화
상품을 잘 표현할 수 있는 피쳐를 생성(Spark, Hive, TF 사용) ⇒ HBase에 저장
검색과 추천팀은 protocol과 buffer로 각자 관리하는 데이터를 저장 (서로 다른 인덱싱)

3.3 Feature

연관성 피처	상품 자체 피처
- 추천 모델 결과 - 이미지 유사도 - 카테고리 관련성 …	- 카테고리 - 상품평 - 가격 ...

3.4 인덱싱

어떤 상품에 검색 되어야 하는지? 페이로드로 리버스 인덱싱
필터나 부스팅에 따라 인덱싱 (category, is_adult, is_rocket)
서빙 중 상품에 대한 정보를 필요로 할때가 있다. key-value 형태로 protocol buffer로 꺼내올수 있는 인메모리 형태의 작은 스토리지도 있음

3.5 Search Cluster

컨텍스트와 관련된 상품을 찾고 (Query Handler Cluster에서 컨텍스트를 정렬 해서 넘겨줌)
조건에 따라 필터 한 다음
점수에 따라 정렬

3.6 Query Handler Cluster

서비스를 정의
- ex) 냄비와 함께 살 할인 식품
  - Query: bought_together 냄비
  - Filter: category 식품
  - Boost: discount_rage
  - 추가 정렬 : 고기, 생선, 야채를 번갈아 보여주자
빠른 서비스 개발 가능
- 피처 조합과 가중치에 따라 새로운 서비스
- 필터로 새로운 추천 서비스를 만들수 있음 ( ex. 요즘 인기있는 xxx)
- 검색 결과를 필요에 따라 새롭게 정렬할 수 있음. ( ex. Round Robin)

3.7 모델과 서비스의 분리

모델 개발, 피처생성 : 모델은 좋은 피처를 만들기 위해 노력
- 카테고리 모델 개발
- 함께 구매 할 만한 가격대 분포 계산
- 이전 AB테스트 반영하여 새 피처 개발
- 만들어진 피처는 다른 서비스에도 사용
서비스 정의 : 서비스는 있는 피처들을 어떻게 쓸지 고민
- 함께 산 상품 데이터 사용
- 매뉴얼 카테고리 맵(주방용품 → 식자재)
→ AB테스트 시작
- 지속적인 쿼리 튜닝

3.8 변화

추천 영역 수 7배 증가
- 추천 노출/클릭/구매 굉장한 증가
빠른 서비스 개발
비지니스 상황에 대한 빠른 대처
피처의 다양한 방면으로의 활용

검색	자연어	키워드 매칭	관련도
추천	상품/유저	모델 결과	모델 스코어