조환희의 학습 블로그

추천 시스템 추천 시스템의 역사 추천 시스템의 종류 검색 시스템과 추천 시스템 정리 1. 추천 시스템 정의 : 여러 후보 가운데 가치 있는 것을 선정해서 의사 결정을 지원하는 시스템 여러 후보 가운데 가치 있는 것을 선정한다. 가치를 선정하는 방법에 따라 다양한 추천 알고리즘이 제안 열람 횟수가 많은 상위 10개의 인기 아이템을 선택하는 방법 사용자가 과거에 구입한 것과 유사한 것을 선택하는 방법 등 각 알고리즘은 계산은 빠르지만 예측도가 떨어지거나, 축적된 데이터 양이 충분해야 예측 정확도를 높일 수 있는 등 장단점이 다양하기 때문에 비즈니스 목적에 맞춰 알고리즘을 적절하게 선택해서 사용해야 한다. 의사결정을 지원한다는 것은 선택한 아이템을 사용자가 실제로 열람 또는 구입하도록 제시하는 것이 중요하다는..

https://tv.naver.com/v/2297146 추천 모델링이란? 추천 모델 종류와 특징 추천 품질 평가 방법 대규모 추천 시스템 구축의 실제 맺음말 1. 추천 모델링이란? 1.1 추천 모델링 정의 특정 시점에 유저가 좋아할 만한 아이템의 리스트를 찾는 것 1.2 추천 모델링 고려사항 key factor : 유저수, 아이템수, 업데이트 양/주기, 모델 복잡도, 시스템 성능 모델 복잡도와 시스템 성능과의 trade off를 고려하여 추천 시스템 생성 1.3 추천 모델링 난제 Sparsity Problem : 유저와 아이템 개수가 급증할수록 유저가 실제 소비한 아이템 비율은 점점 줄어듦 → 머신러닝/딥러닝 기술로 극복 1.4 추천 모델링 프로세스 로그분석 → 모델선정 → 모델학습 → 품질평가 → A/..

# spark_streaming.py from pyspark.sql import SparkSession from pyspark.sql.functions import * # 스파크 인스턴스 정의 spark = SparkSession.builder.appName("stream-word-count").getOrCreate() # readstream을 지정해줘야 한다. 소켓과 주소, 포트를 정의 lines_df = spark.readStream.format("socket").option("host", "localhost").option("port", "9999").load() # transformation을 이용해 word데이터를 다뤄줄거다. # expr : sql문을 select 함수 내에서 그대로 사용 wo..

구현이란, 머릿속에 있는 알고리즘을 소스코드로 바꾸는 과정으로 다음과 같은 유형이 있다. 알고리즘은 간단한데 코드가 지나칠 만큼 길어지는 문제 실수 연산을 다루고, 특정 소수점 자리까지 출력해야 하는 문제 문자열을 특정한 기준에 따라서 끊어 처리해야 하는 문제 적절한 라이브러리를 찾아서 사용해야 하는 문제 (라이브러리 사용 경험 필요) 문제1 여행가 A는 N * N 크기의 정사각형 공간 위에 서 있다. 이 공간은 1 * 1 크기의 정사각형으로 나누어져 있다. 가장 왼쪽 위 좌표는 (1, 1)이며, 가장 오른쪽 아래 좌표는 (N, N)에 해당한다. 여행가 A는 상, 하, 좌, 우 방향으로 이동할 수 있으며, 시작 좌표는 항상 (1, 1)이다. 우리 앞에는 여행가 A가 이동 할 계획이 적힌 계획서가 놓여 있..

그리디 알고리즘(욕심쟁이 알고리즘, Greedy Algorithm)이란 "매 선택에서 지금 이 순간 당장 최적인 답을 선택하여 적합한 결과를 도출하자"라는 모토를 가지는 알고리즘 설계 방법이다. 그리디 알고리즘은 부분의 최적해들의 집합이 곧 전체 문제의 해답이 될 때 사용할 수 있다. 아래와 그림과 같이 매 선택에서 최적의 선택을 했을때, 전체 결과의 최적이 되지 못하는 경우는 그리디 알고리즘을 사용하지 않는다. 문제 1 어떠한 수 N이 1이 될 때까지 다음의 두 과정 중 하나를 반복적으로 선택하여 수행하려고 한다. 단, 두번재 연산은 N이 K로 나누어 떨어질 때만 선택할 수 있다. 1. N에서 1을 뺀다. 2. N을 K로 나눈다. 예를 들어 N이 17, K가 4라고 가정하자. 이때 1번의 과정을 한 번..

파이썬 기반으로 개발된 AWS 서비스를 관리할 수 있는 명령형 도구이다. Boto라는 패키지를 이용하여 AWS API와 통신을 진행한다. (Boto는 AWS에서 공식 지원하는 파이썬 SDK이다.) AWS CLI v2 부터는 Python 패키지를 통한 설치 뿐만 아니라 컴파일된 바이너리 형태로 배포하기 때문에 파이썬 의존성이 필요하지 않다. (Python 3.6 이상 필요) AWS CLI는 콘솔 상에서 AWS 서비스를 관리하거나, 자동화 스크립트 작성에 활용할 수 있다. AWS CLI 사용방법 1. 설치 $ brew install awscli 2. CLI를 사용하기 위해서는 보안 자격 증명 필요 2-1. IAM에서 사용자를 추가하여 엑세스 키를 발급 엑세스 키는 Access Key ID와 Secret Ac..