Python과 Tensorflow를 활용한 Al 챗봇 개발 4강

출처 : https://youtu.be/6yCD8nw2ZQM

 

어떤식으로 의도를 알아낼 것인가?

Intent를 알아내는 법 (Text Classification)

피자주문 하고 싶어/ 여행 정보 알려줘/ 호텔 예약해줘

 

주문, 정보, 예약의 3가지 의도

 

문장 내 word검색으로 일일이 파악할 수도 있으나 한계가 있음.

사용자는 피쟈 시켜먹고 싶어/ 여행 좋은데 알려줘.. 이런식으로 질문을 던질 수 있다.

 

Deeplearning를 활용하면 이런 문제들을 해결 할 수 있음.

 

Char + CNN으로 분류해보자.

(CNN - Feature 주문, 정보, 예약)

(Word Similarity 피자, 피쟈 / 정보, 갈만한데)

 

CNN char?

CNN은 일반적으로 이미지의 특징을 추출하여 인식하는데 많이 쓰이나 이미지도 결국은 vector이고 텍스트도 vector을 감안하면 텍스트의 feature를 뽑아낼 수 있음.

왜 CNN을 쓰느냐?

데이터가 적을때는 한계를 보이다가 데이터가 많아지면 좋은 성능을 보인다.

현업에서는 대부분 svm을 이용하여 사용하다가, 데이터가 쌓이면 딥러닝으로 넘어간다.

 

Entity는 어떻게 알아내지?

 

 

 

RNN은 앞뒤간의 흐름을 고려하는 모델이다.(연속된 data)

 

챗봇에서 가장 많이 사용하는 seq2seq. 단순QA에 자주 사용, 영화자막이나 소설책을 활용하여 학습

캐릭터 단위 embadding!

word 단위 embadding과 구분하자.

 

양방향을 고려함으로써 단어 태깅에 유용하고 성능이 좋다.

 

 

Bi direction LSTM은 어떻게 사용하느냐.

Named Enity Recognition 알아내기

B - 시작어휘

I - 이어지는 어휘

O - 어휘가 아님, 공백(OUT)

U - unkenown (word embedding이 없을시)

 

피자 주문하고 싶어 :  B-Pizza B-Order

여행 정보 알려줘 : B-Travel B-Information

호텔 예약해줘 : B-Hotel B-Reservation

 

@ brat : 태깅을 효율적으로 하는 방법, tool. 찾아보기.

 

 

 

서비스를 어떻게 만들까?

시나리오는 어떻게 하고 백엔드쪽 api는 어떻게 연결하는지 알아보자.

 

모델링을 잘 만들을때 이것을 서비스 측면에서 잘 분석해서 잘 흘러가도록 잘 던져줘야 한다. 

 

의도를 파악하면서 히스토리도 관래해야해.

 

 

Test