Playing OpenAI GYM Games

다음과 같은 게임이 있다. S에서 출발하여 G에 도착하는 게임인데 F는 지나갈 수 있고 H에 가게되면 빠져 죽는 게임이라고 한다. 이 게임에 대해서 알고리즘을 

 

Agent가 environment에서 action을 취하며 돌아다닐 것이다. 이 action에 따라서 enviroment는 상태를 돌려준다. 여기서는 index를 state로서 되돌려 줄 것이다. 그리고 reward는 G에 도착하게 되었을때 점수를 줄 것이다.

예를 들어보자.

만약 S에서 오른쪽으로 한 칸 움직였다면, state:1, reward:0이 된다.

 

 

이것을 일반화 하면 Frozen Lack 뿐만 아니라 거의 모든 환경에 적용할 수 있다.

 

OpenAI Gym에 가면 많은 정보를 얻을 수 있다. gym.openai.com/

 

OpenAI를 사용하는 방법은 매우 간단하다.

import gym  # gym 설치 env = gym.make("Taxi-v1")   # Tax-v1이라는 환경을 생성시킨다. observation = env.reset( )  # 환경을 초기화 for _ in range(1000):     env.render( )  # 환경을 화면으로 출력     action = env.action_space.sample( )  # 환경에 따라 적절한 액션을 선정(random actions)     observation, reward, done, info = evb.step(action)  # 액션이 환경에서 일어나고 결과값 observation이 나오고 보상이 있다면 reward 값도 나온다. done은 Frozen Lake같은 경우 H에 빠져 끝이 났는지 T/F. info는 추가정보.

 

Frozen Lake의 경우 다음과 같이 만들 수 있다.

 

위 문제를 보면 시시하다고 생각할 수 있겠지만 실제로 Agent 입장에서는 Environment가 보이지 않는다. 실제로는 직접 움직여 보아야 이게 얼음판인지 홀인지 판단할 수 있다. 이렇기 때문에 이 문제가 쉽지 않다.

 

 

시작점이 S인데 오른쪽으로 가면 이게 홀인지 얼음인지 골인지 모르는 상태에서 최종 골을 찾아내야 한다.

 

출처 :  https://youtu.be/xgoO54qN4lY