15.1 순환 뉴런과 순환 층

• 순환 신경망 (Recurrent Neural Network, RNN)

  • 과거 데이터를 고려하여 미래 예측

  • 순차적으로 입력 처리

  • 이전 타임 스텝 정보를 기억 (뒤쪽으로 순환하는 연결도 있음)

    

<aside> 📢

타임 스텝 : RNN이 순차적으로 데이터를 처리할 때의 각 순간

</aside>

• 기존 신경망 (Feedforward Neural Network, FNN)
  • 입력 → 출력 방향으로만 연산 진행
  • 모든 입력을 한 번에 처리
  • 과거 정보를 활용 X

순환 뉴런을 타임 스텝으로 펼친 것

• 순환 층 전체의 출력 벡터 구하는 식

15.1.1 메모리 셀

• 메모리 : 정보를 저장하거나 기억하는 능력
• 메모리 셀 : RNN에서 중요한 정보를 장기적으로 저장하고 관리하는 구조

• 기본적인 셀 - 출력과 셀의 상태가 동일함
• 복잡한 셀 - 셀 상태와 히든 상태가 구분됨 (별도로 존재)

15.1.2 입력과 출력 시퀀스

<aside> 📢

벡터 : 고정된 크기의 데이터 표현

시퀀스 : 여러 개의 요소가 순서대로 나열된 가변적인 데이터

</aside>

RNN의 다양한 유형

1️⃣ 시퀀스-투-시퀀스 네트워크 (입력 시퀀스 → 출력 시퀀스)

• 입력 시퀀스를 받아서 출력 시퀀스 생성
• 시계열 데이터 예측에 유용
• ex. 최근 N일치의 전력 사용량을 입력하면 미래의 전력 사용량을 예측

2️⃣ 시퀀스-투-벡터 네트워크 (입력 시퀀스 → 하나의 벡터 값)

• 입력 시퀀스 주입하고 마지막 출력만 사용하여 결과 출력
• ex. 영화 리뷰의 연속된 단어들을 입력 받고, 그 리뷰에 대한 감성 점수를 출력