LSTM (Long-short term memory) 은 특별한 RNN 구조입니다. 이 신경망은 역사 정보를 효과적으로 보존하여 텍스트에 대한 장기 의존 정보를 학습할 수 있다.
문 정의: 문 (Gate) 을 사용하여 그림 1 의 스위치를 제어합니다. 소위 문, 즉 전체 연결층의 뉴런은 그림 2 에 나와 있습니다. 문 활성화에는 및
의 두 가지 형태가 있습니다문 제어 구현: LSTM 네트워크는 그림 3 과 같이 입력 문, 잊혀진 문, 출력 문 및 메모리 단위로 내역 정보를 업데이트하고 보존합니다.