이름: 쳉 주한
학번: 19021210938
임베디얼 소 가이드 최적화 알고리즘의 지속적인 연구와 함께, 신경 네트워크는 많은 분야에 깊이 들어가 많은 실제 문제를 해결하고 인류의 끊임없는 사고를 불러일으켰다. (윌리엄 셰익스피어, 윈스턴, 과학명언) (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마) 이 기사에서는 웨이블릿 신경망에 대한 관련 지식에 대해 설명합니다.
내장 소 코 BP 신경망? 소파 변환? 웨이블릿 신경망
내장 소 본문
BP 네트워크의 구현 과정은 주로 두 단계로 나뉩니다. 첫 번째 단계는 신호의 전방 전파이며, 입력 레이어에서 암시적 레이어를 거쳐 출력 레이어에 도달하고, 두 번째 단계는 오류의 역전파이며, 출력 레이어에서 암시적 레이어를 거쳐 입력 레이어에 도달합니다. 오차가 전달된 후 입력 레이어와 억제된 레이어 사이의 가중치와 오프셋, 억제된 레이어와 출력 레이어 사이의 가중치와 오프셋을 차례로 조정합니다. 그림 1 과 같이
BP 신경망의 뉴런은 그림 2 에 나와 있습니다:
여기서 활성화 함수는 Sigmoid 함수이고 표현식은
입니다2.1 웨이브 렛 변환
소파 변환은 Fourier 분석에 기반한 새로운 수학 변환 수단으로, Fourier 변환의 한계와 창 Fourier 전환이 있는 창의 변하지 않는 단점을 극복합니다. 소파 변환은 주로 확장 및 변환을 통해 다중 스케일 테셀레이션을 구현하고, 처리해야 할 문제의 세부 사항을 강조하며, 로컬 정보를 효과적으로 추출합니다.
2.2 웨이블릿 신경망
소파 신경망은 향상된 BP 네트워크로, 기존의 암시적 레이어의 Sigmiod 활성화 함수를 소파 함수인 ——Morlet 웨이블릿으로 대체합니다. 표현식은
입니다.이 기사에서 디자인한 4 계층 소파 신경망의 모형도 그림 3 에 나와 있습니다.
2.3 모델 생성
A. 매개 변수 초기화
그림 3 의 네트워크 설계에서 입력 샘플, 출력 샘플, 입력 레이어, 억제된 레이어, 출력 레이어 노드 및 각 노드에 대한 연결 가중치입니다.
B. 순방향 계산
억제된 레이어 1 의 입력은 모든 입력의 가중치 합계:, 억제된 레이어 1 의 출력은 입니다. 나머지 억제된 레이어의 입/출력 및 출력 레이어는 1 과 유사하며 여기서 더 이상 자세히 설명하지 않습니다.
C. 오류 역 전파
오차 역전파는 그라데이션 하강 알고리즘을 사용하여 각 층의 가중치, 즉 가중치 수정 프로세스를 조정합니다. 가중치 수정에는 두 가지 방법이 있습니다. 하나는 입력 샘플별로 하나씩 수정하는 것이고, 다른 하나는 모든 샘플을 입력한 후 수정하는 것입니다. 이 편은 첫 번째 방법을 채택한다.
오차 함수에 따라 가중치와 소파 계수를 수정하여 알고리즘이 로컬 최소값에 빠지지 않도록 수렴 속도를 높이고 운동량 계수를 도입하며 학습률은 다음과 같이 표시됩니다.
요약: 소파 신경망은 BP 네트워크 설계 구조의 실명을 피하기 위해 소파 변환의 장점을 가지고 있지만, 암시적 계층의 노드 수와 각 계층 간의 가중치, 스케일 계수의 초기화 매개변수는 결정하기 어렵고 네트워크의 수렴 속도에 영향을 줄 수 있습니다. 후속 학습에서 다른 소파 함수의 신경망을 시도하여 최적의 결과를 비교하여 소파 신경망을 구성할 수 있습니다.