가중치와 바이어스가 학습 가능한 파라미터인 레이어에서, 입력이 출력으로 계산되는 순서로 옳은 것은?
- 1. 입력에 W를 곱한 뒤 b를 더하고 렐루(ReLU)를 적용한다.
- 2. 입력에 b를 더한 뒤 W를 곱하고 렐루(ReLU)를 적용한다.
- 3. 렐루(ReLU)를 먼저 적용한 뒤 W와 b를 반영한다.
- 4. W와 b를 평균한 뒤 입력과 합친다.
정답: 입력에 W를 곱한 뒤 b를 더하고 렐루(ReLU)를 적용한다.
해설: 레이어는 입력에 가중치 W를 곱하고 바이어스 b를 더한 뒤 렐루 함수에 통과시켜 출력을 계산한다. 2는 순서가 바뀌었고, 3은 활성화가 먼저라서 틀리며, 4는 제시된 계산 순서가 아니다.