머신러닝9 Support Vector Machine : Quadratic Programming(2차 계획법) 목적 : Margin을 최대화 하는 optimal separating hyperplane 구하기 margin이 클수록 더 잘 분리시킬 수 있음 → max-margin을 구해야 함 → max margin classifier ▶ Support Vector Machine (SVM) support vector들이 SVM의 train data이다. slab variable : 허용치를 조금 더 주는 것 optimal separating hyperplane으로부터 support vector 까지의 거리를 알아야 함 인데, 가장 간단한 1과 -1로 rescaling 함 2023. 12. 18. MNIST Classification using SLP, MLP Perceptron 을 이용한 MNIST 손글씨 데이터셋 분류 MNIST Datebase (Modified National Institute of Standards and Technology) - 손으로 쓴 숫자들로 이루어진 대형 데이터베이스 - Train dataset 60,000개, Test dataset 10,000개로 구성됨 1. Single Layer Perceptron (SLP) 실습 목표 : MNIST 손글씨 데이터를 분류하는 single layer(단층) perceptron 모델 학습 입력 : 손글씨 이미지 (28x28x1) 출력 : 0~9까지 숫자들의 정답 확률 ▼ 패키지 선언 import torch import torch.nn as nn import torchvision.datasets.. 2023. 12. 17. [머신러닝] Loss Function, Optimization, Batch size Loss Function 학습 모델이 얼마나 잘못 예측하고 있는지를 표현하는 지표 → 값이 낮을수록 정확하게 예측했다고 해석할 수 있음 Mean Absolute Error (MAE, 평균 절대 오차) Mean Squared Error (MSE, 평균 제곱 오차) Cross Entropy Error (CEE, 교차 엔트로피 오차) ex) Mean Squared Error (MSE, 평균 제곱 오차) 계산 방법 ex) Cross Entropy Error (CEE, 교차 엔트로피 오차) 계산 방법 Optimization Loss Function 을 최소로 만들기 위한 가중치, 편향을 찾는 알고리즘 Learning rate : 가중치를 얼마나 변경시킬지 정하는 상수 Gradient Decent algorithm.. 2023. 11. 24. [머신러닝] Activation Function Activation Function (활성화 함수) 입력 값들의 가중 합을 통해 노드의 활성화 여부를 판단하는 함수 ▪ 하나의 층에서 다음 층으로 값을 넘길 때, 선형방정식을 이용해 값을 계산한 뒤에 넘김 ▪ 층과 층 사이를 통과할 때, 선형 데이터를 비선형으로 바꿔주기 위해서 사용 Activation Function (활성화 함수)의 종류 (1) Linear function ▪ 입력 값을 그대로 출력으로 내보내는 함수 ▪ Regression (회귀) 문제의 출력층에서 주로 사용됨 (2) Step function ▪ 0 이하면 0, 0 보다 크면 1 ▪ 역전파를 통한 학습 불가능 (미분불가) ▪ 이진분류시, 출력층에서 사용하기 적합함 (3) Sigmoid function ▪ 입력받은 값을 0 ~ 1 사이.. 2023. 11. 17. 이전 1 2 3 다음
