The hcrot from emeraldgoose

hcrot's Issues

RNN

Flatten Layer의 backward 연산 Ideation

np.reshape()를 구현하는 것이 맞을까?

Module Class Implementation

Dropout 레이어 구현이나 모델 구조 출력을 위한 Module 클래스 구현

class CNN(layers.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        self.layer1 = layers.Sequential(layers.Conv2d(1,5,5), layers.ReLU(), layers.MaxPool2d(2,2))
        self.layer2 = layers.Sequential(layers.Conv2d(5,7,5), layers.ReLU(), layers.MaxPool2d(2,2))
        self.flatten = layers.Flatten()
        self.fc = layers.Linear(112, num_classes)

출력결과

CNN(
  (layer1): Sequential(
    (0): Conv2d(1, 5, kernel_size=(5, 5), stride=(1, 1), padding=(0, 0))
    (1): ReLU()
    (2): MaxPool2d(kernel_size=(2, 2), stride=(2, 2))
  )
  (layer2): Sequential(
    (0): Conv2d(5, 7, kernel_size=(5, 5), stride=(1, 1), padding=(0, 0))
    (1): ReLU()
    (2): MaxPool2d(kernel_size=(2, 2), stride=(2, 2))
  )
  (flatten): Flatten(start_dim=1, end_dim=-1)
  (fc): Linear(in_features=112, out_features=10, bias=True)
)

모델 레이어의 계산 순서는 상속하는 Module의 sequential에 저장되고 optimizer가 접근하여 backward 함수를 호출한다.

numpy 확인

hcrot/hcrot/layers/layer.py

Line 34 in b873b2b

 return np.array(self.flatten_(x,0,self.start_dim,self.end_dim)).astype(np.float32).tolist() 

CrossEntropyLoss implementation

Issue

NLLLoss + LogSoftmax

PyTorch에서 CrossEntropyLoss는 NLLLoss와 Softmax의 조합으로 구현됩니다.
NLLLoss
- NLLLoss의 y_pred는 모델의 출력값을 LogSoftmax를 통과시킨 값으로 사용합니다.

def NLLLoss(y_pred, label):
    batch = len(y_pred)
    return sum([-y_pred[i][label[i]] for i in range(batch)])/batch

def NLLLoss_deriv(y_pred):
    batch = len(y_pred)
    return [[y_pred[i][j]/batch for j in range(len(y_pred[0]))] for i in range(batch)]

LogSoftmax

def log_softmax(y_pred):
    import math
    r_ = softmax_(y_pred)
    return [[math.log(r_[i][j]) for j in range(len(r_[0]))] for i in range(len(r_))]

def log_softmax_deriv(y_pred, label):
    import math
    r_ = softmax_(y_pred)
    return [[r_[i][j]-1 if label[i]==j else r_[i][j] for j in range(len(r_[0]))] for i in range(len(r_))]

emeraldgoose / hcrot Goto Github PK

hcrot's People

Contributors

Stargazers

Watchers

hcrot's Issues

Issue

NLLLoss + LogSoftmax

큰 범위의 구현 진행정도

구체적인 구현 진행정도

MLP

CNN

RNN

Recommend Projects

Recommend Topics

Recommend Org