Giter Club home page Giter Club logo

softmax-index-weighted's Introduction

損失関数 Softmax Index Weighted

概要

Chainerを使った自作の損失関数の実装。
損失関数としては失敗作。

github repository

損失関数 Softmax Index Weighted

定義

softmax index weighed

式の意味

音の波形を、量子化したone hotを入力して予測するとき、 損失関数 Softmax Cross Entropyでは、正解の1要素しか評価されない。 音としてはできるだけ近い振幅値(indexが近い)に予想されるように、 振幅が近いほど損失値が小さくなるような評価式を考案してみた。

実験

WaveNetChainer-Examples-WaveNetを使った。 これに損失関数を追加し、変更を加えた。データは、非常に少ないが、お試しとして、wav of Pannouの中の140個(約130秒分)を使った。
下図が損失と正解率の結果である。 4 iteration毎に描いていて、値が大きくばらついているため、波形がギザギサになっている。

loss
accuracy

下図は比較のため、同じモデル構成と同じデータを使って損失関数にSoftmax Cross Entropyの場合の結果である。
softmax_cross_entropy

損失関数としてSoftmax Index Weightedを使った場合は正解率が全然向上していない。
この理由は、Softmax Index Weightedでは、局所的に損失がボトムになるところ(局所最適)がいたるところにあって、ターゲットに落ち込まないためと考えられる。

参考にしたもの

ライセンス

Chainerに関係するライセンスについては, docsの中のLICENSE-chainer.txtを見てください。

softmax-index-weighted's People

Watchers

James Cloos avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.