Giter Club home page Giter Club logo

kiritan_singing's Introduction

東北きりたん歌唱データベースのラベルデータ

東北きりたん歌唱データベース(きりたん歌唱DB)の最新ラベルデータを共有するためのリポジトリです.データベースの本体はこちらからダウンロードできます.midi_label,mono_labelに加えてMusicXMLも公開しました.

学会発表や論文投稿において文献の引用が必要な場合

以下の論文を引用してください.
[1] I. Ogawa and M. Morise: Tohoku Kiritan singing database: A singing database for statistical parametric singing synthesis using Japanese pop songs, Acoustical Science and Technology, vol. 42, no. 3, pp. 140-145, May 2021.

本リポジトリで配布するデータとGitHubで公開する動機

本データベースのラベルにはmidi_labelとmono_labelとがあり,それぞれ譜面データと音素境界のデータとなります.MIDIについてはMelodyneで自動採譜した後に手動で調整したものを配布していますが,楽曲によっては採譜そのものが困難な場合や,キーが曖昧でずれてしまっている場合があります.これら以外にも,実際に利用してみて判明する問題もあると考えられることから,ご利用者の皆様の修正案をここで議論できればと思い,ラベルデータのみGitHubで管理することにしました.

ラベルデータは本リポジトリで修正できますが,歌唱ファイルを修正する前処理はここで処理できません.修正のアイディアをissueで投げて頂ければ,本readmeに反映するように致します.明確なミスの場合はすぐ差し換えますが,微妙な差についてはissue内で差し換え・掲載するべきか議論する形にさせてください.以下の例のように情報は逐次更新していき,修正にご協力頂いた皆様のお名前はできるだけクレジットさせて頂く予定です.なお,本データベースはあくまでも改正著作権法30条の4に定められた範囲での利用に限定されていますので,本リポジトリやそれ以外の場所においても範囲を逸脱した使途にならないようにお気をつけください.

現時点で判明しているラベルの問題点

  • 08: 前半部分の採譜が極めて困難なため,MIDIそのものが存在しない

その他データベースについて品質を上げるための工夫

  • 08: 歌声そのものについて,推定されたF0がMIDIとずれているため学習前にF0をMIDIに寄せたほうが良い

修正履歴

  • 2020/04/05: 06.labのミス(617行目の/sh/)を修正
  • 2020/01/06: 44の276行目/m/が抜けていたので追加
  • 2020/01/06: 39の143行目/u/が抜けていたので追加
  • 2020/01/06: 38の217行目/i/が抜けていたので追加
  • 2020/01/06: 20の326, 334行目/t/->/ts/
  • 2020/01/06: 16の390行目/a/が抜けていたので追加
  • 2020/01/06: 15の318行目/sh/->/s/
  • 2019/11/25: 06の後半部分のMIDIラベルが無かったので追加
  • 2019/11/22: MIDIラベルの13と14が逆だったので入れ替え

ご協力頂いた皆様

@Auxilyrica 様,Hiroshiba 様,dhgrs 様,匿名希望様,ご協力ありがとうございます.

kiritan_singing's People

Contributors

mmorise avatar dhgrs avatar

Stargazers

滑墙 avatar zengchang233 avatar Molanis avatar  avatar 菜鸡菜鸡一只小菜鸡 avatar Yuan-Man avatar Chin-Yun Yu avatar テキシコ avatar suco avatar 6Bpencle avatar Natalia Shmueli avatar  avatar  avatar A60 avatar Kei avatar Apachiww avatar side_realms avatar  avatar  avatar kurages avatar Dosugamea avatar Noel Kim avatar isaac avatar 汤意工坊 avatar  avatar akari avatar Takehiro Ogura avatar tsukumi avatar Cardroid avatar  avatar Jiatong avatar Fiish avatar  avatar Jun-You Wang avatar  avatar Hongwen avatar hzmi avatar Ikramullah Latif avatar Kahsolt avatar Mariano "Cián" Miño avatar Kaito Sugimoto avatar AnitaLiu98 avatar  avatar aoirint avatar  avatar LingYi0110 avatar Jin avatar yoshida-masahiro avatar YU XINYUAN avatar Zeying Xie avatar  avatar Udon avatar Hikaru Terazono (3c1u) avatar Gonda avatar Kenta Yamada avatar  avatar oichokabu avatar Osamu Takiya avatar gomi_ningen avatar Yuichiro Nakada avatar 名無しKさん avatar  avatar Brenton Partridge avatar なす安達 avatar nomissbowling avatar  avatar  avatar  avatar Bruce Fan avatar Dai Dongyang avatar Fan Jiang avatar Joowhan Song avatar Poria avatar  avatar Shigeki Karita avatar Song Li avatar Hideyuki Tachibana avatar 雲夢 avatar Kevin Mo avatar Sig avatar りーべ avatar vlwq1112 avatar  avatar 心水湛清 avatar Pigeon avatar hruka avatar RuiLiu avatar  avatar Towa Murayama avatar Kazuki Kushida avatar  avatar buchayaty avatar Shinya Kitaoka avatar Eshin Kunishima avatar Tatsuya Matsushima avatar  avatar Qiyuan Bao avatar Dreamlesser avatar  avatar Sintel avatar

Watchers

 avatar Ryuichi Yamamoto avatar Ulysses avatar Blur Radius avatar  avatar nomissbowling avatar Kanoe avatar  avatar SHACHI@NEUTRINO avatar Kazuki Kushida avatar oichokabu avatar

kiritan_singing's Issues

01-05の音素タイミングとmusicXMLのずれ

開発者の私がトピックを上げるのもどうかと思いますが,01~05の楽曲について,音素ラベルとmusicXMLの時間が一定にずれています.musicXMLが譜面であり微妙な空白の調整ができないためこのようになっておりますが,良い対策をご存じの方がいらっしゃいました教えていただけないでしょうか?現状では,タイミング生成に関する部分において,(1) 50曲それぞれについて全音素をひっくるめてタイミングずれの分布を求め,(2) 50曲全体の平均に合うよう全楽曲でタイミングずれのバイアス除去する,という前処理を実施して学習するようにしています.必要であれば,楽曲毎のオフセットは公開可能です.

08.xml: 冒頭部分の歌詞情報が楽譜から抜け落ちている?

Screenshot from 2020-04-05 21-13-09

.labファイルでいうところの下記相当です:

2.1445095 2.2043563 s
2.2043563 2.2392669 o
2.2392669 2.2791648 ry
2.2791648 2.4013519 a
2.4013519 2.4370938 p
2.4370938 2.4611987 u
2.4611987 2.4944469 n
2.4944469 2.5883731 i
2.5883731 2.6781433 cl
2.6781433 2.6847929 t
2.6847929 2.7758043 e
2.7758043 2.7923762 k
2.7923762 2.8890460 o
2.8890460 2.8991733 t
2.8991733 2.9921605 o
2.9921605 3.0142564 k
3.0142564 3.1532768 a
3.1532768 3.2121994 i
3.2121994 3.4000150 br
3.4000150 3.4405242 ch
3.4405242 3.5353527 o
3.5353527 3.5841479 cl
3.5841479 3.7535502 br
3.7535502 3.7931388 r
3.7931388 3.8594267 a
3.8594267 3.9846371 cl
3.9846371 4.0067331 p
4.0067331 4.2580745 i
4.2580745 4.3538237 N
4.3538237 4.3842056 g
4.3842056 4.5563699 u
4.5563699 4.6079272 g
4.6079272 4.6723737 a
4.6723737 4.7559567 s
4.7559567 4.9237152 e
4.9237152 4.9540971 f
4.9540971 5.0507669 u
5.0507669 5.0940381 k
5.0940381 5.1815013 u
5.1815013 5.3766822 br
5.3766822 5.3932542 d
5.3932542 5.5110993 a
5.5110993 5.5838318 f
5.5838318 5.6368653 u
5.6368653 5.6732915 r
5.6732915 5.7431068 i
5.7431068 5.8398109 cl
5.8398109 5.8459329 t
5.8459329 5.9438855 e
5.9438855 5.9683736 k
5.9683736 6.0654079 o
6.0654079 6.0797947 t
6.0797947 6.1067317 a
6.1067317 6.1621361 n
6.1621361 6.2989636 a
6.2989636 6.3638572 i
6.3638572 6.5750675 br
6.5750675 6.5943519 p
6.5943519 6.7275062 u
6.7275062 6.9659595 pau
6.9659595 6.9782036 g
6.9782036 7.0672792 a
7.0672792 7.1419681 N
7.1419681 7.1569671 b
7.1569671 7.2402268 a
7.2402268 7.3317512 cl
7.3317512 7.3638919 ch
7.3638919 7.5343906 a
7.5343906 7.7394789 br
7.7394789 7.7697829 y
7.7697829 7.8435535 a
7.8435535 7.9154874 cl
7.9154874 7.9669125 ch
7.9669125 8.0379281 a
8.0379281 8.1340441 cl
8.1340441 8.1545529 ch
8.1545529 8.3149503 a
8.3149503 8.5041212 br
8.5041212 8.5895237 s
8.5895237 8.6553356 o
8.6553356 8.7658383 N
8.7658383 8.7759397 t
8.7759397 8.9752120 o
8.9752120 8.9892927 ky
8.9892927 9.2305009 a
9.2305009 9.3324328 cl
9.3324328 9.3792664 ch
9.3792664 9.4551797 a
9.4551797 9.5341539 N
9.5341539 9.5537444 r
9.5537444 9.6265967 i
9.6265967 9.6562886 r
9.6562886 9.7845452 i
9.7845452 9.8791307 s
9.8791307 9.9320863 u
9.9320863 9.9550440 gy
9.9550440 10.0337121 o
10.0337121 10.1708457 cl
10.1708457 10.2446163 a
10.2446163 10.3643021 s
10.3643021 10.5647988 e
10.5647988 10.9364064 br
10.9364064 11.0251760 a
11.0251760 11.1739415 s
11.1739415 11.3940287 e
11.3940287 11.7497190 br
11.7497190 11.7916550 n
11.7916550 11.9388900 o
11.9388900 11.9517462 t
11.9517462 12.0007225 a
12.0007225 12.0420463 n
12.0420463 12.0894921 i
12.0894921 12.1482636 m
12.1482636 12.2030558 a
12.2030558 12.2468284 n
12.2468284 12.2985596 i
12.2985596 12.3542702 d
12.3542702 12.5143614 a
12.5143614 12.5480326 r
12.5480326 12.6352716 i
12.6352716 12.7075117 N
12.7075117 12.7347547 d
12.7347547 12.9104572 a
12.9104572 12.9248440 r
12.9248440 13.0546312 i
13.0546312 13.0834047 N
13.0834047 13.1409519 f
13.1409519 13.1700316 u
13.1700316 13.1865611 r
13.1865611 14.6647268 i
14.6647268 14.7238045 z
14.7238045 14.8447147 u
14.8447147 45.4901001 pau
45.4901001 45.7897738 br

Sinsyを用いてmusicxmlからラベルファイルを生成したころ、冒頭部分がかけてしまっていたため、おそらくmusicxmlファイルに不足しているデータがあるのだと思います。
私がmusicxmlに詳しくないため、musicxmlのパースに失敗しているのか、そもそもデータが存在しないのか確信がないのですが、お時間があれば調べてみていただけると幸いです。

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.