sevilaybayatli / 2017-osnov-programm Goto Github PK

# sent_id = 1
# text = Cengiz Han.
( "Cenghis Khan" , "Çinggis Haan" ya da doğum adıyla Temuçin  ( anlamı demirci )  , Moğolca "Чингис Хаан" ya da "Tengiz"  ( anlamı deniz )  , ; d.
1162 – ö.
18 Ağustos 1227 )  , Moğol komutan , hükümdar ve Moğol İmparatorluğu'nun kurucusudur.

1	Cengiz	_	_	PROPN	_	_	_	_	_
2	Han.                    PROPN
(	_	_	SYM	_	_	_	_	_
3	"Cenghis	_	_	PROPN	_	_	_	_	_
4	Khan"	_	_	PROPN	_	_	_	_	_
5	,	_	_	PUNCT	_	_	_	_	_
6	"Çinggis	_	_	PROPN	_	_	_	_	_
7	Haan"	_	_	PROPN	_	_	_	_	_
8	ya	_	_	SCONJ	_	_	_	_	_
9	da	_	_	SCONJ	_	_	_	_	_
10	doğum	_	_	ADJ	_	_	_	_	_
11	adıyla	_	_	NOUN	_	_	_	_	_
12	Temuçin	_	_	PROPN	_	_	_	_	_
13		_	_	X	_	_	_	_	_
14	(	_	_	SYM	_	_	_	_	_

10	doğum	_	ADJ	_	_	_	_	_	_

Cengiz Han ("Cenghis Khan", "Çinggis Haan" ya da doğum adıyla Temuçin (anlamı: demirci), Moğolca: "Чингис Хаан" ya da "Tengiz" (anlamı: deniz), ; d. 1162 – ö. 18 Ağustos 1227), Moğol komutan, hükümdar ve Moğol İmparatorluğu'nun kurucusudur.

# sent_id = 1
# text = 
Cengiz Han:
Cengiz Han ("Cenghis Khan", "Çinggis Haan" ya da doğum adıyla Temuçin (anlamı: demirci), Moğolca: "Чингис Хаан" ya da "Tengiz" (anlamı: deniz), ; d.
1162 – ö.
18 Ağustos 1227), Moğol komutan, hükümdar ve Moğol İmparatorluğu'nun kurucusudur.

1	
Cengiz	_	_	_	_	_	_	_	_
2	Han:
Cengiz	_	_	_	_	_	_	_	_
3	Han	_	_	_	_	_	_	_	_
4	("Cenghis	_	_	_	_	_	_	_	_
5	Khan",	_	_	_	_	_	_	_	_
6	"Çinggis	_	_	_	_	_	_	_	_
7	Haan"	_	_	_	_	_	_	_	_
8	ya	_	_	_	_	_	_	_	_
9	da	_	_	_	_	_	_	_	_
10	doğum	_	_	_	_	_	_	_	_
11	adıyla	_	_	_	_	_	_	_	_
12	Temuçin	_	_	_	_	_	_	_	_
13	(anlamı:	_	_	_	_	_	_	_	_
14	demirci),	_	_	_	_	_	_	_	_
15	Moğolca:	_	_	_	_	_	_	_	_
16	"Чингис	_	_	_	_	_	_	_	_
17	Хаан"	_	_	_	_	_	_	_	_
18	ya	_	_	_	_	_	_	_	_
19	da	_	_	_	_	_	_	_	_
20	"Tengiz"	_	_	_	_	_	_	_	_
21	(anlamı:	_	_	_	_	_	_	_	_
22	deniz),	_	_	_	_	_	_	_	_
23	;	_	_	_	_	_	_	_	_
24	d.
1162	_	_	_	_	_	_	_	_
25	–	_	_	_	_	_	_	_	_
26	ö.
18	_	_	_	_	_	_	_	_
27	Ağustos	_	_	_	_	_	_	_	_
28	1227),	_	_	_	_	_	_	_	_
29	Moğol	_	_	_	_	_	_	_	_
30	komutan,	_	_	_	_	_	_	_	_
31	hükümdar	_	_	_	_	_	_	_	_
32	ve	_	_	_	_	_	_	_	_
33	Moğol	_	_	_	_	_	_	_	_
34	İmparatorluğu'nun	_	_	_	_	_	_	_	_
35	kurucusudur.	_	_	_	_	_	_	_	_

$ cat ../corpus/wiki.10k.txt   |python3 segment.py  | python3 tokeniser.py | python3 transliterate.py

# sent_id = 1
# text = # sent_id = 1
# text = 
Cengiz Han:
Cengiz Han ("Cenghis Khan", "Çinggis Haan" ya da doğum adıyla Temuçin (anlamı: demirci), Moğolca: "Чингис Хаан" ya da "Tengiz" (anlamı: deniz), ; d.
1162 – ö.
18 Ağustos 1227), Moğol komutan, hükümdar ve Moğol İmparatorluğu'nun kurucusudur.

1	
Cengiz	_	_	_	_	_	_	_	_
2	Han:
Cengiz	_	_	_	_	_	_	_	_
3	Han	_	_	_	_	_	_	_	_
4	("Cenghis	_	_	_	_	_	_	_	_
5	Khan",	_	_	_	_	_	_	_	_
6	"Çinggis	_	_	_	_	_	_	_	_
7	Haan"	_	_	_	_	_	_	_	_
8	ya	_	_	_	_	_	_	_	_
9	da	_	_	_	_	_	_	_	_
10	doğum	_	_	_	_	_	_	_	_
11	adıyla	_	_	_	_	_	_	_	_
12	Temuçin	_	_	_	_	_	_	_	_
13	(anlamı:	_	_	_	_	_	_	_	_
14	demirci),	_	_	_	_	_	_	_	_
15	Moğolca:	_	_	_	_	_	_	_	_
16	"Чингис	_	_	_	_	_	_	_	_
17	Хаан"	_	_	_	_	_	_	_	_

10	doğum	_	_	_	_	_	_	_	Translit=doʲum

11	adıyla	_	_	NOUN	_	_	_	_	_
12	Temuçin	_	_	PROPN	_	_	_	_	_
13		_	_	X	_	_	_	_	_
14	(	_	_	SYM	_	_	_	_	_
15	anlamı	_	_	NOUN	_	_	_	_	_
16	demirci	_	_	PROPN	_	_	_	_	_
17	)	_	_	SYM	_	_	_	_	_
18		_	_	X	_	_	_	_	_
19	,	_	_	PUNCT	_	_	_	_	_
20	Moğolca	_	_	PROPN	_	_	_	_	_