@@ -26,6 +26,10 @@ def test_segment(self):
2626 self .assertEqual (word_tokenize ('ฉันรักภาษาไทยเพราะฉันเป็นคนไทย' ),[u'ฉัน' , u'รัก' , u'ภาษาไทย' , u'เพราะ' , u'ฉัน' , u'เป็น' , u'คนไทย' ])
2727 def test_syllable_tokenize (self ):
2828 self .assertEqual (syllable_tokenize ("สวัสดีชาวโลก" ),[u'สวัส' , u'ดี' , u'ชาว' , u'โลก' ])
29+ def test_syllable_deeplearning (self ):
30+ if sys .version_info >= (3 ,4 ):
31+ self .assertEqual (word_tokenize ('ฉันรักภาษาไทยเพราะฉันเป็นคนไทย' ,engine = 'deepcut' ),[u'ฉัน' , u'รัก' , u'ภาษา' , u'ไทย' , u'เพราะ' , u'ฉัน' , u'เป็น' , u'คน' , u'ไทย' ])
32+ self .assertEqual (word_tokenize ('ฉันรักภาษาไทยเพราะฉันเป็นคนไทย' ,engine = 'cutkum' ),[u'ฉัน' , u'รัก' , u'ภาษา' , u'ไทย' , u'เพราะ' , u'ฉัน' , u'เป็น' , u'คน' , u'ไทย' ])
2933 def test_segment_icu (self ):
3034 self .assertEqual (word_tokenize ('ฉันรักภาษาไทยเพราะฉันเป็นคนไทย' ,engine = 'icu' ),[u'ฉัน' , u'รัก' , u'ภาษา' , u'ไทย' , u'เพราะ' , u'ฉัน' , u'เป็น' , u'คน' , u'ไทย' ])
3135 def test_segment_dict (self ):
@@ -98,4 +102,4 @@ def test_tag(self):
98102 if sys .version_info >= (3 ,4 ):
99103 self .assertEqual (str (type (pos_tag (word_tokenize ("ผมรักคุณ" ),engine = 'artagger' ))),"<class 'list'>" )
100104if __name__ == '__main__' :
101- unittest .main ()
105+ unittest .main ()
0 commit comments