fix error python 2.7 normalize

Author: wannaphong

pythainlp/test/__init__.py

@@ -67,7 +67,7 @@ def test_corpus(self):
 	def test_collation(self):
     		self.assertEqual(collation(['ไก่','กก']),[u'กก', u'ไก่'])
 	def test_normalize(self):
-    		self.assertEqual(normalize(u"เเปลก")==u"แปลก",True)
+    		self.assertEqual(normalize("เเปลก"),"แปลก")
 	def test_keywords(self):
     		self.assertEqual(find_keyword(word_tokenize("แมวกินปลาอร่อยรู้ไหมว่าแมวเป็นแมวรู้ไหมนะแมว",engine='newmm')),{u'แมว': 4})
 	def test_tag(self):

pythainlp/util/__init__.py

@@ -23,33 +23,33 @@ def trigram(token):
 	'''
 	return ngrams(token,3)
 rule1=[
-    "ะ",
-    "ั",
-    "็",
-    "า",
-    "ิ",
-    "่",
-    "ํ",
-    "ุ",
-    "ู",
-    "ใ",
-    "ไ",
-    "โ",
-    "ื"
-    "่",
-    "้",
-    "๋",
-    "๊",
-    "ึ",
-    "์",
-    "๋",
-    "ำ"
+    u"ะ",
+    u"ั",
+    u"็",
+    u"า",
+    u"ิ",
+    u"่",
+    u"ํ",
+    u"ุ",
+    u"ู",
+    u"ใ",
+    u"ไ",
+    u"โ",
+    u"ื"
+    u"่",
+    u"้",
+    u"๋",
+    u"๊",
+    u"ึ",
+    u"์",
+    u"๋",
+    u"ำ"
 ] # เก็บพวกสระ วรรณยุกต์ที่ซ้ำกันแล้วมีปัญหา
 rule2=[
-    ("เเ","แ"),
-    ("ํ้า","้ำ"),
-    ("ํา้","้ำ"),
-    ("้ั","ั้")
+    (u"เเ",u"แ"),
+    (u"ํ้า",u"้ำ"),
+    (u"ํา้",u"้ำ"),
+    (u"้ั",u"ั้")
 ] # เก็บพวก พิมพ์ลำดับผิดหรือผิดแป้นแต่กลับแสดงผลถูกต้อง ให้ไปเป็นแป้นที่ถูกต้อง เช่น เ + เ ไปเป็น แ
 def normalize(text):
     """
@@ -61,5 +61,5 @@ def normalize(text):
     True
     """
     for data in rule2+list(zip(rule1,rule1)):
-        text=re.sub(data[0]+"+",data[1],text)
+        text=re.sub(data[0]+"+",data[1],text,re.U)
     return text