Skip to content

Commit b926334

Browse files
bactbact
authored
Merge pull request #205 from PyThaiNLP/dev
Merge 2.0.3 and 2.0.4 from dev to 2.0 branch
2 parents 3c2de29 + 5fb581f commit b926334

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

53 files changed

+20336
-4332
lines changed

‎README-pypi.md‎

Lines changed: 16 additions & 24 deletions
Original file line numberDiff line numberDiff line change
@@ -1,35 +1,27 @@
11
![PyThaiNLP Logo](https://avatars0.githubusercontent.com/u/32934255?s=200&v=4)
22

3-
# PyThaiNLP 2.0.2
4-
5-
[![Codacy Badge](https://api.codacy.com/project/badge/Grade/cb946260c87a4cc5905ca608704406f7)](https://www.codacy.com/app/pythainlp/pythainlp_2?utm_source=github.com&utm_medium=referral&utm_content=PyThaiNLP/pythainlp&utm_campaign=Badge_Grade)[![pypi](https://img.shields.io/pypi/v/pythainlp.svg)](https://pypi.python.org/pypi/pythainlp)
6-
[![Build Status](https://travis-ci.org/PyThaiNLP/pythainlp.svg?branch=develop)](https://travis-ci.org/PyThaiNLP/pythainlp)
7-
[![Build status](https://ci.appveyor.com/api/projects/status/9g3mfcwchi8em40x?svg=true)](https://ci.appveyor.com/project/wannaphongcom/pythainlp-9y1ch)
8-
[![Coverage Status](https://coveralls.io/repos/github/PyThaiNLP/pythainlp/badge.svg?branch=dev)](https://coveralls.io/github/PyThaiNLP/pythainlp?branch=dev)
9-
[![License](https://img.shields.io/badge/License-Apache%202.0-blue.svg)](https://opensource.org/licenses/Apache-2.0)
3+
# PyThaiNLP
104

115
PyThaiNLP is a Python library for natural language processing (NLP) of Thai language.
126

137
PyThaiNLP includes Thai word tokenizers, transliterators, soundex converters, part-of-speech taggers, and spell checkers.
148

15-
📖 [Upgrading from PyThaiNLP 1.7 to 2.0](https://thainlp.org/pythainlp/docs/2.0/notes/pythainlp-1_7-2_0.html)
16-
17-
📖 [Upgrade ThaiNER from PyThaiNLP 1.7 to 2.0](https://github.com/PyThaiNLP/pythainlp/wiki/Upgrade-ThaiNER-from-PyThaiNLP-1.7-to-PyThaiNLP-2.0)
18-
19-
📫 follow us on Facebook [Pythainlp](https://www.facebook.com/pythainlp/)
9+
📫 follow us on Facebook [PyThaiNLP](https://www.facebook.com/pythainlp/)
2010

21-
## What's new in version 2.0 ?
11+
## What's new in 2.0 ?
2212

23-
- New NorvigSpellChecker spell checker class, which can be initialized with custom dictionary.
2413
- Terminate Python 2 support. Remove all Python 2 compatibility code.
25-
- Remove old, obsolated, deprecated, and experimental code.
26-
- Thai2fit (Upgrade ULMFiT-related codes to fastai 1.0)
27-
- ThaiNER 1.0
28-
- Remove sentiment analysis
29-
- Improved word_tokenize (newmm, mm) and dict_word_tokenize
30-
- Improved POS-tagging
31-
- More and improved examples
32-
- see [PyThaiNLP 2.0 change log](https://github.com/PyThaiNLP/pythainlp/issues/118)
14+
- Improved `word_tokenize` ("newmm" and "mm" engine), a `custom_dict` dictionary can be provided
15+
- Improved `pos_tag` Part-Of-Speech tagging
16+
- New `NorvigSpellChecker` spell checker class, which can be initialized with custom dictionary.
17+
- New `thai2fit` (replacing `thai2vec`, upgrade ULMFiT-related code to fastai 1.0)
18+
- Updated ThaiNER to 1.0
19+
- You may need to [update your existing ThaiNER models from PyThaiNLP 1.7](https://github.com/PyThaiNLP/pythainlp/wiki/Upgrade-ThaiNER-from-PyThaiNLP-1.7-to-PyThaiNLP-2.0)
20+
- Remove old, obsolated, deprecated, duplicated, and experimental code.
21+
- Sentiment analysis is no longer part of the library, but rather [a text classification example](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/sentiment_analysis.ipynb).
22+
- See more examples in [Get Started notebook](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/pythainlp-get-started.ipynb)
23+
- [Full change log](https://github.com/PyThaiNLP/pythainlp/issues/118)
24+
- [Upgrading from 1.7](https://thainlp.org/pythainlp/docs/2.0/notes/pythainlp-1_7-2_0.html)
3325

3426
## Install
3527

@@ -62,8 +54,8 @@ Install it with pip, for example: `pip install marisa_trie‑0.7.5‑cp36‑cp36
6254

6355
## Links
6456

65-
- User guide : [English](https://colab.research.google.com/drive/1MQ10D1mJC5r1vQAHcj4ShoRS14vz8ZF-) , [ภาษาไทย](https://colab.research.google.com/drive/1rEkB2Dcr1UAKPqz4bCghZV7pXx2qxf89)
57+
- User guide: [English](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/pythainlp-get-started.ipynb), [ภาษาไทย](https://colab.research.google.com/drive/1rEkB2Dcr1UAKPqz4bCghZV7pXx2qxf89)
6658
- Docs: https://thainlp.org/pythainlp/docs/2.0/
6759
- GitHub: https://github.com/PyThaiNLP/pythainlp
6860
- Issues: https://github.com/PyThaiNLP/pythainlp/issues
69-
- Facebook : [Pythainlp](https://www.facebook.com/pythainlp/)
61+
- Facebook: [PyThaiNLP](https://www.facebook.com/pythainlp/)

‎README.md‎

Lines changed: 52 additions & 50 deletions
Original file line numberDiff line numberDiff line change
@@ -14,25 +14,27 @@ Thai Natural Language Processing in Python.
1414

1515
PyThaiNLP is a Python package for text processing and linguistic analysis, similar to `nltk` but with focus on Thai language.
1616

17-
- [Current PyThaiNLP stable release is 2.0](https://github.com/PyThaiNLP/pythainlp/tree/master)
18-
- PyThaiNLP 2.0 supports Python 3.6+. Some functions may work with older version of Python 3, but it is not well-tested and will not be supported. See [PyThaiNLP 2.0 change log](https://github.com/PyThaiNLP/pythainlp/issues/118).
19-
- Python 2.7+ users can use PyThaiNLP 1.6.
17+
**This is a document for development branch (post 2.0). Things will break.**
2018

21-
**This is a document for development branch (post 2.0). Things will break. For a stable branch document, see [master](https://github.com/PyThaiNLP/pythainlp/tree/master).**
19+
- The latest stable release is [2.0.4](https://github.com/PyThaiNLP/pythainlp/tree/master)
20+
- PyThaiNLP 2 supports Python 3.6+. Some functions may work with older version of Python 3, but it is not well-tested and will not be supported. See [change log](https://github.com/PyThaiNLP/pythainlp/issues/118).
21+
- [Upgrading from 1.7](https://thainlp.org/pythainlp/docs/2.0/notes/pythainlp-1_7-2_0.html)
22+
- [Upgrade ThaiNER from 1.7](https://github.com/PyThaiNLP/pythainlp/wiki/Upgrade-ThaiNER-from-PyThaiNLP-1.7-to-PyThaiNLP-2.0)
23+
- Python 2.7+ users can use PyThaiNLP 1.6.
2224

2325
📫 follow us on Facebook [PyThaiNLP](https://www.facebook.com/pythainlp/)
2426

2527
## Capabilities
2628

27-
- Convenient character and word classes, like Thai consonants (```pythainlp.thai_consonants```), vowels (```pythainlp.thai_vowels```), digits (```pythainlp.thai_digits```), and stop words (```pythainlp.corpus.thai_stopwords```) -- comparable to constants like ```string.letters```, ```string.digits```, and ```string.punctuation```
28-
- Thai word segmentation (```word_tokenize```), including subword segmentation based on Thai Character Cluster (```tcc```) and ETCC (```etcc```)
29-
- Thai romanization and transliteration (```romanize```, ```transliterate```)
30-
- Thai part-of-speech taggers (```pos_tag```)
31-
- Read out number to Thai words (```bahttext```, ```num_to_thaiword```)
32-
- Thai collation (sort by dictionoary order) (```collate```)
33-
- Thai-English keyboard misswitched fix (```eng_to_thai```, ```thai_to_eng```)
34-
- Thai misspellings detection and spelling correction (```spell```)
35-
- Thai soundex (```lk82```, ```udom83```, ```metasound```)
29+
- Convenient character and word classes, like Thai consonants (`pythainlp.thai_consonants`), vowels (`pythainlp.thai_vowels`), digits (`pythainlp.thai_digits`), and stop words (`pythainlp.corpus.thai_stopwords`) -- comparable to constants like `string.letters`, `string.digits`, and `string.punctuation`
30+
- Thai word segmentation (`word_tokenize`), including subword segmentation based on Thai Character Cluster (`subword_tokenize`)
31+
- Thai transliteration (`transliterate`)
32+
- Thai part-of-speech taggers (`pos_tag`)
33+
- Read out number to Thai words (`bahttext`, `num_to_thaiword`)
34+
- Thai collation (sort by dictionoary order) (`collate`)
35+
- Thai-English keyboard misswitched fix (`eng_to_thai`, `thai_to_eng`)
36+
- Thai spelling suggestion and correction (`spell` and `correct`)
37+
- Thai soundex (`soundex`) with three engines (`lk82`, `udom83`, `metasound`)
3638
- Thai WordNet wrapper
3739
- and much more - see examples in [PyThaiNLP Get Started notebook](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/pythainlp-get-started.ipynb).
3840

@@ -60,20 +62,20 @@ For some advanced functionalities, like word vector, extra packages may be neede
6062
$ pip install pythainlp[extra1,extra2,...]
6163
```
6264

63-
where ```extras``` can be
64-
- ```artagger``` (to support artagger part-of-speech tagger)*
65-
- ```deepcut``` (to support deepcut machine-learnt tokenizer)
66-
- ```icu``` (for ICU support in transliteration and tokenization)
67-
- ```ipa``` (for International Phonetic Alphabet support in transliteration)
68-
- ```ml``` (to support fastai 1.0.22 ULMFiT models)
69-
- ```ner``` (for named-entity recognizer)
70-
- ```thai2fit``` (for Thai word vector)
71-
- ```thai2rom``` (for machine-learnt romanization)
72-
- ```full``` (install everything)
65+
where `extras` can be
66+
- `artagger` (to support artagger part-of-speech tagger)*
67+
- `deepcut` (to support deepcut machine-learnt tokenizer)
68+
- `icu` (for ICU, International Components for Unicode, support in transliteration and tokenization)
69+
- `ipa` (for IPA, International Phonetic Alphabet, support in transliteration)
70+
- `ml` (to support fastai 1.0.22 ULMFiT models)
71+
- `ner` (for named-entity recognizer)
72+
- `thai2fit` (for Thai word vector)
73+
- `thai2rom` (for machine-learnt romanization)
74+
- `full` (install everything)
7375

74-
* Note: standard ```artagger``` package from PyPI will not work on Windows, please ```pip install https://github.com/wannaphongcom/artagger/tarball/master#egg=artagger``` instead.
76+
* Note: standard `artagger` package from PyPI will not work on Windows, please ```pip install https://github.com/wannaphongcom/artagger/tarball/master#egg=artagger``` instead.
7577

76-
** see ```extras``` and ```extras_require``` in [```setup.py```](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py) for package details.
78+
** see `extras` and `extras_require` in [`setup.py`](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py) for package details.
7779

7880
## Documentation
7981

@@ -102,25 +104,25 @@ PyThaiNLP เป็นไลบารีภาษาไพทอนเพื่
102104

103105
> เพราะโลกขับเคลื่อนต่อไปด้วยการแบ่งปัน
104106
105-
- PyThaiNLP 2.0 รองรับ Python 3.6 ขึ้นไป
106-
- ผู้ใช้ Python 2.7+ ยังสามารถใช้ PyThaiNLP 1.6 ได้
107+
**เอกสารนี้สำหรับรุ่นพัฒนา อาจมีการเปลี่ยนแปลงได้ตลอด**
107108

108-
**เอกสารนี้สำหรับรุ่นพัฒนา (หลัง 2.0) อาจมีการเปลี่ยนแปลงได้ตลอด สำหรับเอกสารรุ่นเสถียร ดูที่ [master](https://github.com/PyThaiNLP/pythainlp/tree/master).**
109+
- รุ่นเสถียรล่าสุดคือรุ่น [2.0.4](https://github.com/PyThaiNLP/pythainlp/tree/master)
110+
- PyThaiNLP 2 รองรับ Python 3.6 ขึ้นไป
111+
- ผู้ใช้ Python 2.7+ ยังสามารถใช้ PyThaiNLP 1.6 ได้
109112

110113
📫 ติดตามข่าวสารได้ที่ Facebook [Pythainlp](https://www.facebook.com/pythainlp/)
111114

112115
## ความสามารถ
113116

114-
- ชุดค่าคงที่ตัวอักษระและคำไทยที่เรียกใช้ได้สะดวก เช่น พยัญชนะ (```pythainlp.thai_consonants```), สระ (```pythainlp.thai_vowels```), ตัวเลขไทย (```pythainlp.thai_digits```), และ stop word (```pythainlp.corpus.thai_stopwords```) -- เหมือนกับค่าคงที่อย่าง ```string.letters```, ```string.digits```, และ ```string.punctuation```
115-
- Thai word segmentation (```word_tokenize```), including subword segmentation based on Thai Character Cluster (```tcc```) and ETCC (```etcc```)
116-
- ตัดคำภาษาไทย (```word_tokenize```) และรองรับ Thai Character Clusters (```tcc```) และ ETCC (```etcc```)
117-
- ถอดเสียงภาษาไทยเป็นอักษรละตินและสัทอักษร (```romanize```, ```transliterate```)
118-
- ระบุชนิดคำ (part-of-speech) ภาษาไทย (```pos_tag```)
119-
- อ่านตัวเลขเป็นข้อความภาษาไทย (```bahttext```, ```num_to_thaiword```)
120-
- เรียงลำดับคำตามพจนานุกรมไทย (```collate```)
121-
- แก้ไขปัญหาการพิมพ์ลืมเปลี่ยนภาษา (```eng_to_thai```, ```thai_to_eng```)
122-
- ตรวจคำสะกดผิดในภาษาไทย (```spell```)
123-
- soundex ภาษาไทย (```lk82```, ```udom83```, ```metasound```)
117+
- ชุดค่าคงที่ตัวอักษระและคำไทยที่เรียกใช้ได้สะดวก เช่น พยัญชนะ (`pythainlp.thai_consonants`), สระ (`pythainlp.thai_vowels`), ตัวเลขไทย (`pythainlp.thai_digits`), และ stop word (`pythainlp.corpus.thai_stopwords`) -- เหมือนกับค่าคงที่อย่าง `string.letters`, `string.digits`, และ `string.punctuation`
118+
- ตัดคำภาษาไทย (`word_tokenize`) และรองรับการตัดระดับต่ำกว่าคำโดยใช้ Thai Character Clusters (`subword_tokenize`)
119+
- ถอดเสียงภาษาไทยเป็นอักษรละตินและสัทอักษร (`transliterate`)
120+
- ระบุชนิดคำ (part-of-speech) ภาษาไทย (`pos_tag`)
121+
- อ่านตัวเลขเป็นข้อความภาษาไทย (`bahttext`, `num_to_thaiword`)
122+
- เรียงลำดับคำตามพจนานุกรมไทย (`collate`)
123+
- แก้ไขปัญหาการพิมพ์ลืมเปลี่ยนภาษา (`eng_to_thai`, `thai_to_eng`)
124+
- ตรวจคำสะกดผิดในภาษาไทย (`spell`, `correct`)
125+
- soundex ภาษาไทย (`soundex`) 3 วิธีการ (`lk82`, `udom83`, `metasound`)
124126
- Thai WordNet wrapper
125127
- และอื่น ๆ ดูตัวอย่างได้ใน [PyThaiNLP Get Started notebook](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/pythainlp-get-started.ipynb)
126128

@@ -144,20 +146,20 @@ $ pip install https://github.com/PyThaiNLP/pythainlp/archive/dev.zip
144146
$ pip install pythainlp[extra1,extra2,...]
145147
```
146148

147-
โดยที่ ```extras``` คือ
148-
- ```artagger``` (สำหรับตัวติดป้ายกำกับชนิดคำ artagger)*
149-
- ```deepcut``` (สำหรับตัวตัดคำ deepcut)
150-
- ```icu``` (สำหรับการถอดตัวสะกดเป็นสัทอักษรและการตัดคำด้วย ICU)
151-
- ```ipa``` (สำหรับการถอดตัวสะกดเป็นสัทอักษรสากล (IPA))
152-
- ```ml``` (สำหรับการรองรับโมเดล ULMFiT)
153-
- ```ner``` (สำหรับการติดป้ายชื่อเฉพาะ (named-entity))
154-
- ```thai2fit``` (สำหรับ word vector)
155-
- ```thai2rom``` (สำหรับการถอดตัวสะกดเป็นอักษรละติน)
156-
- ```full``` (ติดตั้งทุกอย่าง)
149+
โดยที่ `extras` คือ
150+
- `artagger` (สำหรับตัวติดป้ายกำกับชนิดคำ artagger)*
151+
- `deepcut` (สำหรับตัวตัดคำ deepcut)
152+
- `icu` (สำหรับการถอดตัวสะกดเป็นสัทอักษรและการตัดคำด้วย ICU)
153+
- `ipa` (สำหรับการถอดตัวสะกดเป็นสัทอักษรสากล (IPA))
154+
- `ml` (สำหรับการรองรับโมเดล ULMFiT)
155+
- `ner` (สำหรับการติดป้ายชื่อเฉพาะ (named-entity))
156+
- `thai2fit` (สำหรับ word vector)
157+
- `thai2rom` (สำหรับการถอดตัวสะกดเป็นอักษรละติน)
158+
- `full` (ติดตั้งทุกอย่าง)
157159

158-
* หมายเหตุ: แพคเกจ ```artagger``` มาตรฐานจาก PyPI อาจมีปัญหาการถอดรหัสข้อความบน Windows กรุณาติดตั้ง artagger รุ่นแก้ไขด้วยคำสั่ง ```pip install https://github.com/wannaphongcom/artagger/tarball/master#egg=artagger``` แทน ก่อนจะติดตั้ง PyThaiNLP
160+
* หมายเหตุ: แพคเกจ `artagger` มาตรฐานจาก PyPI อาจมีปัญหาการถอดรหัสข้อความบน Windows กรุณาติดตั้ง artagger รุ่นแก้ไขด้วยคำสั่ง ```pip install https://github.com/wannaphongcom/artagger/tarball/master#egg=artagger``` แทน ก่อนจะติดตั้ง PyThaiNLP
159161

160-
** นักพัฒนาสามารถดู ```extras``` และ ```extras_require``` ใน [```setup.py```](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py) สำหรับรายละเอียดแพคเกจของเสริม
162+
** สามารถดู `extras` และ `extras_require` ใน [`setup.py`](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py) สำหรับรายละเอียดแพคเกจของเสริม
161163

162164
## เอกสารการใช้งาน
163165

0 commit comments

Comments
 (0)