Language Modeling

โมดูลนี้พูดเรื่องการใช้บริบททางภาษาในการตรวจแก้ภาษาที่อาจจะบิดเบือนไปเพราะเสียงของคำฟังคล้ายกัน หรือเขียนผิดไวยากรณ์ หรือสะกดผิด

Video List:

1. Language Model ใช้ทำอะไร
2. N-gram Language Model
3. Training N-gram Language Model
4. ตัวอย่างการฝึก N-gram Language Model
5. การประเมินความสามารถของ LM
6. Implementing LM
7. Smoothing LM
8. Interpolation และ Backoff
9. Kneser-Ney LM

เนื้อหาสำหรับอ่านและอ้างอิง

• Chapter 3 ของหนังสือ Martin & Jurafsky
• ​Slides จาก video | Slides จาก Jurafsky

N-Gram Language Model

Technical detail ของการสร้าง Language Model เพื่อนำไปใช้ใน Applications อื่นๆ เช่น text generator, grammar checker, spell checker, speech recognition, machine translation

จำเป็นต้องมีความรู้ความเข้าใจเรื่อง probability และ conditional probability

Advanced Topics

การฝึก language model มีปัญหาจุกจิกทั้งด้านการ implement (การเขียนโปรแกรมเพื่อนำเอาโมเดลไปใช้จริง) และทางด้านการเลือกโมเดล เพราะต้องรับมือกับข้อมูลขนาดใหญ่ และภาษาทุกภาษามักมีความหลากหลายสูง

จำเป็นต้องมีความรู้ความเข้าใจเรื่อง data structure ที่ใช้บ่อยใน computer science