Deep Learning for Text Classification

ปัจจุบันนี้คนหันมาใช้ Deep Learning model กันมากขึ้นโดยใช้พื้นฐานของความหมายของคำที่กำหนดโดยบริบทและการใช้ภาษา (Distributed semantic model หรือ distributional semantic model) ในคลังข้อมูลเป็นหลัก วิดีโอชุดนี้ครอบคลุมวิธีการเทรนโมเดล Deep Learning และรายละเอียดของโมเดล Deep Averaging Network และ Convolutional Neural Network

Slides และแหล่งอ้างอิง

• Slides จากวิดีโอเรื่อง Word embedding และ Neural Bag-of-word model
• Slides จากวิดีโอเรื่องการเทรน deep learning model
• Slides จากวิดีโอเรื่อง CNN
• Chapter 6 จาก Jurafsky
• Chapter 7 จาก Jurafsky

Deep Learning เริ่มต้นมาจาก Logistic regression

Deep Learning หรือ Neural Network เป็นเทคโนโลยีทางด้าน machine learning คลื่นลูกใหม่ในการแก้ปัญหา NLP เพราะโมเดลนี้สามารถนำเอาธรรมชาติของคำที่มีหลายหลายมิติทางความหมายมาใช้ประโยชน์ในการจำแนกประเภทข้อความ

คณิตศาสตร์ระดับม.ปลายเป็นประโยชน์มากสำหรับการทำความเข้าใจเนื้อหาในส่วนนี้ โดยเฉพาะอย่างยิ่งการอนุพันธ์ของฟังก์ชัน (Calculus)

Word Embedding และ Computational Lexical Semantics

ความหมายของคำศัพท์คำหนึ่งมีหลากหลายมิติของความหมายจนทำให้การเขียนกฏต่างๆ ในการจัดระเบียบของความหมายนั้นเป็นไปได้โดยยาก Word embedding เก็บลักษณะเฉพาะทางความหมายของแต่ละคำโดยเรียนรู้จากคลังข้อมูล และเป็นพื้นฐานของการสร้าง Text classifier ตัวใหม่ๆ ในปัจจุบัน

Training Deep Learning Models

Deep Averaging Network เป็นโมเดล baseline ในการทำความเข้าใจและพัฒนา neural model architecture อื่นๆ ที่จะพบเห็นในบทต่อๆ ไปเช่น recurrent neural network และ sequence-to-sequence models

Convolutional Neural Network

Convolutional Neural Network (CNN) เป็นโมเดลที่ใช้กันอย่างแพร่หลายในการทำ text classification เพราะว่ามีขนาดเล็ก เทรนไม่ยาก และประกอบรวมพลังกับ word embedding ได้อย่างดี