Deep Learning for Text Classification

ปัจจุบันนี้คนหันมาใช้ Deep Learning model กันมากขึ้นโดยใช้พื้นฐานของความหมายของคำที่กำหนดโดยบริบทและการใช้ภาษา (Distributed semantic model หรือ distributional semantic model) ในคลังข้อมูลเป็นหลัก วิดีโอชุดนี้ครอบคลุมวิธีการเทรนโมเดล Deep Learning และรายละเอียดของโมเดล Deep Averaging Network และ Convolutional Neural Network

Deep Learning เริ่มต้นมาจาก Logistic regression

Deep Learning หรือ Neural Network เป็นเทคโนโลยีทางด้าน machine learning คลื่นลูกใหม่ในการแก้ปัญหา NLP เพราะโมเดลนี้สามารถนำเอาธรรมชาติของคำที่มีหลายหลายมิติทางความหมายมาใช้ประโยชน์ในการจำแนกประเภทข้อความ

คณิตศาสตร์ระดับม.ปลายเป็นประโยชน์มากสำหรับการทำความเข้าใจเนื้อหาในส่วนนี้ โดยเฉพาะอย่างยิ่งการอนุพันธ์ของฟังก์ชัน (Calculus)

Word Embedding และ Computational Lexical Semantics

ความหมายของคำศัพท์คำหนึ่งมีหลากหลายมิติของความหมายจนทำให้การเขียนกฏต่างๆ ในการจัดระเบียบของความหมายนั้นเป็นไปได้โดยยาก Word embedding เก็บลักษณะเฉพาะทางความหมายของแต่ละคำโดยเรียนรู้จากคลังข้อมูล และเป็นพื้นฐานของการสร้าง Text classifier ตัวใหม่ๆ ในปัจจุบัน

Training Deep Learning Models

Deep Averaging Network เป็นโมเดล baseline ในการทำความเข้าใจและพัฒนา neural model architecture อื่นๆ ที่จะพบเห็นในบทต่อๆ ไปเช่น recurrent neural network และ sequence-to-sequence models

Convolutional Neural Network

Convolutional Neural Network (CNN) เป็นโมเดลที่ใช้กันอย่างแพร่หลายในการทำ text classification เพราะว่ามีขนาดเล็ก เทรนไม่ยาก และประกอบรวมพลังกับ word embedding ได้อย่างดี