Recurrent Neural Network

Sequence tagging model สมัยใหม่มักจะใช้ Recurrent Neural Network เป็นฐานสำคัญ เพราะโมเดลนี้สามารถรวบรวมบริบทจากคำรอบ ๆ มาเป็น feature ในการช่วย tag ได้ ก่อนวิดีโอชุดนี้ควรมีความรู้เรื่อง Neural Network พื้นฐาน

Video List:

1. RNN Model
2. การฝึกโมเดล RNN
3. Gated Recurrent Unit (GRU) + LSTM
4. Bidirectional RNN
5. BiLSTM-CRF vs CRF

Slides

• Slides เรื่อง RNN จากวิดีโอ

โมเดลต่างๆ ในตระกูล RNN

Gated Recurrent Unit (GRU) และ Long Short-Term Memory (LSTM) เป็นโมเดลตระกูล RNN ที่สามารถถูกเทรนได้ง่ายกว่า และได้ประสิทธิภาพที่ดีกว่า RNN แบบตัวพื้นฐาน โมเดลเหล่านี้มักถูกนำมาผสมกับ Conditional Random Fields (CRF) เพื่อให้ label ของแต่ละคำมีความเกี่ยวเนื่องสอดคล้องกัน