Sequence-to-Sequence Model

โมเดลประเภทนี้มีไว้สำหรับการรับ input ที่เป็น text และให้ output กลับไปเป็น text เช่นกัน เป็นโมเดลที่นำมาประยุกต์ใช้ Machine Translation แล้วได้ผลดีที่สุด และไม่ต้องพึ่งพาระบบที่มีหลายส่วนประกอบย่อย ๆ

Video List

1. Sequence-to-sequence model คืออะไร
2. RNN Language Model
3. Conditional Language Model
4. Encoder-decoder Model
5. Attention mechanism
6. การคำนวณ attention

สำหรับอ้างอิงหรือศึกษาเพิ่มเติม

1. Slides ที่ใช้จาก Video
2. Jurafsky Chapter 11

Conditional Language Model

Sequence-to-sequece model ประกอบด้วยไอเดียที่สำคัญ 2 อย่าง 1) Neural Language Model ซึ่งสามารถ generate text ออกมาตาม context จากนั้นทำให้เจาะจงมากขึ้นโดยการใช้ 2) Conditional Language Model ที่ทำให้โมเดลใช้ตัวแปรอื่นๆ ในการควบคุม text output ได้ แต่ว่าโมเดลเหล่านี้มักมีปัญหาเมื่อพบประโยคที่ยาว ๆ มาเป็น context

Attention Mechanism

โมเดลเหล่านี้มักมีปัญหาเมื่อพบประโยคที่ยาว ๆ มาเป็น context เพราะว่าลำพัง Neural Language Model อย่างเดียวจะไม่สามารถเข้าถึงความหมายเฉพาะส่วนของประโยคได้ดีพอ จึงต้องใช้ Attention Mechanism เข้ามาช่วยในการเลือกส่วนของประโยคที่จะให้ความสนใจเพื่อนำไปเป็น feature ในการ generate text output