{ "cells": [ { "cell_type": "markdown", "id": "d71e71a4", "metadata": {}, "source": [ "# เฉลยแบบฝึกหัด" ] }, { "cell_type": "code", "execution_count": 42, "id": "64b63ce8", "metadata": {}, "outputs": [], "source": [ "import requests\n", "from bs4 import BeautifulSoup" ] }, { "cell_type": "code", "execution_count": 43, "id": "8c80a7d6", "metadata": {}, "outputs": [], "source": [ "url = 'https://thestandard.co/category/news/lgbtqia/'\n", "page = requests.get(url)\n", "soup = BeautifulSoup(page.content, 'html.parser')\n", "a_tags = soup.select('div.newsbox-archive h3.news-title a')" ] }, { "cell_type": "code", "execution_count": 44, "id": "2999abad", "metadata": {}, "outputs": [], "source": [ "links = [a.attrs['href'] for a in a_tags]" ] }, { "cell_type": "code", "execution_count": 45, "id": "0314bae1", "metadata": {}, "outputs": [ { "data": { "text/plain": [ "['https://thestandard.co/onelove-captain-armband/',\n", " 'https://thestandard.co/iker-casillas-lgbtq-joke/',\n", " 'https://thestandard.co/iker-casillas-lgbtq/',\n", " 'https://thestandard.co/cuba-family-law-marriage-equality-referendum/',\n", " 'https://thestandard.co/naruemit-pride-wedding/',\n", " 'https://thestandard.co/lgbtq-same-sex-marriage-act/',\n", " 'https://thestandard.co/singapore-prohibit-377a/',\n", " 'https://thestandard.co/committee-approve-draft-law-on-equal-marriage-and-marriage/',\n", " 'https://thestandard.co/ukraine-to-consider-equal-marriage-law/',\n", " 'https://thestandard.co/thanikan-pornpongsaroj-090765/']" ] }, "execution_count": 45, "metadata": {}, "output_type": "execute_result" } ], "source": [ "links" ] }, { "cell_type": "code", "execution_count": 34, "id": "b81bb34e", "metadata": {}, "outputs": [], "source": [ "def scrape_article(url):\n", " page = requests.get(url)\n", " soup = BeautifulSoup(page.content, 'html.parser')\n", " d_list = soup.select('div.entry-content')\n", " t = d_list[0].text\n", " header = soup.select('div.entry-title h1.title')\n", " return {'news category': 'lgbtq+', 'header': header[0].text, 'article':t, 'url':url}" ] }, { "cell_type": "code", "execution_count": 35, "id": "b22d9572", "metadata": {}, "outputs": [], "source": [ "import pandas as pd" ] }, { "cell_type": "code", "execution_count": null, "id": "20e09201", "metadata": {}, "outputs": [], "source": [ "info_dicts = []\n", "for url in links:\n", " info_dict = scrape_article(url)\n", " info_dicts.append(info_dict)" ] }, { "cell_type": "code", "execution_count": 36, "id": "fab16dbd", "metadata": {}, "outputs": [], "source": [ "df = pd.DataFrame([scrape_article(url) for url in links])" ] }, { "cell_type": "code", "execution_count": 37, "id": "7c532a11", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
news categoryheaderarticleurl
0lgbtq+ปลอกแขน ‘One Love’ ตัวแทนความรักที่กัปตัน 8 ที...\\nท่ามกลางเรื่องราวมากมายหลากหลายคำถามเกี่ยวกั...https://thestandard.co/onelove-captain-armband/
1lgbtq+การล้อเล่นของ อิเกร์ กาซิยัส ที่ไม่ตลกเลยสำหรั...\\nเมื่อวันอาทิตย์ที่ผ่านมา (9 ตุลาคม) เกิดกระแ...https://thestandard.co/iker-casillas-lgbtq-joke/
2lgbtq+อิเกร์ กาซิยัส เปิดตัวเป็นเกย์ วอนทุกคนเคารพใน...\\nอิเกร์ กาซิยัส อดีตผู้รักษาประตูระดับตำนานที...https://thestandard.co/iker-casillas-lgbtq/
3lgbtq+ถอดบทเรียนความสำเร็จ คิวบาลงประชามติเห็นชอบแก้...\\nนับเป็นช่วงเวลาประวัติศาสตร์ครั้งสำคัญของชุม...https://thestandard.co/cuba-family-law-marriag...
4lgbtq+กลุ่มนฤมิตไพรด์เตรียมจัด ‘นฤมิตวิวาห์’ งานสมรส...\\nวันนี้ (15 กันยายน) กลุ่มนฤมิตไพรด์ แถลงข่าว...https://thestandard.co/naruemit-pride-wedding/
5lgbtq+ภาคีสีรุ้งฯ ยื่นหนังสือเร่งให้ กมธ. ผลักดัน พ....\\nวันนี้ (8 กันยายน) ที่อาคารรัฐสภา วาดดาว-ชุม...https://thestandard.co/lgbtq-same-sex-marriage...
6lgbtq+สิงคโปร์เตรียมยกเลิกกฎหมายยุคอาณานิคม ที่กำหนด...\\nวานนี้ (21 สิงหาคม) นายกรัฐมนตรีลีเซียนลุงขอ...https://thestandard.co/singapore-prohibit-377a/
7lgbtq+กมธ. เคาะกฎหมายคู่ชีวิตและสมรสเท่าเทียม จดทะเบ...\\nวันนี้ (27 กรกฎาคม) ธณิกานต์ พรพงษาโรจน์ และ...https://thestandard.co/committee-approve-draft...
8lgbtq+ยูเครนเตรียมพิจารณาร่างกฎหมายสมรสเท่าเทียม ท่า...\\nเมื่อช่วงกลางสัปดาห์ที่ผ่านมา กลุ่มนักเคลื่อ...https://thestandard.co/ukraine-to-consider-equ...
9lgbtq+ธณิกานต์ โฆษก กมธ.กฎหมายคู่ชีวิต ยืนยันสมรสเท่...\\nวันนี้ (9 กรกฎาคม) ธณิกานต์ พรพงษาโรจน์ สมาช...https://thestandard.co/thanikan-pornpongsaroj-...
\n", "
" ], "text/plain": [ " news category header \\\n", "0 lgbtq+ ปลอกแขน ‘One Love’ ตัวแทนความรักที่กัปตัน 8 ที... \n", "1 lgbtq+ การล้อเล่นของ อิเกร์ กาซิยัส ที่ไม่ตลกเลยสำหรั... \n", "2 lgbtq+ อิเกร์ กาซิยัส เปิดตัวเป็นเกย์ วอนทุกคนเคารพใน... \n", "3 lgbtq+ ถอดบทเรียนความสำเร็จ คิวบาลงประชามติเห็นชอบแก้... \n", "4 lgbtq+ กลุ่มนฤมิตไพรด์เตรียมจัด ‘นฤมิตวิวาห์’ งานสมรส... \n", "5 lgbtq+ ภาคีสีรุ้งฯ ยื่นหนังสือเร่งให้ กมธ. ผลักดัน พ.... \n", "6 lgbtq+ สิงคโปร์เตรียมยกเลิกกฎหมายยุคอาณานิคม ที่กำหนด... \n", "7 lgbtq+ กมธ. เคาะกฎหมายคู่ชีวิตและสมรสเท่าเทียม จดทะเบ... \n", "8 lgbtq+ ยูเครนเตรียมพิจารณาร่างกฎหมายสมรสเท่าเทียม ท่า... \n", "9 lgbtq+ ธณิกานต์ โฆษก กมธ.กฎหมายคู่ชีวิต ยืนยันสมรสเท่... \n", "\n", " article \\\n", "0 \\nท่ามกลางเรื่องราวมากมายหลากหลายคำถามเกี่ยวกั... \n", "1 \\nเมื่อวันอาทิตย์ที่ผ่านมา (9 ตุลาคม) เกิดกระแ... \n", "2 \\nอิเกร์ กาซิยัส อดีตผู้รักษาประตูระดับตำนานที... \n", "3 \\nนับเป็นช่วงเวลาประวัติศาสตร์ครั้งสำคัญของชุม... \n", "4 \\nวันนี้ (15 กันยายน) กลุ่มนฤมิตไพรด์ แถลงข่าว... \n", "5 \\nวันนี้ (8 กันยายน) ที่อาคารรัฐสภา วาดดาว-ชุม... \n", "6 \\nวานนี้ (21 สิงหาคม) นายกรัฐมนตรีลีเซียนลุงขอ... \n", "7 \\nวันนี้ (27 กรกฎาคม) ธณิกานต์ พรพงษาโรจน์ และ... \n", "8 \\nเมื่อช่วงกลางสัปดาห์ที่ผ่านมา กลุ่มนักเคลื่อ... \n", "9 \\nวันนี้ (9 กรกฎาคม) ธณิกานต์ พรพงษาโรจน์ สมาช... \n", "\n", " url \n", "0 https://thestandard.co/onelove-captain-armband/ \n", "1 https://thestandard.co/iker-casillas-lgbtq-joke/ \n", "2 https://thestandard.co/iker-casillas-lgbtq/ \n", "3 https://thestandard.co/cuba-family-law-marriag... \n", "4 https://thestandard.co/naruemit-pride-wedding/ \n", "5 https://thestandard.co/lgbtq-same-sex-marriage... \n", "6 https://thestandard.co/singapore-prohibit-377a/ \n", "7 https://thestandard.co/committee-approve-draft... \n", "8 https://thestandard.co/ukraine-to-consider-equ... \n", "9 https://thestandard.co/thanikan-pornpongsaroj-... " ] }, "execution_count": 37, "metadata": {}, "output_type": "execute_result" } ], "source": [ "df" ] }, { "cell_type": "code", "execution_count": 38, "id": "8ea0bd41", "metadata": {}, "outputs": [], "source": [ "import pythainlp" ] }, { "cell_type": "code", "execution_count": 39, "id": "326bc9d1", "metadata": {}, "outputs": [], "source": [ "df['word count'] = df['article'].apply(pythainlp.word_tokenize).apply(len)" ] }, { "cell_type": "code", "execution_count": 40, "id": "64988ffe", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
news categoryheaderarticleurlword count
0lgbtq+ปลอกแขน ‘One Love’ ตัวแทนความรักที่กัปตัน 8 ที...\\nท่ามกลางเรื่องราวมากมายหลากหลายคำถามเกี่ยวกั...https://thestandard.co/onelove-captain-armband/766
1lgbtq+การล้อเล่นของ อิเกร์ กาซิยัส ที่ไม่ตลกเลยสำหรั...\\nเมื่อวันอาทิตย์ที่ผ่านมา (9 ตุลาคม) เกิดกระแ...https://thestandard.co/iker-casillas-lgbtq-joke/1629
2lgbtq+อิเกร์ กาซิยัส เปิดตัวเป็นเกย์ วอนทุกคนเคารพใน...\\nอิเกร์ กาซิยัส อดีตผู้รักษาประตูระดับตำนานที...https://thestandard.co/iker-casillas-lgbtq/322
3lgbtq+ถอดบทเรียนความสำเร็จ คิวบาลงประชามติเห็นชอบแก้...\\nนับเป็นช่วงเวลาประวัติศาสตร์ครั้งสำคัญของชุม...https://thestandard.co/cuba-family-law-marriag...1702
4lgbtq+กลุ่มนฤมิตไพรด์เตรียมจัด ‘นฤมิตวิวาห์’ งานสมรส...\\nวันนี้ (15 กันยายน) กลุ่มนฤมิตไพรด์ แถลงข่าว...https://thestandard.co/naruemit-pride-wedding/521
5lgbtq+ภาคีสีรุ้งฯ ยื่นหนังสือเร่งให้ กมธ. ผลักดัน พ....\\nวันนี้ (8 กันยายน) ที่อาคารรัฐสภา วาดดาว-ชุม...https://thestandard.co/lgbtq-same-sex-marriage...381
6lgbtq+สิงคโปร์เตรียมยกเลิกกฎหมายยุคอาณานิคม ที่กำหนด...\\nวานนี้ (21 สิงหาคม) นายกรัฐมนตรีลีเซียนลุงขอ...https://thestandard.co/singapore-prohibit-377a/624
7lgbtq+กมธ. เคาะกฎหมายคู่ชีวิตและสมรสเท่าเทียม จดทะเบ...\\nวันนี้ (27 กรกฎาคม) ธณิกานต์ พรพงษาโรจน์ และ...https://thestandard.co/committee-approve-draft...219
8lgbtq+ยูเครนเตรียมพิจารณาร่างกฎหมายสมรสเท่าเทียม ท่า...\\nเมื่อช่วงกลางสัปดาห์ที่ผ่านมา กลุ่มนักเคลื่อ...https://thestandard.co/ukraine-to-consider-equ...465
9lgbtq+ธณิกานต์ โฆษก กมธ.กฎหมายคู่ชีวิต ยืนยันสมรสเท่...\\nวันนี้ (9 กรกฎาคม) ธณิกานต์ พรพงษาโรจน์ สมาช...https://thestandard.co/thanikan-pornpongsaroj-...396
\n", "
" ], "text/plain": [ " news category header \\\n", "0 lgbtq+ ปลอกแขน ‘One Love’ ตัวแทนความรักที่กัปตัน 8 ที... \n", "1 lgbtq+ การล้อเล่นของ อิเกร์ กาซิยัส ที่ไม่ตลกเลยสำหรั... \n", "2 lgbtq+ อิเกร์ กาซิยัส เปิดตัวเป็นเกย์ วอนทุกคนเคารพใน... \n", "3 lgbtq+ ถอดบทเรียนความสำเร็จ คิวบาลงประชามติเห็นชอบแก้... \n", "4 lgbtq+ กลุ่มนฤมิตไพรด์เตรียมจัด ‘นฤมิตวิวาห์’ งานสมรส... \n", "5 lgbtq+ ภาคีสีรุ้งฯ ยื่นหนังสือเร่งให้ กมธ. ผลักดัน พ.... \n", "6 lgbtq+ สิงคโปร์เตรียมยกเลิกกฎหมายยุคอาณานิคม ที่กำหนด... \n", "7 lgbtq+ กมธ. เคาะกฎหมายคู่ชีวิตและสมรสเท่าเทียม จดทะเบ... \n", "8 lgbtq+ ยูเครนเตรียมพิจารณาร่างกฎหมายสมรสเท่าเทียม ท่า... \n", "9 lgbtq+ ธณิกานต์ โฆษก กมธ.กฎหมายคู่ชีวิต ยืนยันสมรสเท่... \n", "\n", " article \\\n", "0 \\nท่ามกลางเรื่องราวมากมายหลากหลายคำถามเกี่ยวกั... \n", "1 \\nเมื่อวันอาทิตย์ที่ผ่านมา (9 ตุลาคม) เกิดกระแ... \n", "2 \\nอิเกร์ กาซิยัส อดีตผู้รักษาประตูระดับตำนานที... \n", "3 \\nนับเป็นช่วงเวลาประวัติศาสตร์ครั้งสำคัญของชุม... \n", "4 \\nวันนี้ (15 กันยายน) กลุ่มนฤมิตไพรด์ แถลงข่าว... \n", "5 \\nวันนี้ (8 กันยายน) ที่อาคารรัฐสภา วาดดาว-ชุม... \n", "6 \\nวานนี้ (21 สิงหาคม) นายกรัฐมนตรีลีเซียนลุงขอ... \n", "7 \\nวันนี้ (27 กรกฎาคม) ธณิกานต์ พรพงษาโรจน์ และ... \n", "8 \\nเมื่อช่วงกลางสัปดาห์ที่ผ่านมา กลุ่มนักเคลื่อ... \n", "9 \\nวันนี้ (9 กรกฎาคม) ธณิกานต์ พรพงษาโรจน์ สมาช... \n", "\n", " url word count \n", "0 https://thestandard.co/onelove-captain-armband/ 766 \n", "1 https://thestandard.co/iker-casillas-lgbtq-joke/ 1629 \n", "2 https://thestandard.co/iker-casillas-lgbtq/ 322 \n", "3 https://thestandard.co/cuba-family-law-marriag... 1702 \n", "4 https://thestandard.co/naruemit-pride-wedding/ 521 \n", "5 https://thestandard.co/lgbtq-same-sex-marriage... 381 \n", "6 https://thestandard.co/singapore-prohibit-377a/ 624 \n", "7 https://thestandard.co/committee-approve-draft... 219 \n", "8 https://thestandard.co/ukraine-to-consider-equ... 465 \n", "9 https://thestandard.co/thanikan-pornpongsaroj-... 396 " ] }, "execution_count": 40, "metadata": {}, "output_type": "execute_result" } ], "source": [ "df" ] }, { "cell_type": "code", "execution_count": 41, "id": "0932d743", "metadata": {}, "outputs": [ { "data": { "text/plain": [ "count 10.000000\n", "mean 702.500000\n", "std 530.492696\n", "min 219.000000\n", "25% 384.750000\n", "50% 493.000000\n", "75% 730.500000\n", "max 1702.000000\n", "Name: word count, dtype: float64" ] }, "execution_count": 41, "metadata": {}, "output_type": "execute_result" } ], "source": [ "df['word count'].describe()" ] }, { "cell_type": "code", "execution_count": null, "id": "e03c9085", "metadata": {}, "outputs": [], "source": [ "df.to_csv('news_data.csv')" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.9.12" } }, "nbformat": 4, "nbformat_minor": 5 }