Merge pull request #628 from flairNLP/add-yumiuri

Add ` Yomiuri Shimbun`

docs/supported_publishers.md

@@ -1121,6 +1121,21 @@
       <td>&#160;</td>
       <td>&#160;</td>
     </tr>
+    <tr>
+      <td>
+        <code>YomiuriShimbun</code>
+      </td>
+      <td>
+        <div>Yomiuri Shimbun</div>
+      </td>
+      <td>
+        <a href="https://www.yomiuri.co.jp/">
+          <span>www.yomiuri.co.jp</span>
+        </a>
+      </td>
+      <td>&#160;</td>
+      <td>&#160;</td>
+    </tr>
   </tbody>
 </table>
 

src/fundus/publishers/jp/__init__.py

@@ -1,5 +1,6 @@
 from fundus.publishers.base_objects import Publisher, PublisherGroup
-from fundus.publishers.jp.thejapannews import TheJapanNewsParser
+from fundus.publishers.jp.the_japan_news import TheJapanNewsParser
+from fundus.publishers.jp.yomiuri_shimbun import YomiuriShimbunParser
 from fundus.scraping.filter import regex_filter
 from fundus.scraping.url import NewsMap, Sitemap
 
@@ -17,3 +18,13 @@ class JP(metaclass=PublisherGroup):
             NewsMap("https://japannews.yomiuri.co.jp/sitemap-news.xml"),
         ],
     )
+
+    YomiuriShimbun = Publisher(
+        name="Yomiuri Shimbun",
+        domain="https://www.yomiuri.co.jp/",
+        parser=YomiuriShimbunParser,
+        sources=[
+            Sitemap("https://www.yomiuri.co.jp/sitemap.xml", sitemap_filter=regex_filter("sitemap-news-latest")),
+            NewsMap("https://www.yomiuri.co.jp/sitemap-news-latest.xml"),
+        ],
+    )

src/fundus/publishers/jp/the_japan_news.py

@@ -0,0 +1,46 @@
+import datetime
+import re
+from typing import List, Optional
+
+from lxml.etree import XPath
+
+from fundus.parser import ArticleBody, BaseParser, ParserProxy, attribute
+from fundus.parser.utility import (
+    extract_article_body_with_selector,
+    generic_author_parsing,
+    generic_date_parsing,
+    generic_topic_parsing,
+)
+
+
+class TheJapanNewsParser(ParserProxy):
+    class V1(BaseParser):
+        _subheadline_selector = XPath("//div[@id='p-article-block']/h2")
+        _paragraph_selector = XPath("//div[@id='p-article-block']//p[not(@class)]")
+
+        @attribute
+        def body(self) -> Optional[ArticleBody]:
+            return extract_article_body_with_selector(
+                self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+                subheadline_selector=self._subheadline_selector,
+            )
+
+        @attribute
+        def title(self) -> Optional[str]:
+            return self.precomputed.meta.get("og:title")
+
+        @attribute
+        def publishing_date(self) -> Optional[datetime.datetime]:
+            return generic_date_parsing(self.precomputed.meta.get("article:published_time"))
+
+        @attribute
+        def authors(self) -> List[str]:
+            return generic_author_parsing(self.precomputed.ld.bf_search("author"))
+
+        @attribute
+        def topics(self) -> List[str]:
+            return [
+                re.sub(r"\([0-9]+\)", "", topic).strip()
+                for topic in generic_topic_parsing(self.precomputed.ld.bf_search("keywords"))
+            ]

src/fundus/publishers/jp/yomiuri_shimbun.py

@@ -0,0 +1,43 @@
+import datetime
+import re
+from typing import List, Optional
+
+from lxml.etree import XPath
+
+from fundus.parser import ArticleBody, BaseParser, ParserProxy, attribute
+from fundus.parser.utility import (
+    extract_article_body_with_selector,
+    generic_author_parsing,
+    generic_date_parsing,
+    generic_topic_parsing,
+)
+
+
+class YomiuriShimbunParser(ParserProxy):
+    class V1(BaseParser):
+        _paragraph_selector = XPath("//div[@class='p-main-contents ']/p")
+
+        _topic_selector = XPath("//div[@class='p-related-tags']/ul/li/a")
+
+        @attribute
+        def body(self) -> Optional[ArticleBody]:
+            return extract_article_body_with_selector(
+                self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+            )
+
+        @attribute
+        def title(self) -> Optional[str]:
+            return self.precomputed.meta.get("og:title")
+
+        @attribute
+        def publishing_date(self) -> Optional[datetime.datetime]:
+            return generic_date_parsing(self.precomputed.meta.get("article:published_time"))
+
+        @attribute
+        def authors(self) -> List[str]:
+            return generic_author_parsing(self.precomputed.ld.bf_search("author"))
+
+        @attribute
+        def topics(self) -> List[str]:
+            return [node.text_content() for node in self._topic_selector(self.precomputed.doc)]

tests/resources/parser/test_data/jp/YomiuriShimbun.json

@@ -0,0 +1,26 @@
+{
+  "V1": {
+    "authors": [
+      "読売新聞オンライン"
+    ],
+    "body": {
+      "summary": [],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "プロ野球・阪神タイガースの次期監督に球団ＯＢの藤川球児氏（４４）が就任することが分かった。藤川氏の内諾を得ているといい、球団幹部は「勝ち続けることと若手育成の観点から選んだ」と語った。近く発表される予定。阪神は１３日、クライマックスシリーズで敗退。岡田 彰布 （ あきのぶ ） 監督（６６）は今季で退任する。",
+            "藤川氏は１９９９年、高知商高（高知）からドラフト１位で阪神に入団。２００５年、当時指揮を執った岡田監督のもと、救援投手として８０試合に登板し、セ・リーグ優勝に貢献。ジェフ・ウィリアムス、久保田智之両投手と形成したリリーフ陣は、それぞれの頭文字から「ＪＦＫ」と呼ばれた。",
+            "１２年オフに米大リーグ挑戦を表明。独立リーグの四国アイランドリーグｐｌｕｓ・高知ファイティングドッグスを経て、１６年に阪神へ復帰した。２０年の現役引退後、球団フロントに加わり、外国人選手の補強などに関わった。日本で最多セーブのタイトルを２度獲得し、日米通算成績は６１勝３９敗２４５セーブ。〈関連記事スポーツ面〉"
+          ]
+        }
+      ]
+    },
+    "publishing_date": "2024-10-13 22:43:00+09:00",
+    "title": "阪神新監督に藤川氏　",
+    "topics": [
+      "#阪神",
+      "#日本"
+    ]
+  }
+}

tests/resources/parser/test_data/jp/meta.info

@@ -2,5 +2,9 @@
   "TheJapanNews_2024_10_13.html.gz": {
     "url": "https://japannews.yomiuri.co.jp/politics/politics-government/20241013-216478/",
     "crawl_date": "2024-10-13 16:27:01.520980"
+  },
+  "YomiuriShimbun_2024_10_13.html.gz": {
+    "url": "https://www.yomiuri.co.jp/local/kansai/news/20241013-OYO1T50044/",
+    "crawl_date": "2024-10-13 16:52:57.081306"
   }
 }