Fix Stern

src/fundus/publishers/de/stern.py

@@ -1,7 +1,8 @@
 import datetime
-from typing import List, Optional
+from typing import List, Optional, Union
 
 from lxml.cssselect import CSSSelector
+from lxml.etree import XPath
 
 from fundus.parser import ArticleBody, BaseParser, ParserProxy, attribute
 from fundus.parser.utility import (
@@ -13,9 +14,12 @@
 
 class SternParser(ParserProxy):
     class V1(BaseParser):
-        _paragraph_selector = CSSSelector(".article__body >p")
-        _summary_selector = CSSSelector(".intro__text")
-        _subheadline_selector = CSSSelector(".subheadline-element")
+        VALID_UNTIL = datetime.date(2024, 10, 26)
+        _paragraph_selector: Union[XPath, CSSSelector] = CSSSelector(".article__body >p")
+        _summary_selector: Union[XPath, CSSSelector] = CSSSelector(".intro__text")
+        _subheadline_selector: Union[XPath, CSSSelector] = CSSSelector(".subheadline-element")
+
+        _topic_selector: Union[XPath, CSSSelector] = CSSSelector(".article__tags li.links__item")
 
         @attribute
         def body(self) -> Optional[ArticleBody]:
@@ -45,5 +49,13 @@ def title(self) -> Optional[str]:
 
         @attribute
         def topics(self) -> List[str]:
-            topic_nodes = self.precomputed.doc.cssselect(".article__tags li.links__item")
+            topic_nodes = self._topic_selector(self.precomputed.doc)
             return [node.text_content().strip("\n ") for node in topic_nodes]
+
+    class V1_1(V1):
+        VALID_UNTIL = datetime.date.today()
+        _summary_selector = XPath("//div[@class='intro typo-intro u-richtext']")
+        _paragraph_selector = XPath("//div[@class='article__body']//p[contains(@class,'typo-body-default')]")
+        _subheadline_selector = XPath("//div[@class='article__body']//h2[@class='subheadline-element typo-headline2']")
+
+        _topic_selector = XPath("//ul[@class='tags typo-topic-tag u-blanklist']/li")

tests/resources/parser/test_data/de/Stern.json

@@ -62,5 +62,52 @@
       "Unternehmensberatung",
       "Universität Frankfurt"
     ]
+  },
+  "V1_1": {
+    "authors": [
+      "Phil Göbel"
+    ],
+    "body": {
+      "summary": [
+        "Der Wohnungskonzern Vonovia will neue Rauchmelder installieren. Die bieten nicht nur Vorteile. Doch Mieter haben keine andere Wahl: Wer sich weigert, wird verklagt."
+      ],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "Vonovia steht erneut in der Kritik. Der Immobilienkonzern will sogenannte \"smarte Rauchmelder\" in seinen Wohnungen installieren lassen. Die Krux dabei: Die neuen Geräte können nicht nur Rauchentwicklungen erkennen und Alarm schlagen, sie messen auch, ob in den Wohnungen genug gelüftet und geheizt wird, das berichtet unter anderem der SWR. Die Mieter fühlen sich kontrolliert und überwacht. Zu allem Überfluss sollen sie wegen der Rauchmelder auch noch eine Mieterhöhung hinnehmen."
+          ]
+        },
+        {
+          "headline": [
+            "Mieter sollen für neue Rauchmelder zahlen"
+          ],
+          "paragraphs": [
+            "Die Pläne von Vonovia klingen fast wie ein schlechter Scherz: In vielen Wohnungen müssen in den kommenden Monaten nach zehn Jahren die Rauchmelder getauscht werden, so weit so normal. Auch die Idee, mit smarten Rauchmeldern den neuesten Stand der Technik zu installieren, klingt im ersten Moment nachvollziehbar. Doch die Kosten von 135 Euro für den neuen Melder des Typs \"Multisensor Plus\" will der Konzern auf die Mieter umlegen. Die Grundmiete soll um fünf Euro erhöht werden.",
+            "\"Es sind fünf Euro im Monat, das hält sich in Grenzen, also für meine Verhältnisse. Es gibt aber Mieter im Haus, die zählen jeden Euro, und für die ist jeder Euro Grundmiete zu viel\", erklärt ein betroffener Mieter dem SWR. Vonovia begründet die geplante Mieterhöhung damit, dass die neuen Rauchmelder eine \"technische Verbesserung der Sicherheitstechnik\" seien und beruft sich auf ein Urteil des Bundesgerichtshofs aus dem letzten Jahr. Der Gebrauchswert der Wohnung werde durch die Rauchmelder erhöht, daher würden die Kosten als umlagefähig gelten.",
+            "Das sieht etwa Matthias Bauer von der Verbraucherzentrale Baden-Württemberg anders: \"So einfach geht das nicht\", so Bauer gegenüber dem SWR. Wie Vonovia darauf komme, dass der Fall eine Mieterhöhung rechtfertigt, verstehe er nicht. Der Austausch von Rauchwarnmeldern stelle, anders als der erstmalige Einbau, grundsätzlich keine Modernisierung dar."
+          ]
+        },
+        {
+          "headline": [
+            "Vonovias Rauchmelder: Daten könnten in China und den USA landen"
+          ],
+          "paragraphs": [
+            "Aber auch abgesehen von der Diskussion, wer die Kosten für die smarten Rauchmelder tragen soll, ist der Widerstand gegen die Geräte groß. Und das wohl nicht zu Unrecht. Vonovia betont, die Mieter bräuchten sich keine Sorgen um ihre Datensicherheit machen. Und genau das weckt Misstrauen. Denn der Konzern wirbt dafür, die Rauchmelder über eine hauseigene App zu steuern. Daten wie die Luftfeuchtigkeit oder der Kohlenmonoxidgehalt können in Echtzeit kontrolliert werden. \"Raumklima-Monitoring\" nennt Vonovia das.",
+            "Für Vermieter wirkt das wie ein feuchter Traum: Endlosen Diskussionen über Schimmel in der Wohnung, weil \"schlecht geheizt\" werde, könnten umgangen werden. Die Mieter würden in diesem Punkt ausspioniert werden, auch wenn die Daten angeblich nur 48 Stunden und lokal gespeichert werden sollen. Doch, ob diese Daten überhaupt erhoben werden dürfen, sei laut Bauer fraglich, da durch die Installation \"sehr stark in die Persönlichkeitsrechte jedes Mieters eingegriffen werde\", so der Verbraucherschützer gegenüber dem SWR.",
+            "Wie die \"Zeit\" berichtet, könnten die Daten aber noch deutlich weiter gestreut werden. So werde die britische Firma hinter der Vonovia-App derzeit an ein Unternehmen aus China verkauft. Die Daten der App selbst würden zudem in einer US-amerikanischen Cloud gespeichert. Das bedeute nicht, dass Geheimdienste automatisch auf die Daten deutscher Mieter zugreifen könnten, es sei aber möglich.",
+            "Für Vonovia-Mieter könnte der Streit um die neuen Rauchmelder ein längeres Nachspiel haben. Der Konzern erklärte, er werde \"unsere Mieter freundlich und mehrfach an die gesetzliche Duldungs- und Mitwirkungspflicht erinnern.\" Heißt im Klartext: Wer sich weigert, die neuen Rauchmeldern in seiner Wohnung anbringen zu lassen, könnte mit einer Klage von Vonovia rechnen."
+          ]
+        }
+      ]
+    },
+    "publishing_date": "2024-11-05 17:22:00+01:00",
+    "title": "Neue Rauchmelder spionieren Mieter aus – und die sollen dafür zahlen",
+    "topics": [
+      "Vonovia",
+      "Rauchmelder",
+      "Mieterhöhung",
+      "Immobilie"
+    ]
   }
 }

tests/resources/parser/test_data/de/meta.info

@@ -183,6 +183,10 @@
     "url": "https://www.stern.de/wirtschaft/geld/epi-zahlungssystem--so-kann-europa-paypal--apple-pay-und-visa-schlagen-33420056.html?utm_campaign=alle-nachrichten&utm_medium=rss-feed&utm_source=standard",
     "crawl_date": "2023-04-28 20:32:03.502152"
   },
+  "Stern_2024_11_05.html.gz": {
+    "url": "https://www.stern.de/wirtschaft/immobilien/vonovia-skandal--neue-rauchmelder-spionieren-mieter-aus-35199846.html?utm_campaign=alle-nachrichten&utm_medium=rss-feed&utm_source=standard",
+    "crawl_date": "2024-11-05 17:33:47.692377"
+  },
   "Tagesschau_2023_04_28.html.gz": {
     "url": "https://www.tagesschau.de/inland/innenpolitik/ahrtal-flut-bilanz-100.html",
     "crawl_date": "2023-04-28 20:25:17.117496"