fix(recherche): Suchbegriffe treffen wieder, Verzeichnis ohne Dubletten

Vier Befunde aus dem Vergleich vom 02.08.2026, sortiert nach Wirkung.

1. Mehrwort-Suchbegriffe fielen im RSS-Abgleich durch. Dieselbe Lage lieferte
   je nach Titel 79 oder 17 Treffer. Die Keyword-Erzeugung liefert bei
   politisch formulierten Titeln Phrasen ("migrationskrise spanien",
   "aufnahmeverfahren eu"), das Matching verglich sie als starre Zeichenfolge.
   Die Schlagzeile "Migrationskrise in Spanien" enthaelt "migrationskrise
   spanien" nicht, wegen des Wortes dazwischen. Aus 53 Artikeln wurden so 16.
   Eine Phrase trifft jetzt, wenn alle ihre Bestandteile im Text vorkommen,
   unabhaengig von Reihenfolge und Abstand. Die Genauigkeit bleibt erhalten,
   nur die starre Reihenfolge faellt weg.

   Dazu der Auftrag an die Keyword-Erzeugung: Einzelwoerter statt Phrasen, und
   die harten Eigennamen der Lage sind Pflicht. Bei den betroffenen Laeufen
   fehlte "ceuta" komplett, dafuer stand "europol migration" in der Liste, was
   den Europol-Feed anzog und sieben themenfremde Pressemitteilungen
   einbrachte, die der Topic-Filter danach wieder aussortieren musste.

2. Dubletten im Quellenverzeichnis. Lage 56 fuehrte 30 Eintraege fuer 28
   Adressen, zweimal dieselbe tagesschau-Meldung unter je zwei Nummern.
   Ausgerechnet die strittigste Behauptung, der offene Brief der 22 Staaten,
   stuetzte sich damit auf "3 Quellen", von denen zwei derselbe Artikel waren.
   Gleiche Adresse heisst jetzt ein Eintrag, Verweise auf die entfernte Nummer
   werden auf den behaltenen umgebogen. Verglichen wird ohne Schema, www und
   Endschraegstrich.

3. Die Zeitleiste wird deterministisch sortiert. Im selben Bericht sprang der
   letzte Eintrag von 12:44 zurueck auf 17:47. Der Auftrag verlangt die
   Sortierung zwar vom Modell, im prominentesten Kapitel darf sie aber nicht
   von dessen Sorgfalt abhaengen. Gegenprobe an Lage 56: 23:23, 22:09, 17:47,
   16:58 statt des Sprungs ans Ende.

4. Weiterleitungen zaehlen als ein Beleg. Sie verbergen ihr Zielmedium, also
   laesst sich nicht behaupten, dass dahinter verschiedene Redaktionen stehen.
   Die bisherige Einzelzaehlung stellte den Anthropic-Weg rechnerisch besser:
   in Lage 57 standen 10 ausgewiesene Belege fuer 7 Haeuser, weil vier der elf
   Adressen news.google.com-Weiterleitungen waren.

Gegenprobe an beiden gespeicherten Laeufen: Lage 56 zeigt 28 statt 30
Verzeichniseintraege, beide Berichte zaehlen lueckenlos, die Zeitleiste ist
sortiert.

Neu sind 26 Pruefungen, insgesamt laufen 206 ohne Netzzugriff und ohne Kosten.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Dieser Commit ist enthalten in:
claude-dev
2026-08-02 00:43:28 +02:00
Ursprung de3cb7223f
Commit 9868a9748a
8 geänderte Dateien mit 272 neuen und 11 gelöschten Zeilen

Datei anzeigen

@@ -434,9 +434,14 @@ def zaehle_medienhaeuser(urls: list[str]) -> int:
Sechs France24-Treffer, davon vier Videofassungen derselben Meldung, sind
ein Haus und kein sechsfacher Beleg. Gezaehlt wird deshalb nach
registrierbarer Domain. Weiterleitungsportale bekommen keine gemeinsame
Identitaet, weil hinter news.google.com beliebige Zeitungen stecken
koennen: dort zaehlt jede Adresse einzeln.
registrierbarer Domain.
Weiterleitungen ueber Sammelportale zaehlen zusammen als EIN Beleg. Sie
verbergen ihr Zielmedium, also laesst sich nicht behaupten, dass dahinter
verschiedene Redaktionen stehen. Vier news.google.com-Adressen als vier
unabhaengige Quellen zu zaehlen, hat im Vergleich vom 02.08.2026 den
Anthropic-Weg rechnerisch bessergestellt: dort standen 10 Belege fuer
tatsaechlich 7 Haeuser, davon vier Weiterleitungen.
"""
from services import media_registry
@@ -448,7 +453,7 @@ def zaehle_medienhaeuser(urls: list[str]) -> int:
domain = media_registry.registrable_domain(sauber)
if not domain:
continue
haeuser.add(sauber.lower() if media_registry.ist_aggregator(sauber) else domain)
haeuser.add("weiterleitung" if media_registry.ist_aggregator(sauber) else domain)
return len(haeuser)

Datei anzeigen

@@ -413,6 +413,15 @@ KEYWORDS-REGELN:
- Wenn die Lage rein deutsch oder englisch ist und keine fremdsprachigen Feeds gewählt werden,
reichen "de" und/oder "en".
- Nur inhaltlich relevante Begriffe (Personen, Orte, Themen, Organisationen)
- EINZELWÖRTER, keine Phrasen. "ceuta" und "migranten" statt "migrationskrise spanien".
Die Begriffe werden gegen Schlagzeilen geprüft, und dort steht selten die exakte
Wortfolge einer Phrase. Nur wo ein Begriff untrennbar ist (Eigenname wie
"nord stream"), darf er aus zwei Wörtern bestehen.
- Die HARTEN Eigennamen der Lage MÜSSEN dabei sein: Schauplatz (Ort, Region), beteiligte
Länder, handelnde Personen, betroffene Organisationen. Eine Lage über Ceuta ohne das
Wort "ceuta" ist unbrauchbar. Diese Namen zuerst nennen, danach die Sachbegriffe.
- KEINE abstrakten Politikbegriffe als Suchwort ("aufnahmeverfahren", "grenzschutz europa").
Sie stehen fast nie in einer Schlagzeile und ziehen dafür themenfremde Behördenfeeds an.
- KEINE Jahreszahlen (2024, 2025, 2026 etc.)
- KEINE Monatsnamen (Januar, Februar, März etc.)
- KEINE generischen Wörter (aktuell, news, update etc.)