fix(recherche): Suchbegriffe treffen wieder, Verzeichnis ohne Dubletten

Vier Befunde aus dem Vergleich vom 02.08.2026, sortiert nach Wirkung.

1. Mehrwort-Suchbegriffe fielen im RSS-Abgleich durch. Dieselbe Lage lieferte
   je nach Titel 79 oder 17 Treffer. Die Keyword-Erzeugung liefert bei
   politisch formulierten Titeln Phrasen ("migrationskrise spanien",
   "aufnahmeverfahren eu"), das Matching verglich sie als starre Zeichenfolge.
   Die Schlagzeile "Migrationskrise in Spanien" enthaelt "migrationskrise
   spanien" nicht, wegen des Wortes dazwischen. Aus 53 Artikeln wurden so 16.
   Eine Phrase trifft jetzt, wenn alle ihre Bestandteile im Text vorkommen,
   unabhaengig von Reihenfolge und Abstand. Die Genauigkeit bleibt erhalten,
   nur die starre Reihenfolge faellt weg.

   Dazu der Auftrag an die Keyword-Erzeugung: Einzelwoerter statt Phrasen, und
   die harten Eigennamen der Lage sind Pflicht. Bei den betroffenen Laeufen
   fehlte "ceuta" komplett, dafuer stand "europol migration" in der Liste, was
   den Europol-Feed anzog und sieben themenfremde Pressemitteilungen
   einbrachte, die der Topic-Filter danach wieder aussortieren musste.

2. Dubletten im Quellenverzeichnis. Lage 56 fuehrte 30 Eintraege fuer 28
   Adressen, zweimal dieselbe tagesschau-Meldung unter je zwei Nummern.
   Ausgerechnet die strittigste Behauptung, der offene Brief der 22 Staaten,
   stuetzte sich damit auf "3 Quellen", von denen zwei derselbe Artikel waren.
   Gleiche Adresse heisst jetzt ein Eintrag, Verweise auf die entfernte Nummer
   werden auf den behaltenen umgebogen. Verglichen wird ohne Schema, www und
   Endschraegstrich.

3. Die Zeitleiste wird deterministisch sortiert. Im selben Bericht sprang der
   letzte Eintrag von 12:44 zurueck auf 17:47. Der Auftrag verlangt die
   Sortierung zwar vom Modell, im prominentesten Kapitel darf sie aber nicht
   von dessen Sorgfalt abhaengen. Gegenprobe an Lage 56: 23:23, 22:09, 17:47,
   16:58 statt des Sprungs ans Ende.

4. Weiterleitungen zaehlen als ein Beleg. Sie verbergen ihr Zielmedium, also
   laesst sich nicht behaupten, dass dahinter verschiedene Redaktionen stehen.
   Die bisherige Einzelzaehlung stellte den Anthropic-Weg rechnerisch besser:
   in Lage 57 standen 10 ausgewiesene Belege fuer 7 Haeuser, weil vier der elf
   Adressen news.google.com-Weiterleitungen waren.

Gegenprobe an beiden gespeicherten Laeufen: Lage 56 zeigt 28 statt 30
Verzeichniseintraege, beide Berichte zaehlen lueckenlos, die Zeitleiste ist
sortiert.

Neu sind 26 Pruefungen, insgesamt laufen 206 ohne Netzzugriff und ohne Kosten.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Dieser Commit ist enthalten in:
claude-dev
2026-08-02 00:43:28 +02:00
Ursprung de3cb7223f
Commit 9868a9748a
8 geänderte Dateien mit 272 neuen und 11 gelöschten Zeilen

Datei anzeigen

@@ -112,7 +112,49 @@ def _prepare_sources(incident: dict) -> list:
aufbereitet.append(kopie)
aufbereitet.sort(key=lambda s: s["nr"] if isinstance(s["nr"], int) else 10**6)
return aufbereitet
return _dubletten_zusammenfuehren(aufbereitet)
def _url_schluessel(url: str) -> str:
"""Vergleichsform einer Adresse: ohne Schema, ohne www, ohne Endschraegstrich."""
text = (url or "").strip().lower()
for praefix in ("https://", "http://"):
if text.startswith(praefix):
text = text[len(praefix):]
if text.startswith("www."):
text = text[4:]
return text.rstrip("/")
def _dubletten_zusammenfuehren(sources: list) -> list:
"""Fuehrt Eintraege mit identischer Adresse auf eine Nummer zusammen.
Im Bericht vom 02.08.2026 standen 30 Eintraege fuer 28 verschiedene
Adressen: zweimal dieselbe tagesschau-Meldung unter je zwei Nummern. Eine
Behauptung wirkte dadurch mit "3 Quellen" belegt, obwohl zwei davon
derselbe Artikel waren. Die kleinere Nummer gewinnt, die groessere wird
unter "alias_nrs" vermerkt, damit die Verweise im Text auf sie umgebogen
werden koennen.
"""
behalten: dict[str, dict] = {}
reihenfolge: list[str] = []
for s in sources:
schluessel = _url_schluessel(s.get("url") or "")
if not schluessel:
reihenfolge.append(id(s))
behalten[id(s)] = s
continue
if schluessel in behalten:
behalten[schluessel].setdefault("alias_nrs", []).append(s.get("nr"))
continue
behalten[schluessel] = s
reihenfolge.append(schluessel)
ergebnis = [behalten[k] for k in reihenfolge]
entfernt = len(sources) - len(ergebnis)
if entfernt:
logger.info("Quellenverzeichnis: %d doppelte Adresse(n) zusammengefuehrt", entfernt)
return ergebnis
def _renumber_sources(sources: list) -> tuple[list, dict]:
@@ -133,6 +175,11 @@ def _renumber_sources(sources: list) -> tuple[list, dict]:
alt = s.get("nr")
if isinstance(alt, int):
abbildung[alt] = position
# Zusammengefuehrte Dubletten zeigen auf denselben Eintrag, damit ein
# Verweis auf die entfernte Nummer nicht ins Leere laeuft.
for alias in kopie.pop("alias_nrs", []) or []:
if isinstance(alias, int):
abbildung[alias] = position
kopie["nr"] = position
neu.append(kopie)
return neu, abbildung
@@ -352,8 +399,16 @@ def _parse_developments_for_export(text: str) -> list[tuple[str, str]]:
continue
yy = year[-2:] if year else year2
label = f"{int(day):02d}.{int(month):02d}.{yy}, {time} Uhr"
result.append((label, body))
return result
stunde, minute = (time.split(":") + ["0"])[:2]
sortierwert = (int(yy), int(month), int(day), int(stunde), int(minute))
result.append((label, body, sortierwert))
# Neueste zuerst. Der Auftrag verlangt diese Reihenfolge zwar schon vom
# Modell, im Bericht vom 02.08.2026 sprang der letzte Eintrag aber von
# 12:44 zurueck auf 17:47. Im prominentesten Kapitel darf das nicht von
# der Sorgfalt des Modells abhaengen, deshalb hier deterministisch.
result.sort(key=lambda e: e[2], reverse=True)
return [(label, body) for label, body, _ in result]
def _format_latest_developments_html(text: str) -> str: