fix(recherche): Suchbegriffe treffen wieder, Verzeichnis ohne Dubletten
Vier Befunde aus dem Vergleich vom 02.08.2026, sortiert nach Wirkung.
1. Mehrwort-Suchbegriffe fielen im RSS-Abgleich durch. Dieselbe Lage lieferte
je nach Titel 79 oder 17 Treffer. Die Keyword-Erzeugung liefert bei
politisch formulierten Titeln Phrasen ("migrationskrise spanien",
"aufnahmeverfahren eu"), das Matching verglich sie als starre Zeichenfolge.
Die Schlagzeile "Migrationskrise in Spanien" enthaelt "migrationskrise
spanien" nicht, wegen des Wortes dazwischen. Aus 53 Artikeln wurden so 16.
Eine Phrase trifft jetzt, wenn alle ihre Bestandteile im Text vorkommen,
unabhaengig von Reihenfolge und Abstand. Die Genauigkeit bleibt erhalten,
nur die starre Reihenfolge faellt weg.
Dazu der Auftrag an die Keyword-Erzeugung: Einzelwoerter statt Phrasen, und
die harten Eigennamen der Lage sind Pflicht. Bei den betroffenen Laeufen
fehlte "ceuta" komplett, dafuer stand "europol migration" in der Liste, was
den Europol-Feed anzog und sieben themenfremde Pressemitteilungen
einbrachte, die der Topic-Filter danach wieder aussortieren musste.
2. Dubletten im Quellenverzeichnis. Lage 56 fuehrte 30 Eintraege fuer 28
Adressen, zweimal dieselbe tagesschau-Meldung unter je zwei Nummern.
Ausgerechnet die strittigste Behauptung, der offene Brief der 22 Staaten,
stuetzte sich damit auf "3 Quellen", von denen zwei derselbe Artikel waren.
Gleiche Adresse heisst jetzt ein Eintrag, Verweise auf die entfernte Nummer
werden auf den behaltenen umgebogen. Verglichen wird ohne Schema, www und
Endschraegstrich.
3. Die Zeitleiste wird deterministisch sortiert. Im selben Bericht sprang der
letzte Eintrag von 12:44 zurueck auf 17:47. Der Auftrag verlangt die
Sortierung zwar vom Modell, im prominentesten Kapitel darf sie aber nicht
von dessen Sorgfalt abhaengen. Gegenprobe an Lage 56: 23:23, 22:09, 17:47,
16:58 statt des Sprungs ans Ende.
4. Weiterleitungen zaehlen als ein Beleg. Sie verbergen ihr Zielmedium, also
laesst sich nicht behaupten, dass dahinter verschiedene Redaktionen stehen.
Die bisherige Einzelzaehlung stellte den Anthropic-Weg rechnerisch besser:
in Lage 57 standen 10 ausgewiesene Belege fuer 7 Haeuser, weil vier der elf
Adressen news.google.com-Weiterleitungen waren.
Gegenprobe an beiden gespeicherten Laeufen: Lage 56 zeigt 28 statt 30
Verzeichniseintraege, beide Berichte zaehlen lueckenlos, die Zeitleiste ist
sortiert.
Neu sind 26 Pruefungen, insgesamt laufen 206 ohne Netzzugriff und ohne Kosten.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Dieser Commit ist enthalten in:
@@ -112,7 +112,49 @@ def _prepare_sources(incident: dict) -> list:
|
||||
aufbereitet.append(kopie)
|
||||
|
||||
aufbereitet.sort(key=lambda s: s["nr"] if isinstance(s["nr"], int) else 10**6)
|
||||
return aufbereitet
|
||||
return _dubletten_zusammenfuehren(aufbereitet)
|
||||
|
||||
|
||||
def _url_schluessel(url: str) -> str:
|
||||
"""Vergleichsform einer Adresse: ohne Schema, ohne www, ohne Endschraegstrich."""
|
||||
text = (url or "").strip().lower()
|
||||
for praefix in ("https://", "http://"):
|
||||
if text.startswith(praefix):
|
||||
text = text[len(praefix):]
|
||||
if text.startswith("www."):
|
||||
text = text[4:]
|
||||
return text.rstrip("/")
|
||||
|
||||
|
||||
def _dubletten_zusammenfuehren(sources: list) -> list:
|
||||
"""Fuehrt Eintraege mit identischer Adresse auf eine Nummer zusammen.
|
||||
|
||||
Im Bericht vom 02.08.2026 standen 30 Eintraege fuer 28 verschiedene
|
||||
Adressen: zweimal dieselbe tagesschau-Meldung unter je zwei Nummern. Eine
|
||||
Behauptung wirkte dadurch mit "3 Quellen" belegt, obwohl zwei davon
|
||||
derselbe Artikel waren. Die kleinere Nummer gewinnt, die groessere wird
|
||||
unter "alias_nrs" vermerkt, damit die Verweise im Text auf sie umgebogen
|
||||
werden koennen.
|
||||
"""
|
||||
behalten: dict[str, dict] = {}
|
||||
reihenfolge: list[str] = []
|
||||
for s in sources:
|
||||
schluessel = _url_schluessel(s.get("url") or "")
|
||||
if not schluessel:
|
||||
reihenfolge.append(id(s))
|
||||
behalten[id(s)] = s
|
||||
continue
|
||||
if schluessel in behalten:
|
||||
behalten[schluessel].setdefault("alias_nrs", []).append(s.get("nr"))
|
||||
continue
|
||||
behalten[schluessel] = s
|
||||
reihenfolge.append(schluessel)
|
||||
|
||||
ergebnis = [behalten[k] for k in reihenfolge]
|
||||
entfernt = len(sources) - len(ergebnis)
|
||||
if entfernt:
|
||||
logger.info("Quellenverzeichnis: %d doppelte Adresse(n) zusammengefuehrt", entfernt)
|
||||
return ergebnis
|
||||
|
||||
|
||||
def _renumber_sources(sources: list) -> tuple[list, dict]:
|
||||
@@ -133,6 +175,11 @@ def _renumber_sources(sources: list) -> tuple[list, dict]:
|
||||
alt = s.get("nr")
|
||||
if isinstance(alt, int):
|
||||
abbildung[alt] = position
|
||||
# Zusammengefuehrte Dubletten zeigen auf denselben Eintrag, damit ein
|
||||
# Verweis auf die entfernte Nummer nicht ins Leere laeuft.
|
||||
for alias in kopie.pop("alias_nrs", []) or []:
|
||||
if isinstance(alias, int):
|
||||
abbildung[alias] = position
|
||||
kopie["nr"] = position
|
||||
neu.append(kopie)
|
||||
return neu, abbildung
|
||||
@@ -352,8 +399,16 @@ def _parse_developments_for_export(text: str) -> list[tuple[str, str]]:
|
||||
continue
|
||||
yy = year[-2:] if year else year2
|
||||
label = f"{int(day):02d}.{int(month):02d}.{yy}, {time} Uhr"
|
||||
result.append((label, body))
|
||||
return result
|
||||
stunde, minute = (time.split(":") + ["0"])[:2]
|
||||
sortierwert = (int(yy), int(month), int(day), int(stunde), int(minute))
|
||||
result.append((label, body, sortierwert))
|
||||
|
||||
# Neueste zuerst. Der Auftrag verlangt diese Reihenfolge zwar schon vom
|
||||
# Modell, im Bericht vom 02.08.2026 sprang der letzte Eintrag aber von
|
||||
# 12:44 zurueck auf 17:47. Im prominentesten Kapitel darf das nicht von
|
||||
# der Sorgfalt des Modells abhaengen, deshalb hier deterministisch.
|
||||
result.sort(key=lambda e: e[2], reverse=True)
|
||||
return [(label, body) for label, body, _ in result]
|
||||
|
||||
|
||||
def _format_latest_developments_html(text: str) -> str:
|
||||
|
||||
In neuem Issue referenzieren
Einen Benutzer sperren