fix(recherche): Suchbegriffe treffen wieder, Verzeichnis ohne Dubletten
Vier Befunde aus dem Vergleich vom 02.08.2026, sortiert nach Wirkung.
1. Mehrwort-Suchbegriffe fielen im RSS-Abgleich durch. Dieselbe Lage lieferte
je nach Titel 79 oder 17 Treffer. Die Keyword-Erzeugung liefert bei
politisch formulierten Titeln Phrasen ("migrationskrise spanien",
"aufnahmeverfahren eu"), das Matching verglich sie als starre Zeichenfolge.
Die Schlagzeile "Migrationskrise in Spanien" enthaelt "migrationskrise
spanien" nicht, wegen des Wortes dazwischen. Aus 53 Artikeln wurden so 16.
Eine Phrase trifft jetzt, wenn alle ihre Bestandteile im Text vorkommen,
unabhaengig von Reihenfolge und Abstand. Die Genauigkeit bleibt erhalten,
nur die starre Reihenfolge faellt weg.
Dazu der Auftrag an die Keyword-Erzeugung: Einzelwoerter statt Phrasen, und
die harten Eigennamen der Lage sind Pflicht. Bei den betroffenen Laeufen
fehlte "ceuta" komplett, dafuer stand "europol migration" in der Liste, was
den Europol-Feed anzog und sieben themenfremde Pressemitteilungen
einbrachte, die der Topic-Filter danach wieder aussortieren musste.
2. Dubletten im Quellenverzeichnis. Lage 56 fuehrte 30 Eintraege fuer 28
Adressen, zweimal dieselbe tagesschau-Meldung unter je zwei Nummern.
Ausgerechnet die strittigste Behauptung, der offene Brief der 22 Staaten,
stuetzte sich damit auf "3 Quellen", von denen zwei derselbe Artikel waren.
Gleiche Adresse heisst jetzt ein Eintrag, Verweise auf die entfernte Nummer
werden auf den behaltenen umgebogen. Verglichen wird ohne Schema, www und
Endschraegstrich.
3. Die Zeitleiste wird deterministisch sortiert. Im selben Bericht sprang der
letzte Eintrag von 12:44 zurueck auf 17:47. Der Auftrag verlangt die
Sortierung zwar vom Modell, im prominentesten Kapitel darf sie aber nicht
von dessen Sorgfalt abhaengen. Gegenprobe an Lage 56: 23:23, 22:09, 17:47,
16:58 statt des Sprungs ans Ende.
4. Weiterleitungen zaehlen als ein Beleg. Sie verbergen ihr Zielmedium, also
laesst sich nicht behaupten, dass dahinter verschiedene Redaktionen stehen.
Die bisherige Einzelzaehlung stellte den Anthropic-Weg rechnerisch besser:
in Lage 57 standen 10 ausgewiesene Belege fuer 7 Haeuser, weil vier der elf
Adressen news.google.com-Weiterleitungen waren.
Gegenprobe an beiden gespeicherten Laeufen: Lage 56 zeigt 28 statt 30
Verzeichniseintraege, beide Berichte zaehlen lueckenlos, die Zeitleiste ist
sortiert.
Neu sind 26 Pruefungen, insgesamt laufen 206 ohne Netzzugriff und ohne Kosten.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Dieser Commit ist enthalten in:
@@ -148,6 +148,53 @@ pruefe("C9 leere Abbildung laesst den Text unveraendert",
|
||||
rg._apply_citation_map(text_alt, {}) == text_alt)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# C3. Doppelte Adressen
|
||||
# ---------------------------------------------------------------------------
|
||||
print("\nC3. Doppelte Adressen im Verzeichnis")
|
||||
# Nachgebaut nach Lage 56: 30 Eintraege, aber nur 28 verschiedene Adressen.
|
||||
# Zweimal dieselbe tagesschau-Meldung stuetzte dort die strittigste Behauptung.
|
||||
doppelt = rg._prepare_sources({"sources_json": json.dumps([
|
||||
{"nr": 22, "name": "tagesschau", "url": "https://www.tagesschau.de/ausland/a-100.html"},
|
||||
{"nr": 23, "name": "tagesschau", "url": "https://www.tagesschau.de/ausland/a-100.html"},
|
||||
{"nr": 24, "name": "tagesschau", "url": "https://www.tagesschau.de/ausland/b-104.html"},
|
||||
{"nr": 25, "name": "tagesschau", "url": "http://tagesschau.de/ausland/b-104.html/"},
|
||||
{"nr": 26, "name": "ZDF heute", "url": "https://www.zdfheute.de/c.html"},
|
||||
], ensure_ascii=False)})
|
||||
pruefe("C10 gleiche Adresse ergibt einen Eintrag", len(doppelt) == 3, len(doppelt))
|
||||
pruefe("C11 die kleinere Nummer bleibt bestehen",
|
||||
[s["nr"] for s in doppelt] == [22, 24, 26], [s["nr"] for s in doppelt])
|
||||
pruefe("C12 Schema, www und Endschraegstrich zaehlen nicht als Unterschied",
|
||||
rg._url_schluessel("https://www.x.de/a/") == rg._url_schluessel("http://x.de/a"))
|
||||
|
||||
neu_d, abb_d = rg._renumber_sources(doppelt)
|
||||
pruefe("C13 Ausgabe zaehlt wieder lueckenlos", [s["nr"] for s in neu_d] == [1, 2, 3],
|
||||
[s["nr"] for s in neu_d])
|
||||
pruefe("C14 Verweis auf die entfernte Nummer zeigt auf den behaltenen Eintrag",
|
||||
abb_d.get(23) == abb_d.get(22) == 1 and abb_d.get(25) == abb_d.get(24) == 2, abb_d)
|
||||
pruefe("C15 Text mit beiden Nummern bleibt aufloesbar",
|
||||
rg._apply_citation_map("Beleg [22] und [23].", abb_d) == "Beleg [1] und [1].",
|
||||
rg._apply_citation_map("Beleg [22] und [23].", abb_d))
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# C4. Zeitliche Sortierung der Neuesten Entwicklungen
|
||||
# ---------------------------------------------------------------------------
|
||||
print("\nC4. Neueste Entwicklungen")
|
||||
# Nachgebaut nach Lage 56: der letzte Eintrag sprang von 12:44 zurueck auf 17:47.
|
||||
roh = "\n".join([
|
||||
"- [01.08. 23:23] Barriere installiert. {A|https://a.de/1}",
|
||||
"- [01.08. 12:44] Italien setzt Schengen aus. {B|https://b.de/1}",
|
||||
"- [01.08. 17:47] Todeszahl steigt. {C|https://c.de/1}",
|
||||
"- [02.08. 00:05] Neuer Tag. {D|https://d.de/1}",
|
||||
])
|
||||
paare = rg._parse_developments_for_export(roh)
|
||||
pruefe("C16 Eintraege stehen absteigend nach Zeit",
|
||||
[p[0][:14] for p in paare] == ["02.08.26, 00:0", "01.08.26, 23:2", "01.08.26, 17:4", "01.08.26, 12:4"],
|
||||
[p[0] for p in paare])
|
||||
pruefe("C17 kein Eintrag geht verloren", len(paare) == 4, len(paare))
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# D. Statistik und Verzeichnis widersprechen sich nicht mehr
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
In neuem Issue referenzieren
Einen Benutzer sperren