fix(recherche): Suchbegriffe treffen wieder, Verzeichnis ohne Dubletten
Vier Befunde aus dem Vergleich vom 02.08.2026, sortiert nach Wirkung.
1. Mehrwort-Suchbegriffe fielen im RSS-Abgleich durch. Dieselbe Lage lieferte
je nach Titel 79 oder 17 Treffer. Die Keyword-Erzeugung liefert bei
politisch formulierten Titeln Phrasen ("migrationskrise spanien",
"aufnahmeverfahren eu"), das Matching verglich sie als starre Zeichenfolge.
Die Schlagzeile "Migrationskrise in Spanien" enthaelt "migrationskrise
spanien" nicht, wegen des Wortes dazwischen. Aus 53 Artikeln wurden so 16.
Eine Phrase trifft jetzt, wenn alle ihre Bestandteile im Text vorkommen,
unabhaengig von Reihenfolge und Abstand. Die Genauigkeit bleibt erhalten,
nur die starre Reihenfolge faellt weg.
Dazu der Auftrag an die Keyword-Erzeugung: Einzelwoerter statt Phrasen, und
die harten Eigennamen der Lage sind Pflicht. Bei den betroffenen Laeufen
fehlte "ceuta" komplett, dafuer stand "europol migration" in der Liste, was
den Europol-Feed anzog und sieben themenfremde Pressemitteilungen
einbrachte, die der Topic-Filter danach wieder aussortieren musste.
2. Dubletten im Quellenverzeichnis. Lage 56 fuehrte 30 Eintraege fuer 28
Adressen, zweimal dieselbe tagesschau-Meldung unter je zwei Nummern.
Ausgerechnet die strittigste Behauptung, der offene Brief der 22 Staaten,
stuetzte sich damit auf "3 Quellen", von denen zwei derselbe Artikel waren.
Gleiche Adresse heisst jetzt ein Eintrag, Verweise auf die entfernte Nummer
werden auf den behaltenen umgebogen. Verglichen wird ohne Schema, www und
Endschraegstrich.
3. Die Zeitleiste wird deterministisch sortiert. Im selben Bericht sprang der
letzte Eintrag von 12:44 zurueck auf 17:47. Der Auftrag verlangt die
Sortierung zwar vom Modell, im prominentesten Kapitel darf sie aber nicht
von dessen Sorgfalt abhaengen. Gegenprobe an Lage 56: 23:23, 22:09, 17:47,
16:58 statt des Sprungs ans Ende.
4. Weiterleitungen zaehlen als ein Beleg. Sie verbergen ihr Zielmedium, also
laesst sich nicht behaupten, dass dahinter verschiedene Redaktionen stehen.
Die bisherige Einzelzaehlung stellte den Anthropic-Weg rechnerisch besser:
in Lage 57 standen 10 ausgewiesene Belege fuer 7 Haeuser, weil vier der elf
Adressen news.google.com-Weiterleitungen waren.
Gegenprobe an beiden gespeicherten Laeufen: Lage 56 zeigt 28 statt 30
Verzeichniseintraege, beide Berichte zaehlen lueckenlos, die Zeitleiste ist
sortiert.
Neu sind 26 Pruefungen, insgesamt laufen 206 ohne Netzzugriff und ohne Kosten.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Dieser Commit ist enthalten in:
claude-dev
@@ -66,8 +66,21 @@ redirects = [
|
||||
"https://news.google.com/rss/articles/AAA?oc=5",
|
||||
"https://news.google.com/rss/articles/BBB?oc=5",
|
||||
]
|
||||
pruefe("A3 zwei Weiterleitungen bleiben zwei, sie koennen zwei Zeitungen sein",
|
||||
fc.zaehle_medienhaeuser(redirects) == 2, fc.zaehle_medienhaeuser(redirects))
|
||||
pruefe("A3 Weiterleitungen zaehlen zusammen als ein Beleg",
|
||||
fc.zaehle_medienhaeuser(redirects) == 1, fc.zaehle_medienhaeuser(redirects))
|
||||
# Der gemeldete Fall aus Lage 57: 11 Adressen, davon vier Weiterleitungen,
|
||||
# ergaben eine ausgewiesene Belegzahl von 10 bei tatsaechlich 7 Haeusern.
|
||||
lage57 = [
|
||||
"https://news.google.com/rss/articles/A?oc=5",
|
||||
"https://news.google.com/rss/articles/B?oc=5",
|
||||
"https://news.google.com/rss/articles/C?oc=5",
|
||||
"https://news.google.com/rss/articles/D?oc=5",
|
||||
"https://www.tagesschau.de/a.html", "https://www.tagesschau.de/b.html",
|
||||
"https://www.france24.com/x", "https://www.theguardian.com/y",
|
||||
"https://www.ft.com/z", "https://www.aljazeera.com/q", "https://www.bbc.co.uk/r",
|
||||
]
|
||||
pruefe("A3b elf Adressen mit vier Weiterleitungen ergeben sieben Belege",
|
||||
fc.zaehle_medienhaeuser(lage57) == 7, fc.zaehle_medienhaeuser(lage57))
|
||||
pruefe("A4 Satzzeichen am Adressende stoeren nicht",
|
||||
fc.zaehle_medienhaeuser(["https://www.zeit.de/a.html)."]) == 1)
|
||||
pruefe("A5 leere Liste ergibt null", fc.zaehle_medienhaeuser([]) == 0)
|
||||
|
||||
@@ -148,6 +148,53 @@ pruefe("C9 leere Abbildung laesst den Text unveraendert",
|
||||
rg._apply_citation_map(text_alt, {}) == text_alt)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# C3. Doppelte Adressen
|
||||
# ---------------------------------------------------------------------------
|
||||
print("\nC3. Doppelte Adressen im Verzeichnis")
|
||||
# Nachgebaut nach Lage 56: 30 Eintraege, aber nur 28 verschiedene Adressen.
|
||||
# Zweimal dieselbe tagesschau-Meldung stuetzte dort die strittigste Behauptung.
|
||||
doppelt = rg._prepare_sources({"sources_json": json.dumps([
|
||||
{"nr": 22, "name": "tagesschau", "url": "https://www.tagesschau.de/ausland/a-100.html"},
|
||||
{"nr": 23, "name": "tagesschau", "url": "https://www.tagesschau.de/ausland/a-100.html"},
|
||||
{"nr": 24, "name": "tagesschau", "url": "https://www.tagesschau.de/ausland/b-104.html"},
|
||||
{"nr": 25, "name": "tagesschau", "url": "http://tagesschau.de/ausland/b-104.html/"},
|
||||
{"nr": 26, "name": "ZDF heute", "url": "https://www.zdfheute.de/c.html"},
|
||||
], ensure_ascii=False)})
|
||||
pruefe("C10 gleiche Adresse ergibt einen Eintrag", len(doppelt) == 3, len(doppelt))
|
||||
pruefe("C11 die kleinere Nummer bleibt bestehen",
|
||||
[s["nr"] for s in doppelt] == [22, 24, 26], [s["nr"] for s in doppelt])
|
||||
pruefe("C12 Schema, www und Endschraegstrich zaehlen nicht als Unterschied",
|
||||
rg._url_schluessel("https://www.x.de/a/") == rg._url_schluessel("http://x.de/a"))
|
||||
|
||||
neu_d, abb_d = rg._renumber_sources(doppelt)
|
||||
pruefe("C13 Ausgabe zaehlt wieder lueckenlos", [s["nr"] for s in neu_d] == [1, 2, 3],
|
||||
[s["nr"] for s in neu_d])
|
||||
pruefe("C14 Verweis auf die entfernte Nummer zeigt auf den behaltenen Eintrag",
|
||||
abb_d.get(23) == abb_d.get(22) == 1 and abb_d.get(25) == abb_d.get(24) == 2, abb_d)
|
||||
pruefe("C15 Text mit beiden Nummern bleibt aufloesbar",
|
||||
rg._apply_citation_map("Beleg [22] und [23].", abb_d) == "Beleg [1] und [1].",
|
||||
rg._apply_citation_map("Beleg [22] und [23].", abb_d))
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# C4. Zeitliche Sortierung der Neuesten Entwicklungen
|
||||
# ---------------------------------------------------------------------------
|
||||
print("\nC4. Neueste Entwicklungen")
|
||||
# Nachgebaut nach Lage 56: der letzte Eintrag sprang von 12:44 zurueck auf 17:47.
|
||||
roh = "\n".join([
|
||||
"- [01.08. 23:23] Barriere installiert. {A|https://a.de/1}",
|
||||
"- [01.08. 12:44] Italien setzt Schengen aus. {B|https://b.de/1}",
|
||||
"- [01.08. 17:47] Todeszahl steigt. {C|https://c.de/1}",
|
||||
"- [02.08. 00:05] Neuer Tag. {D|https://d.de/1}",
|
||||
])
|
||||
paare = rg._parse_developments_for_export(roh)
|
||||
pruefe("C16 Eintraege stehen absteigend nach Zeit",
|
||||
[p[0][:14] for p in paare] == ["02.08.26, 00:0", "01.08.26, 23:2", "01.08.26, 17:4", "01.08.26, 12:4"],
|
||||
[p[0] for p in paare])
|
||||
pruefe("C17 kein Eintrag geht verloren", len(paare) == 4, len(paare))
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# D. Statistik und Verzeichnis widersprechen sich nicht mehr
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
105
tests/test_rss_treffer.py
Normale Datei
105
tests/test_rss_treffer.py
Normale Datei
@@ -0,0 +1,105 @@
|
||||
"""Testet das Keyword-Matching der RSS-Auswertung.
|
||||
|
||||
Hintergrund: Dieselbe Lage lieferte am 01.08.2026 je nach Titel 79 oder 17
|
||||
RSS-Treffer. Ursache war die Kombination aus zwei Dingen. Die
|
||||
Keyword-Erzeugung lieferte fuer den politisch formulierten Titel Phrasen
|
||||
("migrationskrise spanien", "aufnahmeverfahren eu") statt Einzelbegriffe, und
|
||||
das Matching verglich diese Phrasen als starre Zeichenfolge. Die Schlagzeile
|
||||
"Migrationskrise in Spanien" enthaelt "migrationskrise spanien" nicht, wegen
|
||||
des Wortes dazwischen. Aus 53 Artikeln wurden so 16.
|
||||
|
||||
Laeuft ohne Netzzugriff und ohne Kosten.
|
||||
|
||||
Aufruf aus dem Projektstamm:
|
||||
venv/bin/python tests/test_rss_treffer.py
|
||||
"""
|
||||
import os
|
||||
import sys
|
||||
|
||||
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "src"))
|
||||
|
||||
from feeds.rss_parser import wort_trifft, _is_specific_word # noqa: E402
|
||||
from agents.researcher import FEED_SELECTION_PROMPT_TEMPLATE # noqa: E402
|
||||
|
||||
ok = 0
|
||||
fail = 0
|
||||
|
||||
|
||||
def pruefe(name, bedingung, extra=""):
|
||||
global ok, fail
|
||||
if bedingung:
|
||||
ok += 1
|
||||
print(" OK " + name)
|
||||
else:
|
||||
fail += 1
|
||||
print(" FEHL " + name + " " + str(extra))
|
||||
|
||||
|
||||
SCHLAGZEILE = (
|
||||
"migrationskrise in spanien: eu-innenminister beraten am dienstag über ceuta"
|
||||
).lower()
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# A. Einzelbegriffe verhalten sich wie bisher
|
||||
# ---------------------------------------------------------------------------
|
||||
print("\nA. Einzelbegriffe")
|
||||
pruefe("A1 enthaltenes Wort trifft", wort_trifft("ceuta", SCHLAGZEILE))
|
||||
pruefe("A2 nicht enthaltenes Wort trifft nicht", not wort_trifft("marokko", SCHLAGZEILE))
|
||||
pruefe("A3 Wortteil trifft weiterhin (Komposita)", wort_trifft("migration", SCHLAGZEILE))
|
||||
pruefe("A4 leeres Wort trifft nie", not wort_trifft("", SCHLAGZEILE))
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# B. Phrasen treffen wortweise
|
||||
# ---------------------------------------------------------------------------
|
||||
print("\nB. Mehrwort-Begriffe")
|
||||
pruefe("B1 Phrase mit Wort dazwischen trifft jetzt",
|
||||
wort_trifft("migrationskrise spanien", SCHLAGZEILE))
|
||||
pruefe("B2 Phrase in umgekehrter Reihenfolge trifft",
|
||||
wort_trifft("spanien migrationskrise", SCHLAGZEILE))
|
||||
pruefe("B3 zusammenhaengende Phrase trifft weiterhin",
|
||||
wort_trifft("eu-innenminister beraten", SCHLAGZEILE))
|
||||
pruefe("B4 fehlt ein Bestandteil, trifft die Phrase nicht",
|
||||
not wort_trifft("migrationskrise portugal", SCHLAGZEILE))
|
||||
pruefe("B5 abstrakte Phrase ohne Bezug trifft nicht",
|
||||
not wort_trifft("aufnahmeverfahren eu", SCHLAGZEILE))
|
||||
|
||||
# Der gemeldete Fall: zehn Begriffe, davon neun Phrasen.
|
||||
KEYWORDS_LAGE_55 = [
|
||||
"migrationskrise spanien", "eu-innenminister", "südgrenze spanien",
|
||||
"mittelmeer migration", "grenzschutz europa", "flüchtlinge mittelmeer",
|
||||
"überfahrten mittelmeer", "schengen-außengrenzen", "europol migration",
|
||||
"aufnahmeverfahren eu",
|
||||
]
|
||||
treffer = sum(1 for w in KEYWORDS_LAGE_55 if wort_trifft(w, SCHLAGZEILE))
|
||||
alt_treffer = sum(1 for w in KEYWORDS_LAGE_55 if w in SCHLAGZEILE)
|
||||
pruefe("B6 der gemeldete Keyword-Satz trifft die Schlagzeile jetzt",
|
||||
treffer >= 2, (treffer, alt_treffer))
|
||||
pruefe("B7 vorher traf nur der eine Einzelbegriff", alt_treffer == 1, alt_treffer)
|
||||
|
||||
# Die Schwelle bleibt unveraendert streng: ohne spezifisches Wort im Text
|
||||
# braucht es mehrere Treffer.
|
||||
FREMDE = "fussball bundesliga spieltag zusammenfassung".lower()
|
||||
pruefe("B8 fremde Schlagzeile bleibt ohne Treffer",
|
||||
sum(1 for w in KEYWORDS_LAGE_55 if wort_trifft(w, FREMDE)) == 0)
|
||||
pruefe("B9 Spezifik-Erkennung unveraendert",
|
||||
_is_specific_word("migrationskrise spanien") and not _is_specific_word("eu"))
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# C. Der Auftrag verlangt Einzelbegriffe und Eigennamen
|
||||
# ---------------------------------------------------------------------------
|
||||
print("\nC. Auftrag an die Keyword-Erzeugung")
|
||||
for stichwort, name in (
|
||||
("EINZELWÖRTER", "C1 Einzelwoerter statt Phrasen gefordert"),
|
||||
("Eigennamen der Lage MÜSSEN", "C2 Eigennamen sind Pflicht"),
|
||||
("Schauplatz", "C3 Schauplatz wird ausdruecklich genannt"),
|
||||
("KEINE abstrakten Politikbegriffe", "C4 abstrakte Begriffe ausgeschlossen"),
|
||||
):
|
||||
pruefe(name, stichwort in FEED_SELECTION_PROMPT_TEMPLATE)
|
||||
pruefe("C5 Beispiel nennt den konkreten Fehlerfall",
|
||||
"ceuta" in FEED_SELECTION_PROMPT_TEMPLATE.lower())
|
||||
|
||||
print("\nErgebnis: " + str(ok) + " bestanden, " + str(fail) + " fehlgeschlagen")
|
||||
sys.exit(1 if fail else 0)
|
||||
In neuem Issue referenzieren
Einen Benutzer sperren