gitmedia/presseportale
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions 2

companies: Adress-Klassifizierung persistieren (Roadmap 1a.2, E1 = 3)

Browse source 
Die Klassifizierung aus dem Trockenlauf wird jetzt nach company_email_groups
geschrieben — eine Zeile je Adresse, denn ob zusammengeführt werden darf, ist
eine Eigenschaft der Adresse und nicht der Firma. Die Zusammenführung (1a.3)
und die laufende Zuordnung neuer API-Meldungen (1a.4) lesen dort, statt den
Trockenlauf jedes Mal neu zu rechnen.

Die Logik liegt jetzt in CompanyAddressClassifier und wird von Bericht und
Persistierung gleichermaßen benutzt. Beide müssen dieselbe Antwort geben —
sonst zeigt der Bericht etwas anderes, als die Zusammenführung später tut.

manual_classification übersteuert die berechnete Klasse und überlebt jede
Neuberechnung. Nötig für Grenzfälle, die nur ein Mensch entscheiden kann:
presse@pr4you.de ist eine echte Agentur, sieht in den Daten aber aus wie eine
Wegwerfadresse. effectiveClassification() ist die einzige Stelle, die
Abnehmer fragen dürfen.

Eigene Tabelle statt Spalten auf companies: Die Tabelle trägt einen
FULLTEXT-Index, jedes ADD COLUMN dort ist ein Rebuild. Die Zuordnung Firma →
Gruppe ist ohnehin nur die normalisierte Adresse, und die eine Stelle, die
festlegt, was "dieselbe Adresse" heißt, ist jetzt Company::emailKey().

E1 ist entschieden: Schwellwert 3, nach drei Live-Läufen. Bei 2 wird jede
zweite Schreibweise zur "Agentur", bei 4 wandern echte Mehrkunden-Adressen in
die Handarbeit. Konfiguriert in config/newsroom.php; Bericht und
Klassifizierung lesen den Wert von dort.

Die Ähnlichkeitsprüfung ist quadratisch und jetzt bei 25 Repräsentanten
gedeckelt — ab da steht die Klasse fest, und yahoo@yahoo.com mit über 4000
Namen hätte sonst neun Millionen Levenshtein-Aufrufe gekostet. Laufzeit über
den ganzen Bestand: 25 s → 3 s, Ergebnis unverändert.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
Kevin Adametz 2026-09-11 09:11:09 +00:00
parent 7c40a0cd98
commit a0ac32cf95
13 changed files with 837 additions and 243 deletions
Download patch file Download diff file Expand all files Collapse all files

51
database/migrations/2026_09_11_100000_create_company_email_groups_table.php Normal file
View file

@ -0,0 +1,51 @@
<?php
use Illuminate\Database\Migrations\Migration;
use Illuminate\Database\Schema\Blueprint;
use Illuminate\Support\Facades\Schema;
/**
* Klassifizierung der Firmen-E-Mail-Adressen für die Newsroom-Konsolidierung
* (Roadmap 1a.2).
*
* Eine Zeile je Adresse, nicht je Firma: Ob zusammengeführt werden darf,
* hängt daran, was alles unter dieser Adresse steht — das ist eine
* Eigenschaft der Adresse. 1a.3 (Zusammenführung im Bestand) und 1a.4
* (laufende Zuordnung neuer API-Meldungen) lesen hier, statt den Trockenlauf
* jedes Mal neu zu rechnen.
*
* `manual_classification` übersteuert die berechnete Klasse und überlebt jede
* Neuberechnung. Nötig, weil die Berechnung Grenzfälle kennt, die nur ein
* Mensch entscheiden kann — eine Agentur, die nie veröffentlicht hat, sieht in
* den Daten aus wie eine Wegwerfadresse.
*
* Bewusst eine eigene Tabelle statt Spalten auf `companies`: Die trägt einen
* FULLTEXT-Index, jedes ADD COLUMN dort ist ein Rebuild. Und die Zuordnung
* Firma → Gruppe ist ohnehin nur die normalisierte Adresse; die steht bereits
* an der Firma.
*/
return new class extends Migration
{
public function up(): void
{
Schema::create('company_email_groups', function (Blueprint $table) {
$table->id();
$table->string('email', 190)->unique();
$table->string('classification', 32);
$table->string('manual_classification', 32)->nullable();
$table->unsignedInteger('companies_count');
$table->unsignedInteger('distinct_names');
$table->unsignedInteger('published_companies_count');
$table->unsignedSmallInteger('threshold');
$table->timestamp('classified_at');
$table->timestamps();
$table->index('classification', 'company_email_groups_classification_idx');
});
}
public function down(): void
{
Schema::dropIfExists('company_email_groups');
}
};