presseportale/app/Services/Company/CompanyMergeReport.php
Kevin Adametz a0ac32cf95 companies: Adress-Klassifizierung persistieren (Roadmap 1a.2, E1 = 3)
Die Klassifizierung aus dem Trockenlauf wird jetzt nach company_email_groups
geschrieben — eine Zeile je Adresse, denn ob zusammengeführt werden darf, ist
eine Eigenschaft der Adresse und nicht der Firma. Die Zusammenführung (1a.3)
und die laufende Zuordnung neuer API-Meldungen (1a.4) lesen dort, statt den
Trockenlauf jedes Mal neu zu rechnen.

Die Logik liegt jetzt in CompanyAddressClassifier und wird von Bericht und
Persistierung gleichermaßen benutzt. Beide müssen dieselbe Antwort geben —
sonst zeigt der Bericht etwas anderes, als die Zusammenführung später tut.

manual_classification übersteuert die berechnete Klasse und überlebt jede
Neuberechnung. Nötig für Grenzfälle, die nur ein Mensch entscheiden kann:
presse@pr4you.de ist eine echte Agentur, sieht in den Daten aber aus wie eine
Wegwerfadresse. effectiveClassification() ist die einzige Stelle, die
Abnehmer fragen dürfen.

Eigene Tabelle statt Spalten auf companies: Die Tabelle trägt einen
FULLTEXT-Index, jedes ADD COLUMN dort ist ein Rebuild. Die Zuordnung Firma →
Gruppe ist ohnehin nur die normalisierte Adresse, und die eine Stelle, die
festlegt, was "dieselbe Adresse" heißt, ist jetzt Company::emailKey().

E1 ist entschieden: Schwellwert 3, nach drei Live-Läufen. Bei 2 wird jede
zweite Schreibweise zur "Agentur", bei 4 wandern echte Mehrkunden-Adressen in
die Handarbeit. Konfiguriert in config/newsroom.php; Bericht und
Klassifizierung lesen den Wert von dort.

Die Ähnlichkeitsprüfung ist quadratisch und jetzt bei 25 Repräsentanten
gedeckelt — ab da steht die Klasse fest, und yahoo@yahoo.com mit über 4000
Namen hätte sonst neun Millionen Levenshtein-Aufrufe gekostet. Laufzeit über
den ganzen Bestand: 25 s → 3 s, Ergebnis unverändert.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-09-11 09:11:09 +00:00

102 lines
4 KiB
PHP

<?php
namespace App\Services\Company;
use App\Enums\CompanyAddressClass;
use App\Models\Company;
use App\Scopes\PortalScope;
use Illuminate\Support\Str;
/**
* Trockenlauf-Bericht zur Newsroom-Konsolidierung (Roadmap 1a.1).
*
* Beantwortet die Frage, die vor jeder Zusammenführung stehen muss: Wie viele
* Firmen fallen über die Firmen-E-Mail zusammen, und welche Adressen tragen in
* Wahrheit mehrere verschiedene Firmen? Die Klassifizierung selbst liegt im
* CompanyAddressClassifier — derselbe Code, den auch die Persistierung (1a.2)
* benutzt, damit Bericht und spätere Zusammenführung dieselbe Antwort geben.
*/
class CompanyMergeReport
{
public function __construct(private readonly CompanyAddressClassifier $classifier) {}
/**
* @param int $collectionThreshold ab wie vielen abweichenden Namen eine Adresse als Sammeladresse gilt (Entscheidung E1)
* @return array{
* schwellwert: int,
* gesamt: array{firmen: int, adressen_mehrfach: int, firmen_mehrfach: int},
* klassen: list<array{klasse: string, beschreibung: string, adressen: int, firmen: int, faellt_weg: int, firmen_mit_pm: int}>,
* sammeladressen: list<array{email: string, namen: int, firmen: int, firmen_mit_pm: int, beispiele: string}>,
* nie_veroeffentlicht: list<array{email: string, namen: int, firmen: int, firmen_mit_pm: int}>,
* }
*/
public function build(int $collectionThreshold, int $limit = 15): array
{
$groups = $this->classifier->classifyAll($collectionThreshold);
$classes = [];
foreach (CompanyAddressClass::cases() as $class) {
$classes[$class->value] = [
'klasse' => $class->value,
'beschreibung' => $class->description(),
'adressen' => 0,
'firmen' => 0,
'faellt_weg' => 0,
'firmen_mit_pm' => 0,
];
}
$collections = [];
$junk = [];
foreach ($groups as $group) {
$class = $group['klasse'];
$key = $class->value;
$classes[$key]['adressen']++;
$classes[$key]['firmen'] += $group['firmen'];
$classes[$key]['firmen_mit_pm'] += $group['firmen_mit_pm'];
// Wegfallen können nur die Klassen, die tatsächlich verschmolzen
// werden. Bei allem anderen bleibt jede Firma stehen.
if ($class->isMergeable()) {
$classes[$key]['faellt_weg'] += $group['firmen'] - 1;
}
if ($class === CompanyAddressClass::CollectionAddress) {
$collections[] = [
'email' => $group['email'],
'namen' => $group['namen'],
'firmen' => $group['firmen'],
'firmen_mit_pm' => $group['firmen_mit_pm'],
'beispiele' => Str::limit(implode(' | ', array_slice($group['beispiele'], 0, 3)), 90),
];
}
if ($class === CompanyAddressClass::NeverPublished) {
$junk[] = [
'email' => $group['email'],
'namen' => $group['namen'],
'firmen' => $group['firmen'],
'firmen_mit_pm' => $group['firmen_mit_pm'],
];
}
}
usort($collections, static fn (array $a, array $b): int => $b['firmen'] <=> $a['firmen']);
usort($junk, static fn (array $a, array $b): int => $b['firmen'] <=> $a['firmen']);
return [
'schwellwert' => $collectionThreshold,
'gesamt' => [
'firmen' => Company::query()->withoutGlobalScope(PortalScope::class)->count(),
'adressen_mehrfach' => count($groups),
'firmen_mehrfach' => array_sum(array_column($groups, 'firmen')),
],
'klassen' => array_values($classes),
'sammeladressen' => array_slice($collections, 0, $limit),
'nie_veroeffentlicht' => array_slice($junk, 0, $limit),
];
}
}