Kevin Adametz
951b6c47fa
Abrufe öffentlicher Meldungen durch bekannte Such- und KI-Dienste werden je Meldung mit Dienst, gekürztem User-Agent und Zeitpunkt protokolliert — keine IP. Dienste und Muster stehen in config/crawlers.php. Aufzeichnung wie der Aufruf-Zähler per defer() und fehlertolerant; Bereinigung hängt an press-releases:purge-events. VisibilityStats liefert die Abrufe je Dienst (letzter Abruf, Anzahl) und verliert den site:-Suchlink (Stufe 1 verspricht nichts, was von Dritten abhängt). Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
104 lines
3.3 KiB
PHP
104 lines
3.3 KiB
PHP
<?php
|
|
|
|
/*
|
|
|--------------------------------------------------------------------------
|
|
| Crawler-Abruf-Protokoll (Roadmap 1c.0)
|
|
|--------------------------------------------------------------------------
|
|
|
|
|
| Welche Such- und KI-Dienste beim Abruf einer öffentlichen Meldung
|
|
| protokolliert werden. Erkannt wird ausschließlich über den User-Agent;
|
|
| gespeichert werden Dienst, gekürzter User-Agent, Zeitpunkt und Meldung —
|
|
| keine IP-Adresse. Ein Abruf belegt, dass der Crawler die Seite geholt hat,
|
|
| nicht, dass sie irgendwo zitiert oder angezeigt wird.
|
|
|
|
|
| `patterns` werden case-insensitiv als Teilzeichenkette geprüft, der erste
|
|
| Treffer in Reihenfolge der Liste gewinnt. `kind` unterscheidet Suche und
|
|
| KI-Dienst nur für die Anzeige.
|
|
|
|
|
*/
|
|
|
|
return [
|
|
|
|
// Ab wann das Protokoll läuft — davor gibt es keine Daten, und die
|
|
// Absenderansicht sagt das so, statt „kein Abruf" zu behaupten.
|
|
'recorded_since' => env('CRAWLER_HITS_RECORDED_SINCE', '2026-09-18'),
|
|
|
|
'services' => [
|
|
'openai' => [
|
|
'label' => 'OpenAI / ChatGPT',
|
|
'kind' => 'ai',
|
|
'patterns' => ['GPTBot', 'ChatGPT-User', 'OAI-SearchBot'],
|
|
],
|
|
'anthropic' => [
|
|
'label' => 'Anthropic / Claude',
|
|
'kind' => 'ai',
|
|
'patterns' => ['ClaudeBot', 'Claude-User', 'Claude-SearchBot', 'Claude-Web', 'anthropic-ai'],
|
|
],
|
|
'perplexity' => [
|
|
'label' => 'Perplexity',
|
|
'kind' => 'ai',
|
|
'patterns' => ['PerplexityBot', 'Perplexity-User'],
|
|
],
|
|
'google-extended' => [
|
|
'label' => 'Google Gemini',
|
|
'kind' => 'ai',
|
|
'patterns' => ['Google-Extended'],
|
|
],
|
|
'google' => [
|
|
'label' => 'Google Suche',
|
|
'kind' => 'search',
|
|
'patterns' => ['Googlebot', 'GoogleOther', 'Google-InspectionTool'],
|
|
],
|
|
'bing' => [
|
|
'label' => 'Bing / Copilot',
|
|
'kind' => 'search',
|
|
'patterns' => ['bingbot', 'BingPreview'],
|
|
],
|
|
'apple' => [
|
|
'label' => 'Apple',
|
|
'kind' => 'ai',
|
|
'patterns' => ['Applebot'],
|
|
],
|
|
'meta' => [
|
|
'label' => 'Meta AI',
|
|
'kind' => 'ai',
|
|
'patterns' => ['meta-externalagent', 'meta-externalfetcher', 'FacebookBot'],
|
|
],
|
|
'amazon' => [
|
|
'label' => 'Amazon',
|
|
'kind' => 'ai',
|
|
'patterns' => ['Amazonbot'],
|
|
],
|
|
'mistral' => [
|
|
'label' => 'Mistral',
|
|
'kind' => 'ai',
|
|
'patterns' => ['MistralAI-User'],
|
|
],
|
|
'cohere' => [
|
|
'label' => 'Cohere',
|
|
'kind' => 'ai',
|
|
'patterns' => ['cohere-ai', 'cohere-training-data-crawler'],
|
|
],
|
|
'duckduckgo' => [
|
|
'label' => 'DuckDuckGo',
|
|
'kind' => 'search',
|
|
'patterns' => ['DuckDuckBot', 'DuckAssistBot'],
|
|
],
|
|
'bytedance' => [
|
|
'label' => 'ByteDance',
|
|
'kind' => 'ai',
|
|
'patterns' => ['Bytespider'],
|
|
],
|
|
'commoncrawl' => [
|
|
'label' => 'Common Crawl',
|
|
'kind' => 'ai',
|
|
'patterns' => ['CCBot'],
|
|
],
|
|
'yandex' => [
|
|
'label' => 'Yandex',
|
|
'kind' => 'search',
|
|
'patterns' => ['YandexBot'],
|
|
],
|
|
],
|
|
|
|
];
|