web: Crawler-Abruf-Protokoll und Panel „Auslieferung" ohne Google-Link (Anhang 1: 1c.0, 1c.1, 1c.6)

Abrufe öffentlicher Meldungen durch bekannte Such- und KI-Dienste werden
je Meldung mit Dienst, gekürztem User-Agent und Zeitpunkt protokolliert —
keine IP. Dienste und Muster stehen in config/crawlers.php. Aufzeichnung
wie der Aufruf-Zähler per defer() und fehlertolerant; Bereinigung hängt
an press-releases:purge-events.

VisibilityStats liefert die Abrufe je Dienst (letzter Abruf, Anzahl) und
verliert den site:-Suchlink (Stufe 1 verspricht nichts, was von Dritten
abhängt).

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

config/crawlers.php

@@ -0,0 +1,104 @@
+<?php
+
+/*
+|--------------------------------------------------------------------------
+| Crawler-Abruf-Protokoll (Roadmap 1c.0)
+|--------------------------------------------------------------------------
+|
+| Welche Such- und KI-Dienste beim Abruf einer öffentlichen Meldung
+| protokolliert werden. Erkannt wird ausschließlich über den User-Agent;
+| gespeichert werden Dienst, gekürzter User-Agent, Zeitpunkt und Meldung —
+| keine IP-Adresse. Ein Abruf belegt, dass der Crawler die Seite geholt hat,
+| nicht, dass sie irgendwo zitiert oder angezeigt wird.
+|
+| `patterns` werden case-insensitiv als Teilzeichenkette geprüft, der erste
+| Treffer in Reihenfolge der Liste gewinnt. `kind` unterscheidet Suche und
+| KI-Dienst nur für die Anzeige.
+|
+*/
+
+return [
+
+    // Ab wann das Protokoll läuft — davor gibt es keine Daten, und die
+    // Absenderansicht sagt das so, statt „kein Abruf" zu behaupten.
+    'recorded_since' => env('CRAWLER_HITS_RECORDED_SINCE', '2026-09-18'),
+
+    'services' => [
+        'openai' => [
+            'label' => 'OpenAI / ChatGPT',
+            'kind' => 'ai',
+            'patterns' => ['GPTBot', 'ChatGPT-User', 'OAI-SearchBot'],
+        ],
+        'anthropic' => [
+            'label' => 'Anthropic / Claude',
+            'kind' => 'ai',
+            'patterns' => ['ClaudeBot', 'Claude-User', 'Claude-SearchBot', 'Claude-Web', 'anthropic-ai'],
+        ],
+        'perplexity' => [
+            'label' => 'Perplexity',
+            'kind' => 'ai',
+            'patterns' => ['PerplexityBot', 'Perplexity-User'],
+        ],
+        'google-extended' => [
+            'label' => 'Google Gemini',
+            'kind' => 'ai',
+            'patterns' => ['Google-Extended'],
+        ],
+        'google' => [
+            'label' => 'Google Suche',
+            'kind' => 'search',
+            'patterns' => ['Googlebot', 'GoogleOther', 'Google-InspectionTool'],
+        ],
+        'bing' => [
+            'label' => 'Bing / Copilot',
+            'kind' => 'search',
+            'patterns' => ['bingbot', 'BingPreview'],
+        ],
+        'apple' => [
+            'label' => 'Apple',
+            'kind' => 'ai',
+            'patterns' => ['Applebot'],
+        ],
+        'meta' => [
+            'label' => 'Meta AI',
+            'kind' => 'ai',
+            'patterns' => ['meta-externalagent', 'meta-externalfetcher', 'FacebookBot'],
+        ],
+        'amazon' => [
+            'label' => 'Amazon',
+            'kind' => 'ai',
+            'patterns' => ['Amazonbot'],
+        ],
+        'mistral' => [
+            'label' => 'Mistral',
+            'kind' => 'ai',
+            'patterns' => ['MistralAI-User'],
+        ],
+        'cohere' => [
+            'label' => 'Cohere',
+            'kind' => 'ai',
+            'patterns' => ['cohere-ai', 'cohere-training-data-crawler'],
+        ],
+        'duckduckgo' => [
+            'label' => 'DuckDuckGo',
+            'kind' => 'search',
+            'patterns' => ['DuckDuckBot', 'DuckAssistBot'],
+        ],
+        'bytedance' => [
+            'label' => 'ByteDance',
+            'kind' => 'ai',
+            'patterns' => ['Bytespider'],
+        ],
+        'commoncrawl' => [
+            'label' => 'Common Crawl',
+            'kind' => 'ai',
+            'patterns' => ['CCBot'],
+        ],
+        'yandex' => [
+            'label' => 'Yandex',
+            'kind' => 'search',
+            'patterns' => ['YandexBot'],
+        ],
+    ],
+
+];