AI-Crawler: Traffic von ChatGPT & Co. analysieren (2025)

AI-Tools wie ChatGPT, Claude, Perplexity oder Googles Gemini werden immer beliebter. Mancher Website-Betreiber interessiert sich daher dafür: Wie viel neue Nutzer erhalte ich durch die Chatprogramme? Ein neues Tool macht die Analyse möglich.

Was früher die klassische Google-Suche war, wird zumindest zum Teil immer mehr durch Chatbots übernommen: Nutzer suchen dort nach Antworten auf ihre Probleme – und stoßen in den AI-Chats auch auf Links zu Artikeln. Für Website-Betreiber war es bislang nur schwer möglich, diesen Traffic zu analysieren. Ein neues Tool erleichtert die Arbeit.

AI-Traffic auf der Website analysieren

Sicher ist: Der Traffic durch ChatGPT & Co. dürfte zuletzt stark gestiegen sein. Nur: Auf welchen Seiten er ankommt, war kaum messbar. Eigene Analyse-Tools für Website-Betreiber bieten OpenAI, Perplexity oder Claude bislang nicht an. Möglich macht es nun eine neue Funktion von Cloudflare.

Cloudflare ist eigentlich ein Sicherheitsdienstleister für Websites: Man kann seine Website damit unter anderem vor automatisierten Angriffen schützen oder auch Inhalte per CDN überall auf der Welt besonders schnell ausliefern. Inzwischen hat Cloudflare erkannt, dass der AI-Traffic seinen Nutzern immer wichtiger wird – und daher ein eigenes Tool gelauncht.

Screenshot von Cloudflares AI Audit. Man sieht eine Verlaufsgrafik mit den wichtigsten Zugriffsquellen und eine Tabelle mit den häufigsten aufgerufenen Artikeln — So sieht das AI-Audit von Cloudflare aus: Eine Verlaufsgrafik mit den wichtigsten Crawlern und eine Tabelle mit den am häufigsten aufgerufenen Artikeln

Funktionen vom AI-Audit von Cloudflare

Mit dem sogenannten AI-Audit von Cloudflare können Website-Betreiber gleich mehrere Funktionen erhalten: Zum einen kann man im Analyse-Modus sehen, welche Artikel und Seiten besonders häufig aufgerufen werden. Konkret ist es möglich, damit folgende Fragen zu beantworten:

Welche Artikel werden am häufigsten gelesen?
Welche AI-Crawler sind am häufigsten auf meiner Website?
Nimmt der AI-Traffic zu oder ab?

Screenshot von Cloudflares AI-Audit: Man sieht eine Tabelle mit verschiedenen Crawlern und die Möglichkeit, den Zugriff zu blockieren — ChatGPT blockieren: Mit dem AI-Audit können auch einzelne AI-Crawler vom Zugriff auf die eigene Website gesperrt werden

Für manche Website-Betreiber ist es aber auch wichtig, die eigenen Inhalte vor AI-Crawlern schützen zu können. Dies ist mit dem AI-Audit ebenfalls möglich: Pro Crawler kann man einfach entscheiden, ob man den Bot auf die eigene Website lassen möchte oder ob man dem AI-Bot den Zugriff blockt. Im Unterschied zur robots.txt erhält der Crawler dabei tatsächlich keinen Zugang zur Website und kann die Inhalte nicht auslesen.

Einrichtung und Kosten: AI-Audit von Cloudflare nutzen

Wer das AI-Audit von Cloudflare verwenden möchte, muss dafür Cloudflare als DNS-Anbieter einrichten. Diese Einrichtung erfordert ein grundlegendes Wissen von Domain-Einstellungen, sollte ansonsten aber unproblematisch möglich sein. Einmal eingerichtet, steht das AI-Audit direkt in allen Plänen zur Verfügung. Website-Betreiber können das AI-Audit also auch mit dem kostenlosen Plan von Cloudflare nutzen.

Quellen: