Der Googlebot hat in den letzten Jahren deutliche Fortschritte beim Rendern von JavaScript gemacht. Das hat viele SEOs dazu verleitet anzunehmen, dass KI-Crawler ähnlich ticken. Tun sie nicht. Wer seine Inhalte für LLMs wie ChatGPT, Claude oder Perplexity zugänglich machen will, muss das Thema neu denken.
Dieser Beitrag erklärt, wie Googlebot JavaScript verarbeitet, warum die meisten LLM-Bots dabei scheitern und was das konkret für die technische Umsetzung von Websites bedeutet.
Wie Googlebot JavaScript verarbeitet
Googlebots Prozess läuft in drei Phasen ab: Crawling, Rendering und Indexierung.
Beim Crawling prüft Googlebot zunächst, ob eine Seite überhaupt gecrawlt werden darf. Ist sie etwa über robots.txt gesperrt, wird sie übersprungen. Ist sie zugänglich, wird sie gerendert.
Beim Rendering landet die Seite in einer Warteschlange. Rendering ist ressourcenintensiv, kann also Sekunden dauern oder auch länger. In der Zwischenzeit bekommt Googlebot bereits den DOM-Response, also den HTML-Code der Seite vor der JavaScript-Ausführung. Erst danach folgt das vollständige Browser-Render mit ausgeführtem JavaScript.
Was im Index landet und als Suchergebnis auftaucht, ist das Ergebnis dieser Indexierungsphase. Wichtig: Googlebot kann kein Akkordeon aufklappen und keinen Tab anklicken. Inhalte, die interaktiv ausgeblendet sind, müssen trotzdem im DOM enthalten sein. Der HTML-Code muss sie bereits mitliefern, auch wenn sie im Frontend erst nach einem Klick sichtbar werden.
Warum Server-Side Rendering hier den Unterschied macht
Um sicherzustellen, dass Googlebot alle Inhalte einer Seite lesen kann, hilft es, das Rendering auf den Server zu verlagern. Beim Server-Side Rendering (SSR) wird die HTML-Datei bereits auf dem Server aufgebaut und fertig an den Browser geliefert. Inhalte sind sofort zugänglich, ohne auf JavaScript warten zu müssen.
Das Gegenteil ist Client-Side Rendering (CSR): Der Browser lädt JavaScript herunter, kompiliert es und baut dann erst die Seite auf. Für den Server ist das deutlich weniger Aufwand, weshalb es viele Entwickler bevorzugen. Für Crawlern ist es allerdings problematisch, weil der Inhalt vor der JavaScript-Ausführung schlicht nicht da ist.
LLM-Bots sind kein zweiter Googlebot
Hier ist der entscheidende Punkt: Die Bots, die das Web für LLM-Wissensdatenbanken scrapen, sind etwas grundlegend anderes als Googlebot. Es gibt keine einheitliche Instanz, die für alle KI-Bots gilt. Was OpenAIs Bot kann, sagt nichts darüber aus, was Anthropics Bot kann.
2024 hat Vercel die wichtigsten LLM-Bots auf ihre JavaScript-Rendering-Fähigkeiten getestet, darunter die Bots von OpenAI, Anthropic, Meta, ByteDance und Perplexity. Das Ergebnis war eindeutig: Keiner dieser Bots war in der Lage, JavaScript zu rendern. Die einzigen, die es konnten, waren Gemini (über Googlebots Infrastruktur), Applebot und CommonCrawls CCbot. Glenn Gabe hat diese Ergebnisse später durch eine eigene, ausführliche Analyse bestätigt.
Das bedeutet: Wenn schon die Bots der bestfinanzierten KI-Unternehmen der Welt kein JavaScript rendern können, sollte man bei kleineren oder neueren Bots erst recht nicht darauf zählen. Als Orientierung gilt: Immer am schwächsten Glied ausrichten.
Wie man prüft, ob Bots die eigenen Inhalte sehen
Es gibt drei praktische Wege, um zu testen, was Bots tatsächlich lesen können.
DOM über die Entwicklertools prüfen
In Chrome einfach rechtsklicken, “Untersuchen” auswählen und im Tab “Elemente” nach dem Inhalt suchen. Ist er beim ersten Laden der Seite vollständig im DOM vorhanden, ohne weitere Interaktion, ist er für Googlebot und LLM-Bots grundsätzlich zugänglich.
HTML-Quelltext prüfen
Für LLM-Bots gilt als sicherer Test: Rechtsklick auf die Seite, “Seitenquelltext anzeigen” auswählen, dann per Strg+F nach dem relevanten Text suchen. Ist er dort zu finden, ist er im statischen HTML enthalten und damit auch für Bots ohne JavaScript-Rendering lesbar.
Google Search Console und LLMs direkt befragen
Für Googlebot gibt es den URL-Inspector in der Google Search Console. Einfach die URL einpflegen, “Live-URL testen” auswählen und die gerenderte Version ansehen.
Für LLM-Bots gibt es einen einfachen, aber effektiven Trick: Den Bot direkt fragen. Zum Beispiel ChatGPT oder Claude bitten, den Text eines Artikels von einer bestimmten URL zu lesen. Scheitert der Bot daran, liegt das in der Regel am JavaScript-Rendering.
Fazit
Googlebot ist nach Jahren der Weiterentwicklung deutlich besser im Umgang mit JavaScript als die aktuellen LLM-Bots. Aber das ist kein Maßstab. LLM-Bots sind kein verspäteter Googlebot, der noch aufholen muss. Sie verfolgen andere Ziele und werden JavaScript-Rendering womöglich nie in vergleichbarer Weise implementieren.
Für die Praxis heißt das: Wer sichergehen will, dass seine Inhalte sowohl für Googlebot als auch für KI-Bots zugänglich sind, kommt um Server-Side Rendering oder zumindest sauber aufgebautes statisches HTML nicht herum. Der DOM-Check und der Blick in den Quelltext kosten fünf Minuten und liefern sofort klare Antworten.
Man muss schauen, wie sich das weiterentwickelt. Bots werden besser. Aber Stand heute ist statisches HTML die einzige Basis, auf die man sich zuverlässig verlassen kann.