Suchmaschinen: Wir alle nutzen sie mehrmals täglich, um uns über aktuelle Themen zu informieren, Preise zu vergleichen oder um uns zu einem Ziel navigieren zu lassen. Die Verwendung von Suchmaschinen ist längst Routine in unserem Alltag geworden. Aber wie funktionieren Google, Bing & Co eigentlich? Hier kommen drei Akteure ins Spiel: der Crawler, der Index und ein komplexer Algorithmus.
Google ist die Nummer 1 in Deutschland, keine Frage. In der Vergangenheit konnte der US-Konzern Angriffe von aufstrebenden Suchmaschinen locker abwehren. Sogar als Microsoft Bing in den Ring schmiss und in seine Windows-Browser verankerte, war dies kein allzu großer Verlust.
Googles globaler Marktanteil lag im Januar 2023 bei unglaublichen 84,69%. Mit gerade einmal 8,85 Prozent ist Bing von Microsoft weit abgeschlagen auf dem zweiten Rang. In manchen Ländern der Welt jedoch spielen sowohl Google als auch Bing überhaupt keine Rolle. Beispiel China: Im Reich der Mitte wird der Markt von der lokalen Suchmaschine Baidu dominiert. In Russland ist Google zwar vertreten, jedoch nach Yandex nur der zweite Player am Markt.
Googles Marktposition ist neben der einfachen Handhabung der Google-Dienste auch den großen finanziellen Ressourcen geschuldet. Im Laufe der Jahre hat Google seine Geschäftsfelder massiv ausgebaut und verschiedene Einnahmequellen generiert.
Wann hast du das letzte Mal eine Suchmaschine wie Google oder Bing benutzt? Wonach hast du gesucht? Hast du die Lösung für dein Problem gefunden? Die erste Suchmaschine wurde im Jahr 1990 entwickelt und hörte auf den Namen "Archie". Der Funktionsumfang war längst nicht so umfänglich wie ihre heutigen Nachfahren. Vielmehr spezialisierte sich diese Search Engine auf FTP-Clients. Das Programm durchsuchte FTP-Server und speicherte Informationen in einer Datenbank, um diese suchenden Nutzern bereitzustellen.
Der User musste nun nicht mehr die Datei selbst suchen, sondern konnte die Suchmaschine fragen. Das Grundprinzip hat sich bis heute nicht verändert: Wir Menschen suchen etwas, die Maschine liefert es.
Stell dir einmal ein Leben ohne Suchmaschinen vor. Du müsstest fortan dir alle bekannten Websites aufrufen, um eine passende Antwort auf deine Frage zu erhalten. Wahrscheinlich würden Webverzeichnisse ihr großes Comeback feiern. Diese waren in den Anfängen des Internets beliebt und dienten dazu, Internetseiten in verschiedene Bereiche zu kategorisieren. Du kannst dir auf jeden Fall sicher sein, dass deine Suche deutlich länger dauern würde.
Suchmaschinen liefern dir innerhalb weniger Millisekunden Antworten auf nahezu alle Fragen. Dabei geschieht dies natürlich nicht live. Müsste eine Suchmaschine erst das gesamte Internet nach passenden Websites durchforsten, würde dies ewig dauern. Daher arbeiten die wichtigsten Suchmaschinen der Welt mit einer Datenbank, dem sogenannten "Index". Damit dieser gefüllt wird, benötigt die Suchmaschine einen Helfer, der sich durch die Websites arbeitet und diese liest. Dieses Programm nennen SEOs "Crawler". Alternativ wird es auch gern als "Spider" oder "Bot" genannt. Im weiteren Text bleibe ich beim Crawler.
Beim Crawler handelt es sich um ein Programm, welches sich vollautomatisch im Internet bewegt und Informationen von Websites sammelt. Er bewegt sich dabei über Hyperlinks von A nach B. Dies ist auch der Grund, warum manche Seiten bei Google nicht gefunden werden. Sie verfügen über keine eingehenden Links von externen Internetseiten und wurden nie bei Google "angemeldet". In der Google Search Console kann eine neue Website zur Prüfung eingereicht werden. Meist verwendet man dafür eine "Sitemap", in der alle Links der Website gespeichert werden.
Aber auch einzelne Links lassen sich in der Search Console einreichen. Der Crawler bekommt anschließend den Auftrag, sich diese Seite anzuschauen und möglichst viele Informationen über sie zu sammeln. Die gesammelten Daten des Crawlers werden in einer Datenbank gespeichert und später von einer Suchmaschine indexiert, um die gefundenen Informationen bei einer Suchanfrage anzuzeigen.
Du bekommst also keine Echtzeit-Ergebnisse bei Google angezeigt, sondern den aktuellsten Stand des Index, gespickt mit den relevantesten Ergebnissen für deine Suche. Ein Algorithmus entscheidet schließlich, welche Suchergebnisse du erhältst. Suchmaschinen wie Google versuchen deine Suchanfrage in eine bestimmte Kategorie einzusortieren, man spricht hier vom "Search Intent":
Der Crawler sammelt auf jeder Webseite diese Daten und bereitet sie für die Datenbank auf. Der Grundstein für eine richtige Klassifizierung liegt in der Suchmaschinenoptimierung und somit beim Seitenbetreiber. Mit einer guten Basis ermöglicht er es dem Crawler, möglichst viele URLs auf der eigenen Website zu durchsuchen. Zum Fundament gehört eine saubere HTML-Struktur, funktionierende Hyperlinks und einzigartige Inhalte. Heutzutage sind Crawler sehr robust und ignorieren unsauberen Code problemlos. Hast du jedoch Verlinkungen gesetzt, die in einem 404 enden, ist dein Crawling-Budget schneller aufgebraucht als dir lieb ist.
Crawler durchsuchen Millionen von Webseiten am Tag und bleiben so stets auf dem neuesten Stand. Internetseiten wie Newsportale leben von Aktualität, von daher ist es klar dass der Crawler hier häufiger vorbeikommt, um brandneue News zu durchforsten. Dies ist auch in Googles Sinne, denn die Suchmaschine möchte ihren Nutzern stets hochaktuelle Nachrichten zur Verfügung stellen.
In der Google Search Console kannst du die Anzahl der Crawling-Anfragen für deine Website prüfen. Voraussetzung dafür ist natürlich eine entsprechende Einrichtung der Search Console. Du findest diesen Punkt in den Einstellungen. Berücksichtigt werden die letzten drei Monate. Eine regelmäßige Prüfung macht durchaus Sinn, um auch die jeweiligen Statuscodes auszulesen.
Die Daten des Crawlers werden in einer riesigen Datenbank gespeichert: dem Index. Um diesen möglichst qualitativ hochwertig zu halten, wird nicht automatisch jede Website in diesen aufgenommen. Stimmt die Qualität nicht, so wird die Seite zwar gecrawlt, jedoch nicht indexiert. Auch hier lohnt sich ein Blick in die Google Search Console, denn unter Indexierung > Seiten kannst du dir genau anschauen, ob alle Unterseiten ordnungsgemäß indexiert werden.
Suchmaschinen sind stets an aktuellen Inhalten interessiert, sodass ihre Crawler 24/7 durch das Internet schwirren und Webseiten scannen. Sucht ein Nutzer nun bei Google nach "E Bike kaufen", so muss der Crawler nicht erst das halbe Internet nach passenden Websites suchen, sondern die Suchmaschine schaut einfach in ihrer eigenen Datenbank (Index) nach. Dies passiert im Bruchteil einer Sekunde. Im Hintergrund entscheidet ein komplexer Algorithmus, welche Suchergebnisse du angezeigt bekommst.
Ob deine Webseite von Google tatsächlich im Index aufgenommen wird, entscheidet immer noch die Suchmaschine selbst. Über die Search Console kannst du lediglich die Indexierung beantragen. Kommt es beim Crawling zu einem Fehler (zu viele Weiterleitungen, Seite nicht gefunden, etc.) oder stimmt die Qualität einfach nicht, wird diese Seite häufig zwar gecrawlt - jedoch nicht indexiert. In diesem Fall solltest du die Inhalte überarbeiten und eine erneute Indexierung beantragen.
Lesetipp: Du möchtest Suchmaschinenoptimierung lernen und in die eigene Hand nehmen? Dann solltest du diese SEO-Anfängerfehler nicht machen!
Es muss jedoch nicht immer ein Qualitätsdefizit sein dass die Indexierung verhindert. Prüfe deine Seite einmal auf folgende Merkmale:
Du hast es geschafft: Der Suchmaschinen-Crawler schaut sich deine Website regelmäßig an und die Inhalte werden laut Google Search Console auch ordnungsgemäß indexiert. Wie erscheint deine Webseite nun in den Suchergebnissen bei Google, Bing und Co? Wer oder was entscheidet, ob eine Seite relevant genug ist, um auf Platz 1 zu erscheinen und somit den meisten Traffic auf sich zu ziehen?
Hier kommt ein komplexes mathematisches System von Algorithmen und Berechnungen ins Spiel. Dieses berücksichtigt über 200 verschiedene Faktoren und bewertet die Relevanz und Qualität deiner Website. Allgemein bekannte Rankingfaktoren sind:
Nahezu alle relevanten Suchmaschinen aktualisieren ihre Algorithmen regelmäßig, um ihren Nutzern die bestmögliche User Experience zu liefern. Daher ist die stetige Weiterbildung für jeden SEO ein absolutes Muss. An den Grundlagen ändert sich jedoch kaum etwas: Eine Überschrift war und wird immer relevant für die Bewertung bleiben.
Besonders Google-Updates sorgen bei manchen SEO-Dienstleistern für Panikanfälle - hauptsächlich dann, wenn ihre eigenen Rankings unter einem Update leiden. Mit jedem größeren Update des Google-Algorithmus' (einem sog. Core-Update) gibt es immer Gewinner und Verlierer. In Erinnerung bleiben allem voran folgende Google-Updates:
Natürlich gab es in der Vergangenheit noch viele weitere wichtige Updates, diese drei genannten wirbelten den damaligen Markt jedoch so richtig auf. Du kannst dir sicher sein: Spielst du mit fairen Mitteln und lieferst hochwertigen Content, bist du vor massiven Abstrafungen seitens des Algorithmus' sicher.
Eine sehr gute Anlaufstelle für Informationen zu aktuellen Google-Updates ist übrigens der SEO-Blog von SISTRIX. Mit jedem Update werden die Gewinner & Verlierer vorgestellt, Schlüsse gezogen und Tipps gegeben, wie man verlorene Rankings wieder reinholen kann.
Wahrscheinlich bist du in den Medien schon einmal über den aktuellen Trend ChatGPT gestolpert. Dieser von OpenAI entwickelte KI-gestützter Chatbot wird von vielen Experten als die Zukunft der Suchmaschinen gesehen. Anders als bei einer Suchmaschine, gibt dir dieses Tool eine einzige Antwort auf deine Frage. Dies geschieht in textlicher Form und ist damit einfach handzuhaben.
Ich bin überzeugt, dass so ein Tool ein enormer Mehrwert ist, beispielsweise, um im Alltag Antworten auf einfache Fragen zu erhalten. Jedoch glaube ich nicht, dass durch ChatGPT Suchmaschinen in ihrer klassischen Form aussterben werden. Vielmehr werden Suchmaschine und KI miteinander verschmelzen und uns die Nutzung noch einfacher und schneller machen. Microsoft beispielsweise hat 2023 ChatGPT in ihren Bing-Browser integriert.
Auch Google ist mit ihrem ChatGPT Konkurrenten Google Bard in Lauerstellung und wird in den kommenden Monaten sicherlich noch umfangreiche Updates veröffentlichen. Es passiert in der Szene gerade sehr viel und wir dürfen gespannt sein, wohin die Reise geht. Bei einer Sache können wir uns allerdings sicher sein: Am Ende wird der Nutzer davon profitieren.
Wir alle nutzen Suchmaschinen mehrmals täglich, oftmals sogar unbewusst. Denn während Google in Deutschland glasklar der Platzhirsch ist, so folgt streng genommen auf dem zweiten Platz bereits YouTube. Für viele ist die beliebte Videoplattform zwar keine Suchmaschine, jedoch suchen wir dort immer häufiger visuellen Content, um Probleme zu lösen. Ich bin mir sicher, dass du YouTube auch schon einmal genutzt hast, um dir eine Anleitung anzusehen.
Die wenigsten Menschen wissen jedoch, wie komplex Suchmaschinen heutzutage aufgebaut sind, welche mathematischen Algorithmen im Hintergrund entwickelt wurden. Man möchte die Suche immer einfacher gestalten, die Ergebnisse möglichst perfekt aufbereiten - alles für eine positive User Experience. Auch wenn Suchmaschinen in den nächsten Jahren ihre Daseinsberichtigungen haben, so geschieht in diesem Feld derzeit etwas Großes.
Sowohl ChatGPT als auch Google Bard haben das Potenzial, den Markt zu revolutionieren und eine komplett neue Ära einzuleiten.
