Bielefeld Academic Search Engine

Bielefeld Academic Search Engine (BASE)
Internet-Suchmaschine
Sprachen	Chinesisch (vereinfacht), Deutsch, Englisch, Französisch, Spanisch (Kastilisch), Polnisch, Neugriechisch, Ukrainisch
Betreiber	Universitätsbibliothek Bielefeld
Redaktion	v. a. institutionelle Repositorien
Artikel	über 400 Mio.
Registrierung	optional
Online	seit 24. Juni 2004
https://www.base-search.net/

BASE (Bielefeld Academic Search Engine) ist eine Suchmaschine für wissenschaftliche Dokumente. Sie wird von der Universitätsbibliothek Bielefeld mit der Suchmaschinentechnologie der Open-Source-Software Solr/Lucene betrieben. BASE wird als strategisches Projekt fortlaufend weiterentwickelt.

Zielgruppe und Zielsetzung

Das Angebot von BASE richtet sich in erster Linie an Wissenschaftler in Universitäten und Forschungseinrichtungen und an Studierende. Mit der Entwicklung von BASE verfolgt die Universitätsbibliothek das Ziel, mit Hilfe der Suchmaschinentechnologie einen verlässlichen, qualitativ hochwertigen Suchdienst für Forschung und Lehre aufzubauen.

BASE möchte Zugang geben zu den Inhalten wissenschaftlicher Dokumentenserver, die im Rahmen der Open-Access-Bewegung kostenfrei über OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting) zur Verfügung gestellt werden. Die Suchmaschine ist als offizieller OAI-Service-Provider registriert und war am EU-Projekt DRIVER (Digital Repository Infrastructure Vision for European Research) beteiligt, welches 2009 abgeschlossen wurde.

Aufgrund der intellektuellen Auswahl der Quellen hat BASE den Anspruch, fachlich qualifizierte Informationen in Verbindung mit umfangreichen und hochwertigen Metadaten zu liefern und sich dadurch von kommerziellen Suchmaschinen zu unterscheiden.

Entwicklungsgeschichte

Chronologie

Datum	Ereignis
Juni 2001	Aus festgestellten Defiziten einer Metasuchumgebung am Beispiel des Bibliotheksportals „Digitale Bibliothek NRW“ entsteht eine neue Konzeptidee: Entwicklung einer nichtkommerziellen Suchmaschine für die wissenschaftliche Nutzung
Feb. 2002 – Aug. 2002	Evaluierung von Suchmaschinentechnologie
2003, Sommer	Beginn der technischen Umsetzung; Entwicklung eines Prototyps (Math-Demonstrator)
Okt. 2003	Bekanntgabe der Zusammenarbeit der UB Bielefeld und der Firma FAST: Beginn einer strategischen Partnerschaft zur Erprobung und Förderung von Enterprise-Suchtechnologien; Vereinbarung über den Einsatz des Systems „FAST Data Search“
März 2004, Frühjahr	Abschluss der Erprobungsphase
Juni 2004	Freischaltung der Bielefeld Academic Search Engine
Aug. 2004	Integration weiterer Quellen (Hochschulschriftenserver, OAI-Quellen, nicht OAI-fähige Quellen); erste Indexierung von Volltexten (elektronische Dissertationen der Ruhruniversität Bochum)
Aug. 2005	neue Möglichkeiten der Suchverfeinerung (Einschränkung auf die Datenquelle), verschiedene Treffersortierungen, Suchhistorie über durchgeführte Suchanfragen
Feb. 2006	Ersatz der Einzelserverlösung durch Serverfarm (6 Linux-Rechner)
März 2006	Integration von trefferbezogenen Links auf die wissenschaftliche Suchmaschine Google Scholar
Juni 2006	Beginn der Teilnahme am EU-Projekt DRIVER (Digital Repository Infrastructure Vision for European Research)
Mai 2007	Suche nach ähnlichen Wortformen
Juli 2007	über 100 deutsche Repositorien in BASE; Einführung eines öffentlichen Testbereichs: BASE Lab
Okt. 2007	Multilinguale Suche (Eurovoc-Thesaurus)
Juli 2008	Übernahme der Suchergebnisse über Erweiterungen des Firefox-Browsers in Literaturverwaltungsprogramme
Jan. 2009	Website-Relaunch: Filterung nach Dokumentenarten in erweiterter Suche
Aug. 2010	Mehr als 25 Millionen Dokumente im BASE-Index
Feb. 2011	Vorbereitung des Plattform-Wechsels von FAST auf Lucene/Solr
Mai 2011	Freigabe des mit Lucene/Solr produzierten BASE-Index
Aug. 2011	Mehr als 30 Millionen Dokumente aus über 2.000 Quellen im BASE-Index
Jan. 2012	Mobile Version für Smartphone-Nutzer
Apr. 2012	Möglichkeit, ein persönliches Login einzurichten
Juli 2012	Eigene Suchoberfläche für in Deutschland beheimatete Dokumentenserver
Aug. 2013	Kennzeichnung von Open-Access-Dokumenten und -Quellen durch entsprechende Symbole. Mehr als 50 Millionen Dokumente aus 2.700 Quellen im BASE-Index
Nov. 2013	Mehr als 3,3 Millionen Dokumente von CiteSeerX erstmals indexiert.
Juni 2014	Mehr als 3.000 Quellen / 60 Millionen Dokumente im Index.
Sep. 2014	Open-Access-Dokumente werden im Relevanz-Ranking aufgewertet (abschaltbar); ab Juli 2014 testweise im BASE Lab, ab 23. September 2014 regulär.
Aug. 2015	Suchfilter für Nachnutzung (Lizenz) und Zugang (z. B. Open Access) in der erweiterten Suche wählbar
Okt. 2016	Im Oktober 2016 waren erstmals mehr als 100 Millionen Dokumente im Suchindex.
Mai 2017	Seit Mai 2017 können User ihre eigenen Publikationen „claimen“, d. h. mit ihrer ORCID verknüpfen.
Juli 2018	Umstellung auf ein responsives Design (Bootstrap).
Nov. 2019	Mehr als 7000 Quellen / 150 Millionen Dokumente im Suchindex.
Aug. 2020	Verstärkte Indexierung von Quellen via „Crossref“. Über 200 Millionen Dokumente im Suchindex.
Nov. 2020	Link auf „Versionen“ (Abgleich identischer DOIs im Index).
Aug. 2024	Austausch des alten SVM-basierten DDC-Klassifikators durch einen frisch trainierten, der auf Entscheidungsbaum-Lernen basiert.

Inhalte

Wissenschaftliche Internetquellen

Die Inhalte von BASE sind multidisziplinär. Ausgewertet werden ausschließlich wissenschaftliche Quellen. BASE hat den Anspruch, „Internetquellen des 'Unsichtbaren Web', die in kommerziellen Suchmaschinen nicht indexiert werden oder in deren großen Treffermengen untergehen“ zu erschließen. BASE indexiert:

• OAI-Metadaten

  Die Suchmaschine enthält in erster Linie Metadaten aus Repositorien, die ihre Inhalte über das Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH) bereitstellen.

• Daten von lokalen Dokumentenservern der Universität Bielefeld

• Ausgewählte Webseiten (z. B. Webseiten wissenschaftlicher Organisationen, Wikibooks, Project Gutenberg)

Auswahl der Quellen und Transparenz

Alle durchsuchten Quellen werden intellektuell ausgewählt und geprüft. Ein Quellenverzeichnis macht die Auswahl transparent. Neben den indexierten Quellen wurden über 1.000 weitere Quellen mit über 30 Mio. Dokumenten geharvestet, die allerdings aus verschiedenen Gründen nicht für eine Indexierung geeignet sind.

Aktualität und Umfang

Der Index wird täglich aktualisiert, die Inhalte einzelner Dokumentenserver werden wöchentlich ergänzt.

Zurzeit sind 149.820.832 Dokumente aus 7.188 Quellen über BASE suchbar. Die Anzahl der Dokumente und Quellen steigt seit Produktionsaufnahme stetig, und der Index wird weiter ausgebaut. So werden Repository-Betreiber, die nicht im Quellenverzeichnis aufgeführt sind, gebeten, sich mit dem BASE-Team in Verbindung zu setzen.

Länderabdeckung und Sprachen

Quellen nach Ländern

Insgesamt befinden sich Quellen aus 132 Ländern im Index. Die Länder mit mehr als 100 indexierten Quellen (Repositories) sind:

Land	Quellen	Dokumente
Indonesien	1565	2.824.417
USA	1255	117.355.030
Japan	616	2.943.783
Deutschland	476	13.525.320
Vereinigtes Königreich	405	23.045.769
Brasilien	382	3.387.566
Spanien	296	6.488.774
Frankreich	223	21.518.060
Kanada	220	2.718.301
Russland	210	2.705.296
Indien	190	762.022
Kolumbien	180	863.992
Türkei	173	1.605.002
Italien	172	6.130.119
Peru	171	479.693
Ukraine	155	1.165.876
Polen	119	4.366.029
Australien	101	3.274.223

Quellen nach Kontinenten

Die europäischen Länder sind am häufigsten vertreten, gefolgt von Asien, Nordamerika, Südamerika, Australien und Afrika.

Kontinent	Quellen	Dokumente
Europa	3163	102.780.411
Asien	2755	11.583.167
Nordamerika	1644	120.562.672
Südamerika	1016	6.373.730
Australien/Ozeanien	129	3.606.934
Afrika	151	1.072.927
International / nicht zugeordnet	58	26.250.478

Alle Angaben: Stand 25. Juli 2019

Dokumente nach Sprachen

Sortiert nach Sprachen, ergibt sich folgendes Bild von den am meisten genutzten Sprachen mit mehr als 250.000 erfassten Dokumenten:

Sprache	Dokumente
Englisch	133.509.263
Französisch	15.514.878
Spanisch	8.899.044
Deutsch	8.613.351
Portugiesisch	4.293.005
Polnisch	3.066.618
Italienisch	2.783.116
Japanisch	2.304.406
Russisch	2.199.070
Chinesisch	1.602.978
Bahasa Indonesia	1.008.238
Latein	994.789
Norwegisch	987.461
Niederländisch	927.455
Ukrainisch	917.321
Türkisch	840.040
Finnisch	640.490
Kroatisch	564.203
Tschechisch	557.487
Katalanisch	546.150
Neugriechisch	524.925
Ungarisch	518.561
Schwedisch	515.195
Dänisch	461.426

Etwa 1/3 aller Quellen sind keiner Sprache zugeordnet.

Zugang zu den indexierten Dokumenten

BASE weist nicht ausschließlich Open-Access-Angebote nach. BASE bietet die Möglichkeit an, eine Trefferliste auf eindeutig als Open Access klassifizierte Dokumente einzuschränken. Momentan können nur gut 45 % der indexieren Dokumente zweifelsfrei als Open Access von BASE gekennzeichnet werden, auch wenn die tatsächliche Quote der frei zugänglichen Dokumente bei ca. 60 % liegt. Die Kennzeichnung von Open-Access-Dokumenten auf Dokumentebene soll ausgebaut werden. Seit Juli 2014 werden Open-Access-Dokumente im Relevanz-Ranking mit einem Boost-Faktor versehen, also tendenziell weiter vorn in der Ergebnisliste angezeigt. Diese neue Funktion ist abschaltbar.

Funktionen

Benutzeroberfläche und Navigation

Die barrierefreie Benutzeroberfläche von BASE ist einfach und übersichtlich gestaltet. Die Rechercheoberfläche wird wahlweise chinesisch (vereinfachte Schrift), deutsch, englisch, französisch, griechisch, polnisch, spanisch (kastilisch) oder ukrainisch angeboten. Informationen über BASE sind deutsch und englisch verfügbar.

Die Startseite ermöglicht eine Suche im BASE-Index (Standardsuche). Von hier aus erfolgt auch der Übergang zu den weiteren Funktions- und Recherchebereichen von BASE: Erweiterte Suche, Hilfe, Browsing und Suchhistorie sowie zur mobilen Version. Die Optionen befinden sich in einer Überschriftleiste, die für alle Rechercheseiten einheitlich gestaltet ist, so dass problemlos zwischen den Funktionen gewechselt werden kann. Unterhalb der Suchmaske gelangt man u. a. auf die Seiten Über BASE (allgemeine Informationen über das Rechercheportal), das BASE-Blog und den Mastodonkanal.

Recherchefunktionalität

Standardsuche Bewusst am Erfolg von Google orientiert, präsentiert BASE dem Benutzer für den Sucheinstieg die Standardsuche mit nur einem einfachen Suchfeld, das standardmäßig für die Freitextsuche zur Verfügung steht. Mithilfe einer in der Hilfe erklärten Syntax ist es möglich, die Suche einzelner Begriffe auf einzelne Metadatenfelder zu beschränken. Bei der Eingabe der Suchbegriffe können Platzhalter für eine Rechtstrunkierung verwendet werden.

Zusätzlich bietet die Standardsuche die Option der automatischen Erweiterung der Suchbegriffe auf andere Wortformen (Lemmatisierung).

Erweiterte Suche Die Erweiterte Suche eröffnet standardmäßig die Möglichkeit, die Suchbegriffe spezifisch für die folgenden Metadatenfelder einzugeben: Gesamtes Dokument, Titel, Autor, Schlagwörter, DOI, (Teil der) URL und Verlag. Die Suche im gesamten Dokument entspricht der Standardsuche. Die einzelnen Metadatenfelder können miteinander kombiniert werden. Sie werden automatisch mit dem Booleschen Operator UND verknüpft. Innerhalb eines Suchfeldes können die Suchbegriffe durch verschiedene Boolesche Operatoren über eine spezielle, in der Hilfe dokumentierte Syntax kombiniert werden.

Daneben besteht die Option der Eingrenzung der Suche auf die Herkunft der Quellen (bestimmte Länder oder Kontinente), auf bestimmte Erscheinungsjahre oder -zeiträume, auf bestimmte Dokumentarten (z. B. Bücher, Artikel, Dissertationen, Videos) sowie auf Lizenzen zur Nachnutzung (Creative Commons, Public Domain, Softwarelizenzen wie GPL). Ebenso kann die Anzahl der in der Trefferliste angezeigten Titel begrenzt werden (10, 20, 30, 50 oder 100).

Ergebnisanzeige Die Suchergebnisse werden in einer Liste ausgegeben, die standardmäßig nach Relevanz sortiert wird. Die Ermittlung der Relevanz erfolgt nach verschiedenen Kriterien, z. B. spielt es eine Rolle, ob der Suchbegriff im Titel oder nur an anderer Stelle vorkommt. Das vorgegebene Ranking kann jedoch verändert und eine benutzerdefinierte Sortierung nach Autor, Titel oder Erscheinungsjahr gewählt werden, optional auf- oder absteigend.

Das einzelne Suchergebnis enthält – soweit vorhanden – umfangreiche, qualifizierte Metadaten (z. B. neben Titel und Autor auch Schlagwörter, Verlag, Quelle, Sprache, Abstract, URL). In die Trefferanzeige integriert ist der

• Link zum Original-Dokument (Metadaten oder elektronischem Volltext),
• Link zu einer neuen Suchanfrage nach dem Autor,
• Link zum Datenlieferanten,
• Link zu einer Suchanfrage in Google Scholar (durch die Suche nach dem Titel in Google Scholar können mit ihm verknüpfte Zitationen oder verschiedene Versionen des Werkes gefunden werden),
• Link zum Export per E-Mail und in Literaturverwaltungsprogramme,
• Link zum Hinzufügen als Favorit im persönlichen Profil (mit Login).

Ist die Treffermenge zu umfangreich, kann sie auf Autor, Schlagwort, Dewey-Dezimalklassifikation, Erscheinungsjahr, Quelle, Sprache, Dokumentart, Zugang (Open Access / unbekannt) oder Nachnutzung (Lizenz) eingegrenzt werden. Es kann jeweils nur eine Option aus den Auswahlmenüs ausgewählt werden.

Außerdem werden die Suchanfragen der aktuellen Sitzung in einer Suchhistorie angezeigt, die jeweils neu abgesetzt werden können. Mit einem persönlichen Login können Suchanfragen auch dauerhaft gespeichert werden. Des Weiteren können Suchanfragen als RSS- oder Atom-Web-Feed abonniert werden, die Suchergebnisse können per E-Mail verschickt oder gespeichert werden. Für diese Funktionen ist ebenfalls ein persönliches Login notwendig.

Aus der Trefferliste heraus kann durch Änderung der aktuellen Suchfrage direkt eine neue Suche ausgelöst werden.

Browsing

Neben der Suche bietet BASE auch ein Browsing nach Dewey-Dezimalklassifikation (DDC), Dokumentart, Nachnutzung / Lizenz und Zugang an. Die DDC der Dokumente wird auf zwei verschiedene Arten ermittelt: Zum einen werden bereits von einigen Datenquellen DDC-Nummern vergeben, die direkt in das Browsing übernommen werden. Zum anderen werden auch Dokumente innerhalb von BASE automatisch nachklassifiziert. Die dafür verwendete Technik wurde im Rahmen des DFG-geförderten Projekts „Automatische Anreicherung von OAI-Metadaten“ entwickelt.

Eingestellte Projekte

BASE DE

In einer eigenen Suchoberfläche konnte man gezielt in Quellen suchen, deren Dokumentenserver in Deutschland beheimatet sind. Damit sollte ein nationaler Nachweis von OAI-Metadaten ermöglicht werden. Die sogenannte „Deutschland-Sicht“ umfasste ca. 6.300.000 Dokumente aus über 250 Quellen.

BASE Lab

BASE bot mit BASE Lab einen öffentlichen Testbereich an, in dem neue Funktionen erprobt werden konnten. Folgende Funktionen erschienen zuerst dort:

• Einsatz computerlinguistischer Verfahren zur automatischen Klassifikation von OAI-Metadaten im Rahmen des DFG-Projekts „Automatische Anreicherung von OAI-Metadaten mit Hilfe computerlinguistischer Verfahren und Entwicklung von Services für die inhaltsorientierte Vernetzung von Repositorien“.
• Aufbau eines Dienstes zur Bereitstellung aggregierter und normalisierter OAI-Metadaten
• Ausbau der Kennzeichnung von Open-Access-Dokumenten
• Höhergewichtung von Open-Access-Dokumenten

Technische Grundlagen

Suchmaschinentechnologie

Technische Basis ist die Suchmaschinentechnologie von Solr und Vufind. Sie ermöglicht

• den Einsatz von linguistischen Verfahren zur Optimierung von Suchanfragen (z. B. Lemmatisierung, Kompositazerlegung, Permutationen)

  Durch automatische Spracherkennung und Erzeugung von Wörterbüchern werden die Suchbegriffe auf weitere Wortformen (Plural, Genitiv) erweitert.

• Relevanz-Ranking der Suchergebnisse

  Die Relevanz wird durch einen in der Software enthaltenen Algorithmus ermittelt

• Nachträgliche Eingrenzung der Treffermenge nach bestimmten Kriterien (Autor, Schlagwort, Erscheinungsjahr, Quelle, Sprache und Dokumentart).

Integration der Datenquellen

Die Daten werden über unterschiedliche Schnittstellen in die Suchmaschine eingebunden, nämlich über

• im Regelfall: OAI-Harvesting

  Metadaten ausgewählter OAI-Dokumentenserver werden über das Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH) eingebunden.

• in Sonderfällen: Web-Crawler

  Inhalte aus wissenschaftlichen Webseiten werden durch einen eigenen Webcrawler eingesammelt. Die hier ermittelten Volltextdaten werden auf enthaltene Metadaten hin analysiert.

Die überwiegend im Dublin-Core-Format eingesammelten Daten sind sehr heterogen und müssen deswegen vor dem Indexieren aufwändig normalisiert werden.

Schnittstellen zu Fremdanbietern

BASE ermöglicht durch Links in den Trefferlisten die direkte Suche nach einzelnen Titeln in Google Scholar. Nutzt der Anwender BASE vor Ort in einer Bibliothek, können Links in den Google-Trefferlisten zum durch die Bibliothek angebotenen Volltext führen. Dies setzt die Konfiguration seitens der Bibliothek voraus.

Schnittstellen zur Nachnutzung von BASE-Diensten und -Daten

BASE bietet mehrere Programmierschnittstellen an:

• Die Such- oder HTTP-Schnittstelle ist eine REST-API für die direkte Suche im BASE-Index via Solr. Die Nutzung ist kostenlos für nichtkommerzielle Vorhaben und setzt lediglich die Registrierung einer festen IP-Adresse voraus.
• Die OAI-PMH-API bietet Projektpartnern und ausgewählten nichtkommerziellen Projekten die Möglichkeit, die normalisierten BASE-Daten (oder thematische Ausschnitte) aktuell zu beziehen.
• Ohne Programmieraufwand realisierbar ist der Einbau eines HTML-Formulars als Suchbox zur Suche in BASE aus der eigenen Website heraus.

Nachnutzer

Einbindung in Fachportale

BASE ist in die Metasuche von mehreren deutschen Fachportalen eingebunden. Fachportal paedagogik.de, Germanistik im Netz, ilissAfrica, vifabio, Virtuelle Fachbibliothek medien buehne film und Livivo (ZB MED) binden entweder den vollständigen BASE-Index ein oder filtern die Suchanfrage nach einer Auswahl von Repositorien, die zum jeweiligen Fach passen. Da nicht nur klassische Hochschulschriftenserver, sondern auch Plattformen mit Digitalisaten von Fotos, Karten und anderen Quellenmaterialien geharvestet werden, öffnet BASE hier auch den Weg in Richtung Forschungsprimärdaten und virtuelle Forschungsumgebungen.

Nutzung durch Open-Access-Dienste

BASE ist eine Primärquelle des Webdienstes dissem.in, der Autoren dabei hilft, eigene Fachpublikationen zu entdecken, die (noch) hinter einer Paywall verborgen sind, obwohl die Autoren sie frei zum Download anbieten dürften.

Auf ähnliche Weise nutzt der webbasierte Altmetrik-Dienst Impactstory BASE, um zu prüfen, ob es von einem Artikel eine frei verfügbare Version im Sinne des grünen Wegs zum Open Access gibt.

Der alternative DOI-Resolver doai.io und oadoi.org nutzen BASE, um frei verfügbare Versionen (z. B. Preprints/Eprints) von Artikeln zu finden, die ansonsten nur gegen Bezahlung oder mit einer Campuslizenz verfügbar sind.

Das Browser-Plugin Unpaywall nutzt BASE-Daten, um beim Aufruf akademischer Bezahlschranken einen Link zu einer legalen kostenlosen Fassung desselben Werks einzublenden (falls vorhanden).

Nutzung durch Discovery Services

Seit Dezember 2015 bindet der EBSCO Discovery Service (EDS) die von BASE gesammelten und aufbereiteten Daten in seinen Dienst ein.

Nutzung durch andere Suchmaschinen

BASE ist eine per Voreinstellung aktive Quelle der nicht-kommerziellen deutschen Metasuchmaschine MetaGer und (seit Mitte 2016) der Metasuchmaschinen etools.ch (optional) und Searx (im Science-Tab). Auch die bibliographische Metasuche Karlsruher Virtueller Katalog kann BASE durchsuchen.

Vergleichbare Angebote

Ein ähnliches Angebot wie BASE bieten das britische CORE (COnnecting REpositories) und das ursprünglich von der University of Michigan entwickelte OAIster (heute Teil von OCLC). Beide sind vom Umfang her aber deutlich kleiner. Vergleichbare kommerzielle Suchmaschinen mit wissenschaftlichem Zuschnitt – aber geringerer Metadatenqualität – sind Google Scholar und Microsoft Academic Search.

Literatur

• Dirk Pieper, Friedrich Summann: Bielefeld Academic Search Engine (BASE): An end-user oriented institutional repository search service. In: Library Hi Tech, Band 24, Nr. 4, 2006, S. 614–619; urn:nbn:de:0070-pub-16809798.
• Dirk Pieper, Sebastian Wolf: BASE – Eine Suchmaschine für OAI-Quellen und wissenschaftliche Webseiten. In: Information, Wissenschaft & Praxis (IWP), Band 58, Nr. 3, 2007, S. 179–182; urn:nbn:de:0070-pub-17065454.
• Weiterführende Literatur auf der BASE-Website Über BASE: Publikationen. abgerufen am 27. August 2013.

Weblinks

• BASE Bielefeld Academic Search Engine
• BASE – Wissenschaftliche Suchmaschine. Video
• BASE Weblog