-
Notifications
You must be signed in to change notification settings - Fork 0
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Merge branch 'master' into 96-fix-accessibility-issues
- Loading branch information
Showing
9 changed files
with
149 additions
and
1 deletion.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,15 @@ | ||
--- | ||
layout: post | ||
title: "Hourly updates intervals for lobid-gnd" | ||
date: 2024-04-22 | ||
author: Tobias Bülte | ||
tags: lobid-gnd | ||
--- | ||
|
||
For lobid-gnd we fetch the GND as RDF-XML via OAI-PMH from the DNB and transform it to JSON-LD. | ||
At SWIB 2023 a colleague from UB Münster suggested to shorten our interval for ingesting OAI-PMH updates | ||
which we provided at a daily basis. | ||
|
||
Now we are glad to announce that lobid-gnd provides hourly updates so you do not have to wait for the next day to get current GND data. | ||
|
||
Have fun with it. |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,11 @@ | ||
--- | ||
layout: post | ||
title: "Verstärkte Zusammenarbeit mit der DNB für eine verbesserte GND-Infrastruktur" | ||
date: 2024-06-17 | ||
author: Adrian Pohl | ||
tags: lobid-gnd | ||
--- | ||
|
||
Wir freuen uns, die Unterzeichnung eines Memorandum of Understandings zwischen der DNB und dem hbz verkünden zu können. Das Memorandum unterstreicht den gemeinsamen Kooperationswillen beider Einrichtungen bei der Weiterentwicklung der Infrastruktur für die Gemeinsame Normdatei (GND). Es hält konkrete nächste Schritte fest in Bezug auf die Webseite der GND-Kooperative [gnd.network](https://gnd.network), auf die Etablierung des [Reconciliation Services von lobid-gnd](https://lobid.org/gnd/reconcile) als offizieller Schnittstelle zum Abgleich von Daten mit der GND sowie zur intensivierten Nutzung des [metadaten.community](https://metadaten.community)-Forums für Austausch und gegenseitige Unterstützung und Diskussion von Fragen rund um die Gemeinsame Normdatei (GND). | ||
|
||
Das Memorandum of Understanding wurde am 21. Mai 2024 unterzeichnet und ist auf dem metadaten.community-Forum dokumentiert: [https://metadaten.community/t/memorandum-of-understanding-von-dnb-und-hbz/356](https://metadaten.community/t/memorandum-of-understanding-von-dnb-und-hbz/356). |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,73 @@ | ||
--- | ||
layout: post | ||
title: "Customize your GND autosuggests" | ||
date: 2024-06-24 | ||
author: Adrian Pohl | ||
tags: lobid-gnd | ||
--- | ||
|
||
Recently, the current lookup options in lobid-gnd turned out to not be enough for a use case we were facing. We needed to associate date and place of a person's birth/death but couldn't. So we added this option for everyone to benefit from. Now, you can get auto-suggests for GND persons that include a good overview of birth/death dates and places, occupations/professions and places of activity. They might for example look like this: | ||
|
||
![Suggest list of different persons for query 'rowohlt' containing the named information with unicode icons fr birth and death](/images/20240624-custom-gnd-suggests/rpb-strapi-screenshot.png) | ||
|
||
### How do I make lobid return a custom autosuggest format? | ||
|
||
We have documented the configuration of such a customized GND autosuggest string in the [API documentation](https://lobid.org/gnd/api#auto-complete). | ||
|
||
For example, here is the query that returns autosuggestions like the above: [`rowohlt+AND+type:Person&format=json:preferredName,*_dateOfBirth+_placeOfBirth,†_dateOfDeath+_placeOfDeath,placeOfActivity,professionOrOccupation`](https://lobid.org/gnd/search?q=rowohlt+AND+type:Person&format=json%3ApreferredName,*_dateOfBirth+_placeOfBirth,%E2%80%A0_dateOfDeath+_placeOfDeath,placeOfActivity,professionOrOccupation) | ||
|
||
The reponse to this query looks like this: | ||
|
||
```json | ||
[ { | ||
"label" : "Rowohlt, Hilda | † 1943", | ||
"id" : "https://d-nb.info/gnd/116004595X", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"label" : "Rowohlt, Charlotta | Schauspielerin", | ||
"id" : "https://d-nb.info/gnd/124750848X", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"label" : "Rowohlt, Heinrich", | ||
"id" : "https://d-nb.info/gnd/139303960", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"image" : "https://commons.wikimedia.org/wiki/Special:FilePath/HARRYROW.jpg?width=100", | ||
"label" : "Rowohlt, Harry | * 1945 Hamburg | † 2015 Hamburg | Schriftsteller; Lyriker; Verleger; Journalist; Sprecher; Übersetzer", | ||
"id" : "https://d-nb.info/gnd/107828553", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"label" : "Rowohlt, Hilde", | ||
"id" : "https://d-nb.info/gnd/116667230", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"label" : "Rowohlt, Ernst | * 1887 Bremen | † 1960 Hamburg | Leipzig; Berlin | Verleger", | ||
"id" : "https://d-nb.info/gnd/118603493", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"label" : "Pierenkämper-Rowohlt, Maria | * 1910 | † 2005 | Hamburg-Volksdorf | Schauspielerin", | ||
"id" : "https://d-nb.info/gnd/116184620", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"label" : "Ledig-Rowohlt, Heinrich Maria | * 1908 Leipzig | † 1992 Delhi | Verleger", | ||
"id" : "https://d-nb.info/gnd/118570757", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"label" : "Ledig-Rowohlt, Jane | † 1994 | Hamburg", | ||
"id" : "https://d-nb.info/gnd/116853166", | ||
"category" : "Individualisierte Person" | ||
}, { | ||
"label" : "Pierenkämpfer, Maria | * [19XX] | Schauspielerin", | ||
"id" : "https://d-nb.info/gnd/1329213513", | ||
"category" : "Individualisierte Person" | ||
} ] | ||
``` | ||
|
||
Basically, as with autosuggest queries before, you have to configure the response payload by using the `format=json` parameter, add a trailing colon and then the configuration bit which in our case is `preferredName,*_dateOfBirth+_placeOfBirth,†_dateOfDeath+_placeOfDeath,placeOfActivity,professionOrOccupation`. | ||
|
||
As usual, you have a comma-seperated list of all the field contents you want to be returned. The additional option is provided by allowing to use `_{field}` with the addition of custom characters like "†". I could also use "born in"/"died in" instead, like this: [`preferredName,born in_dateOfBirth,placeOfBirth,died in_dateOfDeath,placeOfDeath,placeOfActivity,professionOrOccupation`](https://lobid.org/gnd/search?q=rowohlt+AND+type:Person&format=json%3ApreferredName,born in_dateOfBirth,placeOfBirth,died in_dateOfDeath,placeOfDeath,placeOfActivity,professionOrOccupation) | ||
|
||
We hope that others will also benefit from this option. Let us know if you like it. | ||
|
||
|
||
*This feature was added in the context of a project where we are building a new editorial backend for the regional bibliography and person database of Rhineland-Palatinate ([RPB](https://rpb.lbz-rlp.de/) & [RPPD](https://rppd.lobid.org)). For looking up GND IDs in the [Strapi](https://strapi.io/)-based editorial backend, we are relying on the lobid-gnd API. We were happy to play back the needed improvements for the lookups into the lobid-gnd service.* |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,43 @@ | ||
--- | ||
layout: post | ||
title: "RVK-Anreicherung mit Hilfe von Culturegraph" | ||
date: 2024-07-04 | ||
author: Tobias Bülte, Pascal Christoph | ||
tags: lobid-resources | ||
--- | ||
|
||
### Eine sechs Jahre alte Idee | ||
|
||
Seit [2018 steht die Idee im Raum](https://github.com/hbz/lobid-resources/issues/819) die lobid-resources-Daten um Inhaltserschließung anderer Verbünde mit Hilfe von [Culturegraph](https://hub.culturegraph.org/page/about) anzureichern. Damals reichte der Stand der Entwicklung von Culturegraph und ihrer aggregierten Daten für diesen Anwendungsfall noch nicht aus, da die Daten nicht häufig genug aktualisiert wurden. | ||
|
||
2020 hatte H.G. Becker das auf der lobid-resources-API aufbauende [Discovery System der TU Dortmund mit RVK-Notationen angereichert]( https://katalog.ub.tu-dortmund.de/taxonomy/tree ). | ||
Dazu gab es einen Austausch, aus welchem das [Issue 1058](https://github.com/hbz/lobid-resources/issues/1058) hervorging, das die zwei Jahre ältere Idee wieder aufgriff und konkretisierte. | ||
|
||
Dieses Jahr haben wir endlich die Anreicherungsroutine der GND-Daten mit RVK-Daten umgesetzt. Dafür nutzen wir die von den Verbünden aggregierten [Culturegraph-Daten](https://data.dnb.de/culturegraph/). | ||
|
||
### Implementierung | ||
|
||
Aus der Aggregation erstellen wir eine ca. 300 MB große zweispaltige "key-value" TSV-Datei. | ||
Mittels dieser Datei werden die Verbunddaten bei ihrer Transformation von MARCXML zum lobid JSON-LD [per Lookup angereichert](https://github.com/hbz/lobid-resources/pull/2024/files#diff-020b061fcaa03198b32e4683b6bc3321cf890ec08ded8cc43cd88ea8a0514b3fL328). | ||
Die erste Spalte ist der Schlüssel ("key") und besteht aus der ALMA-MMS-IDs des hbz. In der zweiten Spalte stehen die damit assozierten RVK-Notationen ("value"). Sind mehrere Notationen assoziert, so sind diese mit Komma getrennt und werden während des Lookups iteriert und entsprechend dann tatsächlich als "Ein Feld - ein Wert" in den lobid Daten verspeichert. | ||
|
||
Durch die Anreicherung steigt die Anzahl der mit RVK versehenen Records von 1,5 auf knapp 7 Millionen. | ||
|
||
[Ein Beispiel](https://lobid.org/resources/990062574560206441): | ||
|
||
```JSON | ||
{ | ||
"notation": "XB 3592", | ||
"type": [ | ||
"Concept" | ||
], | ||
"source": { | ||
"label": "RVK (Regensburger Verbundklassifikation)", | ||
"id": "https://d-nb.info/gnd/4449787-8" | ||
} | ||
} | ||
``` | ||
|
||
### Verzicht auf Provenienzangaben | ||
|
||
Wie zu sehen ist, sind diese angereicherten Notationen aktuell nicht als solche ausgewiesen, d.h. es gibt keine direkten Angaben zur Provenienz der angereicherten RVK-Notationen. Es wird lediglich – wie bei den intellektuell vergebenen RVK-Notationen – allgemein angegeben, dass sie aus der "Regensburger Verbundklassifikation" stammen. Wir haben diskutiert, ob diese Anreicherungen besser als solche markiert werden sollten und es sogar eine Möglichkeit geben sollte sie herauszufiltern. Das lobid-Datenmodell lässt das aber nicht ohne größere nicht rückwärtskompatible Anpassungen zu. Da wir davon ausgehen, dass es sich hier um ein Feature für alle Nutzer:innen handelt und eine Filtermöglichkeit deshalb nicht nötig ist, haben wir uns für die jetzige leichtgewichtige Umsetzung entschieden. Lasst uns gerne [im metadaten.community-Forum](https://metadaten.community/t/anreicherung-von-hbz-verbunddaten-lobid-resources-mit-culturegraph/402) wissen, was ihr davon haltet und meldet euch, falls es doch Probleme in eurer Anwendung macht. |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.