Skip to content

Commit

Permalink
Merge branch 'master' into 96-fix-accessibility-issues
Browse files Browse the repository at this point in the history
  • Loading branch information
Phu2 committed Jul 9, 2024
2 parents 763d522 + 7540584 commit 43109db
Show file tree
Hide file tree
Showing 9 changed files with 149 additions and 1 deletion.
2 changes: 2 additions & 0 deletions Gemfile
Original file line number Diff line number Diff line change
Expand Up @@ -2,3 +2,5 @@ source 'https://rubygems.org'
gem 'github-pages', group: :jekyll_plugins
gem 'jekyll-seo-tag'
gem "webrick", "~> 1.8"
# See https://github.com/ffi/ffi/issues/1103
gem "ffi", "< 1.17.0"
4 changes: 3 additions & 1 deletion README.textile
Original file line number Diff line number Diff line change
@@ -1,5 +1,7 @@
This repo contains the sources for the "Lobid blog page":http://blog.lobid.org

It's automatically deployed to https://hbz.github.io/lobid-blog/ by "GitHub Pages":https://github.com/hbz/lobid-blog/settings/pages when pushing to the *master* branch.

To set up the Jekyll-based blog locally, see "https://help.github.com/articles/setting-up-your-github-pages-site-locally-with-jekyll/":https://help.github.com/articles/setting-up-your-github-pages-site-locally-with-jekyll/

Quick setup:
Expand All @@ -12,7 +14,7 @@ Quick setup:

Start server locally when working on a draft:

@bundle exec jekyll serve --drafts --watch@
@bundle exec jekyll serve --drafts --future --watch@

Open "http://localhost:4000":http://localhost:4000

Expand Down
1 change: 1 addition & 0 deletions _layouts/default.html
Original file line number Diff line number Diff line change
Expand Up @@ -31,6 +31,7 @@
<li><a href="https://www.hbz-nrw.de/barrierefreiheit">Accessibility</a></li>
<li><a href="https://lobid.org">lobid.org</a></li>
<li><a href="https://github.com/hbz">github.com/hbz</a></li>
<li><a href="https://metadaten.community/c/software-und-tools/lobid/10">Discourse</a></li>
<li><a href="/feed.xml">Feed</a></li>
<li><a href="https://wiki1.hbz-nrw.de/pages/viewrecentblogposts.action?key=SEM">Old blog (2010-2015)</a></li>
</ul>
Expand Down
15 changes: 15 additions & 0 deletions _posts/2024-04-22-hourly-updates.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,15 @@
---
layout: post
title: "Hourly updates intervals for lobid-gnd"
date: 2024-04-22
author: Tobias Bülte
tags: lobid-gnd
---

For lobid-gnd we fetch the GND as RDF-XML via OAI-PMH from the DNB and transform it to JSON-LD.
At SWIB 2023 a colleague from UB Münster suggested to shorten our interval for ingesting OAI-PMH updates
which we provided at a daily basis.

Now we are glad to announce that lobid-gnd provides hourly updates so you do not have to wait for the next day to get current GND data.

Have fun with it.
11 changes: 11 additions & 0 deletions _posts/2024-06-17-mou-dnb-hbz.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
---
layout: post
title: "Verstärkte Zusammenarbeit mit der DNB für eine verbesserte GND-Infrastruktur"
date: 2024-06-17
author: Adrian Pohl
tags: lobid-gnd
---

Wir freuen uns, die Unterzeichnung eines Memorandum of Understandings zwischen der DNB und dem hbz verkünden zu können. Das Memorandum unterstreicht den gemeinsamen Kooperationswillen beider Einrichtungen bei der Weiterentwicklung der Infrastruktur für die Gemeinsame Normdatei (GND). Es hält konkrete nächste Schritte fest in Bezug auf die Webseite der GND-Kooperative [gnd.network](https://gnd.network), auf die Etablierung des [Reconciliation Services von lobid-gnd](https://lobid.org/gnd/reconcile) als offizieller Schnittstelle zum Abgleich von Daten mit der GND sowie zur intensivierten Nutzung des [metadaten.community](https://metadaten.community)-Forums für Austausch und gegenseitige Unterstützung und Diskussion von Fragen rund um die Gemeinsame Normdatei (GND).

Das Memorandum of Understanding wurde am 21. Mai 2024 unterzeichnet und ist auf dem metadaten.community-Forum dokumentiert: [https://metadaten.community/t/memorandum-of-understanding-von-dnb-und-hbz/356](https://metadaten.community/t/memorandum-of-understanding-von-dnb-und-hbz/356).
73 changes: 73 additions & 0 deletions _posts/2024-06-24-custom-gnd-suggests.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,73 @@
---
layout: post
title: "Customize your GND autosuggests"
date: 2024-06-24
author: Adrian Pohl
tags: lobid-gnd
---

Recently, the current lookup options in lobid-gnd turned out to not be enough for a use case we were facing. We needed to associate date and place of a person's birth/death but couldn't. So we added this option for everyone to benefit from. Now, you can get auto-suggests for GND persons that include a good overview of birth/death dates and places, occupations/professions and places of activity. They might for example look like this:

![Suggest list of different persons for query 'rowohlt' containing the named information with unicode icons fr birth and death](/images/20240624-custom-gnd-suggests/rpb-strapi-screenshot.png)

### How do I make lobid return a custom autosuggest format?

We have documented the configuration of such a customized GND autosuggest string in the [API documentation](https://lobid.org/gnd/api#auto-complete).

For example, here is the query that returns autosuggestions like the above: [`rowohlt+AND+type:Person&format=json:preferredName,*_dateOfBirth+_placeOfBirth,†_dateOfDeath+_placeOfDeath,placeOfActivity,professionOrOccupation`](https://lobid.org/gnd/search?q=rowohlt+AND+type:Person&format=json%3ApreferredName,*_dateOfBirth+_placeOfBirth,%E2%80%A0_dateOfDeath+_placeOfDeath,placeOfActivity,professionOrOccupation)

The reponse to this query looks like this:

```json
[ {
"label" : "Rowohlt, Hilda | † 1943",
"id" : "https://d-nb.info/gnd/116004595X",
"category" : "Individualisierte Person"
}, {
"label" : "Rowohlt, Charlotta | Schauspielerin",
"id" : "https://d-nb.info/gnd/124750848X",
"category" : "Individualisierte Person"
}, {
"label" : "Rowohlt, Heinrich",
"id" : "https://d-nb.info/gnd/139303960",
"category" : "Individualisierte Person"
}, {
"image" : "https://commons.wikimedia.org/wiki/Special:FilePath/HARRYROW.jpg?width=100",
"label" : "Rowohlt, Harry | * 1945 Hamburg | † 2015 Hamburg | Schriftsteller; Lyriker; Verleger; Journalist; Sprecher; Übersetzer",
"id" : "https://d-nb.info/gnd/107828553",
"category" : "Individualisierte Person"
}, {
"label" : "Rowohlt, Hilde",
"id" : "https://d-nb.info/gnd/116667230",
"category" : "Individualisierte Person"
}, {
"label" : "Rowohlt, Ernst | * 1887 Bremen | † 1960 Hamburg | Leipzig; Berlin | Verleger",
"id" : "https://d-nb.info/gnd/118603493",
"category" : "Individualisierte Person"
}, {
"label" : "Pierenkämper-Rowohlt, Maria | * 1910 | † 2005 | Hamburg-Volksdorf | Schauspielerin",
"id" : "https://d-nb.info/gnd/116184620",
"category" : "Individualisierte Person"
}, {
"label" : "Ledig-Rowohlt, Heinrich Maria | * 1908 Leipzig | † 1992 Delhi | Verleger",
"id" : "https://d-nb.info/gnd/118570757",
"category" : "Individualisierte Person"
}, {
"label" : "Ledig-Rowohlt, Jane | † 1994 | Hamburg",
"id" : "https://d-nb.info/gnd/116853166",
"category" : "Individualisierte Person"
}, {
"label" : "Pierenkämpfer, Maria | * [19XX] | Schauspielerin",
"id" : "https://d-nb.info/gnd/1329213513",
"category" : "Individualisierte Person"
} ]
```

Basically, as with autosuggest queries before, you have to configure the response payload by using the `format=json` parameter, add a trailing colon and then the configuration bit which in our case is `preferredName,*_dateOfBirth+_placeOfBirth,†_dateOfDeath+_placeOfDeath,placeOfActivity,professionOrOccupation`.

As usual, you have a comma-seperated list of all the field contents you want to be returned. The additional option is provided by allowing to use `_{field}` with the addition of custom characters like "†". I could also use "born in"/"died in" instead, like this: [`preferredName,born in_dateOfBirth,placeOfBirth,died in_dateOfDeath,placeOfDeath,placeOfActivity,professionOrOccupation`](https://lobid.org/gnd/search?q=rowohlt+AND+type:Person&format=json%3ApreferredName,born in_dateOfBirth,placeOfBirth,died in_dateOfDeath,placeOfDeath,placeOfActivity,professionOrOccupation)

We hope that others will also benefit from this option. Let us know if you like it.


*This feature was added in the context of a project where we are building a new editorial backend for the regional bibliography and person database of Rhineland-Palatinate ([RPB](https://rpb.lbz-rlp.de/) &amp; [RPPD](https://rppd.lobid.org)). For looking up GND IDs in the [Strapi](https://strapi.io/)-based editorial backend, we are relying on the lobid-gnd API. We were happy to play back the needed improvements for the lookups into the lobid-gnd service.*
43 changes: 43 additions & 0 deletions _posts/2024-07-04-rvk-enrichment.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,43 @@
---
layout: post
title: "RVK-Anreicherung mit Hilfe von Culturegraph"
date: 2024-07-04
author: Tobias Bülte, Pascal Christoph
tags: lobid-resources
---

### Eine sechs Jahre alte Idee

Seit [2018 steht die Idee im Raum](https://github.com/hbz/lobid-resources/issues/819) die lobid-resources-Daten um Inhaltserschließung anderer Verbünde mit Hilfe von [Culturegraph](https://hub.culturegraph.org/page/about) anzureichern. Damals reichte der Stand der Entwicklung von Culturegraph und ihrer aggregierten Daten für diesen Anwendungsfall noch nicht aus, da die Daten nicht häufig genug aktualisiert wurden.

2020 hatte H.G. Becker das auf der lobid-resources-API aufbauende [Discovery System der TU Dortmund mit RVK-Notationen angereichert]( https://katalog.ub.tu-dortmund.de/taxonomy/tree ).
Dazu gab es einen Austausch, aus welchem das [Issue 1058](https://github.com/hbz/lobid-resources/issues/1058) hervorging, das die zwei Jahre ältere Idee wieder aufgriff und konkretisierte.

Dieses Jahr haben wir endlich die Anreicherungsroutine der GND-Daten mit RVK-Daten umgesetzt. Dafür nutzen wir die von den Verbünden aggregierten [Culturegraph-Daten](https://data.dnb.de/culturegraph/).

### Implementierung

Aus der Aggregation erstellen wir eine ca. 300 MB große zweispaltige "key-value" TSV-Datei.
Mittels dieser Datei werden die Verbunddaten bei ihrer Transformation von MARCXML zum lobid JSON-LD [per Lookup angereichert](https://github.com/hbz/lobid-resources/pull/2024/files#diff-020b061fcaa03198b32e4683b6bc3321cf890ec08ded8cc43cd88ea8a0514b3fL328).
Die erste Spalte ist der Schlüssel ("key") und besteht aus der ALMA-MMS-IDs des hbz. In der zweiten Spalte stehen die damit assozierten RVK-Notationen ("value"). Sind mehrere Notationen assoziert, so sind diese mit Komma getrennt und werden während des Lookups iteriert und entsprechend dann tatsächlich als "Ein Feld - ein Wert" in den lobid Daten verspeichert.

Durch die Anreicherung steigt die Anzahl der mit RVK versehenen Records von 1,5 auf knapp 7 Millionen.

[Ein Beispiel](https://lobid.org/resources/990062574560206441):

```JSON
{
"notation": "XB 3592",
"type": [
"Concept"
],
"source": {
"label": "RVK (Regensburger Verbundklassifikation)",
"id": "https://d-nb.info/gnd/4449787-8"
}
}
```

### Verzicht auf Provenienzangaben

Wie zu sehen ist, sind diese angereicherten Notationen aktuell nicht als solche ausgewiesen, d.h. es gibt keine direkten Angaben zur Provenienz der angereicherten RVK-Notationen. Es wird lediglich – wie bei den intellektuell vergebenen RVK-Notationen – allgemein angegeben, dass sie aus der "Regensburger Verbundklassifikation" stammen. Wir haben diskutiert, ob diese Anreicherungen besser als solche markiert werden sollten und es sogar eine Möglichkeit geben sollte sie herauszufiltern. Das lobid-Datenmodell lässt das aber nicht ohne größere nicht rückwärtskompatible Anpassungen zu. Da wir davon ausgehen, dass es sich hier um ein Feature für alle Nutzer:innen handelt und eine Filtermöglichkeit deshalb nicht nötig ist, haben wir uns für die jetzige leichtgewichtige Umsetzung entschieden. Lasst uns gerne [im metadaten.community-Forum](https://metadaten.community/t/anreicherung-von-hbz-verbunddaten-lobid-resources-mit-culturegraph/402) wissen, was ihr davon haltet und meldet euch, falls es doch Probleme in eurer Anwendung macht.
1 change: 1 addition & 0 deletions css/main.css
Original file line number Diff line number Diff line change
Expand Up @@ -64,6 +64,7 @@ code {
padding: 2px 4px;
background-color: #f5f5f5;
font-size: smaller;
word-wrap: break-word;
}

img {
Expand Down
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.

0 comments on commit 43109db

Please sign in to comment.