Merge #1850 from remote-tracking branch 'origin/1848-dewey' into upda…

…teTestsAfterEndOfWave3
hbz · Sep 19, 2023 · 2b55bcb · 2b55bcb
2 parents cc4c380 + 3afbfef
commit 2b55bcb
Show file tree

Hide file tree

Showing 38 changed files with 991 additions and 198 deletions.
diff --git a/src/main/java/org/lobid/resources/run/AlmaMarcXmlFix2lobidJsonEs.java b/src/main/java/org/lobid/resources/run/AlmaMarcXmlFix2lobidJsonEs.java
@@ -115,7 +115,8 @@ public void run() {
                 fixVariables.put("createEndTime", "1"); // 1 <=> true
                 fixVariables.put("institution-code", "DE-605");
                 // the './' is mandatory to get play to use the "conf" directory. Base is the root directory of the fix, which is "alma":
-                fixVariables.put("deweyLabels", "./../deweyLabels.tsv");
+                fixVariables.put("deweyLabels", "./maps/deweyLabels.tsv");
+                fixVariables.put("dnbSachgruppen", "./maps/dnbSachgruppen.tsv");                
                 fixVariables.put("nwbib-spatial", "./../nwbib-spatial.tsv");
                 fixVariables.put("wd_itemLabelTypesCoordinates", "./../wd_itemLabelTypesCoordinates.tsv");
                 fixVariables.put("maps-institutions.tsv", "./maps/institutions.tsv");

diff --git a/src/main/resources/alma/fix/maps.fix b/src/main/resources/alma/fix/maps.fix
@@ -19,6 +19,10 @@ put_filemap("$[nwbibWikidataLabelTypeCoords.tsv]","nwbibWikidataLabel", sep_char
 put_filemap("$[nwbibWikidataLabelTypeCoords.tsv]","nwbibWikidataTypes", sep_char:"\t",key_column:"0",value_column:"3",expected_columns:"-1")
 put_filemap("$[nwbibWikidataLabelTypeCoords.tsv]","nwbibWikidataGeodata", sep_char:"\t",key_column:"0",value_column:"4",expected_columns:"-1")
 
+# DDC & DNB-Sachgruppen
+put_filemap("$[deweyLabels]","deweyLabels",sep_char:"\t")
+put_filemap("$[dnbSachgruppen]","dnbSachgruppen",sep_char:"\t")
+
 # Library Classifications
 put_filemap("$[classification.tsv]","classificationCode2Label", sep_char:"\t",key_column:"0",value_column:"1",expected_columns:"-1")
 put_filemap("$[classification.tsv]","classificationCode2Uri", sep_char:"\t",key_column:"0",value_column:"2",expected_columns:"-1")

diff --git a/src/main/resources/alma/fix/subjects.fix b/src/main/resources/alma/fix/subjects.fix
@@ -236,17 +236,15 @@ end
 # 082 - Dewey Decimal Classification Number (R) - Subfield: $a (R), $2 (NR)
 
 do list(path:"0820 |08200", "var":"$i")
-  set_array("subject[].$append.type[]","Concept")
-  add_field("subject[].$last.source.label","Dewey-Dezimalklassifikation")
-  add_field("subject[].$last.source.id","https://d-nb.info/gnd/4149423-4")
   do list(path:"$i.a", "var": "$j")
-    unless exists("subject[].$last.label")
-      copy_field("$i.a","subject[].$last.label")
-      lookup("subject[].$last.label", "$[deweyLabels]","sep_char":"\t")
-      copy_field("$i.a","subject[].$last.notation")
-    end
+    set_array("subject[].$append.type[]","Concept")
+    add_field("subject[].$last.source.label","Dewey-Dezimalklassifikation")
+    add_field("subject[].$last.source.id","https://d-nb.info/gnd/4149423-4")
+    copy_field("$j","subject[].$last.label")
+    lookup("subject[].$last.label", "deweyLabels", delete:"true")
+    copy_field("$j","subject[].$last.notation")
+    copy_field("$i.2","subject[].$last.version")
   end
-  copy_field("$i.2","subject[].$last.version")
 end
 
 # 084 - Other Classification Number (R) - Subfield: $a (R), $2 (NR)
@@ -292,6 +290,30 @@ do list(path:"084??", "var":"$i")
               add_field("subject[].$last.source.label", "RPB-Sachsystematik")
               replace_all("subject[].$last.notation","rpb(.*)","$1")
             end
+          elsif any_match("$i.2", "sdnb|zdbs")
+            if any_match("$j","\\d{3}(\\.\\d{1,3})?|[BKS]")
+              if any_equal("$i.q","DE-600")
+                add_field("subject[].$last.source.label","DDC-Sachgruppen der ZDB")
+              elsif any_equal("$i.2","zdbs")
+                add_field("subject[].$last.source.label","DDC-Sachgruppen der ZDB")
+              else
+                add_field("subject[].$last.source.label","Sachgruppen der DNB")
+                add_field("subject[].$last.source.id","https://bartoc.org/en/node/20049")
+              end
+              copy_field("$j","subject[].$last.label")
+              lookup("subject[].$last.label", "dnbSachgruppen")
+              # Also use all DNB and ZDB Sachgruppen as DDC too.
+              set_array("subject[].$append.type[]","Concept")
+              add_field("subject[].$last.source.label","Dewey-Dezimalklassifikation")
+              add_field("subject[].$last.source.id","https://d-nb.info/gnd/4149423-4")
+              copy_field("$j","subject[].$last.label")
+              lookup("subject[].$last.label", "deweyLabels")
+              copy_field("$j","subject[].$last.notation")
+              copy_field("$i.2","subject[].$last.version")
+            elsif any_match("$j","\\d{2}")
+              add_field("subject[].$last.source.label","Systematik der DNB (bis 2003)")
+              add_field("subject[].$last.source.id","https://bartoc.org/en/node/18497")
+            end
           else
             copy_field("$i.2", "subject[].$last.source.label")
             lookup("subject[].$last.source.label","classificationCode2Label")

diff --git a/src/main/resources/alma/maps/classification.tsv b/src/main/resources/alma/maps/classification.tsv
@@ -1,5 +1,5 @@
 udc	UDC (Universal Decimal Classification)	https://d-nb.info/gnd/4114037-0
-sdnb	DNB (Systematik der Deutschen Nationalbibliographie)	http://bartoc.org/en/node/18497
+sdnb	Sachgruppen der DNB	https://bartoc.org/en/node/20049
 methepp	Methode Eppelsheimer
 bkl	BK (Basisklassifikation)	http://bartoc.org/en/node/18785
 rvk	RVK (Regensburger Verbundklassifikation)	https://d-nb.info/gnd/4449787-8
@@ -17,4 +17,4 @@ stub	Systematik der TUB München	http://bartoc.org/en/node/495
 dopaed	DOPAED der UB Erlangen
 ifzs	IFZ-Systematik	http://bartoc.org/en/node/1245
 sbb	Systematik der Bayerischen Bibliographie	http://bartoc.org/en/node/1983
-zdbs	ZDB-Systematik	http://bartoc.org/en/node/18915
+zdbs	DDC-Sachgruppen der ZDB	https://zeitschriftendatenbank.de/fileadmin/user_upload/ZDB/pdf/zdbformat/5080.pdf
diff --git a/src/main/resources/alma/maps/dnbSachgruppen.tsv b/src/main/resources/alma/maps/dnbSachgruppen.tsv
@@ -0,0 +1,177 @@
+000	Allgemeines, Wissenschaft
+004	Informatik
+010	Bibliografien
+020	Bibliotheks- und Informationswissenschaft
+030	Enzyklopädien
+050	Zeitschriften, fortlaufende Sammelwerke
+060	Organisationen, Museumswissenschaft
+070	Nachrichtenmedien, Journalismus, Verlagswesen
+080	Allgemeine Sammelwerke
+090	Handschriften, seltene Bücher
+100	Philosophie
+130	Parapsychologie, Okkultismus
+150	Psychologie
+200	Religion, Religionsphilosophie
+220	Bibel
+230	Theologie, Christentum
+290	Andere Religionen
+300	Sozialwissenschaften, Soziologie, Anthropologie
+310	Allgemeine Statistiken
+320	Politik
+330	Wirtschaft
+333.7	Natürliche Ressourcen, Energie und Umwelt
+340	Recht
+350	Öffentliche Verwaltung
+355	Militär
+360	Soziale Probleme, Sozialdienste, Versicherungen
+370	Erziehung, Schul- und Bildungswesen
+380	Handel, Kommunikation, Verkehr
+390	Bräuche, Etikette, Folklore
+400	Sprache, Linguistik
+420	Englisch
+430	Deutsch
+439	Andere germanische Sprachen
+440	Französisch, romanische Sprachen allgemein
+450	Italienisch, Rumänisch, Rätoromanisch
+460	Spanisch, Portugiesisch
+470	Latein
+480	Griechisch
+490	Andere Sprachen
+491.8	Slawische Sprachen
+500	Naturwissenschaften
+510	Mathematik
+520	Astronomie, Kartografie
+530	Physik
+540	Chemie
+550	Geowissenschaften
+560	Paläontologie
+570	Biowissenschaften, Biologie
+580	Pflanzen (Botanik)
+590	Tiere (Zoologie)
+600	Technik
+610	Medizin, Gesundheit
+620	Ingenieurwissenschaften und Maschinenbau
+621.3	Elektrotechnik, Elektronik
+624	Ingenieurbau und Umwelttechnik
+630	Landwirtschaft, Veterinärmedizin
+640	Hauswirtschaft und Familienleben
+650	Management
+660	Technische Chemie
+670	Industrielle und handwerkliche Fertigung
+690	Hausbau, Bauhandwerk
+700	Künste, Bildende Kunst allgemein
+710	Landschaftsgestaltung, Raumplanung
+720	Architektur
+730	Plastik, Numismatik, Keramik, Metallkunst
+740	Grafik, angewandte Kunst
+741.5	Comics, Cartoons, Karikaturen
+750	Malerei
+760	Druckgrafik, Drucke
+770	Fotografie, Video, Computerkunst
+780	Musik
+790	Freizeitgestaltung, Darstellende Kunst
+791	Öffentliche Darbietungen, Film, Rundfunk
+792	Theater, Tanz
+793	Spiel
+796	Sport
+800	Literatur, Rhetorik, Literaturwissenschaft
+810	Englische Literatur Amerikas
+820	Englische Literatur
+830	Deutsche Literatur
+839	Literatur in anderen germanischen Sprachen
+840	Französische Literatur
+850	Italienische, rumänische, rätoromanische Literatur
+860	Spanische und portugiesische Literatur
+870	Lateinische Literatur
+880	Griechische Literatur
+890	Literatur in anderen Sprachen
+891.8	Slawische Literatur
+900	Geschichte
+910	Geografie, Reisen
+914.3	Geografie, Reisen (Deutschland)
+914.94	Geografie, Reisen (Schweiz)
+914.36	Geografie, Reisen (Österreich
+920	Biografie, Genealogie, Heraldik
+930	Alte Geschichte, Archäologie
+940	Geschichte Europas
+943	Geschichte Deutschlands
+949.4	Geschichte der Schweiz
+943.6	Geschichte Österreichs
+950	Geschichte Asiens
+960	Geschichte Afrikas
+970	Geschichte Nordamerikas
+980	Geschichte Südamerikas
+990	Geschichte der übrigen Welt
+B	Belletristik
+K	Kinder- und Jugendliteratur
+S	Schulbücher
+780	Musik allgemein
+780.7	Unterrichtswerke
+780.9	Musik allgemein mit zeitlichem, regionalem oder biografischem Bezug
+781	Musik nach Gattungen
+781.54	Hintergrund- und Stimmungsmusik
+781.542	Filmmusik
+781.556	Ballettmusik
+781.62	Volksmusik
+781.64	Unterhaltungsmusik
+781.642	Countrymusik
+781.643	Blues und Soul
+781.646	Reggae
+781.648	Electronica
+781.649	Rap
+781.65	Jazz
+781.666	Rockmusik
+781.687	Klassische Musik
+782	Vokalmusik
+782.1	Musikalische Bühnenwerke
+782.22	Geistliche Vokalmusik
+782.25	Geistliche Lieder
+782.4	Weltliche Vokalmusik
+782.5	Chormusik für gemischte Stimmen
+782.6	Chormusik für Frauenstimmen
+782.7	Chormusik für Kinder- und Jugendstimmen
+782.8	Chormusik für Männerstimmen
+783	Vokalmusik für Einzelstimmen
+784	Orchestermusik
+784.23	Orchester mit Soloinstrument(en)
+784.8	Blasorchester
+785	Kammermusik
+785.12	Duos
+785.13	Trios
+785.14	Quartette
+785.15	Quintette und mehr
+786	Tasten- und Schlaginstrumente, mechanische und elektronische Instrumente
+786.2	Klavier
+786.4	Cembalo
+786.5	Orgel
+786.6	mechanische Instrumente
+786.7	elektronische Instrumente
+786.8	Schlaginstrumente
+787	Saiteninstrumente
+787.2	Violine
+787.3	Viola
+787.4	Violoncello
+787.5	Kontrabass
+787.6	andere Streichinstrumente
+787.8	Zupfinstrumente
+787.838	Laute
+787.849	Mandoline
+787.871	Gitarre
+787.9	Harfe
+788	Blasinstrumente
+788.3	Flöten
+788.321	Querflöte
+788.361	Blockflöte
+788.4	Rohrblattinstrumente
+788.521	Oboe
+788.581	Fagott
+788.621	Klarinette
+788.716	Saxophon
+788.8	Akkordeon, Mundharmonika
+788.92	Trompete
+788.93	Posaune
+788.94	Horn
+788.96	Kornett
+788.97	Flügelhorn
+788.98	Tuba
+788.99	andere Blechblasinstrumente
diff --git a/src/test/java/org/lobid/resources/AlmaMarc21XmlToLobidJsonMetafixTest.java b/src/test/java/org/lobid/resources/AlmaMarc21XmlToLobidJsonMetafixTest.java
@@ -60,6 +60,7 @@ public void setup() {
         fixVariables.put("createEndTime", "0"); // 0 <=> false
         fixVariables.put("institution-code", "DE-605");
         fixVariables.put("deweyLabels", "src/test/resources/deweyLabels.tsv");
+        fixVariables.put("dnbSachgruppen", "src/main/resources/alma/maps/dnbSachgruppen.tsv");
         fixVariables.put("nwbib-spatial", "src/main/resources/nwbib-spatial.tsv");
         fixVariables.put("wd_itemLabelTypesCoordinates", "src/main/resources/wd_itemLabelTypesCoordinates.tsv");
         fixVariables.put("classification.tsv", "src/main/resources/alma/maps/classification.tsv");

diff --git a/src/test/resources/alma-fix/990053976760206441.json b/src/test/resources/alma-fix/990053976760206441.json
@@ -120,30 +120,40 @@
     "notation" : "22",
     "type" : [ "Concept" ],
     "source" : {
-      "label" : "DNB (Systematik der Deutschen Nationalbibliographie)",
-      "id" : "http://bartoc.org/en/node/18497"
+      "label" : "Systematik der DNB (bis 2003)",
+      "id" : "https://bartoc.org/en/node/18497"
     }
   }, {
     "notation" : "29",
     "type" : [ "Concept" ],
     "source" : {
-      "label" : "DNB (Systematik der Deutschen Nationalbibliographie)",
-      "id" : "http://bartoc.org/en/node/18497"
+      "label" : "Systematik der DNB (bis 2003)",
+      "id" : "https://bartoc.org/en/node/18497"
     }
   }, {
     "notation" : "78",
     "type" : [ "Concept" ],
     "source" : {
-      "label" : "DNB (Systematik der Deutschen Nationalbibliographie)",
-      "id" : "http://bartoc.org/en/node/18497"
+      "label" : "Systematik der DNB (bis 2003)",
+      "id" : "https://bartoc.org/en/node/18497"
     }
   }, {
     "notation" : "370",
     "type" : [ "Concept" ],
     "source" : {
-      "label" : "DNB (Systematik der Deutschen Nationalbibliographie)",
-      "id" : "http://bartoc.org/en/node/18497"
-    }
+      "label" : "Sachgruppen der DNB",
+      "id" : "https://bartoc.org/en/node/20049"
+    },
+    "label" : "Erziehung, Schul- und Bildungswesen"
+  }, {
+    "type" : [ "Concept" ],
+    "source" : {
+      "label" : "Dewey-Dezimalklassifikation",
+      "id" : "https://d-nb.info/gnd/4149423-4"
+    },
+    "label" : "Bildung und Erziehung",
+    "notation" : "370",
+    "version" : "sdnb"
   }, {
     "notation" : "PHY 002z",
     "type" : [ "Concept" ],
@@ -165,13 +175,29 @@
       "label" : "RVK (Regensburger Verbundklassifikation)",
       "id" : "https://d-nb.info/gnd/4449787-8"
     }
+  }, {
+    "notation" : "370",
+    "type" : [ "Concept" ],
+    "source" : {
+      "label" : "DDC-Sachgruppen der ZDB"
+    },
+    "label" : "Erziehung, Schul- und Bildungswesen"
   }, {
     "notation" : "530",
     "type" : [ "Concept" ],
     "source" : {
-      "label" : "DNB (Systematik der Deutschen Nationalbibliographie)",
-      "id" : "http://bartoc.org/en/node/18497"
-    }
+      "label" : "DDC-Sachgruppen der ZDB"
+    },
+    "label" : "Physik"
+  }, {
+    "type" : [ "Concept" ],
+    "source" : {
+      "label" : "Dewey-Dezimalklassifikation",
+      "id" : "https://d-nb.info/gnd/4149423-4"
+    },
+    "label" : "Physik",
+    "notation" : "530",
+    "version" : "sdnb"
   }, {
     "type" : [ "ComplexSubject" ],
     "label" : "Physikunterricht",