diff --git a/CITATION.cff b/CITATION.cff index 7755d98d..9d02749d 100644 --- a/CITATION.cff +++ b/CITATION.cff @@ -41,5 +41,5 @@ abstract: >- transcripts, to aid clinical linguists and research into language development and language disorders. license: BSD-3-Clause -version: 0.9.0 +version: 0.9.1 date-released: '2024-01-31' diff --git a/backend/analysis/conftest.py b/backend/analysis/conftest.py deleted file mode 100644 index 174a9b67..00000000 --- a/backend/analysis/conftest.py +++ /dev/null @@ -1,93 +0,0 @@ -import glob -import json -import os.path as op - -import pytest -from analysis.convert.convert import convert -from analysis.models import (AnalysisRun, AssessmentMethod, Corpus, - MethodCategory, Transcript) -from django.conf import settings -from django.core.files import File -from parse.parse_utils import create_utterance_objects -from sastadev.conf import settings as sd_settings - -CORRECTIONS_TARSP_5 = '''{"Insertion": [["23", "Insertion", "['ik']", "SASTA", "Small Clause Treatment", "None", "fftje [: eventjes] passen?", "ik wil eventjes passen ?"], ["23", "Insertion", "['wil']", "SASTA", "Small Clause Treatment", "None", "fftje [: eventjes] passen?", "ik wil eventjes passen ?"]], "Retracing": [["36", "Retracing", "['di', 'zij', 'hem']", "CHAT", "None", "None", "nee dat wat [//] hij verkoopt.", "dat wat hij verkoopt ."]], "parsed_as": [["4", "parsed_as", "kan nog een dingetje eraan .", "SASTA", "Correction", "None", "ja kan no(g) een dingetje d(e)raan.", "kan nog een dingetje eraan ."], ["7", "parsed_as", "even kijken waar .", "SASTA", "Correction", "None", "effe kijken waar.", "even kijken waar ."], ["11", "parsed_as", "je moet dan eventjes erop zetten .", "SASTA", "Correction", "None", "je moet dan effjes erop zetten.", "je moet dan eventjes erop zetten ."], ["12", "parsed_as", "dan ga ik dit eventjes maken .", "SASTA", "Correction", "None", "dan ga ik dit effjes maken.", "dan ga ik dit eventjes maken ."], ["19", "parsed_as", "deze past nergens meer op .", "SASTA", "Correction", "None", "ja &de &de deze past nerke [: nergens] meer op.", "deze past nergens meer op ."], ["20", "parsed_as", "dan zetten we dit effje aan de kant .", "SASTA", "Correction", "None", "dan zetten we deze effje aan de kant.", "dan zetten we dit effje aan de kant ."], ["22", "parsed_as", "kijk hier hebben wij heel veel .", "SASTA", "Correction", "None", "ja kij(k) hier hebben wij heel veel.", "kijk hier hebben wij heel veel ."], ["23", "parsed_as", "ik wil eventjes passen ?", "SASTA", "Correction", "None", "fftje [: eventjes] passen?", "ik wil eventjes passen ?"], ["24", "parsed_as", "teil .", "SASTA", "Correction", "None", "klik.", "teil ."], ["28", "parsed_as", "trappetje .", "SASTA", "Correction", "None", "ja trarpje [: trappetje].", "trappetje ."], ["32", "parsed_as", "alleen maar worstjes .", "SASTA", "Correction", "None", "nee wee [: alleen] maar wortjes [: worstjes].", "alleen maar worstjes ."], ["36", "parsed_as", "dat wat hij verkoopt .", "SASTA", "Correction", "None", "nee dat wat [//] hij verkoopt.", "dat wat hij verkoopt ."]], "Replacement": [["16", "Replacement", "['gaan']", "CHAT", "None", "None", "ander(s) kaat [: gaan] te [: de] tiern [: dieren] door 't hek lopen.", null], ["16", "Replacement", "['de']", "CHAT", "None", "None", "ander(s) kaat [: gaan] te [: de] tiern [: dieren] door 't hek lopen.", null], ["16", "Replacement", "['dieren']", "CHAT", "None", "None", "ander(s) kaat [: gaan] te [: de] tiern [: dieren] door 't hek lopen.", null], ["19", "Replacement", "['nergens']", "CHAT", "None", "None", "ja &de &de deze past nerke [: nergens] meer op.", "deze past nergens meer op ."], ["23", "Replacement", "['eventjes']", "CHAT", "None", "None", "fftje [: eventjes] passen?", "ik wil eventjes passen ?"], ["28", "Replacement", "['trappetje']", "CHAT", "None", "None", "ja trarpje [: trappetje].", "trappetje ."], ["30", "Replacement", "['parasol']", "CHAT", "None", "None", "&oeps de parasel [: parasol].", null], ["32", "Replacement", "['alleen']", "CHAT", "None", "None", "nee wee [: alleen] maar wortjes [: worstjes].", "alleen maar worstjes ."], ["32", "Replacement", "['worstjes']", "CHAT", "None", "None", "nee wee [: alleen] maar wortjes [: worstjes].", "alleen maar worstjes ."], ["33", "Replacement", "['worstje']", "CHAT", "None", "None", "kijk hier zit een wortje [: worstje] in.", null], ["34", "Replacement", "['staat']", "CHAT", "None", "None", "wat taat [: staat] hierop?", null]], "GrammarError": [["20", "GrammarError", "deheterror", "SASTA", "Error", "None", "dan zetten we deze effje aan de kant.", "dan zetten we dit effje aan de kant ."]], "Disambiguation": [["24", "Disambiguation", "Avoid unknown reading", "SASTA", "Lexicon", "None", "klik.", "teil ."]], "ExtraGrammatical": [["4", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja kan no(g) een dingetje d(e)raan.", "kan nog een dingetje eraan ."], ["19", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja &de &de deze past nerke [: nergens] meer op.", "deze past nergens meer op ."], ["22", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja kij(k) hier hebben wij heel veel.", "kijk hier hebben wij heel veel ."], ["28", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja trarpje [: trappetje].", "trappetje ."], ["32", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "nee wee [: alleen] maar wortjes [: worstjes].", "alleen maar worstjes ."], ["36", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "nee dat wat [//] hij verkoopt.", "dat wat hij verkoopt ."]], "Phonological Fragment": [["8", "Phonological Fragment", "['&hoo']", "CHAT", "None", "None", "&hoo hij kom(t).", null], ["10", "Phonological Fragment", "['&oo']", "CHAT", "None", "None", "&oo hij fiet(st) niet meer.", null], ["15", "Phonological Fragment", "['&nie']", "CHAT", "None", "None", "hij kan &nie nie(t) meer daarheen (s)chuiven.", null], ["19", "Phonological Fragment", "['&de']", "CHAT", "None", "None", "ja &de &de deze past nerke [: nergens] meer op.", "deze past nergens meer op ."], ["19", "Phonological Fragment", "['&de']", "CHAT", "None", "None", "ja &de &de deze past nerke [: nergens] meer op.", "deze past nergens meer op ."], ["27", "Phonological Fragment", "['&uhh']", "CHAT", "None", "None", "&uhh wat i(s) dit ook alweer?", null], ["30", "Phonological Fragment", "['&oeps']", "CHAT", "None", "None", "&oeps de parasel [: parasol].", null]], "Informal Pronunciation": [["7", "Informal Pronunciation", "Alternative Pronunciation", "SASTA", "Pronunciation", "None", "effe kijken waar.", "even kijken waar ."], ["11", "Informal Pronunciation", "Alternative Pronunciation", "SASTA", "Pronunciation", "None", "je moet dan effjes erop zetten.", "je moet dan eventjes erop zetten ."], ["12", "Informal Pronunciation", "Alternative Pronunciation", "SASTA", "Pronunciation", "None", "dan ga ik dit effjes maken.", "dan ga ik dit eventjes maken ."]], "Insertion Token Mapping": [["23", "Insertion Token Mapping", "[None, None, 30, 50, 60]", "SASTA", "Token Mapping", "None", "fftje [: eventjes] passen?", "ik wil eventjes passen ?"]], "Alternative Pronunciation": [["4", "Alternative Pronunciation", "d-onset on er", "SASTA", "Pronunciation", "None", "ja kan no(g) een dingetje d(e)raan.", "kan nog een dingetje eraan ."]]}''' -CORRECTIONS_ASTA_16 = '{"Pause": [["15", "Pause", "[\'(..)\']", "CHAT", "None", "None", "uh (..) BEROEP1", "BEROEP1"], ["33", "Pause", "[\'(.)\']", "CHAT", "None", "None", "(.) ja (.) ja ik weet het niet", "ik weet het niet"], ["33", "Pause", "[\'(.)\']", "CHAT", "None", "None", "(.) ja (.) ja ik weet het niet", "ik weet het niet"], ["38", "Pause", "[\'(..)\']", "CHAT", "None", "None", "dat heb ik net nog gelezen (..)", null], ["45", "Pause", "[\'(..)\']", "CHAT", "None", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["45", "Pause", "[\'(..)\']", "CHAT", "None", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["46", "Pause", "[\'(..)\']", "CHAT", "None", "None", "ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh", "ik doe boekjes voor club geloof ik"], ["47", "Pause", "[\'(...)\']", "CHAT", "None", "None", "en uh (...) uh (.) uh sorry", "en"], ["47", "Pause", "[\'(.)\']", "CHAT", "None", "None", "en uh (...) uh (.) uh sorry", "en"]], "parsed_as": [["1", "parsed_as", "ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad", "SASTA", "Correction", "None", "ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad ", "ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad"], ["4", "parsed_as", "en nu krijg ik te horen", "SASTA", "Correction", "None", "en uh nu krijg ik te horen", "en nu krijg ik te horen"], ["6", "parsed_as", "en verder het gaat redelijk denk ik", "SASTA", "Correction", "None", "en verder ja het gaat redelijk denk ik", "en verder het gaat redelijk denk ik"], ["7", "parsed_as", "ik ben eerst naar een ziekenhuis geweest een aantal weken", "SASTA", "Correction", "None", "oh ja sorry ja ik ben eerst uh naar een ziekenhuis geweest een aantal weken", "ik ben eerst naar een ziekenhuis geweest een aantal weken"], ["8", "parsed_as", "toen een aantal weken in een iets van zorg", "SASTA", "Correction", "None", "toen een aantal weken in een een iets van zorg ", "toen een aantal weken in een iets van zorg"], ["9", "parsed_as", "ik weet niet in uh( . )", "SASTA", "Correction", "None", "ik weet niet uh in uh(.)", "ik weet niet in uh( . )"], ["10", "parsed_as", "buiten is Breda", "SASTA", "Correction", "None", "uh buiten Breda ", "buiten is Breda"], ["13", "parsed_as", "en toen ik zo ver weer was ben ik naar hier gekomen", "SASTA", "Correction", "None", "en en toen ik zo ver weer was ben ik naar hier gekomen", "en toen ik zo ver weer was ben ik naar hier gekomen"], ["14", "parsed_as", "dat heet de ZORGINSTELLING1", "SASTA", "Correction", "None", "dat heet de uh ZORGINSTELLING1", "dat heet de ZORGINSTELLING1"], ["15", "parsed_as", "BEROEP1", "SASTA", "Correction", "None", "uh (..) BEROEP1", "BEROEP1"], ["16", "parsed_as", "is heel erg leuk", "SASTA", "Correction", "None", "ja is heel erg leuk ja", "is heel erg leuk"], ["20", "parsed_as", "en is ook leuk kon kinderen zo gezellig zo lief zo fijn", "SASTA", "Correction", "None", "en is ook leuk kon kinderen zo gezellig zo lief zo fijn ja", "en is ook leuk kon kinderen zo gezellig zo lief zo fijn"], ["21", "parsed_as", "en ook ouders heel goed contact", "SASTA", "Correction", "None", "ja en ook ouders heel goed contact", "en ook ouders heel goed contact"], ["22", "parsed_as", "kinderen worden gebracht", "SASTA", "Correction", "None", "ki kinderen worden gebracht", "kinderen worden gebracht"], ["23", "parsed_as", "en dan is het contact goed met de ouders", "SASTA", "Correction", "None", "en uh dan is het contact goed met de ouders", "en dan is het contact goed met de ouders"], ["25", "parsed_as", "en kinderen zijn fijn lief", "SASTA", "Correction", "None", "en kinderen zijn ja fijn lief", "en kinderen zijn fijn lief"], ["26", "parsed_as", "en voelen zich wel gelukkig bij ons", "SASTA", "Correction", "None", "en voelen zich wel uh voelen zich wel gelukkig bij ons", "en voelen zich wel gelukkig bij ons"], ["28", "parsed_as", "ik werk drie dagen", "SASTA", "Correction", "None", "oo uh uh ik werk drie dagen", "ik werk drie dagen"], ["29", "parsed_as", "ik begin ik om half acht tot ik denk tot zes uur", "SASTA", "Correction", "None", "ja ik begin ik om uh half acht tot ik denk tot zes uur ja", "ik begin ik om half acht tot ik denk tot zes uur"], ["30", "parsed_as", "toevallig hierachter", "SASTA", "Correction", "None", "ja toevallig hierachter ", "toevallig hierachter"], ["31", "parsed_as", "kinderen met beperking", "SASTA", "Correction", "None", "uh kinderen met beperking", "kinderen met beperking"], ["33", "parsed_as", "ik weet het niet", "SASTA", "Correction", "None", "(.) ja (.) ja ik weet het niet", "ik weet het niet"], ["35", "parsed_as", "ik herken het", "SASTA", "Correction", "None", "ik ik herken het", "ik herken het"], ["36", "parsed_as", "daar ben ik veel geweest", "SASTA", "Correction", "None", "wauw daar ben ik veel geweest", "daar ben ik veel geweest"], ["37", "parsed_as", "ook hier de", "SASTA", "Correction", "None", "ook hier de uh", "ook hier de"], ["40", "parsed_as", "veel geweest voor", "SASTA", "Correction", "None", "veel geweest voor uh", "veel geweest voor"], ["42", "parsed_as", "net gekoppeld", "SASTA", "Correction", "None", "ja uh net gekoppeld", "net gekoppeld"], ["44", "parsed_as", "dus maar ben ik veel geweest maar ook als ik hier", "SASTA", "Correction", "None", "dus maar ben ik veel geweest maar ook als ik hier uh", "dus maar ben ik veel geweest maar ook als ik hier"], ["45", "parsed_as", "ik zing met oudere mensen", "SASTA", "Correction", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["46", "parsed_as", "ik doe boekjes voor club geloof ik", "SASTA", "Correction", "None", "ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh", "ik doe boekjes voor club geloof ik"], ["47", "parsed_as", "en", "SASTA", "Correction", "None", "en uh (...) uh (.) uh sorry", "en"]], "ExtraGrammatical": [["1", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad ", "ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad"], ["1", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad ", "ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad"], ["4", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "en uh nu krijg ik te horen", "en nu krijg ik te horen"], ["6", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "en verder ja het gaat redelijk denk ik", "en verder het gaat redelijk denk ik"], ["7", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oh ja sorry ja ik ben eerst uh naar een ziekenhuis geweest een aantal weken", "ik ben eerst naar een ziekenhuis geweest een aantal weken"], ["7", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oh ja sorry ja ik ben eerst uh naar een ziekenhuis geweest een aantal weken", "ik ben eerst naar een ziekenhuis geweest een aantal weken"], ["7", "ExtraGrammatical", "Interjection", "SASTA", "Syntax", "None", "oh ja sorry ja ik ben eerst uh naar een ziekenhuis geweest een aantal weken", "ik ben eerst naar een ziekenhuis geweest een aantal weken"], ["7", "ExtraGrammatical", "Repeated ja, nee, nou", "SASTA", "Syntax", "Repetition", "oh ja sorry ja ik ben eerst uh naar een ziekenhuis geweest een aantal weken", "ik ben eerst naar een ziekenhuis geweest een aantal weken"], ["7", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "oh ja sorry ja ik ben eerst uh naar een ziekenhuis geweest een aantal weken", "ik ben eerst naar een ziekenhuis geweest een aantal weken"], ["8", "ExtraGrammatical", "Repeated word token", "SASTA", "Tokenisation", "Repetition", "toen een aantal weken in een een iets van zorg ", "toen een aantal weken in een iets van zorg"], ["9", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ik weet niet uh in uh(.)", "ik weet niet in uh( . )"], ["10", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "uh buiten Breda ", "buiten is Breda"], ["13", "ExtraGrammatical", "Repeated word token", "SASTA", "Tokenisation", "Repetition", "en en toen ik zo ver weer was ben ik naar hier gekomen", "en toen ik zo ver weer was ben ik naar hier gekomen"], ["14", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "dat heet de uh ZORGINSTELLING1", "dat heet de ZORGINSTELLING1"], ["15", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "uh (..) BEROEP1", "BEROEP1"], ["16", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja is heel erg leuk ja", "is heel erg leuk"], ["16", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja is heel erg leuk ja", "is heel erg leuk"], ["20", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "en is ook leuk kon kinderen zo gezellig zo lief zo fijn ja", "en is ook leuk kon kinderen zo gezellig zo lief zo fijn"], ["21", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja en ook ouders heel goed contact", "en ook ouders heel goed contact"], ["22", "ExtraGrammatical", "Short Repetition", "SASTA", "Tokenisation", "Repetition", "ki kinderen worden gebracht", "kinderen worden gebracht"], ["23", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "en uh dan is het contact goed met de ouders", "en dan is het contact goed met de ouders"], ["25", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "en kinderen zijn ja fijn lief", "en kinderen zijn fijn lief"], ["26", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "en voelen zich wel uh voelen zich wel gelukkig bij ons", "en voelen zich wel gelukkig bij ons"], ["26", "ExtraGrammatical", "Word token of a repeated word token sequence", "SASTA", "Tokenisation", "Repetition", "en voelen zich wel uh voelen zich wel gelukkig bij ons", "en voelen zich wel gelukkig bij ons"], ["26", "ExtraGrammatical", "Word token of a repeated word token sequence", "SASTA", "Tokenisation", "Repetition", "en voelen zich wel uh voelen zich wel gelukkig bij ons", "en voelen zich wel gelukkig bij ons"], ["26", "ExtraGrammatical", "Word token of a repeated word token sequence", "SASTA", "Tokenisation", "Repetition", "en voelen zich wel uh voelen zich wel gelukkig bij ons", "en voelen zich wel gelukkig bij ons"], ["28", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oo uh uh ik werk drie dagen", "ik werk drie dagen"], ["28", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oo uh uh ik werk drie dagen", "ik werk drie dagen"], ["28", "ExtraGrammatical", "Interjection", "SASTA", "Syntax", "None", "oo uh uh ik werk drie dagen", "ik werk drie dagen"], ["29", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ja ik begin ik om uh half acht tot ik denk tot zes uur ja", "ik begin ik om half acht tot ik denk tot zes uur"], ["29", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja ik begin ik om uh half acht tot ik denk tot zes uur ja", "ik begin ik om half acht tot ik denk tot zes uur"], ["29", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja ik begin ik om uh half acht tot ik denk tot zes uur ja", "ik begin ik om half acht tot ik denk tot zes uur"], ["30", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja toevallig hierachter ", "toevallig hierachter"], ["31", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "uh kinderen met beperking", "kinderen met beperking"], ["33", "ExtraGrammatical", "Repeated ja, nee, nou", "SASTA", "Syntax", "Repetition", "(.) ja (.) ja ik weet het niet", "ik weet het niet"], ["33", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "(.) ja (.) ja ik weet het niet", "ik weet het niet"], ["35", "ExtraGrammatical", "Repeated word token", "SASTA", "Tokenisation", "Repetition", "ik ik herken het", "ik herken het"], ["36", "ExtraGrammatical", "Interjection", "SASTA", "Syntax", "None", "wauw daar ben ik veel geweest", "daar ben ik veel geweest"], ["37", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ook hier de uh", "ook hier de"], ["40", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "veel geweest voor uh", "veel geweest voor"], ["42", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ja uh net gekoppeld", "net gekoppeld"], ["42", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "ja uh net gekoppeld", "net gekoppeld"], ["44", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "dus maar ben ik veel geweest maar ook als ik hier uh", "dus maar ben ik veel geweest maar ook als ik hier"], ["45", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["45", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["45", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["45", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["45", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["45", "ExtraGrammatical", "Interjection", "SASTA", "Syntax", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["45", "ExtraGrammatical", "ja, nee or nou filled pause", "SASTA", "Syntax", "None", "oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh", "ik zing met oudere mensen"], ["46", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh", "ik doe boekjes voor club geloof ik"], ["46", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh", "ik doe boekjes voor club geloof ik"], ["46", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh", "ik doe boekjes voor club geloof ik"], ["46", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh", "ik doe boekjes voor club geloof ik"], ["46", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh", "ik doe boekjes voor club geloof ik"], ["46", "ExtraGrammatical", "Repeated word token", "SASTA", "Tokenisation", "Repetition", "ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh", "ik doe boekjes voor club geloof ik"], ["47", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "en uh (...) uh (.) uh sorry", "en"], ["47", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "en uh (...) uh (.) uh sorry", "en"], ["47", "ExtraGrammatical", "Filled Pause", "SASTA", "Syntax", "None", "en uh (...) uh (.) uh sorry", "en"], ["47", "ExtraGrammatical", "Interjection", "SASTA", "Syntax", "None", "en uh (...) uh (.) uh sorry", "en"]]}' - - -@pytest.fixture -def tarsp_corpus(db, admin_user, tarsp_method, tarsp_category): - obj = Corpus.objects.create( - user=admin_user, - name='tarsp_test_corpus', - status='created', - default_method=tarsp_method, - method_category=tarsp_category - ) - yield obj - obj.delete() - - -@pytest.fixture -def asta_corpus(db, admin_user, asta_method, asta_category): - obj = Corpus.objects.create( - user=admin_user, - name='asta_test_corpus', - status='created', - default_method=asta_method, - method_category=asta_category - ) - yield obj - obj.delete() - - -@pytest.fixture -def tarsp_transcript(db, tarsp_corpus, cha_testfiles_dir): - obj = Transcript.objects.create( - name='tarsp_sample_5', - status=Transcript.PARSED, - corpus=tarsp_corpus - ) - with open(op.join(cha_testfiles_dir, 'sample_5.cha'), 'rb') as f: - obj.content.save('sample_5.cha', File(f)) - convert(obj) - with open(op.join(cha_testfiles_dir, 'sample_5.xml'), 'rb') as f: - obj.parsed_content.save('sample_5.xml', File(f)) - obj.corrections = json.loads(CORRECTIONS_TARSP_5) - create_utterance_objects(obj) - obj.save() - yield obj - obj.delete() - - -@pytest.fixture -def asta_transcript(db, asta_corpus, cha_testfiles_dir): - obj = Transcript.objects.create( - name='asta_sample_16', - status=Transcript.PARSED, - corpus=asta_corpus - ) - with open(op.join(cha_testfiles_dir, 'sample_16.cha'), 'rb') as f: - obj.content.save('sample_16.cha', File(f)) - convert(obj) - with open(op.join(cha_testfiles_dir, 'sample_16.xml'), 'rb') as f: - obj.parsed_content.save('sample_16.xml', File(f)) - obj.corrections = json.loads(CORRECTIONS_ASTA_16) - create_utterance_objects(obj) - obj.save() - yield obj - obj.delete() - - -@pytest.fixture -def asta_transcript_corrections(db, asta_transcript, asta_method, cha_testfiles_dir): - obj = AnalysisRun( - transcript=asta_transcript, - method=asta_method, - is_manual_correction=True - ) - with open(op.join(cha_testfiles_dir, 'sample_16_SAF_corrected.xlsx'), 'rb') as f: - obj.annotation_file.save('sample_16_SAF_corrected.xlsx', File(f)) - obj.save() - yield obj - obj.delete() diff --git a/backend/analysis/convert/tests/convert_test.py b/backend/analysis/convert/tests/convert_test.py index 03c6d71f..9ca4af2f 100644 --- a/backend/analysis/convert/tests/convert_test.py +++ b/backend/analysis/convert/tests/convert_test.py @@ -79,9 +79,9 @@ def test_quotemarks(quotemarks): assert replace_quotation_marks(line) == expected -def test_chat_replacements(cha_testfiles_dir, tarsp_category): +def test_chat_replacements(testfiles_dir, tarsp_category): '''Test if CHAT input handles replacements correctly''' - fn = op.join(cha_testfiles_dir, 'sample_1.cha') + fn = op.join(testfiles_dir, 'sample_1.cha') doc = ChatDocument.from_chatfile(fn, tarsp_category) line = doc.lines[1] diff --git a/backend/analysis/query/query_transcript.py b/backend/analysis/query/query_transcript.py index a74b1689..35cf5dc0 100644 --- a/backend/analysis/query/query_transcript.py +++ b/backend/analysis/query/query_transcript.py @@ -6,6 +6,7 @@ from sastadev.methods import Method from annotations.reader import read_saf +from parse.parse_utils import correct_transcript def prepare_parameters(infilename: str, method: Method, targets: int, annotationinput: bool) -> SastaCoreParameters: @@ -19,7 +20,12 @@ def prepare_parameters(infilename: str, method: Method, targets: int, annotation def prepare_treebanks(transcript: Transcript) -> Tuple[Tuple[str, etree.ElementTree]]: orig_fp = transcript.parsed_content.path + + # TODO: FIX THIS PROPERLY + if not transcript.corrected_content: + correct_transcript(transcript) corr_fp = transcript.corrected_content.path + orig_treebank = etree.parse(orig_fp).getroot() corr_treebank = etree.parse(corr_fp).getroot() return ( diff --git a/backend/annotations/tests/__init__.py b/backend/annotations/tests/__init__.py new file mode 100644 index 00000000..e69de29b diff --git a/backend/annotations/tests/chat_tests.py b/backend/annotations/tests/chat_tests.py new file mode 100644 index 00000000..67d25009 --- /dev/null +++ b/backend/annotations/tests/chat_tests.py @@ -0,0 +1,25 @@ +from annotations.writers.saf_chat import enrich_chat + + +def test_chat_enrich(single_utt_allresults, asta_transcripts): + '''Tests the CHAT enrichment functionality''' + transcript = asta_transcripts.get(name='single_utt') + doc = enrich_chat(transcript=transcript, allresults=single_utt_allresults, + method=transcript.corpus.default_method) + + # Test the correct position of %xsyn annotations + assert doc.lines[0].tiers.get('xsyn') is None + assert doc.lines[1].tiers.get('xsyn') is not None + + +def test_chat_enrich_newids(single_utt_allresults, asta_transcripts, tmp_path): + '''Tests the CHAT enrichment using new Corpus2Alpino style + In this style, uttids are not overwritten by xsid. + ''' + transcript = asta_transcripts.get(name='single_utt_newstyle') + doc = enrich_chat(transcript=transcript, allresults=single_utt_allresults, + method=transcript.corpus.default_method) + + # Test the correct position of %xsyn annotations + assert doc.lines[0].tiers.get('xsyn') is None + assert doc.lines[1].tiers.get('xsyn') is not None diff --git a/backend/annotations/utils.py b/backend/annotations/utils.py index fa3cd833..a2ad4fce 100644 --- a/backend/annotations/utils.py +++ b/backend/annotations/utils.py @@ -62,3 +62,10 @@ def autosize_columns(worksheet) -> None: dim_holder[get_column_letter(col)] = ColumnDimension( worksheet, min=col, max=col, auto_size=True) worksheet.column_dimensions = dim_holder + + +def cast_to_bool(value) -> bool: + if isinstance(value, bool): + return value + elif isinstance(value, str): + return value == 'yes' diff --git a/backend/annotations/writers/saf_chat.py b/backend/annotations/writers/saf_chat.py index 36793db7..f4f65aa0 100644 --- a/backend/annotations/writers/saf_chat.py +++ b/backend/annotations/writers/saf_chat.py @@ -4,6 +4,7 @@ from analysis.models import AssessmentMethod, Transcript from analysis.results.results import AllResults from chamd.chat_reader import ChatLine, ChatTier +from annotations.utils import cast_to_bool from convert.chat_reader import ChatDocument from natsort import natsorted from sastadev.sastatypes import ExactResultsDict @@ -18,14 +19,25 @@ def _items_by_utt_word(exactresults: ExactResultsDict, items_mapping: Dict) -> D for (qid, _), hits in results.items(): for (utt_id, wordno) in hits: - out[utt_id][wordno].append(items_mapping.get(qid)) + mapped = items_mapping.get(qid) + if mapped: + out[utt_id][wordno].append(mapped) return out def _find_doc_line(lines: List[ChatLine], uttno: int) -> ChatLine: # TODO: more efficient way to do this? - return next((x for x in lines if x.uttid == uttno), None) + # return next((x for x in lines if x.uttno == uttno), None) + return lines[uttno - 1] + + +def find_doc_line_xsid(lines: List[ChatLine], xsid: int) -> ChatLine: + for x in lines: + line_xsid = x.tiers.get('xsid') + if line_xsid and line_xsid.text == str(xsid): + return x + return None def enrich_chat(transcript: Transcript, @@ -34,22 +46,24 @@ def enrich_chat(transcript: Transcript, doc = ChatDocument.from_chatfile( transcript.content.path, transcript.corpus.method_category) + target_ids = transcript.target_ids + # construct a mapping of uttno to uttid # because uttid is unknown to CHAT marked_utts = (x for x in transcript.utterances.all() if x.for_analysis) - id_no_mapping = { - u.utt_id: u.uttno for u in marked_utts - } # create mapping of query_ids to items - items_mapping = {q.query_id: q.item for q in method.queries.all()} + items_mapping = { + q.query_id: q.item for q in method.queries.all() if cast_to_bool(q.inform)} results_by_word = _items_by_utt_word( allresults.exactresults, items_mapping) for utt_id, words in results_by_word.items(): - uttno = id_no_mapping.get(int(utt_id)) - doc_line = _find_doc_line(doc.lines, uttno) + if target_ids: + doc_line = find_doc_line_xsid(doc.lines, int(utt_id)) + else: + doc_line = _find_doc_line(doc.lines, int(utt_id)) utt_hits = [] for w in natsorted(words.keys()): diff --git a/backend/annotations/writers/saf_xlsx.py b/backend/annotations/writers/saf_xlsx.py index 7dbf1010..3bdb1765 100644 --- a/backend/annotations/writers/saf_xlsx.py +++ b/backend/annotations/writers/saf_xlsx.py @@ -12,10 +12,9 @@ from sastadev.sastatypes import ExactResults from annotations.constants import (POST_WORDS_HEADERS, PRE_WORDS_HEADERS, SAF_COMMENT_LEVEL, SAF_UTT_LEVEL) -from annotations.utils import autosize_columns, format_worksheet, get_max_words, ljust +from annotations.utils import autosize_columns, cast_to_bool, format_worksheet, get_max_words, ljust from natsort import natsorted - @dataclass class SAFWriter(): method: Method @@ -76,7 +75,10 @@ def _make_annotations_worksheet(self) -> Worksheet: # Fill with values for qid, qresults in self.results.exactresults.items(): - self._fill_query(qid, qresults) + query = self.method.queries.get(qid[0]) + inform = cast_to_bool(query.inform) + if inform: + self._fill_query(qid, qresults) return self.anno_ws def _annotations_header_row(self) -> List[str]: diff --git a/backend/conftest.py b/backend/conftest.py index 66f4992c..d9b504b5 100644 --- a/backend/conftest.py +++ b/backend/conftest.py @@ -1,9 +1,11 @@ import glob from collections import Counter from os import path as op +import os import pytest -from analysis.models import AssessmentMethod, MethodCategory +from analysis.convert.convert import convert +from analysis.models import AssessmentMethod, Corpus, MethodCategory, Transcript from django.conf import settings from django.core.files import File from sastadev.allresults import AllResults @@ -11,20 +13,78 @@ from lxml import etree +from parse.parse_utils import create_utterance_objects + + +def _get_transcript_filenames(name: str, dir: str): + return { + 'chat': f'{name}.cha', + 'parsed': f'{name}.xml', + 'corrected': f'{name}_corrected.xml' + } + + +def _make_transcript(corpus: Corpus, name: str, dir: str): + filenames = _get_transcript_filenames(name, str) + + obj = Transcript.objects.create( + name=name, + status=Transcript.PARSED, + corpus=corpus + ) + + with open(op.join(dir, filenames['chat']), 'rb') as f: + obj.content.save(filenames['chat'], File(f)) + + convert(obj) + + with open(op.join(dir, filenames['parsed']), 'rb') as f: + obj.parsed_content.save(filenames['parsed'], File(f)) + with open(op.join(dir, filenames['corrected']), 'rb') as f: + obj.corrected_content.save(filenames['corrected'], File(f)) + + create_utterance_objects(obj) + + obj.save() + return obj + + +def _make_method_transcripts(corpus: Corpus, testfiles_dir): + method_name = corpus.method_category.name + method_dir = op.join(testfiles_dir, method_name) + transcript_dirs = os.listdir(method_dir) + + for name in transcript_dirs: + _make_transcript(corpus, name, op.join(method_dir, name)) + + transcripts = corpus.transcripts.all() + assert transcripts.count() == len(transcript_dirs) + return transcripts + @pytest.fixture -def cha_testfiles_dir(): +def testfiles_dir(): return op.join(settings.BASE_DIR, 'test_files') @pytest.fixture def tarsp_category(db): - obj = MethodCategory.objects.create( + return MethodCategory.objects.create( name='TARSP', zc_embeddings=True, levels=['Sz', 'Zc', 'Wg', 'VVW'], marking_postcodes=['[+ G]']) - yield obj - obj.delete() + + +@pytest.fixture +def tarsp_corpus(db, admin_user, tarsp_method, tarsp_category): + obj = Corpus.objects.create( + user=admin_user, + name='tarsp_test_corpus', + status='created', + default_method=tarsp_method, + method_category=tarsp_category + ) + return obj @pytest.fixture @@ -33,13 +93,12 @@ def stap_category(db): name='STAP', zc_embeddings=False, levels=['Complexiteit', 'Grammaticale fout'], marking_postcodes=['[+ G]', '[+ VU]']) - yield obj - obj.delete() + return obj @pytest.fixture def asta_category(db): - obj = MethodCategory.objects.create( + return MethodCategory.objects.create( name='ASTA', zc_embeddings=False, levels=[ "Samplegrootte", "MLU", @@ -47,8 +106,17 @@ def asta_category(db): "Foutenanalyse", "Lemma" ], marking_postcodes=["[+ G]"]) - yield obj - obj.delete() + + +@pytest.fixture +def asta_corpus(db, admin_user, asta_method, asta_category): + return Corpus.objects.create( + user=admin_user, + name='asta_test_corpus', + status='created', + default_method=asta_method, + method_category=asta_category + ) @pytest.fixture @@ -58,14 +126,13 @@ def method_dir(): @pytest.fixture def tarsp_method(db, tarsp_category, method_dir): - file = glob.glob(f'{method_dir}/TARSP Index Current.xlsx')[0] + file = glob.glob(f'{method_dir}/TARSP_Index_Current.xlsx')[0] with open(file, 'rb') as f: wrapped_file = File(f) instance = AssessmentMethod( name='tarsp_test_method', category=tarsp_category) instance.content.save(op.basename(file), wrapped_file) - yield instance - instance.delete() + return instance @pytest.fixture @@ -76,14 +143,23 @@ def asta_method(db, asta_category, method_dir): instance = AssessmentMethod( name='asta_test_method', category=asta_category) instance.content.save(op.basename(file), wrapped_file) - yield instance - instance.delete() + return instance + + +@pytest.fixture(autouse=True) +def asta_transcripts(db, asta_corpus, testfiles_dir): + return _make_method_transcripts(asta_corpus, testfiles_dir) + + +@pytest.fixture(autouse=True) +def tarsp_transcripts(db, tarsp_corpus, testfiles_dir): + return _make_method_transcripts(tarsp_corpus, testfiles_dir) @pytest.fixture -def single_utt_allresults(cha_testfiles_dir): +def single_utt_allresults(testfiles_dir): parsed = etree.parse( - op.join(cha_testfiles_dir, 'single_utt_corrected.xml')) + op.join(testfiles_dir, 'ASTA', 'single_utt', 'single_utt_corrected.xml')) utts = parsed.xpath('alpino_ds') return AllResults( @@ -111,5 +187,9 @@ def single_utt_allresults(cha_testfiles_dir): allutts={1: ['ja', 'uh', 'ik', 'vind', 'het', 'beetje', 'moeilijk', 'om', 'het', 'goed', 'te', 'vertellen', 'want', 'ik', 'heb', 'een', 'ongeluk', 'gehad']} - ) + + +@pytest.fixture +def all_transcripts(asta_transcripts, tarsp_transcripts): + return Transcript.objects.all() diff --git a/backend/parse/parse_utils.py b/backend/parse/parse_utils.py index 64116290..30a7816f 100644 --- a/backend/parse/parse_utils.py +++ b/backend/parse/parse_utils.py @@ -1,6 +1,7 @@ import io import logging import os +from typing import Any, Generator from analysis.models import Transcript, Utterance from bs4 import BeautifulSoup @@ -9,6 +10,7 @@ from corpus2alpino.converter import Converter from corpus2alpino.targets.filesystem import FilesystemTarget from corpus2alpino.writers.lassy import LassyWriter +from corpus2alpino.targets.memory import MemoryTarget from django.conf import settings from django.core.files import File from lxml import etree @@ -17,6 +19,12 @@ logger = logging.getLogger('sasta') +# Parser setup +ALPINO = AlpinoAnnotator( + settings.ALPINO_HOST, + settings.ALPINO_PORT +) + def parse_and_create(transcript): try: @@ -39,22 +47,7 @@ def parse_transcript(transcript, output_dir, output_path): try: logger.info(f'Parsing:\t{transcript.name}...\n') - - # Parser setup - alpino = AlpinoAnnotator( - settings.ALPINO_HOST, - settings.ALPINO_PORT - ) - - converter = Converter( - collector=FilesystemCollector([transcript.content.path]), - annotators=[alpino], - target=FilesystemTarget(output_path, merge_files=True), - writer=LassyWriter(merge_treebanks=True), - ) - - # Alpino parsing - parses = converter.convert() + parses = corpus2alpino_parse(transcript.content.path, output_path) for _parse in parses: logger.info(f'Succesfully parsed:\t{transcript.name}\n') transcript.save() @@ -66,20 +59,7 @@ def parse_transcript(transcript, output_dir, output_path): transcript.save() # Correcting and reparsing - logger.info(f'Correcting:\t{transcript.name}...\n') - try: - corrected, error_dict, _origandalts = correct_treebank(transcript) - corrected_content = etree.tostring(corrected, encoding='utf-8') - corrected_filename = parsed_filename.replace('.xml', '_corrected.xml') - corrected_file = File(io.BytesIO(corrected_content)) - transcript.corrected_content.save(corrected_filename, corrected_file) - logger.info(f'Successfully corrected:\t{transcript.name}, {len(error_dict)} corrections.\n') - # Save corrections - transcript.corrections = error_dict - - except Exception as err: - transcript.corrections = {'error': str(err)} - logger.warning(f'Correction failed for transcript:\t {transcript.name}') + correct_transcript(transcript) transcript.status = Transcript.PARSED transcript.save() @@ -92,6 +72,45 @@ def parse_transcript(transcript, output_dir, output_path): transcript.save() +def correct_transcript(transcript: Transcript) -> None: + logger.info(f'Correcting:\t{transcript.name}...\n') + try: + corrected, error_dict, _origandalts = correct_treebank(transcript) + corrected_content = etree.tostring(corrected, encoding='utf-8') + corrected_filename = os.path.basename( + transcript.parsed_content.name.replace('.xml', '_corrected.xml')) + corrected_file = File(io.BytesIO(corrected_content)) + transcript.corrected_content.save(corrected_filename, corrected_file) + # Save corrections + transcript.corrections = error_dict + transcript.save() + logger.info( + f'Successfully corrected:\t{transcript.name}, {len(error_dict)} corrections.\n') + + except Exception as err: + transcript.corrections = {'error': str(err)} + logger.exception( + f'Correction failed for transcript:\t {transcript.name}') + raise + + +def corpus2alpino_parse( + inpath: str, + outpath: str, + annotator: AlpinoAnnotator = ALPINO, + in_memory: bool = False +) -> Generator[Any, Any, None]: + target = MemoryTarget() if in_memory else FilesystemTarget(outpath, merge_files=True) + converter = Converter( + collector=FilesystemCollector([inpath]), + annotators=[annotator], + target=target, + writer=LassyWriter(merge_treebanks=True), + ) + # actual parsing + return converter.convert() + + def create_utterance_objects(transcript): parse_file = transcript.best_available_treebank @@ -166,3 +185,13 @@ def correct_treebank(transcript: Transcript): except Exception as e: logger.exception(e) raise + + +def correct_uncorrected_transcripts(): + uncorrected = list(Transcript.objects.filter(corrected_content='')) + print(f'{len(uncorrected)} uncorrected transcripts') + + while len(uncorrected): + t = uncorrected.pop() + print(f'{len(uncorrected)} left') + correct_transcript(t) diff --git a/backend/parse/tests/parse_tests.py b/backend/parse/tests/parse_tests.py new file mode 100644 index 00000000..d24dd566 --- /dev/null +++ b/backend/parse/tests/parse_tests.py @@ -0,0 +1,20 @@ +import os.path as op + +from parse.parse_utils import corpus2alpino_parse +from lxml import etree + + +def test_c2a_parse(testfiles_dir, tmp_path): + infile = op.join(testfiles_dir, 'ASTA', 'single_utt', 'single_utt.cha') + outfile = op.join(tmp_path, 'single_utt.xml') + parses = corpus2alpino_parse(infile, outfile, in_memory=True) + parsed = next(parses) + assert parsed # is the file parsed? + + parsed_tree = etree.fromstring(bytes(parsed, encoding='utf-8')) + assert parsed_tree # can it be converted to an etree? + + uttids = parsed_tree.findall('.//meta[@name="uttid"]') + uttid_values = [node.attrib['value'] for node in uttids] + assert len(set(uttid_values)) == len( + uttid_values) # does it have unique uttids? diff --git a/backend/requirements.in b/backend/requirements.in index 70612e33..12cd1766 100644 --- a/backend/requirements.in +++ b/backend/requirements.in @@ -21,3 +21,4 @@ openpyxl xlrd>=1.2,<2 xlsxwriter sastadev +sentry-sdk[django] diff --git a/backend/requirements.txt b/backend/requirements.txt index 77541270..1e1a3a4f 100644 --- a/backend/requirements.txt +++ b/backend/requirements.txt @@ -32,7 +32,9 @@ celery==5.2.7 # -r requirements.in # django-celery-results certifi==2023.7.22 - # via requests + # via + # requests + # sentry-sdk cffi==1.15.1 # via cryptography chamd==0.5.8 @@ -74,6 +76,7 @@ django==3.1.14 # django-rest-auth # django-revproxy # djangorestframework + # sentry-sdk django-allauth==0.51.0 # via django-rest-auth django-celery-results==2.4.0 @@ -212,10 +215,12 @@ requests==2.28.1 # spacy requests-oauthlib==1.3.1 # via django-allauth -sastadev==0.2.0 +sastadev==0.2.1 # via # -r requirements.in # auchann +sentry-sdk[django]==2.1.1 + # via -r requirements.in six==1.16.0 # via # click-repl @@ -263,6 +268,7 @@ urllib3==1.26.18 # via # django-revproxy # requests + # sentry-sdk vine==5.0.0 # via # amqp diff --git a/backend/sasta/urls.py b/backend/sasta/urls.py index 2e4d8965..f9e991e8 100644 --- a/backend/sasta/urls.py +++ b/backend/sasta/urls.py @@ -28,6 +28,12 @@ from .index import index from .proxy_frontend import proxy_frontend + +def trigger_error(request): + '''For testing sentry''' + division_by_zero = 1 / 0 + return division_by_zero + api_router = routers.DefaultRouter() # register viewsets with this router api_router.register(r'upload_files', analysis_views.UploadFileViewSet) api_router.register(r'transcripts', analysis_views.TranscriptViewSet) @@ -49,6 +55,7 @@ path('api/', include(api_router.urls)), path('api/analysis/', include(analysis_urls)), path('api/parse/', include(parse_urls)), + path('api/sentry-debug/', trigger_error), path('api-auth/', include( 'rest_framework.urls', namespace='rest_framework', diff --git a/backend/test_files/single_utt.cha b/backend/test_files/ASTA/single_utt/single_utt.cha similarity index 100% rename from backend/test_files/single_utt.cha rename to backend/test_files/ASTA/single_utt/single_utt.cha diff --git a/backend/test_files/ASTA/single_utt/single_utt.xml b/backend/test_files/ASTA/single_utt/single_utt.xml new file mode 100644 index 00000000..cb011165 --- /dev/null +++ b/backend/test_files/ASTA/single_utt/single_utt.xml @@ -0,0 +1,136 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + Kun u mij eens wat vertellen waarom u hier bent wat is er gebeurd + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/backend/test_files/ASTA/single_utt/single_utt_annotated.cha b/backend/test_files/ASTA/single_utt/single_utt_annotated.cha new file mode 100644 index 00000000..c4ef3cc1 --- /dev/null +++ b/backend/test_files/ASTA/single_utt/single_utt_annotated.cha @@ -0,0 +1,12 @@ +@UTF8 +@Begin +@Languages: nld +@Participants: PMA pma Other, INV inv Other +@ID: nld||PMA|||||Other||| +@ID: nld||INV|||||Other||| +@Comment: ##META text samplenaam = ASTA-16 +*INV: Kun u mij eens wat vertellen waarom u hier bent wat is er gebeurd +*PMA: ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad +%xsid: 1 +%xsyn: X, X, K, PV, N, lemma, A, BIJZIN, LEX, lemma, BIJZIN, PV, N, lemma, LEX, lemma +@End \ No newline at end of file diff --git a/backend/test_files/single_utt_corrected.xml b/backend/test_files/ASTA/single_utt/single_utt_corrected.xml similarity index 99% rename from backend/test_files/single_utt_corrected.xml rename to backend/test_files/ASTA/single_utt/single_utt_corrected.xml index a10d7eb2..646fc354 100644 --- a/backend/test_files/single_utt_corrected.xml +++ b/backend/test_files/ASTA/single_utt/single_utt_corrected.xml @@ -1,5 +1,5 @@ - + @@ -124,6 +124,6 @@ ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad - Q#ng1704292912|ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad|1|1|-12.662841177789993 + Q#ng1706799665|ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad|1|1|-12.662841177789993 \ No newline at end of file diff --git a/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle.cha b/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle.cha new file mode 100644 index 00000000..774e30c9 --- /dev/null +++ b/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle.cha @@ -0,0 +1,11 @@ +@UTF8 +@Begin +@Languages: nld +@Participants: PMA pma Other, INV inv Other +@ID: nld||PMA|||||Other||| +@ID: nld||INV|||||Other||| +@Comment: ##META text samplenaam = ASTA-16 + +*INV: Kun u mij eens wat vertellen waarom u hier bent wat is er gebeurd +*PMA: ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad +%xsid: 1 diff --git a/backend/test_files/single_utt.xml b/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle.xml similarity index 98% rename from backend/test_files/single_utt.xml rename to backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle.xml index 5c98c69b..0caabe35 100644 --- a/backend/test_files/single_utt.xml +++ b/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle.xml @@ -1,6 +1,6 @@ - + @@ -60,7 +60,7 @@ - + @@ -104,7 +104,7 @@ - ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad + ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad @@ -115,7 +115,7 @@ - + diff --git a/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle_annotated.cha b/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle_annotated.cha new file mode 100644 index 00000000..8d83a18c --- /dev/null +++ b/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle_annotated.cha @@ -0,0 +1,12 @@ +@UTF8 +@Begin +@Languages: nld +@Participants: PMA pma Other, INV inv Other +@ID: nld||PMA|||||Other||| +@ID: nld||INV|||||Other||| +@Comment: ##META text samplenaam = ASTA-16 +*INV: Kun u mij eens wat vertellen waarom u hier bent wat is er gebeurd +*PMA: ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad +%xsid: 1 +%xsyn: X, X, K, PV, N, lemma, A, BIJZIN, LEX, lemma, BIJZIN, PV, N, lemma, LEX, lemma +@End diff --git a/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle_corrected.xml b/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle_corrected.xml new file mode 100644 index 00000000..d067a9ff --- /dev/null +++ b/backend/test_files/ASTA/single_utt_newstyle/single_utt_newstyle_corrected.xml @@ -0,0 +1,129 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + Kun u mij eens wat vertellen waarom u hier bent wat is er gebeurd + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad + Q#ng1715779044|ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad|1|1|-12.662841177789993 + + \ No newline at end of file diff --git a/backend/test_files/TARSP/Tarsp_01/Tarsp_01.cha b/backend/test_files/TARSP/Tarsp_01/Tarsp_01.cha new file mode 100644 index 00000000..8229b0b4 --- /dev/null +++ b/backend/test_files/TARSP/Tarsp_01/Tarsp_01.cha @@ -0,0 +1,88 @@ +@UTF8 +@Begin +@Languages: nld +@Participants: CHI chi Target_Child +@ID: nld||CHI|4;6|male|||Target_Child||| +@Comment: ##META text title = Tarsp_01 + +*CHI: allemaal varkens zit erin. +%xsid: 1 +*CHI: [/] die kan je de varken doen. +%xsid: 2 +*CHI: dit is een touw. +%xsid: 3 +*CHI: naar boven gaat. +%xsid: 4 +*CHI: al bijna. +%xsid: 5 +*CHI: hij wil naar boven. +%xsid: 6 +*CHI: is helemaal veilig in [: bij] die varken. +%xsid: 7 +*CHI: die open moet. +%xsid: 8 +*CHI: hij wil niet buiten. +%xsid: 9 +*CHI: emmer mee voor de varkens en voor de poesjes. +%xsid: 10 +*CHI: water en melk. +%xsid: 11 +*CHI: hij moet wel een beetje wachten. +%xsid: 12 +*CHI: in de kooi. +%xsid: 13 +*CHI: dat mag niet. +%xsid: 14 +*CHI: hij mag niet op de dak. +%xsid: 15 +*CHI: dat is gevaarlijk. +%xsid: 16 +*CHI: [//] ik wil kippen gebruiken. +%xsid: 17 +*CHI: ik pak alle varken hier gebruiken. +%xsid: 18 +*CHI: naar boven. +%xsid: 19 +*CHI: maar eigenlijk mag niet mensen opeten van deze hè? +%xsid: 20 +*CHI: en poes gaat ook eten. +%xsid: 21 +*CHI: heel vies. +%xsid: 22 +*CHI: hij vindt ook dit lekker hè? +%xsid: 23 +*CHI: hij gaat op de t(r)actor rijden. +%xsid: 24 +*CHI: ik ga de deur openmaken. +%xsid: 25 +*CHI: en hij gaat in de auto hè? +%xsid: 26 +*CHI: in deze. +%xsid: 27 +*CHI: alleen mensen. +%xsid: 28 +*CHI: hij mag gewoon op [: erop] staan. +%xsid: 29 +*CHI: hier kan ook hè? +%xsid: 30 +*CHI: mensen gaat op de bank. +%xsid: 31 +*CHI: dit is een kooi. +%xsid: 32 +*CHI: kijk, die kippen hier staat. +%xsid: 33 +*CHI: &oh &ja hier moeten ook nog. +%xsid: 34 +*CHI: dieren moeten nog. +%xsid: 35 +*CHI: wij gaan een hele grote kooi maken. +%xsid: 36 +*CHI: nog een hè? +%xsid: 37 +*CHI: konijntje vinden. +%xsid: 38 +*CHI: ik zie nog een muis. +%xsid: 39 +*CHI: waar is de ketting? +%xsid: 40 +@End diff --git a/backend/test_files/TARSP/Tarsp_01/Tarsp_01.xml b/backend/test_files/TARSP/Tarsp_01/Tarsp_01.xml new file mode 100644 index 00000000..991bbdec --- /dev/null +++ b/backend/test_files/TARSP/Tarsp_01/Tarsp_01.xml @@ -0,0 +1,1623 @@ + + + + + + + + + + + + + + + + + allemaal varkens zit erin . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + die kan je de varken doen . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dit is een touw . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + naar boven gaat . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + al bijna . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij wil naar boven . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + is helemaal veilig bij die varken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + die open moet . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij wil niet buiten . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + emmer mee voor de varkens en voor de poesjes . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + water en melk . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij moet wel een beetje wachten . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + in de kooi . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dat mag niet . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij mag niet op de dak . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dat is gevaarlijk . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ik wil kippen gebruiken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ik pak alle varken hier gebruiken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + naar boven . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + maar eigenlijk mag niet mensen opeten van deze hè ? + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + en poes gaat ook eten . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + heel vies . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij vindt ook dit lekker hè ? + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij gaat op de tractor rijden . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ik ga de deur openmaken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + en hij gaat in de auto hè ? + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + in deze . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + alleen mensen . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij mag gewoon erop staan . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hier kan ook hè ? + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + mensen gaat op de bank . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dit is een kooi . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hier moeten ook nog . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dieren moeten nog . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + wij gaan een hele grote kooi maken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + nog een hè ? + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + konijntje vinden . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ik zie nog een muis . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + waar is de ketting ? + + + + + + + + + + + + + + + + + + + + + + + + + + \ No newline at end of file diff --git a/backend/test_files/TARSP/Tarsp_01/Tarsp_01_corrected.xml b/backend/test_files/TARSP/Tarsp_01/Tarsp_01_corrected.xml new file mode 100644 index 00000000..ac457eb2 --- /dev/null +++ b/backend/test_files/TARSP/Tarsp_01/Tarsp_01_corrected.xml @@ -0,0 +1,1598 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + allemaal varkens zit erin . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + die kan je de varken doen . + Q#ng1715850550|die kan je het varken doen .|1|1|-2.7428569551999997 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dit is een touw . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + naar boven gaat . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + al bijna . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij wil naar boven . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + is helemaal veilig in die varken . + Q#ng1715850559|is helemaal veilig bij dat varken .|1|1|-0.0074853642100013995 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + die open moet . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij wil niet buiten . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + emmer mee voor de varkens en voor de poesjes . + Q#ng1715850566|teil mee voor de varkens en voor de poesjes .|1|1|5.285930228190001 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + water en melk . + Q#ng1715850570|gas en teil .|1|1|2.39488040561 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij moet wel een beetje wachten . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + in de kooi . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dat mag niet . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij mag niet op de dak . + Q#ng1715850580|hij mag niet op het dak .|1|1|-0.8688523925899988 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dat is gevaarlijk . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ik wil kippen gebruiken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ik pak alle varken hier gebruiken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + naar boven . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + maar eigenlijk mag niet mensen opeten van deze hè ? + Q#ng1715850588|maar eigenlijk mag niet mensen opeten van hem ?|1|1|7.127717778499996 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + en poes gaat ook eten . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + heel vies . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij vindt ook dit lekker hè ? + Q#ng1715850592|hij vindt ook dit lekker ?|1|1|-3.1309373137299996 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij gaat op de tactor rijden . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ik ga de deur openmaken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + en hij gaat in de auto hè ? + Q#ng1715850598|en hij gaat in de auto ?|1|1|1.2284217131699997 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + in deze . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + alleen mensen . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hij mag gewoon op staan . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hier kan ook hè ? + Q#ng1715850607|hier kan ook ?|1|2|2.6255676388799998 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + mensen gaat op de bank . + Q#ng1715850609|mensen gaan op de bank .|1|1|1.4615825426199986 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dit is een kooi . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + hier moeten ook nog . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + dieren moeten nog . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + wij gaan een hele grote kooi maken . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + nog een hè ? + Q#ng1715850619|nog een ?|1|1|3.76477465811 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + konijntje vinden . + Q#ng1715850621|ik wil konijntje vinden .|1|1|-3.36029476564 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + ik zie nog een muis . + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + waar is de ketting ? \ No newline at end of file diff --git a/backend/test_files/sample_1.cha b/backend/test_files/sample_1.cha deleted file mode 100644 index 91f0663f..00000000 --- a/backend/test_files/sample_1.cha +++ /dev/null @@ -1,30 +0,0 @@ -@UTF8 -@Begin -@Languages: nld -@Participants: CHI Target_Child, THE Therapist Investigator, UNK Other -@ID: nld||CHI|||||Target_Child||IDCode=123, Measurement=456| -@ID: nld||THE|||||Investigator||| -@ID: nld||UNK|||||Other||| -*THE: wat gebeurt er nu? -*CHI: NAAM1 fietst niet meer… -%xlit: oh, hij fietst niet meer -%com: algemene opmerking -*THE: nee die fietst niet meer -*CHI: je moet eerst je moet er eventjes erop zetten -*THE: ja het het wil er maar weer op -*CHI: dan ga ik dit eventjes maken -*THE: doe dat maar -*CHI: ik kon daar niet op -*THE: oh wat is hek -*CHI: hij kan niet meer -*THE: wat is er aan de hand -*CHI: hij kan niet meer daar heeft -*THE: oh nee dit gaat problemen geven -*CHI: dus uhm dieren door lopen -*THE: we moeten het hek repareren -*CHI: ja deze pot nergens meer op -*THE: ik het -*CHI: dan zitten we deze eventjes aan de kant -*THE: of we gebruiken er één van de staat -%com: sdsdsfd -@End diff --git a/backend/test_files/sample_1.xml b/backend/test_files/sample_1.xml deleted file mode 100644 index ef1a5f1e..00000000 --- a/backend/test_files/sample_1.xml +++ /dev/null @@ -1,740 +0,0 @@ - - - - - - - - - - - - - - - wat gebeurt er nu ? - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hij fietst niet meer - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - je moet eerst je moet er eventjes erop zetten - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dan ga ik dit eventjes maken - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - doe dat maar - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ik kon daar niet op - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hij kan niet meer - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - wat is er aan de hand - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hij kan niet meer daar heeft unk - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dus uhm dieren door lopen - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - we moeten het hek repareren - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ik het - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dan zitten we deze eventjes aan de kant - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - of we gebruiken er één van de staat - - - - - - - - - - - - - - - - - - - - - - - - - \ No newline at end of file diff --git a/backend/test_files/sample_16.cha b/backend/test_files/sample_16.cha deleted file mode 100644 index 4a85532f..00000000 --- a/backend/test_files/sample_16.cha +++ /dev/null @@ -1,125 +0,0 @@ -@UTF8 -@Begin -@Languages: nld -@Participants: PMA pma Other, INV inv Other -@ID: nld||PMA|||||Other||| -@ID: nld||INV|||||Other||| -@Comment: ##META text samplenaam = ASTA-16 - -*INV: Kun u mij eens wat vertellen waarom u hier bent wat is er gebeurd -*PMA: ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad -%xsid: 1 -*PMA: en daarvan weet ik niks -%xsid: 2 -*INV: oke -*PMA: ik heb zes weken weet ik helemaal niets -%xsid: 3 -*PMA: en uh nu krijg ik te horen -%xsid: 4 -*PMA: en dat vind ik wel lastig -%xsid: 5 -*PMA: en verder ja het gaat redelijk denk ik -%xsid: 6 -*INV: en bent u hier al een tijdje -*PMA: oh ja sorry ja ik ben eerst uh naar een ziekenhuis geweest een aantal weken -%xsid: 7 -*PMA: toen een aantal weken in een een iets van zorg -%xsid: 8 -*PMA: ik weet niet uh in uh(.) -%xsid: 9 -*PMA: uh buiten Breda -%xsid: 10 -%xano: 10|PLAATS1|Breda -*INV: oke -*PMA: niet zo ver denk ik -%xsid: 11 -*PMA: ik weet niet -%xsid: 12 -*PMA: en en toen ik zo ver weer was ben ik naar hier gekomen -%xsid: 13 -*PMA: dat heet de uh Rijnstate -%xsid: 14 -%xano: 15|ZORGINSTELLING1|Rijnstate -*INV: ga ik nu een ander uh vraag stellen wat was uw beroep -*PMA: uh (..) chirurgh -%xsid: 15 -%xano: 8|BEROEP1|chirurgh -*INV: oke kunt u daar wat meer over vertellen -*PMA: ja is heel erg leuk ja -%xsid: 16 -*PMA: kinderen in de groep van tien tot twaalf -%xsid: 17 -*PMA: en ze zijn de leeftijd is van nul tot bijna drie -%xsid: 18 -*INV: ja -*PMA: en als ze ouder worden dan gaan ze naar de andere groep -%xsid: 19 -*INV: ja -*PMA: en is ook leuk kon kinderen zo gezellig zo lief zo fijn ja -%xsid: 20 -*PMA: ja en ook ouders heel goed contact -%xsid: 21 -*PMA: ki kinderen worden gebracht -%xsid: 22 -*PMA: en uh dan is het contact goed met de ouders -%xsid: 23 -*PMA: en ook eind van de middag weer opgehaald -%xsid: 24 -*INV: ja -*PMA: en kinderen zijn ja fijn lief -%xsid: 25 -*PMA: en voelen zich wel uh voelen zich wel gelukkig bij ons -%xsid: 26 -*PMA: spelen graag -%xsid: 27 -*INV: en hoeveel uur werkt u -*PMA: oo uh uh ik werk drie dagen -%xsid: 28 -*INV: lange dagen denk ik -*PMA: ja ik begin ik om uh half acht tot ik denk tot zes uur ja -%xsid: 29 -*INV: ja oke en heeft u ook in uw leven ander werk gehad -*PMA: ja toevallig hierachter -%xsid: 30 -*PMA: uh kinderen met beperking -%xsid: 31 -*PMA: dat was dicht bij de Rijnstate -%xsid: 32 -%xano: 21|WERKINSTELLING1|Rijnstate -*INV: ja ja en dat was ook een dagopvang -*PMA: (.) ja (.) ja ik weet het niet -%xsid: 33 -%xpct: 0|#|(.), 7|#|(.) -*PMA: dat is jammer van nu op dit moment -%xsid: 34 -*PMA: ik ik herken het -%xsid: 35 -*PMA: wauw daar ben ik veel geweest -%xsid: 36 -*PMA: ook hier de uh -%xsid: 37 -*PMA: dat heb ik net nog gelezen (..) -%xsid: 38 -*PMA: Vogellanden -%xsid: 39 -%xano: 0|WERKINSTELLING2|Vogellanden -*INV: ja -*PMA: veel geweest voor uh -%xsid: 40 -*PMA: past bij mijn werk nu -%xsid: 41 -*PMA: ja uh net gekoppeld -%xsid: 42 -*INV: ja -*PMA: ik weet -%xsid: 43 -*PMA: dus maar ben ik veel geweest maar ook als ik hier uh -%xsid: 44 -*INV: ja oke kunt u mij wat vertellen over uw hobbies -*PMA: oo (..) uh ja uh uh (..) ik zing met uh oudere mensen uh -%xsid: 45 -*PMA: ik uh (..) uh ik doe uh boekjes voor uh club geloof ik uh -%xsid: 46 -*PMA: en uh (...) uh (.) uh sorry -%xsid: 47 -@End diff --git a/backend/test_files/sample_16.docx b/backend/test_files/sample_16.docx deleted file mode 100644 index 6e7270e8..00000000 Binary files a/backend/test_files/sample_16.docx and /dev/null differ diff --git a/backend/test_files/sample_16.xml b/backend/test_files/sample_16.xml deleted file mode 100644 index dfce4d30..00000000 --- a/backend/test_files/sample_16.xml +++ /dev/null @@ -1,2744 +0,0 @@ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Kun u mij eens wat vertellen waarom u hier bent wat is er gebeurd - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja uh ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad - Q#ng1699535914|ik vind het beetje moeilijk om het goed te vertellen want ik heb een ongeluk gehad|1|1|-12.662841177789993 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en daarvan weet ik niks - - - - - oke - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ik heb zes weken weet ik helemaal niets - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en uh nu krijg ik te horen - Q#ng1699535921|en nu krijg ik te horen|1|1|0.1923325752099997 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en dat vind ik wel lastig - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en verder ja het gaat redelijk denk ik - Q#ng1699535923|en verder het gaat redelijk denk ik|1|2|3.4648723212599988 - - - - - - - - - - - - - - - - - - - en bent u hier al een tijdje - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - oh ja sorry ja ik ben eerst uh naar een ziekenhuis geweest een aantal weken - Q#ng1699535924|ik ben eerst naar een ziekenhuis geweest een aantal weken|1|1|-8.04287764489 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - toen een aantal weken in een een iets van zorg - Q#ng1699535925|toen een aantal weken in een iets van zorg|1|2|2.6670418012899995 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ik weet niet uh in uh( . ) - Q#ng1699535927|ik weet niet in uh( . )|1|1|-1.5799665774000007 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - uh buiten is Breda - Q#ng1699535929|buiten is Breda|1|1|1.046710481759999 - - - - - - - oke - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - niet zo ver denk ik - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ik weet niet - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en en toen ik zo ver weer was ben ik naar hier gekomen - Q#ng1699535933|en toen ik zo ver weer was ben ik naar hier gekomen|1|1|-6.924020875550005 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dat heet de uh Rijnstate - Q#ng1699535934|dat heet de Rijnstaten|1|1|-0.4477186049599994 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ga ik nu een ander uh vraag stellen wat was uw beroep - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - uh chirurgh - Q#ng1699535937|chirurgh|1|1|0.5886019999999997 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja is heel erg leuk ja - Q#ng1699535938|is heel erg leuk|1|1|-4.78336550295 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - kinderen in de groep van tien tot twaalf - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en ze zijn de leeftijd is van nul tot bijna drie - - - - - ja - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en als ze ouder worden dan gaan ze naar de andere groep - - - - - ja - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en is ook leuk kon kinderen zo gezellig zo lief zo fijn ja - Q#ng1699535947|en is ook leuk kon kinderen zo gezellig zo lief zo fijn|1|2|5.555597863169984 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja en ook ouders heel goed contact - Q#ng1699535949|en ook ouders heel goed contact|1|1|2.6244477218799966 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ki kinderen worden gebracht - Q#ng1699535951|kinderen worden gebracht|1|1|-1.4226060098999993 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en uh dan is het contact goed met de ouders - Q#ng1699535952|en dan is het contact goed met de ouders|1|1|3.835047491639995 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en ook eind van de middag weer opgehaald - - - - - ja - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en kinderen zijn ja fijn lief - Q#ng1699535956|en kinderen zijn fijn lief|1|1|3.3756422091800005 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en voelen zich wel uh voelen zich wel gelukkig bij ons - Q#ng1699535957|en voelen zich wel gelukkig bij ons|1|1|-0.11310258963000253 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - spelen graag - - - - - - - - - - - - - - - - - - en hoeveel uur werkt u - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - oo uh uh ik werk drie dagen - Q#ng1699535960|ik werk drie dagen|1|1|-0.06668924663999931 - - - - - - - - - - - lange dagen denk ik - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja ik begin ik om uh half acht tot ik denk tot zes uur ja - Q#ng1699535961|ik begin ik om half acht tot ik denk tot zes uur|1|2|4.776017459679991 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja toevallig hierachter - Q#ng1699535963|toevallig hierachter|1|1|3.1740006442599995 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - uh kinderen met beperking - Q#ng1699535964|kinderen met beperking|1|1|2.85980687515 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dat was dicht bij de Rijnstate - Q#ng1699535965|dat was dicht bij de Rijnstaten|1|1|-3.961170843459999 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja ja ik weet het niet - Q#ng1699535970|ik weet het niet|1|1|-3.1934260798 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dat is jammer van nu op dit moment - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ik ik herken het - Q#ng1699535973|ik herken het|1|1|0.3249225631100008 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - wauw daar ben ik veel geweest - Q#ng1699535974|daar ben ik veel geweest|1|1|-5.353241436460001 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ook hier de uh - Q#ng1699535975|ook hier de|1|2|0.2363647608900002 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dat heb ik net nog gelezen - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Vogellanden - - - - - ja - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - veel geweest voor uh - Q#ng1699535978|veel geweest voor|1|1|6.287694428459999 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - past bij mijn werk nu - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja uh net gekoppeld - Q#ng1699535981|net gekoppeld|1|1|3.64780386377 - - - - - - - ja - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ik weet - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dus maar ben ik veel geweest maar ook als ik hier uh - Q#ng1699535983|dus maar ben ik veel geweest maar ook als ik hier|1|1|0.8965879978199991 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - oo uh ja uh uh ik zing met uh oudere mensen uh - Q#ng1699535984|ik zing met oudere mensen|1|1|-0.19140639580999919 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en uh uh uh sorry - Q#ng1699535986|en|1|1|0.0 - - \ No newline at end of file diff --git a/backend/test_files/sample_16_SAF.xlsx b/backend/test_files/sample_16_SAF.xlsx deleted file mode 100644 index 671a99e3..00000000 Binary files a/backend/test_files/sample_16_SAF.xlsx and /dev/null differ diff --git a/backend/test_files/sample_16_SAF_corrected.xlsx b/backend/test_files/sample_16_SAF_corrected.xlsx deleted file mode 100644 index 0c5f483b..00000000 Binary files a/backend/test_files/sample_16_SAF_corrected.xlsx and /dev/null differ diff --git a/backend/test_files/sample_1_SAF.xlsx b/backend/test_files/sample_1_SAF.xlsx deleted file mode 100644 index 4895c8cb..00000000 Binary files a/backend/test_files/sample_1_SAF.xlsx and /dev/null differ diff --git a/backend/test_files/sample_5.cha b/backend/test_files/sample_5.cha deleted file mode 100644 index d7f263f8..00000000 --- a/backend/test_files/sample_5.cha +++ /dev/null @@ -1,84 +0,0 @@ -@UTF8 -@Begin -@Languages: nld -@Participants: CHI chi Target_Child -@ID: nld||CHI|5;8|female|||Target_Child||| -@Comment: ##META text title = Tarsp_05 - -*CHI: neerzetten. -%xsid: 1 -*CHI: en dit ook. -%xsid: 2 -*CHI: die moet hieraan. -%xsid: 3 -*CHI: ja kan no(g) een dingetje d(e)raan. -%xsid: 4 -*CHI: deed ik. -%xsid: 5 -*CHI: die moet ook nog ergens. -%xsid: 6 -*CHI: effe kijken waar. -%xsid: 7 -*CHI: &hoo hij kom(t). -%xsid: 8 -*CHI: wat i(s) dit? -%xsid: 9 -*CHI: &oo hij fiet(st) niet meer. -%xsid: 10 -*CHI: je moet dan effjes erop zetten. -%xsid: 11 -*CHI: dan ga ik dit effjes maken. -%xsid: 12 -*CHI: die kan daar niet op. -%xsid: 13 -*CHI: hij kan nie(t) meer. -%xsid: 14 -*CHI: hij kan &nie nie(t) meer daarheen (s)chuiven. -%xsid: 15 -*CHI: ander(s) kaat [: gaan] te [: de] tiern [: dieren] door 't hek lopen. -%xsid: 16 -*CHI: da(n) passen d(e)r niet aan. -%xsid: 17 -*CHI: paar. -%xsid: 18 -*CHI: ja &de &de deze past nerke [: nergens] meer op. -%xsid: 19 -*CHI: dan zetten we deze effje aan de kant. -%xsid: 20 -*CHI: dingetje. -%xsid: 21 -*CHI: ja kij(k) hier hebben wij heel veel. -%xsid: 22 -*CHI: fftje [: eventjes] passen? -%xsid: 23 -*CHI: klik. -%xsid: 24 -*CHI: kan wel. -%xsid: 25 -*CHI: maar deze kan er niet op. -%xsid: 26 -*CHI: &uhh wat i(s) dit ook alweer? -%xsid: 27 -*CHI: ja trarpje [: trappetje]. -%xsid: 28 -*CHI: wat i(s) dit? -%xsid: 29 -*CHI: &oeps de parasel [: parasol]. -%xsid: 30 -*CHI: (i)k wee(t) nie(t) wat dit is. -%xsid: 31 -*CHI: nee wee [: alleen] maar wortjes [: worstjes]. -%xsid: 32 -*CHI: kijk hier zit een wortje [: worstje] in. -%xsid: 33 -*CHI: wat taat [: staat] hierop? -%xsid: 34 -*CHI: hele kleine letter. -%xsid: 35 -*CHI: nee dat wat [//] hij verkoopt. -%xsid: 36 -*CHI: die kan d(e)r op weer. -%xsid: 37 -*CHI: hoop ik. -%xsid: 38 -@End diff --git a/backend/test_files/sample_5.docx b/backend/test_files/sample_5.docx deleted file mode 100644 index e24e9c98..00000000 Binary files a/backend/test_files/sample_5.docx and /dev/null differ diff --git a/backend/test_files/sample_5.xml b/backend/test_files/sample_5.xml deleted file mode 100644 index c0cd9188..00000000 --- a/backend/test_files/sample_5.xml +++ /dev/null @@ -1,1467 +0,0 @@ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - neerzetten . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - en dit ook . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - die moet hieraan . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja kan no een dingetje draan . - Q#ng1699369360|kan nog een dingetje eraan .|1|1|2.0061761748099993 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - deed ik . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - die moet ook nog ergens . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - effe kijken waar . - Q#ng1699369366|even kijken waar .|1|1|1.877568910779999 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hij kom . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - wat i dit ? - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hij fiet niet meer . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - je moet dan effjes erop zetten . - Q#ng1699369374|je moet dan eventjes erop zetten .|1|1|-6.070739874989998 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dan ga ik dit effjes maken . - Q#ng1699369377|dan ga ik dit eventjes maken .|1|1|-1.0320685360200004 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - die kan daar niet op . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hij kan nie meer . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hij kan nie meer daarheen chuiven . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ander kaat te tiern door 't hek lopen . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - da passen dr niet aan . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - paar . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja deze past nerke meer op . - Q#ng1699369397|deze past nergens meer op .|1|1|-0.16345256290999877 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dan zetten we deze effje aan de kant . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - dingetje . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja kij hier hebben wij heel veel . - Q#ng1699369405|kijk hier hebben wij heel veel .|1|1|-0.3288037130699988 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - fftje passen ? - Q#ng1699369408|ik wil eventjes passen ?|1|1|-3.3482075462499994 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - klik . - Q#ng1699369410|teil .|1|1|1.4565085851 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - kan wel . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - maar deze kan er niet op . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - wat i dit ook alweer ? - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ja trarpje . - Q#ng1699369416|trappetje .|1|1|1.4565085851 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - wat i dit ? - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - de parasel . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - k wee nie wat dit is . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - nee wee maar wortjes . - Q#ng1699369424|alleen maar worstjes .|1|1|2.2140319823 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - wat taat hierop ? - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hele kleine letter . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - nee dat wat hij verkoopt . - Q#ng1699369432|dat wat hij verkoopt .|1|1|1.7576414638099995 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - die kan dr op weer . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - hoop ik . \ No newline at end of file diff --git a/backend/test_files/sample_5_SAF.xlsx b/backend/test_files/sample_5_SAF.xlsx deleted file mode 100644 index 716dfe1a..00000000 Binary files a/backend/test_files/sample_5_SAF.xlsx and /dev/null differ diff --git a/backend/test_files/sample_5_SAF_with_comments.xlsx b/backend/test_files/sample_5_SAF_with_comments.xlsx deleted file mode 100644 index 23a2b4be..00000000 Binary files a/backend/test_files/sample_5_SAF_with_comments.xlsx and /dev/null differ diff --git a/backend/test_files/single_utt_saf.xlsx b/backend/test_files/single_utt_saf.xlsx deleted file mode 100644 index 9046b16b..00000000 Binary files a/backend/test_files/single_utt_saf.xlsx and /dev/null differ diff --git a/backend/tests/integration_tests.py b/backend/tests/integration_tests.py new file mode 100644 index 00000000..f174baff --- /dev/null +++ b/backend/tests/integration_tests.py @@ -0,0 +1,9 @@ +from analysis.query.query_transcript import run_sastacore + + +def test_analysis(db, all_transcripts): + '''Make sure all of the test files can be analysed''' + + for t in all_transcripts: + results = run_sastacore(t, t.corpus.default_method) + assert results diff --git a/docs/local-installation (Docker).md b/docs/local-installation (Docker).md index aa4a2e29..5e772b24 100644 --- a/docs/local-installation (Docker).md +++ b/docs/local-installation (Docker).md @@ -40,5 +40,5 @@ python manage.py createsuperuser 3. `analysis` -> `Assessment methods` -> `Add new` 4. Choose the following settings: - Category: `TARSP` - - File: `/backend/sastadev/methods/Tarsp index current.xlsx` (xlsx spreadsheet) + - File: `/backend/sastadev/methods/Tarsp_index_current.xlsx` (xlsx spreadsheet) 5. Repeat step 3 & 4 for STAP and ASTA diff --git a/frontend/src/environments/version.ts b/frontend/src/environments/version.ts index 40fc290e..e1a6487e 100644 --- a/frontend/src/environments/version.ts +++ b/frontend/src/environments/version.ts @@ -1,2 +1,2 @@ // TODO: Compile this from toplevel package.json -export const version = '0.9.0'; +export const version = '0.9.1'; diff --git a/frontend/src/styles.scss b/frontend/src/styles.scss index 26b09d58..99625d20 100644 --- a/frontend/src/styles.scss +++ b/frontend/src/styles.scss @@ -34,3 +34,7 @@ .p-button:disabled { @extend .button } + +.p-toast-detail { + word-break: break-all; +} \ No newline at end of file diff --git a/package.json b/package.json index cfafca77..b8ff7a98 100644 --- a/package.json +++ b/package.json @@ -1,6 +1,6 @@ { "name": "sasta", - "version": "0.9.0", + "version": "0.9.1", "description": "Annotate and analyze transcripts", "author": "UU Digital Humanities Lab", "license": "BSD-3-Clause", diff --git a/proxy.conf.json b/proxy.conf.json index c3652abe..4eef3cb8 100644 --- a/proxy.conf.json +++ b/proxy.conf.json @@ -14,5 +14,9 @@ "/rest-auth": { "target": "http://localhost:8000", "secure": false + }, + "/media": { + "target": "http://localhost:8000", + "secure": false } }