import pytest import io import os import xml.etree.ElementTree as ET from stanza.utils.datasets.ner.convert_nkjp import MORPH_FILE, NER_FILE, extract_entities_from_subfolder, extract_entities_from_sentence, extract_unassigned_subfolder_entities pytestmark = [pytest.mark.pipeline, pytest.mark.travis] EXPECTED_ENTITIES = { '1-p': { '1.39-s': [{'ent_id': 'named_1.39-s_n1', 'index': 0, 'orth': 'Sił Zbrojnych', 'ner_type': 'orgName', 'ner_subtype': None, 'targets': ['1.37-seg', '1.38-seg']}], '1.56-s': [], '1.79-s': [] }, '2-p': { '2.30-s': [], '2.45-s': [] }, '3-p': { '3.70-s': [] } } @pytest.fixture(scope="module") def dataset(tmp_path_factory): dataset_path = tmp_path_factory.mktemp("nkjp_dataset") sample_path = dataset_path / "sample" os.mkdir(sample_path) ann_path = sample_path / NER_FILE with open(ann_path, "w", encoding="utf-8") as fout: fout.write(SAMPLE_ANN) morph_path = sample_path / MORPH_FILE with open(morph_path, "w", encoding="utf-8") as fout: fout.write(SAMPLE_MORPHO) return dataset_path EXPECTED_TOKENS = [ {'seg_id': '1.1-seg', 'i': 0, 'orth': '2', 'text': '2', 'tag': '_', 'ner': 'O', 'ner_subtype': None}, {'seg_id': '1.37-seg', 'i': 36, 'orth': 'Sił', 'text': 'Sił', 'tag': '_', 'ner': 'B-orgName', 'ner_subtype': None}, {'seg_id': '1.38-seg', 'i': 37, 'orth': 'Zbrojnych', 'text': 'Zbrojnych', 'tag': '_', 'ner': 'I-orgName', 'ner_subtype': None}, ] def test_extract_entities_from_subfolder(dataset): entities = extract_entities_from_subfolder("sample", dataset) assert len(entities) == 1 assert len(entities['1-p']) == 1 assert len(entities['1-p']['1.39-s']) == 39 assert entities['1-p']['1.39-s']['1.1-seg'] == EXPECTED_TOKENS[0] assert entities['1-p']['1.39-s']['1.37-seg'] == EXPECTED_TOKENS[1] assert entities['1-p']['1.39-s']['1.38-seg'] == EXPECTED_TOKENS[2] def test_extract_unassigned(dataset): entities = extract_unassigned_subfolder_entities("sample", dataset) assert entities == EXPECTED_ENTITIES SENTENCE_SAMPLE = """ ~~Sił Zbrojnych Siły Zbrojne~~ """.strip() EMPTY_SENTENCE = """""" def test_extract_entities_from_sentence(): rt = ET.fromstring(SENTENCE_SAMPLE) entities = extract_entities_from_sentence(rt) assert entities == EXPECTED_ENTITIES['1-p']['1.39-s'] rt = ET.fromstring(EMPTY_SENTENCE) entities = extract_entities_from_sentence(rt) assert entities == [] # picked completely at random, one sample file for testing: # 610-1-000248/ann_named.xml # only the first sentence is used in the morpho file SAMPLE_ANN = """
~~Sił Zbrojnych Siły Zbrojne~~

""".lstrip() SAMPLE_MORPHO = """
2 2 2:adj:sg:nom:n:pos . . .:interp Wezwanie wezwanie wezwać wezwanie:subst:sg:acc:n , , ,:interp o o o ojciec o:prep:loc którym który który:adj:sg:loc:n:pos mowa mowa mowa:subst:sg:nom:f w w wiek wielki wiersz wieś wyspa w:prep:loc:nwok ust usta ustęp ustęp:brev:pun . . .:interp 1 1 1:adj:sg:loc:m3:pos , , ,:interp doręcza doręczać doręcze doręczać:fin:sg:ter:imperf się się się:qub na na na na:prep:acc czternaście czternaście czternaście:num:pl:acc:m3:rec dni dni dzień dzień:subst:pl:gen:m3 przed przed przed:prep:inst:nwok terminem termin termin:subst:sg:inst:m3 wykonania wykonanie wykonać wykonać:ger:sg:gen:n:perf:aff świadczenia świadczenie świadczyć świadczenie:subst:sg:gen:n , , ,:interp z z z zeszyt z:prep:inst:nwok wyjątkiem wyjątek wyjątek:subst:sg:inst:m3 przypadków przypadek przypadek:subst:pl:gen:m3 , , ,:interp w w wiek wielki wiersz wieś wyspa w:prep:loc:nwok których który który:adj:pl:loc:m3:pos wykonanie wykonanie wykonać wykonać:ger:sg:nom:n:perf:aff świadczenia świadczenie świadczyć świadczenie:subst:sg:gen:n następuje następować następować:fin:sg:ter:imperf w w wiek wielki wiersz wieś wyspa w:prep:loc:nwok celu Cela cel cel:subst:sg:loc:m3 sprawdzenia sprawdzić sprawdzić:ger:sg:gen:n:perf:aff gotowości gotowość gotowość:subst:sg:gen:f mobilizacyjnej mobilizacyjny mobilizacyjny:adj:sg:gen:f:pos Sił siła siły siła:subst:pl:gen:f Zbrojnych zbrojny zbrojny:adj:pl:gen:f:pos . . .:interp
""".lstrip()