o h @srdZddlZddlZddlmZddlZejjejjgZ ddl m m m mZdZdZddZdd ZdS) z4 Tests the conversion code for the SUC3 NER dataset N)ZipFileu 1 Den den PN PN UTR|SIN|DEF|SUB/OBJ _ _ _ _ O _ ac01b-030:2328 2 Gud Gud PM PM NOM _ _ _ _ B myth ac01b-030:2329 3 giver giva VB VB PRS|AKT _ _ _ _ O _ ac01b-030:2330 4 ämbetet ämbete NN NN NEU|SIN|DEF|NOM _ _ _ _ O _ ac01b-030:2331 5 får få VB VB PRS|AKT _ _ _ _ O _ ac01b-030:2332 6 också också AB AB _ _ _ _ O _ ac01b-030:2333 7 förståndet förstånd NN NN NEU|SIN|DEF|NOM _ _ _ _ O _ ac01b-030:2334 8 . . MAD MAD _ _ _ _ O _ ac01b-030:2335 1 Han han PN PN UTR|SIN|DEF|SUB _ _ _ _ O _ aa01a-017:227 2 berättar berätta VB VB PRS|AKT _ _ _ _ O _ aa01a-017:228 3 anekdoten anekdot NN NN UTR|SIN|DEF|NOM _ _ _ _ O _ aa01a-017:229 4 som som HP HP -|-|- _ _ _ _ O _ aa01a-017:230 5 FN-medlaren FN-medlare NN NN UTR|SIN|DEF|NOM _ _ _ _ O _ aa01a-017:231 6 Brian Brian PM PM NOM _ _ _ _ B person aa01a-017:232 7 Urquhart Urquhart PM PM NOM _ _ _ _ I person aa01a-017:233 8 myntat mynta VB VB SUP|AKT _ _ _ _ O _ aa01a-017:234 9 : : MAD MAD _ _ _ _ O _ aa01a-017:235 u Den O Gud B-myth giver O ämbetet O får O också O förståndet O . O Han O berättar O anekdoten O som O FN-medlaren O Brian B-person Urquhart I-person myntat O : O c Cstu}tj|d}d}t|d%}||d}|t Wdn1s,wYWdn1s;wYd}t |||}|dksOJt| }| }Wdn1sbwYt |ksqJWddS1s|wYdS)zK Test creating a fake zip file, then converting it to an .iob file ztest.zipconllwNiob)tempfileTemporaryDirectoryospathjoinropenwrite TEST_CONLLencodesuc_conll_to_iobextract_from_zipread EXPECTED_IOBstrip) tempdirzip_name in_filenamezoutfout out_filenamenumfinresultrU/var/www/html/env_mimamsha/lib/python3.10/site-packages/stanza/tests/ner/test_suc3.py test_read_zip8s"     "r c Cs.t}tj|d}t|ddd }|tWdn1s#wYd}t|dd%}t|ddd}t ||}Wdn1sIwYWdn1sXwY|dkscJt| }| }Wdn1svwYt | ksJWddS1swYdS)z= Test a direct text file conversion w/o the zip file ztest.txtrzutf-8)encodingNrr) rrr r r r r rrextractrrr)rrrrrrrrrr test_read_rawKs"     "r#)__doc__r rzipfilerpytestmarktravispipeline pytestmark*stanza.utils.datasets.ner.suc_conll_to_iobutilsdatasetsnerrrrr r#rrrrs