o –hÀã@sddlZddlZdd„ZdS)éNc CsldD]±}|dkrtj |d¡}ntj |d|¡}g}|d}t |¡}tdt|ƒ|fƒ|D]J}t|ƒdkr<| d¡t|ƒ1} |  ¡} | d  ¡d krSt d |ƒ‚d d „| d d…Dƒ} dd „| Dƒ} |  | ¡Wdƒn1stwYq/tj |d||f¡} t| dƒ!} tdt|ƒ| fƒ|D] } |   | ¡|   d¡q—Wdƒn1s®wYqdS)N)ÚtrainÚdevÚtestrzdata/train-devel-test/develzdata/train-devel-testz /*/no-morph/*zReading %d input files from %srÚz7# global.columns = FORM LEMMA UPOS XPOS FEATS CONLL:NERzUnexpected format in %scSsg|] }| ¡ d¡‘qS)ú )ÚstripÚsplit©Ú.0Úx©r úa/var/www/html/env_mimamsha/lib/python3.10/site-packages/stanza/utils/datasets/ner/convert_nytk.pyÚ sz convert_nytk..écSs0g|]}t|ƒdkrd|d|dfnd‘qS)rz%s %srér)Úlenr r r r rs0z %s.%s.bioÚwzWriting %d lines to %sÚ ) ÚosÚpathÚjoinÚglobÚprintrÚappendÚopenÚ readlinesrÚ ValueErrorÚextendÚwrite)Úbase_input_pathÚbase_output_pathÚ short_nameÚshardÚbase_input_subdirÚ shard_linesÚbase_input_globÚsubpathsÚinput_filenameÚfinÚlinesÚ bio_filenameÚfoutÚliner r r Ú convert_nytks<      ú€   þþ€êr-)rrr-r r r r Ús