o –hœã@s<dZddlZd dd„ZedkreejdejdƒdSdS) zu Converts the WikiNER data format to a format usable by our processing tools python preprocess_wikiner input output éNúutf-8c CsRt||d™}t|dddy}|D]n}| ¡}|s$| d¡| d¡q| ¡}|D]O}| d¡}|d} |d} |  d ¡} |  d ¡rkt| ƒd krk| d  | d| ¡¡| d d…D]} | d  | | dd…¡¡qZq*| D] } | d  | | ¡¡qmq*| d¡qWdƒn1sŠwYWdƒdSWdƒdS1s¢wYdS)N)ÚencodingÚwrz -DOCSTART- O Ú ú|réÿÿÿÿÚ_zB-éz{} {} z{} I-{} é)ÚopenÚstripÚwriteÚsplitÚ startswithÚlenÚformat) Ú input_fileÚ output_filerÚfinÚfoutÚlineÚwordsÚwordÚpiecesÚtextÚtagÚsubtextÚchunk©rúg/var/www/html/env_mimamsha/lib/python3.10/site-packages/stanza/utils/datasets/ner/preprocess_wikiner.pyÚpreprocess_wikiner s8    ÿÿ êÿÿ"ÿr Ú__main__r r )r)Ú__doc__Úsysr Ú__name__ÚargvrrrrÚs  ÿ