o –húã@s<ddlZddlmmZddlmZGdd„dejƒZdS)éNcs$eZdZ‡fdd„Zdd„Z‡ZS)Ú Tokenizerc sôtƒ ¡||_|d}tj||dd|_tj||||jddd|jddkr*|ndd|_|jddurŠt ¡|_ d d „|jd  d ¡Dƒ|_ t |j ƒD]#\}} tj |||d | | d |j d d¡ph|dkd} |j  | ¡qN|j d d¡rŠt  |d t|j ƒ|d d¡|_t |d d¡|_t |d d¡|_|jdrªt |d d¡|_|drã|d } tj| |dddd|_tj|d ddd|_tj|d ddd|_|jdrãtj|d ddd|_t |¡|_t |¡|_t |jd¡|_dS)NÚfeat_dimr)Ú padding_idxÚ rnn_layersTé)Ú num_layersÚ bidirectionalÚ batch_firstÚdropoutÚconv_rescSsg|]}t|ƒ‘qS©)Úint)Ú.0Úxr r ú[/var/www/html/env_mimamsha/lib/python3.10/site-packages/stanza/models/tokenization/model.pyÚ sz&Tokenizer.__init__..ú,éÚ hier_conv_resF)ÚpaddingÚbiasÚuse_mwtÚ hierarchical)rrr )rÚ tok_noise)ÚsuperÚ__init__ÚargsÚnnÚ EmbeddingÚ embeddingsÚLSTMÚrnnÚ ModuleListr ÚsplitÚ conv_sizesÚ enumerateÚConv1dÚgetÚappendÚlenÚ conv_res2ÚLinearÚtok_clfÚsent_clfÚmwt_clfÚrnn2Útok_clf2Ú sent_clf2Úmwt_clf2ÚDropoutr Ú dropout_featÚtoknoise) ÚselfrÚncharsÚemb_dimÚ hidden_dimr Ú feat_dropoutrÚsiÚsizeÚlÚin_dim©Ú __class__r rrs6 4 2"    zTokenizer.__init__c Cs\| |¡}| |¡}| |¡}t ||gd¡}| |¡\}}|jddurs| dd¡ ¡}|j  dd¡sG|j D]}|||ƒ dd¡ ¡}q7n,g}|j D] }|||ƒg7}qLt |d¡}t   |¡}| |¡}||  |¡ dd¡ ¡}| |¡}| |¡} | |¡} |jdrŒ| |¡} |jdrÖ|jdd kr°| |d| t | |jd¡¡¡\} }n| |¡\} }| | ¡} | | | ¡} | | | ¡} |jdrÖ| | | ¡} t  | ¡} t  | ¡}t  | ¡}t  | ¡}|jdrüt  | ¡}t  | ¡}|jdrt | ||||||||||||gd¡}|St | ||||gd¡}|S) Nrr rrFrrÚ hier_invtempr)rr r4ÚtorchÚcatr!rÚ transposeÚ contiguousr'r ÚFÚrelur*r,r-r.r/r5Úsigmoidr0r1r2Ú logsigmoid)r6rÚfeatsÚembÚinpÚ_Ú conv_inputr=ÚhidÚtok0Úsent0Úmwt0Úinp2ÚnontokÚtokÚnonsentÚsentÚnonmwtÚmwtÚpredr r rÚforward,sX    ÿ          0          6þzTokenizer.forward)Ú__name__Ú __module__Ú __qualname__rr[Ú __classcell__r r r?rrs &r)rBÚtorch.nn.functionalrÚ functionalrFÚtorch.nnÚModulerr r r rÚs