o hf@sdZddlZddlmZddlmZddlmZddlm Z ej j ej j gZ ejddd d Zejddd d Zejddd dZejddddZddZddZddZddZddZddZdS)z Basic tests of langid module NDocument)Pipeline)LangIDProcessor)TEST_MODELS_DIRmodule)scopecCsttdddS)N multilinguallangid)dirlang processorsrrrrZ/var/www/html/env_mimamsha/lib/python3.10/site-packages/stanza/tests/langid/test_langid.pybasic_multilingualsrcCsttddddgdS)Nr r enfrr r r langid_lang_subsetrrrrrenfr_multilingualsrcCsttdddgdS)Nr r rrrrrrren_multilingualsrcCsttddddS)Nr r T)r r r langid_clean_textrrrrrclean_multilingualsrcCsHd}d}||g}dd|D}||dd|D}|ddgks"JdS) z/ Basic test of language identification zThis is an English sentence.uC'est une phrase française.cSg|]}tg|dqStextr.0rrrr (ztest_langid..cSg|]}|jqSrr rdocrrrr *rrNr)r english_text french_textdocs predictionsrrr test_langid sr+cCsPgddddddddddd dd ddd ddd ddd ddddddddddddddddddddddddddddddd dd!ddd"d#dd$d%dd&d'dd(d)dd*ddd+ddd,d-dd.d/dd0ddd1d dd2ddd3d%dd4d-dd5d dd6ddd7d8dd9d:dd;ddd?d)dd@dddAdBddCd>ddDdddEd ddFdGddHdddIdGddJdKddLdddMd8ddNdOddPdddQdRddSdTddUdddVdddWd-ddXdYddZddd[ddd\ddd]d>dd^ddd_d8dd`d:ddad:ddbdddcddddedddfdddgdddhdiddjdkddldmddndoddpdddqd-ddrdddsdTddtdddud ddvdddwdddddddddddddoddd%dddddd>dddRdddodddddd8dddddd8ddddddmdddddd dddddddddddddddddd ddddddddddddd-dddddddddddd8ddd dd ddd!dOdd"d%dd#ddd$d8dd%d dd&d dd'ddddd?dodd@dddAdddBddddCdddDdddEd>ddFdddGdOddHdddIdddJdddKdddLd ddMdddNd ddOdddPdddQdddRdddSd:ddTdddUdddVdddWd ddXdddYdddZddd[dYdd\dYdd]d)dd^ddd_d%dd`d8ddadddbd/ddcdddddddedddfd ddgdddhd ddidddjdddkddddldddmdnddodddpdddqdddrdddsd8ddtdddudddvdddwdxddyd8ddzddd{d dd|ddd}ddd~ddddddddOdddGddddddRddd dddddddddYddd%ddd-dddddd#dddddd-dddddddddddddddoddddddddd8dddoddddddddd)ddddddYddddddRddd'dddoddddddddddddddddddddddddd8ddd#ddddddddddddYdddddd-ddd ddddddTdddnddd dddoddddddddddddoddddddddd ddd dddddddddddddddddddddddd>dddddddddddddddd ddddddddd8ddddddd ddddddddd>dddddd ddd ddd ddddddddd ddddddddddddodddddddOdddddd-dddddd ddd dddddddddddddddddsau một vài câu chuyện xã giao không dính dáng tớiviuZчто экономическому прорыву жесткий авторитарныйzDRAM-Preisen scheinen DSPs einuJos dajan nubbái: Mana!smeu,toți carii ascultară de el să răsipiră.u1odpowiedzialności, które w systemie własnościu-Dvomesečno potovanje do Mollenda v Peruju jeu%d'entre les agències internacionals.z-Fahrzeugzugangssysteme gefertigt und an vielez1in an answer to the sharers' petition in Cuthbertz(Europa-Domain per Verordnung zu regeln .z0#Balotelli. Su ebay prezzi stracciati per Silviou8Ne na košickém trávníku, ale už včera v letadle seu+zaměstnanosti a investičních strategií.uTatínku, udělej denzfrecuencia con Mary.uСвеаборге.u3opatření slovenské strany o certifikaci nejvíceu3En todas me decían: 'Espera que hagamos un estudioz-Die Demonstration sollte nach Darstellung deru2Ci vorrà un assoluto rigore se dietro i disavanziu-Tatínku, víš, že Honzovi odešla maminka?z-Die Anzahl der Rechner wuchs um % auf und dieuYהאמריקאית על אדמת סעודיה עלולה לסבך את ישראל, איןheu6Volán Egyesülés, a Közlekedési Főfelügyelet is.huu2Schejbala, který stejnou hru s velkým úspěchemz&depends on the data type of the field.z/Umsatzwarnung zu Wochenbeginn zeitweise auf einzniin heti nukun .z/Mobilfunkunternehmen gegen die Anwendung der soz1sapessi le intenzioni del governo Monti e dell'UEuDi chi è figlia Martine Aubry?zavec le reste du monde.ruUԱյդ մաքոքը ինքնին նոր չէ, աշխարհը արդեն մի քանիhyu'și în cazul destrămării cenaclului.z,befriedigen kann , und ohne die auftretendenu]Κύκνον τ̓ ἐξεναρεῖν καὶ ἀπὸ κλυτὰ τεύχεα δῦσαι.ufærdiguddannede.daz+Schmidt war Sohn eines Rittergutsbesitzers.u'и вдаша попадь ѡпратиu!cine nu știe învățătură”.u2détacha et cette dernière tenta de tuer le jeuneu)Der har saka også ei lengre forhistorie.u/Pieprz roztłuc w moździerzu, dodać do pasty,uYЛежа за гребнем оврага, как за бруствером, Ушаковz#gesucht habe, vielen Dank nochmals!uAинструментальных сталей, повышенияz.im Halbfinale Patrick Smith und im Finale dannuUالبنوك التريث في منح تسهيلات جديدة لمنتجي حديدz1una bolsa ventral, la cual se encuentra debajo dez za SETimes.sru3de Irak, a un piloto italiano que había violado elu4Er könne sich nicht erklären , wie die Zeitung aufuПрохорова.z(la democrazia perde sulla tecnocrazia? #u1entre ambas instituciones, confirmó al medio queu(Austlandet, vart det funne om lag førtiuуровнями власти.u/Dá tedy primáři úplatek, a často ne malý.z+brillantes del acto, al llevar a cabo en elu2eee druga zadeva je majhen priročen gre kamorkoliu4Das ATX-Board paßt in herkömmliche PC-ATX-Gehäuseu2Za vodné bylo v prvním pololetí zaplaceno v ČRu)Даже на полсантиметра.z/com la del primer tinent d'alcalde en funcions,u[кількох оповідань в цілості — щось на зразок тогоz,sed ad divitias congregandas, vel superfluumz0Norma Talmadge, spela mot Valentino i en versionsvu3Dlatego chciał się jej oświadczyć w niezwykłymuIбудут выступать на одинаковых снарядах.zOrang-orang terbunuh di sana.iduUلدى رايت شقيق اسمه أوسكار, وهو يعمل كرسام للكتبz&Wirklichkeit verlagerten und kaum nochuZкак перемешивают костяшки перед игрой в домино, иuLВ средине дня, когда солнце светило в нашуu2d'aventure aux rôles de jeune romantique avec uneu4My teď hledáme organizace, jež by s námi chtělyu.Urteilsfähigkeit einbüßen , wenn ich eigenez2sua appartenenza anche a voci diverse da quella inu)Aufträge dieses Jahr verdoppeln werden .u4M.E.: Miała szanse mnie odnaleźć, gdyby naprawdęz1secundum contactum virtutis, cum careat dimensivazezinbestekoa dela esan zuen.z/Anek hurbiltzeko eskatzen zion besaulkitik, etaz.perfectius alio videat, quamvis uterque videatu/Die Strecke war anspruchsvoll und führte unteruSсаморазоблачительным уроком, западные СМИ неz%han representerer radikal islamisme .u-Què s'hi respira pel que fa a la reforma delu(previsto para também ser desconstruido.u_Ὠκεανοῦ βαθυκόλποις ἄνθεά τ̓ αἰνυμένην, ῥόδα καὶz para jovens de a anos nos Cieps.uuसंघर्ष को अंजाम तक पहुंचाने का ऐलान किया है ।uobjeví i u nás.z kvitteringer.zThis report is no exception.uXРазлепват доносниците до избирателните списъциbgz)anderem ihre Bewegungsfreiheit in den USAu0Ñu tegoon ca kaw gor ña ay njotti bopp yu kennwoz1Struktur kann beispielsweise der Schwerpunkt mehru3% la velocidad permitida, la sanción es muy grave.zTeles-Einstieg in ADSL-Marktu$ettekäändeks liiga suure osamaksu.u.als Indiz für die geänderte Marktpolitik desz'quod quidem aperte consequitur ponentesu*de negociación para el próximo de junio.u2Tyto důmyslné dekorace doznaly v poslední doběunajvečjega uspeha doslej.u+Paul Allen je jedan od suosnivača Intervalz0Federal (Seac / DF) eo Sindicato das Empresas deu2Quartal mit . Mark gegenüber dem gleichen Quartalu+otros clubes y del Barça B saldrán varioszJaskula (Pol.) -u2umožnily říci, že je možné přejít k mnohemuVاعلن الجنرال تومي فرانكس قائد القوات الامريكيةz1Telekom-Chef Ron Sommer und der Vorstandssprecheru4My, jako průmyslový a finanční holding, můžemez0voorlichting onder andere betrekking kan hebben:z0Hinrichtung geistig Behinderter applaudiert oderz+wie beispielsweise Anzahl erzielte Klicks ,z/Intel-PC-SDRAM-Spezifikation in der Version . (u.plângere în termen de zile de la comunicareauOи Испания ще изгубят втория си комисар в ЕК.u|इसके चलते इस आदिवासी जनजाति का क्षरण हो रहा है ।u+aunque se mostró contrario a establecer unz+des letzten Jahres von auf Millionen Euro .u3Ankara se također poziva da u cijelosti ratificirauherunterlädt .uOстрессовую ситуацию для организма, каковойu(Státního shromáždění (parlamentu).z0diskutieren , ob und wie dieser Dienst weiterhinu2Verbindungen zu FPÖ-nahen Polizisten gepflegt undu6Pražského volebního lídra ovšem nevybírá Milošz1Nach einem Bericht der Washington Post bleibt dasuTللوضع آنذاك، لكني في قرارة نفسي كنت سعيداً لماuCне желаят запазването на статуквото.zOffenburg gewesen .u>ἐὰν ὑμῖν εἴπω οὐ μὴ πιστεύσητεz.all'odiato compagno di squadra Prost, il qualeu"historischen Gänselieselbrunnens.uSלמידע מלווייני הריגול האמריקאיים העוקבים אחרuTοὐδὲν ἄρα διαφέρεις Ἀμάσιος τοῦ Ἠλείου, ὃνzmovementos migratorios.u1Handy und ein Spracherkennungsprogramm sämtlicheu.Kümne aasta jooksul on Eestisse ohjeldamatultuH.G. Bücknera.u1protiv krijumčarenja, ili pak traženju ukidanjaz0Topware-Anteile mehrere Millionen Mark gefordertz1Maar de mensen die nu over Van Dijk bij FC Twenteu2poidan experimentar as percepcións do interesado,u!Miał przecież w kieszeni nóż.u5Avšak žádná z nich nepronikla za hranice příméz#esim. helpottamalla luottoja muidenu.Podle předběžných výsledků zvítězila vz%Nicht nur das Web-Frontend , auch dieu/Regierungsinstitutionen oder Universitäten beiuTԽուլեն Լոպետեգիին, պատճառաբանելով, որ վերջինսu]Афганистана, где в последние дни идут ожесточенныеu!лѧхове же не идошаz2Mit Hilfe von IBMs Chip-Management-Systemen sollenz), als Manager zu Telefonica zu wechseln .u4którym zajmuje się człowiek, zmienia go i pozwalau(činí kyperských liber, to je asi USD.u!Studienplätze getauscht werden .u=учёных, орнитологов признают вид.u2acordare a concediilor prevăzute de legislațiileu3at større innsats for fornybar, berekraftig energiz1Politiet veit ikkje kor mange personar som deltokz+offentligheten av unge , sinte menn som haru3însuși în jurul lapunei, care încet DISPARE înu3O motivo da decisão é evitar uma sobrecarga aindaz-El Apostolado de la prensa contribuye en modou2Teltow ( Kreis Teltow-Fläming ) ist Schmitt eineru-grozījumus un iesniegt tos Apvienoto Nācijuz.Gestalt einer deutschen Nationalmannschaft alsu2D überholt zu haben , konterte am heutigen Montagz0Softwarehersteller Oracle hat im dritten Quartalu6Během nich se ekonomické podmínky mohou radikálněu)Dziki kot w górach zeskakuje z kamienia.u8Ačkoliv ligový nováček prohrál, opět potvrdil, žez1des Tages , Portraits internationaler Stars sowiezCommunicator bekannt wurde .uZτῷ δ’ ἄρα καὶ αὐτῷ ἡ γυνή ἐπίτεξ ἐοῦσα πᾶσανu3Triadú tenia, mentre redactava 'Dies de memòria',u]دسته‌جمعی در درخشندگی ماه سیم‌گون زمزمه ستاینده وfauUКнигу, наполненную мелочной заботой об одежде,zputares canem leporem persequi.uTВ дальнейшем эта яркость слегка померкла, но вz'offizielles Verfahren gegen die Telekomu/podrían haber sido habitantes de la Penínsulau.Grundlage für dieses Verfahren sind spezielleu2Rechtsausschuß vorgelegten Entwurf der Richtlinieu3Im so genannten Portalgeschäft sei das Unternehmenu}ⲏ ⲉⲓϣⲁⲛϥⲓ ⲛⲉⲓⲇⲱⲗⲟⲛ ⲉⲧϩⲙⲡⲉⲕⲏⲓ ⲙⲏ ⲉⲓⲛⲁϣϩⲱⲡ ⲟⲛ ⲙⲡⲣⲏcopu0juego podían matar a cualquier herbívoro, peroz1Nach Angaben von Axent nutzen Unternehmen aus deru2hrdiny Havlovy Zahradní slavnosti (premiéra ) sezEen zin van heb ik jou daarz,hat sein Hirn an der CeBIT-Kasse vergessen .u_καὶ τοὺς ἐκπλαγέντας οὐκ ἔχειν ἔτι ἐλεγχομένουςz2nachgewiesenen langfristigen Kosten , sowie den imu/jučer nakon četiri dana putovanja u Helsinki.u,pašto paslaugos teikėjas gali susitarti suu\В результате, эти золотые кадры переходят из однойu}द फाइव-ईयर एंगेजमेंट में अभिनय किया जिसमें जैसनuvýpis o počtu akcií.u,Enfin, elles arrivent à un pavillon chinoisz'Tentu saja, tren yang berhubungandenganz0Arbeidarpartiet og SV har sikra seg fleirtal motu)eles: 'Tudo isso está errado' , disse umz/The islands are in their own time zone, minutesuAuswahl debütierte er am .u.Bu komisyonlar, arazilerini satın almak içinu&Geschütze gegen Redmond aufgefahren .z1Time scything the hours, but at the top, over thez2Di musim semi , berharap mengadaptasi Tintin untukuWкрупнейшей геополитической катастрофой XX века.z&Rajojen avaaminen ei suju ongelmitta .u3непроницаемым, как для СССР.zMa non mancano le polemiche.z0Internet als Ort politischer Diskussion und auchz incomplets.u1Su padre luchó al lado de Luis Moya, primer Jefez informazione.u&Primacom bietet für Telekom-Kabelnetzu(Oświadczenie prezydencji w imieniu Uniiu4foran rattet i familiens gamle Baleno hvis døra påz[speaker:laughter]z$Dog med langt mindre utstyr med seg.u)dass es nicht schon mit der anfänglichenuoइस पर दोनों पक्षों में नोकझोंक शुरू हो गई ।uVکے ترجمان منیش تیواری اور دگ وجئے سنگھ نے بھی یہz+dell'Assemblea Costituente che posseggono iu?и аште вьси съблазнѧтъ сѧ нъ не азъcuz0In Irvine hat auch das Logistikunternehmen AtlasuXзаконодательных норм, принимаемых существующейuYΚροίσῳ προτείνων τὰς χεῖρας ἐπικατασφάξαι μινuOМИНУСЫ: ИНФЛЯЦИЯ И КРИЗИС В ЖИВОТНОВОДСТВЕ.zunterschiedlicher Meinung .u1Jospa joku ystävällinen sielu auttaisi kassieniu*Añadió que, en el futuro se harán otrosz+Sessiz tonlama hem Fince, hem de Kuzey Samiu1nicht ihnen gehört und sie nicht alles , was sieu7Etelästä Kuivajärveen laskee Tammelan Liesjärvestäz2ICANNs Vorsitzender Vint Cerf warb mit dem Hinweisu%Norsk politikk frå til kan dermed, iuGłosowało posłów.z Danny Jones -- smithjones@ev.netu6sebeuvědomění moderní civilizace sehrála lučavkauMотносительно спокойный сон: тому гарантияu$A halte voiz prist li pedra a crïeru_آن‌ها امیدوارند این واکسن به‌زودی در دسترس بیمارانu&vlastní důstojnou vousatou tváří.z2ora aprire la strada a nuove cause e alimentare ilz0Die Zahl der Vielleser nahm von auf Prozent zu ,z2Finanzvorstand von Hotline-Dienstleister InfoGeniez entwickeln .uincolumità pubblica.zlehtija televisiomainontaujoistakin kohdista eri mieltä.u5Hlavně anglická nezávislá scéna, Dead Can Dance,u&pásmech od do bodů bodové stupnice.u,Zu Beginn des Ersten Weltkrieges zählte dasu/Així van sorgir, damunt els antics cementiris,u.In manchem Gedicht der spätern Alten, wie zumu5gaweihaida jah insandida in þana fairƕu jus qiþiþgotuBeides sollte gelöscht werden!u/modifiqués la seva petició inicial de anys deuWВ день открытия симпозиума состоялась закладкаu tõestatud.u0ἵππῳ πίπτει αὐτοῦ ταύτῃubisher nie enttäuscht!u,De bohte ollu tuollárat ja suttolaččat jau2Klarsignal från röstlängdsläsaren, tre tryck iu+Tvůrcem nového termínu je Joseph Fisher.u/Nie miałem czasu na reakcję twierdzi Norbert,upotentia Schöpfer.z)Un poquito caro, pero vale mucho la pena;u]οὔ τε γὰρ ἴφθιμοι Λύκιοι Δαναῶν ἐδύναντο τεῖχοςu8vajec, sladového výtažku a některých vitamínovýchuEНастоящие герои, те, чьи истории потомz praesumptio:zOlin justkui nende vastutusel.u3Jokainen keinahdus tuo lähemmäksi hetkeä jolloinu8ekonomicky výhodných způsobů odvodnění těžkých,u4Poprvé ve své historii dokázala v kvalifikaci prou7zpracovatelského a spotřebního průmyslu bude nutnézWindows CE zu integrieren .u4Armangué, a través d'un decret, ordenés l'aturadau1to, co nás Evropany spojuje, než to, co nás odu+ergänzt durch einen gesetzlich verankertesuSНасчитал, что с начала года всего три дня былиu-Borisovu tražeći od njega da prihvati njenuz-la presenza di ben veleni diversi: . chili diubκαὶ τῶν ἐκλεκτῶν ἀγγέλων ἵνα ταῦτα φυλάξῃς χωρὶςu3pretraživale obližnju bolnicu i stambene zgrade uz0An rund Katzen habe Wolf seine Spiele getestet ,zinvestigating since March.uTonböden (Mullböden).u+Stálý dopisovatel LN v SRN Bedřich Utitzučervnu předložené smlouvy.u"πνεύματι ᾧ ἐλάλειu.%의 신장세를 보였다.u2Foae verde, foi de nuc, Prin pădure, prin colnic,u_διαπέμψας ἄλλους ἄλλῃ τοὺς μὲν ἐς Δελφοὺς ἰέναιuYالمسلمين أو أي تيار سياسي طالما عمل ذلك التيار فيu#As informações são da Dow Jones.z Milliarde DM ausgestattet sein .u3De utgår fortfarande från att kvinnans jämlikhetz/Sneeuw maakte in Davos bij de voorbereiding eenu-De ahí que en este mercado puedan negociarseu(intenzívnějšímu sbírání a studiu.ugऔर औसकर ४.० पैकेज का प्रयोग किया गया है ।z/Adipati Kuningan karena Kuningan menjadi bagianu4Svako je bar jednom poželeo da mašine prosto umejuz/Im vergangenen Jahr haben die Regierungen einenz$durat motus, aliquid fit et non est;u.Dominować będą piosenki do tekstów Edwardaz beantwortet .uVО гуманитариях было кому рассказывать, а вот заz-Helsingin kaupunki riitautti vuokrasopimuksenuchợt tan biến.uavtomobil ločuje od drugih.z1Congress has proven itself ineffective as a body.uvमैक्सिको ने इस तरह का शो इस समय आयोजित करने काzNo minimum order amount.z Convertassa .u(Как это можно сделать?z1tha mi creidsinn gu robh iad ceart cho saor shuasgduv실제 일제는 이런 만해의 논리를 묵살하고 한반도를 침략한 다음 , 이어 만주를 침략하고z0Da un semplice richiamo all'ordine fino a grandiu/pozoruhodný nejen po umělecké stránce, ježz!La comida y el servicio aprueban.z/again, connected not with each other but to theu5Protokol výslovně stanoví, že nikdo nemůže býtu;ఒక విషయం అడగాలని ఉంది .teu[Безгранично почитая дирекцию, ловя на лету каждоеu;rovnoběžných růstových vrstev, zůstávají krychlovéuप्रवेश और पूर्व प्रधानमंत्री लाल बहादुर शास्त्रीz)Bronzen medaille in de Europese marathon.u!- gadu vecumā viņi to nesaprot.u3Realizó sus estudios primarios en la Escuela Juliau3cuartos de final, su clasificación para la final au4Sem si pro něho přiletí americký raketoplán, naz Way to go!u/gehört der neuen SPD-Führung unter Parteichefz1Somit simuliert der Player mit einer GByte-Plattez1Berufung auf kommissionsnahe Kreise , die bereitsu Dist Clarïenu1Schon nach den Gerüchten , die Telekom wolle denz,Software von NetObjects ist nach Angaben desz/si enim per legem iustitia ergo Christus gratisz/ducerent in ipsam magis quam in corpus christi,z-Neustar-Melbourne-IT-Partnerschaft NeuLevel .u0forderte dagegen seine drastische Verschärfung.u)pemmican på hundrede forskellige måder.u2Lehån, själv matematiklärare, visar hur den nyazI highly recommend his shop.u)verità, giovani fedeli prostratevi #amenuउत्तर प्रदेश के अध्यक्ष पद से हटाए गए विनय कटियारu/() روزی مےں کشادگی ہوتی ہے۔u-Prozessorgeschäft profitieren kann , stellenu7školy začalo počítat pytle s moukou a zjistilo, žeuwप्रभावशाली पर गैर सरकारी लोगों के घरों में भीz*geschichtslos , oder eine Farce , wie sichu6Ústrednými mocnosťami v marci však spôsobilo, žeu]التسليح بدون مبرر، واستمرار الأضرار الناجمة عن فرضu3Například Pedagogická fakulta Univerzity Karlovyz,nostris ut eriperet nos de praesenti saeculocSsg|] }tg|ddqS)rrrrexamplerrrr 'sz)test_langid_benchmark..cSsg|]}|dqS)r-rr_rrrr (scSsg|] \}}|j|kqSrr#)rr%r-rrrr *sg\(\?N)sumziplen)rexamplesr) gold_labelsaccuracyrrrtest_langid_benchmark-sj      !"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyz{|}~      !"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQ R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w x y z { | } ~                                  ! " # $ % & ' ( ) * + , - . / 0 1 2 3 4 5 6 7 8 9 : ; < = > ? @ A B C D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w x y z { | } ~                                  ! " # $ % & ' ( ) * + , - . / 0 1 2 3 4 5 6 7 8 9 : ; < = > ? @ A B C D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v wy$rgcCsnddg}dd|D}||dd|DddgksJ|jdjs$J||dd|Dd d gks5Jd S) z% Basic test of cleaning text ,Bonjour le monde! #thisisfrench #ilovefrance)Bonjour le monde! https://t.co/U0Zjp3tusDcSrrrrrrrr 4r!z&test_text_cleaning..cSr"rr#r$rrrr 7r&rLr cSr"rr#r$rrrr ;r&rN)r _clean_text)rrr)rrrtest_text_cleaning.srkcCs:ddg}ddg}t||D] \}}t||ksJq dS)Nz&Sh'reyan has nice antennae :thumbs_up:uThis is🐱 a catzSh'reyan has nice antennaezThis is a cat)rbr clean_text)TEXTEXPECTEDrexpectedrrrtest_emoji_cleaning=srpcCsddg}dd|D}||dd|DddgksJ|jdjjdd gks)J||d d|Dd d gks:J|jdjjdgksFJ||d d|DddgksWJd S) zA Basic test of restricting output to subset of languages rhricSrrrrrrrr Kr!z$test_lang_subset..cSr"rr#r$rrrr Nr&rLr rrcSr"rr#r$rrrr Rr&cSr"rr#r$rrrr Vr&N)r _model lang_subset)rrrr)rrrtest_lang_subsetEsrscCs|dg}dd|D}||dd|DdgksJ|jd}|j}||}|jd}||}|d|fdks.cSr"rr#r$rrrr _r&rr rzIf this test fails, then regardless of how unlikely it was, the model is predicting the input string is possibly English. Update the test by picking a different combination of languages & inputN)r rq_text_to_tensor tag_to_idx)r sentencesr) processormodel text_tensoren_idxr*rrr"test_lang_subset_unlikely_languageXs   r{)__doc__pyteststanza.models.common.docrstanza.pipeline.corer stanza.pipeline.langid_processorr stanza.testsrmarkpipelinetravis pytestmarkfixturerrrrr+rgrkrprsr{rrrrs2