TextFlint 是自然語言處理模型魯棒性評測平臺,涵蓋 12 項 NLP 常見任務,囊括 80 余種數據變形方法,為模型魯棒性評測及提升提供了一站式解決方案。
fastNLP是一款輕量級的自然語言處理(NLP)工具包, 目標是快速實現NLP任務以及構建復雜模型。
提供部分數據集與預訓練模型的自動下載,內置多種數據集的Loader和Pipe
采用統一的Tabular式數據容器,簡化數據預處理過程;
提供各種方便的NLP工具,例如:Embedding加載、中間數據cache等;
提供多種神經網絡組件以及復現模型,涵蓋中文分詞、命名實體識別、句法分析、文本分類、文本匹配、指代消解、摘要等多項任務;
提供多種內置callback函數,方便實驗記錄、異常捕獲等。
fastNLP | 功能 |
---|---|
fastNLP.core | 實現了核心功能,包括數據處理組件、訓練器、測試器等 |
fastNLP.models | 實現了一些完整的神經網絡模型 |
fastNLP.modules | 實現了用于搭建神經網絡模型的諸多組件 |
fastNLP.embeddings | 實現了將序列index轉為向量序列的功能,包括讀取預訓練embedding等 |
fastNLP.io | 實現了讀寫功能,包括數據讀入與預處理,模型讀寫,數據與模型自動下載等 |
fastHan是基于fastNLP與pytorch實現的中文自然語言處理工具,共有base與large兩個版本。 其內核為基于BERT的聯合模型,在13個語料庫中進行訓練,可處理中文分詞、詞性標注、依存分析、 命名實體識別 四項任務,在各項任務中均有不錯表現。
采用Java編寫的中文自然語言處理開源項目,提供了進行自然語言處理的工具, 包括分詞、詞性標注、句法分析、文本相似度計算等 以及進行處理所需的數據集
本項目現已停止維護