中文预训练词向量数据集

该项目提供使用不同表征（稀疏和密集）、上下文特征（单词、n-gram、字符等）以及语料库训练的中文词向量（嵌入）。

在这里，你可以轻松获得具有不同属性的预训练向量，并将它们用于各类下游任务。

此外，开发者还在该工具中提供了一个中文类比推理数据集 CA8 及其评估工具包，用户可以以此评估自己词向量的质量。

引用：

@InProceedings{P18-2023,
  author =  "Li, Shen
    and Zhao, Zhe
    and Hu, Renfen
    and Li, Wensi
    and Liu, Tao
    and Du, Xiaoyong",
  title = "Analogical Reasoning on Chinese Morphological and Semantic Relations",
  booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "138--143",
  location = "Melbourne, Australia",
  url = "http://aclweb.org/anthology/P18-2023"
}

格式：

本资源中的预训练词向量文件以文本格式存储，每一行包含一个单词及其词向量，每个值由空格分开。

第一行记录元信息：第一个数字表示该单词在文件中的排序，第二个数字表示维度大小。

除了密集单词向量（以 SGNS 训练），该项目还提供了稀疏向量（以 PPMI 训练）。

它们与 liblinear 格式相同，其中「：」前的数字代表维度索引，「：」后的数字表示值。