带注释的《纽约时报》语料库对实体显着性进行建模的资源
此版本中包含的数据与Jesse Dunietz和Dan Gillick撰写的名为“具有数百万个训练示例的新实体显性任务”(EACL 2014)一起发布。
训练数据包括2003-2006年的100,834个文档,以及19,261,118个带标注信息的实体。测试数据包括2007年以来的9,706个文档以及187,080个带标注的实体。
空白行分隔每个文档标注信息。文档注释的第一行包含NYT文档ID,后跟标题。随后的每一行都引用一个实体,并带有以下制表符分隔的字段:
实体索引自动推断显着性{0,1}提及计数(来自我们的共同参照系统)提及首次提及的MID的首次提及字节偏移起始位置的首次提及文本的字节偏移起始位置(来自我们的实体解析系统)