stanford parser（如何用 Python 中的 NLTK 对中文进行分析和处理）

本文目录

• 如何用 Python 中的 NLTK 对中文进行分析和处理
• 如何从stanford parser结果集中提取句法规则及其概率

如何用 Python 中的 NLTK 对中文进行分析和处理

　　一、NLTK进行分词　　用到的函数：　　nltk.sent_tokenize(text) #对文本按照句子进行分割　　nltk.word_tokenize(sent) #对句子进行分词　　二、NLTK进行词性标注　　用到的函数：　　nltk.pos_tag(tokens)#tokens是句子分词后的结果，同样是句子级的标注　　三、NLTK进行命名实体识别（NER）　　用到的函数：　　nltk.ne_chunk(tags)#tags是句子词性标注后的结果，同样是句子级　　上例中，有两个命名实体，一个是Xi,这个应该是PER，被错误识别为GPE了； 另一个事China，被正确识别为GPE。　　四、句法分析　　nltk没有好的parser，推荐使用stanfordparser　　但是nltk有很好的树类，该类用list实现　　可以利用stanfordparser的输出构建一棵python的句法树

如何从stanford parser结果集中提取句法规则及其概率

机缘凑巧让我看到了这个问题，我本科毕设就是用的这个。一句话占坑：没有提供工具包，我当时是用Matlab做的统计。占坑的原因是年深日久那一堆m文件不知道还在不在，如果找到了的话回头有时间就补充，找不到了的话请参见“一句话占坑”部分的第一句并自行码程序。