原理中文分词，即 Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。表面上看，分词其实就是那么回事，但分词效果好不好对信息检索、实验结果还是有很大影响的，同时分词的背后其实是涉及各种各样的算法的。中文分词与英文分词有很大的不同，对英文而言，一个单词就是一个词，而汉语是以字为基本的书写单位，词语之间没有明显的……继续阅读 » 搞java代码 3年前 (2022-05-24) 34浏览 0评论0个赞
目前我常常使用的分词有结巴分词、NLPIR分词等等最近是在使用结巴分词，稍微做一下推荐，还是蛮好用的。一、结巴分词简介利用结巴分词进行中文分词，基本实现原理有三：基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合对于未登录词，采用了基于汉字成……继续阅读 » 搞java代码 3年前 (2022-05-24) 18浏览 0评论0个赞
说到分词大家肯定一般认为是很高深的技术，但是今天作者用短短几十行代码就搞定了，感叹python很强大啊！作者也很强大。不过这个只是正向最大匹配，没有机器学习能力注意：使用前先要下载搜狗词库# -*- coding:utf-8 -*- #写了一个简单的支持中文的正向最大匹配的机械分词,其它不用解释了，就几十行代码#附：搜狗词库下载地址：http:/……继续阅读 » 搞java代码 3年前 (2022-05-23) 63浏览 0评论0个赞
1. jieba的江湖地位NLP（自然语言）领域现在可谓是群雄纷争，各种开源组件层出不穷，其中一支不可忽视的力量便是jieba分词，号称要做最好的 Python 中文分词组件。很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。很多已经做案例的人，却不知道如何去学习更加高深的知识。那么针对这三类人……继续阅读 » 搞java代码 3年前 (2022-05-21) 29浏览 0评论0个赞
简单的关键词提取文章内容关键词的提取分为三大步： （1） 分词 （2） 去停用词 （3） 关键词提取分词方法有很多，我这里就选择常用的结巴jieba分词；去停用词，我用了一个停用词表。具体代码如下：import jiebaimport jieba.analyse#第一步：分词，这里使用结巴分词……继续阅读 » 搞java代码 3年前 (2022-05-21) 20浏览 0评论0个赞
1.jieba分词的安装 直接在cmd窗口当中pip install即可2.jieba分词的介绍jieba分词是目前比较好的中文分词组件之一，jieba分词支持三种模式的分词(精确模式、全模式、搜索引擎模式)，并且支持自定义词典(这一点在特定的领域很重要，有时候需要根据领域的需要来添加特定的词典以提高分词结果的质量)、支持繁体字分词。3.j……继续阅读 » 搞java代码 3年前 (2022-05-21) 20浏览 0评论0个赞
基于python中jieba包的中文分词中详细使用（一）01.前言之前的文章中也是用过一些jieba分词但是基本上都是处于皮毛，现在就现有的python环境中对其官方文档做一些自己的理解以及具体的介绍。本文主要内容也是从官网文档中获取。02.jieba的介绍02.1 What“jieba” （Chinese for “to stutter”）……继续阅读 » 搞java代码 3年前 (2022-05-21) 13浏览 0评论0个赞
