• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

2000w行的文本数据如何检索

php 搞代码 4年前 (2022-01-23) 22次浏览 已收录 0个评论
文章目录[隐藏]

在一个txt文档中有2000w行数据,数据的格式如下
行尸走肉_Mother
金蝉脱壳_Smile
霸王别姬_Love
逍遥法外_Eternity
…….
八仙过海_Destiny

请问如何快速检索出成语或者英文单词,麻烦请给我算法,谢谢大牛们

回复内容:

!本文来源gaodai.ma#com搞##代!^码网(

搞gaodaima代码

在一个txt文档中有2000w行数据,数据的格式如下
行尸走肉_Mother
金蝉脱壳_Smile
霸王别姬_Love
逍遥法外_Eternity
…….
八仙过海_Destiny

请问如何快速检索出成语或者英文单词,麻烦请给我算法,谢谢大牛们

你的目的到底是要确定某个成语/英文存在不存在还是要计算这个成语/单词出现的次数?
我以为不论什么方法,最大的可能性就是把全文都要过一遍。如果你这个检索的频率很高,这2000万个数据放到内存中再索引存储下会最快,如果只运行一次,那么最快的时间就是把文件都读一遍的时间(计算出现次数)。

搭一个 solr,创建索引,这样搜索效率提升很大


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:2000w行的文本数据如何检索
喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址