文章目录[隐藏]
初学新手菜鸡 遇到一个问题，统计一个2G大小文件中每个单词的出现频率，修改memory limit后还是总报错 Allowed memory size of xxxx bytes exhausted ，光测总行数或者字符数可以出结果，怎样优化呢
ini_set("memory_limit", "-1");function calcWordFrequence($sFilePatch){ $aWordsInFile = array(); $aOneLineWords = array(); $sOneLineWords = ""; $fp = fopen($sFilePatch,"r"); while(!feof($fp)){ $sOneLineWords = fgets($fp); $aOneLineWords = str_word_count($sOneLineWords,1); foreach($aOneLineWords as $v){ array_push($aWordsInFile, $v); } } fclose($fp); $aRes = array_count_values($aWordsInFile); arsort($aRes); return $aRes;}echo calcWordFrequence("2013.mp4");
回复讨论(解决方案)
这个问题没法解决，2G大小的文件硬件差点的电脑打开就耗光内存了。在存储上做分布式设计。
这个问题没法解决，2G大小的文件硬件差点的电脑打开就耗光内存了。在存储上做分布式设计。
那有办法从代码里将这个文件分离成几部分分批统计吗或者只输出频率最大的那个单词也行
使用split命令把文件切割成小文件再统计吧
只有文本文件才有行的概念
你测试的 2013.m%本文@来源gao@!dai!ma.com搞$$代^@码!网搞代gaodaima码p4 显然不是文本文件
如果文件中没有出现 \n，或出现的靠后，你的 $sOneLineWords = fgets($fp); 就会把内存消耗光了
如果你是日志之类的文本文件，可以用php的SplFileObject()类，专门用于操作大文件，以前用过这个分析nginx的访问日志，5个多G。
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：怎么统计一个2G大小文件里每个单词的出现频率
转载请注明原文链接：怎么统计一个2G大小文件里每个单词的出现频率
