shell中有很多强大的命令，比如awk、sort、grep等，这些命令的执行效率同php和python这样的语言实现相比哪个更高呢?
回复内容：
N年前为了每天分析数十GB的日志，正好做过测试。测试是在Linux环境下(Redhat ES 3)，测试处理一个数百兆的日志文件进行汇总分析（邮件日志），分别用C, Perl, Python，Shell做同样的处理。处理速度排名是C>>Perl>python>shell。C是最快的，比别的快上至少一个数量级；其次是Perl，毕竟是为文本处理而生，最强的内置正则表达式；Python比Perl慢了点，记得速度是Perl的60%左右；shell最慢，虽然sed, grep，awk本文来源gaodai#ma#com搞@@代~&码*网/搞gaodaima代码都不慢（其实都是C写的），但通过shell组合在一起效率还是差了不少。服务器上临时分析一些日志数据的时候基本都是awk sort grep uniq sed之类，性能帅得很。
如果是长期需要处理的功能，一般都会做成php或者python脚本，多数会丢crontab里运行去。
量级不大的时候，开发效率、可维护性往往比性能更重要。 当性能更重要时，shell php python这些都不是好选择。 hadoop之类的并行计算方案会更靠谱，毕竟单位节点的计算能力是很容易触顶的。处理的数据量较小的情况下，一般使用 shell。功能齐全，信手拈来，很方便，速度也很快。
在数据量较大的情况下就建议用高级语言了。如果是重复性的记得写成脚本，方便复用。
数据量大可能会导致出错以及性能问题，之前就遇到过一个问题，将一个文件作为查询条件用grep在另一个文件中查找，死活查不出来的情况…还有一个更奇葩，几百万行的一个文本用 uniq 去重之后还是各种重复。。。普通功能，shell的效率高，因为这些经典命令内部大多是C/C++实现的。
但在一些偏僻或者复杂功能中，限于这些命令本身的功能，需要“曲线救国”，反复倒腾数据才能达到最终结果。
这时候，直接用php、python，速度就更快。
转载请注明原文链接：shell脚本做文本解析同php和python比哪个效率更高?
