本文主要介绍如何使用多核CPU来加速你的Linux命令。本文非常详细，具有一定的参考价值。有兴趣的朋友一定要看！

你有过需要计算非常大的数据量(几百GB)的经历吗？或者内部搜索，或者其他操作——，一些不能并行的操作。数据专家，我在和你说话。你可能有一个4核以上的CPU，但是我们合适的工具，比如grep，bzip2，wc，awk，sed等。是单线程的，只能使用一个CPU内核。

借用漫画人物卡曼的话“这些内核我怎么用”？

为了让Linux命令使用所有的CPU内核，我们需要使用GNU Parallel命令，这使得我们所有的CPU内核在一台机器上做神奇的减图操作。当然，这也依赖于很少使用的- pipes参数(也称为- spread stdin)。这样你的负载就会平均分配到每个CPU上，真的。

BZIP2

Bzip2是比gzip更好的压缩工具，但是非常慢！不用麻烦了，我们有办法解决这个问题。

以前的做法：

catbigfile . bin | bzip2-bestcompensedfile . bz2现在是这样的：

catbigfile . bin | parallel-pipe-recent ' '-kbzip2-bestcompensedfile . bz2特别是对于bzip2，GNU并行在多核CPU上超级快。不小心就完了。

GREP

如果您有一个非常大的文本文件，您可能以前是这样的：

现在你可以这样做了：

catbigfile . txt | parallel-pipe grep ' pattern '或类似的内容：

catbigfile . txt | parallel-block 10M-pipe grep ' pattern '，第二种用法使用block 10M参数，这意味着每个内核处理1000万行，——。您可以使用此参数来调整每个CPU内核处理多少行数据。

AWK

下面是一个使用awk命令计算非常大的数据文件的例子。

一般用法：

catrand20m . txt | awk ' { s=$ 1 } end { prints } '现在是这样的：

catrand20m . txt | parallel-pipe awk \ ' { s=\ $ 1 } end { prints } \ ' | awk ' { s=$ 1 } end { prints } '有点复杂：parallel命令中的pipe参数将cat输出分成几个块，分派给awk call，形成许多子计算操作，这些子计算通过第二个管道输入同一个awk命令，从而输出最终结果。第一个awk有三个反斜杠，这是GNU parallel调用awk所必需的。

WC

想尽快算出一个文件的行数？

传统做法：

现在你应该这样做：

catbigfile . txt | parallel-pipe WC-l | awk ' { s=$ 1 } end { prints } '非常聪明。首先使用并行命令“mapping”进行大量的wc -l调用形成子计算，最后通过管道发送到awk进行汇总。

SED

你想用sed命令在一个巨大的文件中做大量的替换操作吗？

一般惯例：

Seds^old^new^gbigfile.txt现在你可以：

catbigfile . txt | parallel-pipes eds old new g…然后您可以使用pipes将输出存储在指定的文件中。

文章“如何使用多核CPU加速你的Linux命令”的内容就这么多了。谢谢大家看！希望分享的内容对大家有帮助，更多相关知识。欢迎关注桂哥网络!