2015年10月9日星期五

parallel

$ ls *.json.gz |                                                            
> parallel -v --basefile jq \                                               
> --trc {.}.csv \                                                           
> --slf instances \                                                         
> "zcat {} | ./jq -r '.borough' | tr '[A-Z] ' '[a-z]_' | sort | uniq -c |"\
> " awk '{print \$2\",\"\$1}' > {.}.csv"  

--basefile jq 表示把jq传到远程机器上
--trc {.}.csv 表示 --transfer --return {.}.csv --clean 传回的目标文件是{.}.csv,最后会自动清除在远程机器上的所有中间文件,包括上面的jq
{.} 表示原始文件名去除扩展名后的字符串

读入b.txt的每一行,抽取第1列、第2列执行指定操作
parallel --colsep '\s+' perl get_mobi.pl {2} {1}/{1}.mobi :::: b.txt

没有评论:

发表评论