大数据、机器学习与深度学习类命令行工具汇总-清一色财经

大数据、机器学习与深度学习类命令行工具汇总

清一色 • 2023年5月4日 21:42 • 技术开发 • 阅读 7694

本文章中，将向大家推荐无需鼠标或者GUI，就能完全在OS X与Linux上完成大量操作的一些工具。即使您并不打算通过命令行运行整条数据处理管道，这些工具仍然能够带来可观助益。

【清一色.com快译】抓紧你的键盘!无需鼠标或者GUI，我们完全能够在OS X与Linux上完成大量操作。面向各类*N*X系统的大量出色命令行工具一直在技术行业拥有极高人气，且已经扩展至Python、Go、NodeJS乃至各类混合型工具当中。即使大家并不打算通过命令行运行整条数据处理管道，这些工具仍然能够带来可观助益。

《命令行上的数据科学(Data Science at the Command Line)》一书与GitHub皆为我们带来大量高水平的预处理与后处理类工具选项，大家亦可根据需要对其进行针对性调整。在今天的文章中，我将向各位强烈推荐自己最为喜爱的那些相关工具。

CSVKit绝对值得一试。其能够利用逗号分隔值实现您所需要的一切。大家可以通过cvs cut剪切列、使用cvsgrip进行列过滤、通过sql2csv将PostgreSQL中的数据提取至CSV、使用cols从列中剪切子集并通过in2cv将微软Excel转换为CSV。

快速工具推荐清单

Python Data Analysis(Agate).
ImageMagick(edit, create, convert, flip, and alter images from the command-line).
JSON 2 CSV.
XML2JSONvia NodeJS.
HTML to image.
HTML to PDF.
Weather Underground CLI.
NIFI Shell.
Gatlingfor Testing with Scala/JVM.
Kafka Producer with JSON.
Kafka Consumer with JSON.
Create JSON.
Image MetaData Extraction.
OSQuery for Querying Infrastructure.
Tesseract for Command Line OCR.
Hadoop/HDFS Command Line Tools.
CURL.
WGET.
MQTT CLI (NPM.JS).

大家亦可以编写简短的Python脚本以通过命令行实现数据处理。

fromnltk.sentiment.vader
importSentimentIntensityAnalyzer
importsys
sid=SentimentIntensityAnalyzer()
ss=sid.polarity_scores(sys.argv[1])
print('Compound{0}Negative{1}Neutral{2}Positive{3}'.format(ss['compound'],ss['neg'],ss['neu'],ss['pos']))

只需要五行Python脚本即可实现情绪分析。

大家甚至可以通过命令行实现TensorFlow调试(不过其目前尚处于beta测试阶段，所以可能会出现一些问题)。

原文标题：Big Data, Machine Learning, and Deep Learning Command Line Tools

原文作者：Tim Spann

【清一色译稿，合作站点转载请注明原文译者和出处为清一色.com】

©本文为清一色官方代发，观点仅代表作者本人，与清一色无关。清一色对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议，请读者仅作参考，并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络，如侵犯到著作权人的权利，请与我们联系（微信/QQ:1074760229）。转载请注明出处：清一色财经