新建好的maven工程,为了方便在Linux环境中运行,将其打包成jar格式,用spark-submit
命令放在spark集群环境下运行,为了方便后期忘事,作此笔记
IDEA将maven工程打包
单击File
->Project Structure
->Artifacts
,
选择自己需要打包的main函数,
这里以getLineMain
为例,上图中箭头1表示的是主函数的类,这个后期在linux环境中运行需要用到。箭头2中的路径最好重新配置一下,其中META-INF/MANIFEST.MF
的文件路径最好设置在src
路径下: ...\src\MF-IDF\jar的名字
点击OK后,继续配置相关路径
将上图箭头1,2,3的名字重新命名,具体如下图。jar的名字一定要统一
点击ok,你会在工程的目录下看见生成了一个刚刚设置路径的文件夹MF-INF
别以为这样就完了,点击Build
->Build Artifacts...
,选好自己的jar包
在out
文件夹下可以发现jar文件
将jar文件放置Linux的spark集群上
此时你需要一个sh脚本,方便后台运行
|
nohup
为LINUX命令用法,不挂断地运行命令,要运行后台中的 nohup
命令,添加 &
( 表示”and”的符号)到命令的尾部。
1.查看运行的后台进程
jobs -l
,jobs命令只看当前终端生效的,关闭终端后,在另一个终端jobs已经无法看到后台跑得程序了,此时利用ps(进程查看命令)
2.ps -ef
, 用ps -def | grep
查找进程很方便,注:用ps -def | grep
查找进程很方便,最后一行总是会grep自己,用grep -v参数可以将grep命令排除掉
3.再用awk提取进程ID,ps -aux|grep chat.js| grep -v grep | awk '{print $2}'
/home/spark/DataminingServer/logs/yiutto/Yt_ntProcess.log
是我的日志路径