jupyter-notebook
本示例说明如何在云超算平台上运行作业,平台目前支持两百多种软件,您可根据自己的需求选择自己所需的软件和计算文件;本次使用软件是以jupyter-notebook为例, Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等 。
本页目录
作业配置
输入文件 | 无 |
---|---|
软件版本 | Anaconda 2020.02(python3) 总进程数:1 单节点使用CPU核数:4 |
命令 | sbatch -N 1 -n 1 -p c-4-2 demo-jupyter.sh |
建议硬件 | 宽吻海豚/4核8G/1节点数 |
作业提交方式
本软件的作业提交方式有三种,分别为界面提交,命令行提交和Windows工作站提交,三种方式都可以帮你完整的提交运行您的作业。您可以点击下方的tab栏进行切换查看各种提交方式。
点击导入作业案例后,北鲲云会生成默认的jupyter-notebook案例。
点击输出文件,可以查看到相关的作业配置,或者修改改作业名。点击复制到作业管理列表,即可将作业复制到您的北鲲云作业列表中。
在作业管理列表,操作栏点击提交,进入到作业提交页面,点击提交作业后,即作业提交完成。页面跳转带任务执行页面。
在任务执行页面,您可以对作业进行取消,复制等等操作,具体操作见>基础功能的作业管理页面
通过命令行提交作业,需要创建管理节点,创建及连接操作见作业管理节点
节点创建成功后,我们就可以在管理节点提交作业。
进入管理节点后,我们需要找到所需要的软件。具体操作见作业管理节点
之后,我们需要将之前的加载软件命令与软件运行命令结合起,创建一个名为demo-jupyter的shell脚本来提交作业。内容如下:
脚本创建后,我们需要输入命令启动作业,命令如下
其中,-N为节点的数量,这里输入的是1。-n为任务进程数量,这里为1。-p为选择的PARTITION,这里使用的是宽吻海豚(c-4-2)。
如上图所示。任务提交成功,jobid为21.
任务提交后,可以查看任务的详情,节点状态等。具体操作见作业管理节点
通过桌面工作站提交,需要创建桌面工作站节点,创建及连接操作见桌面工作站
节点创建成功后,我们就点击连接就可以来到桌面工作站页面。
进入桌面工作站节点后,通过网络,安装执行任务所需要的软件。
我们也可以通过本地电脑向桌面工作站传输文件。点击下方的文件栏,再点击我的电脑。可以看见多个硬盘。本地磁盘c:是当前桌面工作站的硬盘,前面的2个硬盘分布对应了我们本地电脑的c盘和d盘。这样,我们就可以通过简单的移动或者复制,把需要的文件传输到桌面工作站中。
查看作业输出文件
待作业执行完成后,我们可以在多个页面获取到作业的输出文件,详情见查看作业输出文件