任务管理

展示当前项目所有芯片的任务，分流程分析和数据分析模块展示，点击可切换列表。

流程分析

展示当前项目所有的任务列表（包括SAW、高级分析和Workflow的所有任务）。

列表搜索

支持SN\ID、创建人、任务状态、任务编号、流程名称、备注搜索

任务状态

• 分为待分析、运行中、取消、失败、完成、异常，当状态为失败时，点击”失败“按钮，可查看失败任务日志

任务操作

• 通用操作包含查看任务详情、取消、删除、重运行、启动、授权任务、收藏，选中多条任务可以批量启动、取消、删除

流程任务常见问题

如何断点续跑

提示

云平台使用Cromwell的call-caching策略实现断点续跑，当检测到task与之前的执行记录一致，可以直接使用之前的计算结果而无需重新计算，可以节省时间和费用。当一个计算作业成功完成后，如果平台再遇到完全一致的输入、完全一致的执行命令时，会跳过实际执行，立刻直接使用已有的计算结果返回。

• 命中规则：平台根据计算作业输入参数值（input count\input）、Runtime属性值（如failOnStderr、continueOnReturnCode等）、执行命令行（Command）、输出参数值（output count\output）等共同计算出一个哈希值。如果与平台历史的计算作业记录的哈希值一致，且该作业记录在有效保留时间内，则被认为是命中 Call-Caching。所以修改输入、输出、Command会导致无法命中，例如下图流程hash值对比：

• 有效保留时间：一般失败任务的计算作业记录默认有效保留时间为3天，任务成功后数据保存到数据管理后，中间结果会立即删除。

• 命中结果：平台的运行任务产生的计算作业，如果命中Call-Caching，则会直接跳过执行，复用历史记录中的输出结果。平台将不会产生后端计算作业，也不会产生资源消耗，跳过步骤无需收取费用。

• 为什么任务无法命中call-Caching

  • 命中缓存要求任务输入一致

    • 如果使用输入变量的方式设置任务的Runtime属性，修改runtime会被认为修改输入，从而导致任务的不同散列。

    • 文件参数定义成String而不是File输入，调用缓存可能会失败。使用File类型时，存储在不同位置的两个相同文件的哈希值是相同的，但使用String，但即使文件的内容相同，不同位置的String值的哈希值也会不同。

  • 命中缓存需要任务输出一致

    • 输出数量和输出参数必须相同才能命中

如何查看任务日志

任务投递完成后，可在任务管理查看任务详情、任务状态、日志和结果。详细信息展示子任务分析状态、投递信息、以及流程的输入输出。运行日志包含任务在容器中执行的日志。

查看任务状态

针对流程分析的任务，状态分为：待分析、运行中、完成、失败、取消，各个状态的含义如下

• 待分析：任务正在排队中，等待调度进入资源池分析

• 运行中：经过后台调度，任务进入资源池。注意此时可能存在底层资源池已满的情况，进入任务的详情页查看子任务的运行状态，若子任务状态也是待分析，则表示此时在资源池排队，若子任务状态为运行中，则表示任务已经开始分析

• 完成：任务分析完成，数据已保存到数据管理

• 失败：任务出现执行报错，点击“失败”进入日志界面查看具体失败原因

• 取消：任务中途取消，停止分析

查看任务的结果

当任务完成后，可以查看任务产生的结果文件。在流程分析任务列表点击“详情”按钮查看任务的基础信息和日志信息。“查看结果目录”按钮高亮时，表示任务输出到数据管理，可以查看任务结果文件。

• 点击”查看结果目录“栏下的文件名称，可跳转至数据管理展示结果文件夹下的目录。

• 点击输出的操作栏“查看”按钮，可以在线预览文件。

查看运行日志

当任务失败或有异常时，在【运行日志】界面查看流程执行日志，日志展示工作流运行过程中容器中输出的日志和流程引擎执行日志。

工作流运行详情记录每个步骤运行过程中产生的日志信息，包括【stderr】【stdout】【script】【中间结果文件】

• stderr为容器输出的标准错误流，大部分程序执行的错误可在此查看。这里要注意程序需要定义将执行报错输出到标准输出，否则跑完任务查看不到有效信息。定义参考如下：

import sys
def main():
    # 打印到标准输出
    print("这是标准输出消息")
    # 打印到标准错误输出
    print("这是标准错误输出消息", file=sys.stderr)
if __name__ == "__main__":
    main()

当输出日志量比较大的时候，也可以将输出日志整理为一个日志文件中，并打印到中间结果文件中。

• stdout为容器执行的标准输出流，是程序的正常输出，程序输出的内容会被重定向到文件或者流程中。

• **【script】**为任务执行脚本，仅支持任务创建者查看。

• **【中间结果文件】**为task执行输出的文件。

如何查看中间结果文件

想查看运行中或失败任务某个步骤产生的文件时，点击工作流运行详情中该步骤的“中间结果文件”按钮，在线查看。

在线查看是通过网页打开，部分文件类型打开会出现乱码情况，此时可以在个性分析中容器打开查看。

进入个性分析模块，新建个性分析时采用【按任务挂载】的方式，选择”运行中“或”失败“状态的任务，可以将该任务中间结果文件挂载进容器中访问。

注意

中间结果文件治理遵循以下规则，当中间结果文件被删除后，将无法查看

当任务完成，任务的最终结果文件保存到数据管理后，中间结果文件自动删除；

当任务失败或取消，中间结果文件默认保存三天，三天后删除。

数据分析

数据分析模块，展示Notebook的在线和离线的任务列表，点击tab可切换展示；

在线任务

进入项目后，可在项目的「任务管理」模块，查看在线分析的任务，包括任务使用的计算和镜像资源，已用时长和剩余时长等，也可在该模块进行“打开”、“日志”、“关闭”和“延时”操作。

离线任务

可通过「任务管理-数据分析」模块查看离线任务。点击“打开”查看批量任务的子任务列表。

点击操作栏“详情”按钮可查看任务详情、任务日志和资源消耗。