Web 界面

Web portal 为用户提供了便捷的可视化页面，用户可以在上面观察 NNI 实验训练过程、详细的 metrics 以及实验的 log 和 error。 当然，用户可以管理实验，调制 trials 比如修改实验的 concurrency 值，时长以及重跑一些 trials。

../../_images/webui.gif

Q&A

在 detail 页面的表格里明明有很多 trial 但是 Default Metric 图是空的没有数据

备注

首先你要明白 Default metric 和 Hyper parameter 图只展示成功 trial。

当你觉得 Default metric、Hyper parameter 图有问题的时候应该做什么

  • 从 Experiment summary 下载实验结果（实验配置，trial 信息，中间值），并把这些结果上传进 issue 里。

../../_images/summary.png

当你的实验有故障时应该做什么

  • 点击实验状态右边的小图标把 error 信息截屏。

  • 然后点击 learn about 去下载 log 文件。And then click the learn about to download nni-manager and dispatcher logfile.

  • 点击页面导航栏的 About 按钮点 Feedback 开一个 issue，附带上以上的截屏和 log 信息。

../../_images/experiment_error.gif

当你的 trial 跑失败了你应该怎么做

  • 使用 Customized trial 功能。向实验提交相同的 trial 参数即可。

../../_images/customized_trial_button.png ../../_images/customized_trial.png
  • Log 模块 能帮助你找到错误原因。 有三个按钮： View trial log, View trial error 和 View trial stdout 可查 log。如果你用 OpenPai 或者 Kubeflow，你能看到 trial stdout 和 nfs log。

    有任何问题请在 issue 里联系我们。

local mode：

../../_images/log_local.png

OpenPAI, Kubeflow and other mode：

../../_images/detail_pai.png

怎样去使用 dict intermediate result

The discussion 能帮助你。

实验管理

实验管理页面能统筹你机器上的所有实验。

../../_images/nav.png

  • 在 All experiments 页面，可以看到机器上的所有 Experiment。

../../_images/list.png

  • 查看 Experiment 更多详细信息时，可以单击 trial ID 跳转至该 Experiment 详情页，如下所示：

../../_images/to_another_exp.png

  • 如果表格里有很多 Experiment，可以使用 filter 按钮。

../../_images/filter.png

实验详情

查看实验 overview 页面

  • 在 Overview 标签上，可看到 Experiment trial 的概况、搜索空间以及 top trials 的结果。

../../_images/full_oview.png

  • 如果想查看 Experiment 配置和搜索空间，点击右边的 Search space 和 Config 按钮。

    搜索空间文件：

    ../../_images/search_space.png

    配置文件：

    ../../_images/config.png

  • 你可以在这里查看和下载 nni-manager/dispatcher 日志文件。

../../_images/review_log.png

  • 如果 Experiment 包含了较多 Trial，可改变刷新间隔。

../../_images/refresh_interval.png

  • 在这里修改 Experiment 配置（例如 maxExecDuration, maxTrialNum 和 trial concurrency）。

../../_images/edit_experiment_param.gif

查看 trial 最终结果

  • Default metric 是所有 trial 的最终结果图。 在每一个结果上悬停鼠标可以看到 trial 信息，比如 trial id、No. 超参等。

../../_images/default_metric.png

  • 打开 Optimization curve 来查看 Experiment 的优化曲线。

../../_images/best_curve.png

查看超参

单击 Hyper-parameter 标签查看平行坐标系图。

  • 可以点击 添加/删除 按钮来添加或删减纵坐标轴。

  • 直接在图上拖动轴线来交换轴线位置。

  • 通过调节百分比来查看 top trial。

../../_images/hyper_parameter.png

查看 Trial 运行时间

点击 Trial Duration 标签来查看柱状图。

../../_images/trial_duration.png

查看 Trial 中间结果

单击 Intermediate Result 标签查看折线图。

../../_images/trials_intermeidate.png

Trial 在训练过程中可能有大量中间结果。 为了更清楚的理解一些 Trial 的趋势，可以为中间结果图设置过滤功能。

这样可以发现 Trial 在某个中间结果上会变得更好或更差。 这表明它是一个重要的并相关的中间结果。 如果要仔细查看这个点，可以在 #Intermediate 中输入其 X 坐标。 并输入这个中间结果的指标范围。 在下图中，选择了第四个中间结果并将指标范围设置为了 0.8 -1。

../../_images/filter_intermediate.png

查看 Trial 状态

点击 Trials Detail 标签查看所有 Trial 的状态。具体如下：

  • Trial 详情：Trial id，持续时间，开始时间，结束时间，状态，精度和 search space 文件。

../../_images/detail_local.png

    • 支持通过 id，状态，Trial 编号以及参数来搜索。

    Trial id：

    ../../_images/search_id.png

    Trial No.：

    ../../_images/search_No.png

    Trial status：

    ../../_images/search_status.png

    Trial parameters：

    类型为 choice 的参数：

    ../../_images/search_parameter_choice.png

    类型不是 choice 的参数：

    ../../_images/search_parameter_range.png

  • Add column 按钮可选择在表格中显示的列。 如果 Experiment 的最终结果是 dict，则可以在表格中查看其它键。可选择 Intermediate count 列来查看 Trial 进度。

../../_images/add_column.png

  • 如果要比较某些 Trial，可选择并点击 Compare 来查看结果。

../../_images/select_trial.png ../../_images/compare.png

  • 可使用 Copy as python 按钮来拷贝 Trial 的参数。

../../_images/copy_parameter.png

  • 中间结果图：可在此图中通过点击 intermediate 按钮来查看默认指标。

../../_images/intermediate.png

  • Kill: 可终止正在运行的 trial。

../../_images/kill_running.png