DataWorks 数据运维

DataWorks 运维中心助手,用于任务与工作流运维、告警规则创建与管理。

支持周期、手动和触发式任务 / 工作流(不含实时 / 流式任务)。

安装

前置检查:需要 Aliyun CLI >= 3.3.3
运行 aliyun version 确认 >= 3.3.3。若未安装或版本过低,
运行 curl -fsSL https://aliyuncli.alicdn.com/setup.sh | bash 更新,
或见 references/cli-installation-guide.md 获取安装说明。
前置检查:需要更新 Aliyun CLI 插件
[必须] 运行 aliyun configure set --auto-plugin-install true 启用插件自动安装。

[必须] CLI AI-Mode 与 User-Agent —— 执行任何业务 CLI 命令前:

aliyun configure ai-mode enable
aliyun configure ai-mode set-user-agent --user-agent "AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops"
aliyun plugin update

工作流完成后:

aliyun configure ai-mode disable

环境变量

aliyun CLI 默认超时可能导致无限挂起。执行任何 API 命令前,你必须设置以下环境变量:

变量说明默认值
ALIBABA_CLOUD_CONNECT_TIMEOUT连接超时(毫秒)10000
ALIBABA_CLOUD_READ_TIMEOUT读取超时(毫秒)30000

对于大批量查询(例如 500+ 结果的分页任务实例列表),ALIBABA_CLOUD_READ_TIMEOUT 可增加到 60000 ms。

如果 API 调用超时,[必须] 用翻倍的读取超时值重试一次。如果第二次也失败,向用户报告超时并建议检查网络连通性、项目 ID 有效性或 RAM 权限。

无其他特殊环境变量要求。

鉴权

前置检查:需要阿里云凭证
安全规则:
- 绝不读取、回显或打印 AK/SK 值(例如 echo $ALIBABA_CLOUD_ACCESS_KEY_ID 是禁止的)
- 绝不要求用户在对话或命令行中直接输入 AK/SK
- 绝不使用字面凭证值运行 aliyun configure set
- 使用 aliyun configure list 检查凭证状态
```bash
aliyun configure list
```
检查输出中是否有有效 profile(AK、STS 或 OAuth 身份)。
如果不存在有效 profile,就此停止。
1. 从阿里云控制台获取凭证
2. 在本会话之外配置凭证(通过终端中的 aliyun configure 或 shell profile 中的环境变量)
3. 待 aliyun configure list 显示有效 profile 后再返回并重试

RAM 权限

本 Skill 需要以下 RAM 权限:

任务管理

API权限动作说明
GetTaskdataworks:GetTask获取任务详情
ListTasksdataworks:ListTasks查询任务列表
ListUpstreamTasksdataworks:ListUpstreamTasks查询上游任务列表
ListDownstreamTasksdataworks:ListDownstreamTasks查询下游任务列表
ListTaskOperationLogsdataworks:ListTaskOperationLogs查询任务操作日志

任务实例管理

API权限动作说明
ListTaskInstancesdataworks:ListTaskInstances查询任务实例列表
GetTaskInstancedataworks:GetTaskInstance获取任务实例详情
GetTaskInstanceLogdataworks:GetTaskInstanceLog获取任务实例日志
ListUpstreamTaskInstancesdataworks:ListUpstreamTaskInstances查询上游任务实例
ListDownstreamTaskInstancesdataworks:ListDownstreamTaskInstances查询下游任务实例
ListTaskInstanceOperationLogsdataworks:ListTaskInstanceOperationLogs查询任务实例操作日志

工作流(运维中心,只读)

API权限动作说明
GetWorkflowdataworks:GetWorkflow获取工作流详情
ListWorkflowsdataworks:ListWorkflows查询工作流列表

工作流实例(运维中心,只读)

API权限动作说明
ListWorkflowInstancesdataworks:ListWorkflowInstances查询工作流实例列表
GetWorkflowInstancedataworks:GetWorkflowInstance获取工作流实例详情

告警规则(自定义监控,只读)

API权限动作说明
ListAlertRulesdataworks:ListAlertRules查询告警规则列表
GetAlertRuledataworks:GetAlertRule获取告警规则详情
[必须] 权限失败处理: 当任何命令或 API 调用在执行过程中因权限错误失败时,遵循以下流程:
1. 阅读 references/ram-policies.md 获取本 Skill 所需的完整权限列表
2. 使用 ram-permission-diagnose skill 引导用户申请必要权限
3. 暂停并等待用户确认所需权限已授予

参数确认

重要:参数确认 —— 执行任何命令或 API 调用前,
所有用户可自定义的参数(例如 ProjectId、RegionId、bizdate、实例 ID 等)
都必须与用户确认。未经用户明确批准,不要假设或使用默认值。
参数必填 / 可选说明默认值
Region必填目标地域
ProjectId必填DataWorks 工作空间 ID
Bizdate必填(实例相关)业务日期(毫秒时间戳)今日业务日期

实例状态枚举值(用于 --status 参数):

  • NotRun - 未运行
  • Running - 运行中
  • Failure - 失败
  • Success - 成功
  • WaitTime - 等待时间
  • WaitResource - 等待资源

工作流实例类型枚举值(用于 --type 参数):

  • Normal - 正常调度
  • Manual - 手动运行
  • SmokeTest - 冒烟测试
  • SupplementData - 补数据
  • ManualWorkflow - 手动工作流
  • TriggerWorkflow - 触发式工作流

核心工作流

0. 确认目标地域

与用户确认目标地域。常用地域:

  • cn-hangzhou - 华东 1(杭州)
  • cn-shanghai - 华东 2(上海)
  • cn-beijing - 华北 2(北京)
  • cn-shenzhen - 华南 1(深圳)

任务管理

查询任务列表

aliyun dataworks-public list-tasks \

--region <REGION> \

--project-id <PROJECT_ID> \

[--name <TASK_NAME>] \

[--page-size <SIZE>] \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops

获取任务详情

aliyun dataworks-public get-task \

--region <REGION> \

--id <TASK_ID> \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops


> 更多命令参数和完整命令列表,见 [references/related-commands.md](references/related-commands.md)

---

### 任务实例管理

查询任务实例列表(按状态过滤)

aliyun dataworks-public list-task-instances \

--region <REGION> \

--project-id <PROJECT_ID> \

--bizdate <BIZDATE_TIMESTAMP> \

[--status NotRun|Running|Failure|Success|WaitTime|WaitResource] \

[--task-name <TASK_NAME>] \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops

获取任务实例详情(用上方列表中的实例 ID)

aliyun dataworks-public get-task-instance \

--region <REGION> \

--id <TASK_INSTANCE_ID> \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops

获取任务实例日志

aliyun dataworks-public get-task-instance-log \

--region <REGION> \

--id <TASK_INSTANCE_ID> \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops


> 更多命令(实例详情、上下游实例、操作日志等)见 [references/related-commands.md](references/related-commands.md)

---

### 工作流(运维中心,只读)

查询工作流列表

aliyun dataworks-public list-workflows \

--region <REGION> \

--project-id <PROJECT_ID> \

[--name <WORKFLOW_NAME>] \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops

获取工作流详情

aliyun dataworks-public get-workflow \

--region <REGION> \

--id <WORKFLOW_ID> \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops


---

### 工作流实例(运维中心,只读)

查询工作流实例列表

aliyun dataworks-public list-workflow-instances \

--region <REGION> \

--project-id <PROJECT_ID> \

--biz-date <BIZDATE_TIMESTAMP> \

[--type Normal|Manual|SmokeTest|SupplementData|ManualWorkflow|TriggerWorkflow] \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops

获取工作流实例详情

aliyun dataworks-public get-workflow-instance \

--region <REGION> \

--id <WORKFLOW_INSTANCE_ID> \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops


---

### 告警规则(自定义监控,只读)

查询告警规则列表

aliyun dataworks-public list-alert-rules \

--region <REGION> \

--page-number <PAGE_NUMBER> \

--page-size <PAGE_SIZE> \

[--name <RULE_NAME>] \

[--owner <OWNER_UID>] \

[--receiver <RECEIVER_UID>] \

[--task-ids <ID1> <ID2> ...] \

[--types <TYPE1> <TYPE2> ...] \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops

获取告警规则详情

aliyun dataworks-public get-alert-rule \

--region <REGION> \

--id <ALERT_RULE_ID> \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops


---

### 命令示例

步骤 1:查询失败的任务实例

aliyun dataworks-public list-task-instances \

--region cn-hangzhou \

--project-id 240863 \

--bizdate 1775404800000 \

--status Failure \

--page-size 100 \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops

步骤 2:查看实例日志

aliyun dataworks-public get-task-instance-log \

--region cn-hangzhou \

--id <INSTANCE_ID> \

--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops

成功验证

  1. 查询验证ListTaskInstances 返回 TaskInstances 列表,含实例 ID、状态、任务名等信息
  2. 日志验证GetTaskInstanceLog 返回 TaskInstanceLog 字段,含日志内容

详细验证步骤见 references/verification-method.md

清理

本 Skill 不创建资源。无需清理。

最佳实践

  1. 业务日期计算Bizdate 通常是调度日期前一天 00:00:00 的毫秒时间戳
  2. 分页查询:用 --page-number--page-size 分页,每页最大 500
  3. 操作前检查:建议先查看实例日志确认状态,避免重复失败

参考资料

文档说明
references/ram-policies.mdRAM 权限策略
references/related-commands.mdCLI 命令快速参考
references/verification-method.md成功验证方法
related_apis.yaml完整 API 列表