2024-07-26 TODO

TCO 训练榜单

1. 将剩下榜单的策略重新跑 —— 获得产品不可用的策略 + 榜单 credit true 发放历史积分
2. 聚类数据集收集 + 生成数据集
3. (推迟) 训练榜单新逻辑和 TCO 打榜人员沟通，判断是否还有需要的更改地方

TCO 预测榜单

1. 去除 batch 操作
2. 新增两个数据集
3. (推迟) 预测榜单，考虑使用原始所有数据进行预测，增大预测数据量
4. (推迟) 对接 AIOS 日志系统？
5. 沟通 —— 更新思路
   • 去除 batch 操作、二分类新增两个数据集
   • 为了更好的批量预测 —— 使用全量的数据集进行预测(不再使用切分后的测试集预测)(数据集格式更新 TODO)
   • 预热使用的数据集是否也使用 predict 时的数据集，还是一千条就够了？

AutoCV 分割榜单

1. (下周) 确定接口信息（label 采用 mask 形式）
2. (下周) 和标注平台确认导出格式

AutoML 糖尿病数据集

1. AutoML 回归数据集
2. (下下周) AutoML 回归，获得二分类数据集上的 Glu120、Glu0、va1c 指标
3. (下下周) 二分类数据集构造

ASR 榜单

1. (推迟) 中英文榜单接口改造
2. (推迟) 俄式榜单时延

暂时没有申请的 credit：

1. AutoCV 分类&检测榜单，数据集处理的 credit （from 少扬）
2. TCO 预测榜单，将榜单上所有的 pip 包下载下来 （from 卢冕）
3. TCO 预测榜单，增加预热功能 （from 卢冕）
4. TCO 预测榜单，去除 batch 功能（from 卢冕）
5. TCO 训练榜单，测试历史所有策略，判断是否新检查下产品不可用 （from 卢冕）
6. TCO 预测榜单，增加两个数据集 （from 卢冕+李鹏）

发现 K8S 中有很多只存在 SUT POD，但是没有 JudgeFlow Pod 的任务。
原因：由于 SUBMIT-ERROR 导致，平台认为 POD 没有启动，进而导致没有清理。