EdgeBench 任务全览

ByteDance Seed · 51 个开源任务 · 6 大类别

GitHub
🧩

组合优化

Combinatorial Optimization · 15 题

Ad Placement Optimization

离线
ad_placement_optimization
超时
10 分钟
任务简介
在万×万网格上为 n 家公司放置矩形广告
目标
最大化所有广告主的总满意度
衡量标准
每个广告须包含指定点,面积尽可能接近期望值
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: cpp

Apple Incremental Game

离线
apple_incremental_game
超时
10 分钟
任务简介
机器生产调度增量博弈(AtCoder AHC058)
目标
优化机器生产策略,最大化产出得分
衡量标准
读取 stdin 输出 stdout,逐用例评分累加
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Equivalence Class Divide And Conquer

离线
equivalence_class_divide_and_conquer
超时
15 分钟
任务简介
6 道分治/等价类算法题
目标
通过所有测试数据获取满分(共 100 分)
衡量标准
6 题分值为 5/5/10/15/25/40,逐题全部通过才得分
评分器: 逐用例累加得分 · 选优策略: · 基础镜像: cpp

Grid Turing Robot

离线
grid_turing_robot
超时
10 分钟
任务简介
在网格上设计图灵机转移规则(AtCoder AHC056)
目标
设计转移规则让机器人覆盖尽可能多的格子
衡量标准
逐用例评分,多 seed 累加
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Jagua Nesting Optimization

离线
jagua_nesting_optimization
超时
20 分钟
任务简介
2D 不规则零件排样优化(基于 jagua-rs,Rust)
目标
在有限板材上排入尽可能多的不规则形状零件
衡量标准
与冻结的参考 LBF 解比较,在隐藏实例上评分
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: rust

Molecular Self Assembly

离线
molecular_self_assembly
超时
10 分钟
任务简介
原子键合优化,模拟分子自组装(AtCoder AHC057)
目标
最大化原子之间的有效键合数
衡量标准
逐用例评分累加
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Order Addition Permutation Optimization

离线
order_addition_permutation_optimization
超时
10 分钟
任务简介
大规模排列组合黑盒优化
目标
找到使响应值最小的全排列序列
衡量标准
黑盒函数评估,最终得分为目标函数值
评分器: pytest 测试通过率 · 选优策略: 优先通过率 · 基础镜像: python

Smt Solver

离线
smt_solver
超时
120 分钟
任务简介
从零实现 SMT 约束求解器
目标
支持 QF_UF/QF_LRA/QF_LIA/QF_UFLRA 四种逻辑
衡量标准
隐藏测试集,60 秒/题超时,正确率加权评分
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python310

Treant Forest

离线
treant_forest
超时
14 分钟
任务简介
迷宫堵路策略博弈(AtCoder AHC054)
目标
设计堵路策略使对手尽可能难以到达终点
衡量标准
逐用例评分累加
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Tree Block Partitioning

离线
tree_block_partitioning
超时
10 分钟
任务简介
6 道树分块算法题
目标
通过所有测试数据获取满分(共 100 分)
衡量标准
6 题分值为 5/5/10/15/25/40,逐题全部通过才得分
评分器: 逐用例累加得分 · 选优策略: · 基础镜像: cpp

Triangulation Coloring Optimization

离线
triangulation_coloring_optimization
超时
20 分钟
任务简介
三角剖分着色,最小化丑陋度(CodeChef TRICOL)
目标
翻转三角剖分边并着色,使相邻同色面积最小
衡量标准
丑陋度越低分越高
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Vehicle Routing Time Windows

离线
vehicle_routing_time_windows
超时
20 分钟
任务简介
带时间窗的车辆路径规划(CVRPTW)
目标
优化 C++17 求解器,最小化总行驶距离
衡量标准
隐藏实例评测,与最优解比较
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

Vibrating Path Graph Coloring

离线
vibrating_path_graph_coloring
超时
10 分钟
任务简介
图的 K-着色问题优化(CodeChef VBR)
目标
为图着 K 色使得冲突边最少
衡量标准
逐用例评分累加
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Warehouse Forklift Routing

离线
warehouse_forklift_routing
超时
60 分钟
任务简介
仓库叉车路径优化(CodeChef WAREHOUS)
目标
规划叉车在网格仓库中的最优取货路径
衡量标准
总移动距离越短分越高
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Wireless Electricity Layout

离线
wireless_electricity_layout
超时
10 分钟
任务简介
无线输电网络布线优化(CodeChef WIREL)
目标
在 2D 平面上连接城市到电力网络,最小化成本
衡量标准
逐用例评分累加
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: cpp
⚙️

系统与软件工程

Systems & Software Engineering · 12 题

Ann Vector Search Qps

离线
ann_vector_search_qps
超时
130 分钟
任务简介
优化近似最近邻搜索性能(SIFT-1M 数据集)
目标
最大化 QPS(查询/秒),保持 Recall@10 ≥ 0.95
衡量标准
QPS 越高分越高,Recall 不达标则 0 分
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Arc Compiler Runtime

离线
arc_compiler_runtime
超时
25 分钟
任务简介
实现 Arc 语言的编译器和运行时
目标
补全 compiler/src/ 下缺失的编译器模块
衡量标准
pytest 测试通过率
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

Exchange Core Throughput

离线
exchange_core_throughput
超时
40 分钟
任务简介
优化 Java 金融撮合引擎吞吐量
目标
最大化 exchange-core 的 MT/s(百万交易/秒)
衡量标准
吞吐量越高分越高
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: java

Ffmpeg Swscale Reimplementation

离线
ffmpeg_swscale_reimplementation
超时
90 分钟
任务简介
用 Zig 或 Rust 重写 FFmpeg libswscale
目标
生成 C 兼容的共享库,匹配或超越 FFmpeg 性能
衡量标准
像素格式转换正确率 + 性能
评分器: pytest 测试通过率 · 选优策略: 优先最高分 · 基础镜像: cpp

Git Rewrite In Zig

离线
git_rewrite_in_zig
超时
120 分钟
任务简介
用 Zig 重写 Git v2.47.0
目标
行为完全一致:相同 CLI、相同输出、相同退出码
衡量标准
pytest 测试通过率,覆盖各种 git 子命令
评分器: pytest 测试通过率 · 选优策略: 优先最高分 · 基础镜像: cpp

Integer Compression Codec

离线
integer_compression_codec
超时
40 分钟
任务简介
优化 uint32 整数压缩编解码器(C++)
目标
提升压缩率和编解码速度
衡量标准
综合压缩率与吞吐量评分
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: cpp

Juliet Vulnerability Analyzer

离线
juliet_vulnerability_analyzer
超时
3 分钟
任务简介
实现静态代码漏洞分析器
目标
检测 CWE-121/122/190/476/416/78 六类漏洞
衡量标准
pytest 测试通过率(精确率和召回率)
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

Rust Multicrate Reconstruction

离线
rust_multicrate_reconstruction
超时
60 分钟
任务简介
补全多 crate Rust 项目的缺失实现
目标
根据规格文档和测试恢复被删除的代码
衡量标准
pytest 测试通过率
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: rust

Schemathesis Config Modernization

离线
schemathesis_config_modernization
超时
30 分钟
任务简介
Schemathesis API 测试框架配置现代化
目标
按 TODO.md 的路线图完成重构任务
衡量标准
pytest 测试通过率
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

Schemathesis Datagen Pipeline

离线
schemathesis_datagen_pipeline
超时
30 分钟
任务简介
给 Schemathesis 实现数据生成管线
目标
按 TODO.md 完成数据生成功能
衡量标准
pytest 测试通过率
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

Schemathesis Reporting Observability

离线
schemathesis_reporting_observability
超时
30 分钟
任务简介
给 Schemathesis 实现报告与可观测性
目标
按 TODO.md 完成报告功能
衡量标准
pytest 测试通过率
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

Vliw Kernel Optimization

离线
vliw_kernel_optimization
超时
11 分钟
任务简介
优化 VLIW/SIMD 指令内核生成器
目标
生成正确且更快的指令程序
衡量标准
模拟器运行速度评分
评分器: 结构化 JSON 评分 · 选优策略: 先验证有效再取最高分 · 基础镜像: python
🎮

交互式游戏

Interactive Games & Simulators · 8 题

Anchorhead Text Adventure

离线 交互模式
anchorhead_text_adventure
超时
10 分钟
任务简介
玩文字冒险游戏 Anchorhead
目标
通过 HTTP API 发送命令探索游戏世界,最大化得分
衡量标准
游戏内置计分系统
评分器: · 选优策略: 优先最高分 · 基础镜像: python310

Dcss Dungeon Ai

离线
dcss_dungeon_ai
超时
18 分钟
任务简介
给 Dungeon Crawl Stone Soup 写 Lua 自动打地牢 AI
目标
操控牛头人狂战士,最大化游戏得分
衡量标准
5 个隐藏种子,每局 900 秒,取平均分
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python310

Nethack Dungeon Agent

离线
nethack_dungeon_agent
超时
60 分钟
任务简介
写 Python agent 玩 NetHack 地牢探险
目标
操控冒险者下地牢,最大化游戏得分
衡量标准
多种子平均分
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Openrct2 Theme Park Ai

离线
openrct2_theme_park_ai
超时
40 分钟
任务简介
给过山车大亨(OpenRCT2)写 JS 自动管理插件
目标
最大化 3 个场景(小/中/大)的标准化公司价值
衡量标准
多场景加权平均分
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Openttd Transport Ai

离线
openttd_transport_ai
超时
60 分钟
任务简介
给运输大亨(OpenTTD)写 Squirrel AI
目标
20 年游戏时间内最大化公司价值
衡量标准
多随机地图种子取平均
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310

Trinity Text Adventure

离线 交互模式
trinity_text_adventure
超时
10 分钟
任务简介
玩文字冒险游戏 Trinity
目标
通过 HTTP API 发送命令,最大化游戏得分
衡量标准
游戏内置计分系统
评分器: · 选优策略: 优先最高分 · 基础镜像: python310

Tryst Text Adventure

离线 交互模式
tryst_text_adventure
超时
10 分钟
任务简介
玩文字冒险游戏 Tryst of Fate
目标
通过 HTTP API 发送命令,最大化游戏得分
衡量标准
游戏内置计分系统
评分器: · 选优策略: 优先最高分 · 基础镜像: python310

Wesnoth Tactical Ai

离线
wesnoth_tactical_ai
超时
15 分钟
任务简介
给韦诺之战写 Lua 战术 AI
目标
在 3 张地图上打赢默认 AI
衡量标准
80×胜率 + 20×效率,60 局取平均
评分器: 逐用例累加得分 · 选优策略: 优先最高分 · 基础镜像: python310
📐

形式化数学与定理证明

Formal Math & Theorem Proving · 8 题

Carleson Formalization

离线
carleson_formalization
超时
40 分钟
任务简介
Lean4: Carleson 定理相关证明
目标
消除所有 sorry,完成尽可能多的证明
衡量标准
已完成证明的数量/比例
评分器: 结构化 JSON 评分 · 选优策略: · 基础镜像: lean_4

Combinatorial Games Formalization

离线
combinatorial_games_formalization
超时
40 分钟
任务简介
Lean4: 组合博弈论相关证明
目标
消除所有 sorry
衡量标准
已完成证明的数量/比例
评分器: 结构化 JSON 评分 · 选优策略: · 基础镜像: lean_4_28_0_main

Flt Regular Formalization

离线
flt_regular_formalization
超时
40 分钟
任务简介
Lean4: 正则素数费马大定理相关证明
目标
消除所有 sorry
衡量标准
已完成证明的数量/比例
评分器: 结构化 JSON 评分 · 选优策略: · 基础镜像: lean_4_28_0_main

Lean Analysis Proofs

离线
lean_analysis_proofs
超时
40 分钟
任务简介
Lean4: 数学分析相关证明
目标
消除所有 sorry
衡量标准
已完成证明的数量/比例
评分器: 结构化 JSON 评分 · 选优策略: · 基础镜像: lean_4_28_0_main

New Foundations Consistency

离线
new_foundations_consistency
超时
40 分钟
任务简介
Lean4: New Foundations 集合论一致性证明
目标
消除所有 sorry
衡量标准
已完成证明的数量/比例
评分器: 结构化 JSON 评分 · 选优策略: · 基础镜像: lean_4

Ordinal Notation Well Foundedness

离线
ordinal_notation_well_foundedness
超时
120 分钟
任务简介
Coq: 序数记号良基性证明
目标
完成尽可能多的 Coq 证明目标
衡量标准
已完成证明的数量/比例
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: coq

Pfr Formalization

离线
pfr_formalization
超时
40 分钟
任务简介
Lean4: 多项式 Freiman-Ruzsa 猜想形式化
目标
消除所有 sorry
衡量标准
已完成证明的数量/比例
评分器: 结构化 JSON 评分 · 选优策略: · 基础镜像: lean_4

Sphere Eversion Formalization

离线
sphere_eversion_formalization
超时
40 分钟
任务简介
Lean4: 球面外翻定理形式化
目标
消除所有 sorry
衡量标准
已完成证明的数量/比例
评分器: 结构化 JSON 评分 · 选优策略: · 基础镜像: lean_4_28_0_main
🔬

科学问题与机器学习

Scientific Problems & ML · 4 题

Bipedalwalker Locomotion Rl

离线
bipedalwalker_locomotion_rl
超时
15 分钟
任务简介
用强化学习训练双足行走机器人(仅 CPU)
目标
训练 agent 在 BipedalWalker 环境中稳定行走
衡量标准
行走距离/奖励得分
评分器: 结构化 JSON 评分 · 选优策略: 先验证有效再取最高分 · 基础镜像: python

Borden Source Inversion

离线
borden_source_inversion
超时
10 分钟
任务简介
3D 地下水污染源反演
目标
从监测井数据推断污染源的位置和强度
衡量标准
反演精度评分
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python310

Dabic Gravity Inversion

离线
dabic_gravity_inversion
超时
360 分钟
任务简介
基于 D-ABIC 的 3D 重力反演(Vinton 盐丘数据)
目标
将 2025 年论文的方法移植到 3D 并验证
衡量标准
反演结果与参考对比评分
评分器: 结构化 JSON 评分 · 选优策略: 先验证有效再取最高分 · 基础镜像: python

Graph Node Classification

离线
graph_node_classification
超时
30 分钟
任务简介
图神经网络节点分类
目标
对图数据中的节点进行准确分类
衡量标准
分类准确率
评分器: 结构化 JSON 评分 · 选优策略: 先验证有效再取最高分 · 基础镜像: python
📊

专业知识

Professional Knowledge Work · 4 题

College English Exam Bank

联网
college_english_exam_bank
超时
15 分钟
任务简介
大学英语考试题库
目标
按指定格式完成英语考试题目
衡量标准
LLM 评分
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

Cta Risk Budget Optimization

离线
cta_risk_budget_optimization
超时
10 分钟
任务简介
CTA 策略风险预算优化
目标
按 task_instruction.md 完成金融风险建模
衡量标准
结构化 JSON 评分
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

K12 Math Recommendation

离线
k12_math_recommendation
超时
15 分钟
任务简介
K12 数学题目推荐系统
目标
按 task_instruction.md 实现推荐算法
衡量标准
结构化 JSON 评分
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python

Portfolio Risk Calibration

离线
portfolio_risk_calibration
超时
10 分钟
任务简介
投资组合风险校准
目标
按 task_instruction.md 完成风险校准任务
衡量标准
结构化 JSON 评分
评分器: 结构化 JSON 评分 · 选优策略: 优先最高分 · 基础镜像: python