Copilot Evals: cách kiểm thử skill, agent và MCP từng bước
GitHub mở Copilot Evals cho skill, custom agent, MCP tool. Hướng dẫn cài trên VS Code, CLI, viết eval.yaml và đọc trang so sánh harness.

Trong bài này
- 15 phút đọc
- 11 phần
- 5 mẫu sao chép được
- 1 bảng tra cứu
Mục lục
Cách bài viết này được thực hiện: bài dựa trên hai thông báo trên GitHub Changelog ngày 17/11/2026 (Copilot Evals ra bản xem trước công khai và trang benchmark thêm phần so sánh harness), README của kho github/evals, tài liệu Vally của Microsoft và bài phân tích harness của GitHub Blog ngày 25/06/2026, đọc ngày 21/11/2026. Ảnh chụp màn hình do mmo.vn chụp từ trang chính thức.
Bạn viết một skill cho Copilot để nó soạn release notes, chạy thử thấy ổn, rồi một tuần sau sửa vài dòng hướng dẫn. Câu hỏi khó nhất lúc ấy không phải là “sửa thế nào” mà là “sửa xong thì skill tốt hơn hay tệ đi?”. Trước đây người vibe code chỉ có một cách trả lời: chạy tay vài lần rồi đoán.
Ngày 17/11/2026, GitHub mở bản xem trước công khai của GitHub Copilot Evals, công cụ biến cảm giác “hình như ổn” thành bài kiểm tra lặp lại được cho skill, custom agent và MCP tool. Cùng ngày, trang GitHub Copilot benchmarks thêm mục Harnesses so Copilot CLI với Claude Code và Codex CLI khi dùng chung một model.
Bài này giải thích eval là gì bằng ngôn ngữ của người mới, hướng dẫn cài trên VS Code, Copilot CLI và Copilot app, đi qua eval đầu tiên từng bước, đọc file eval.yaml, rồi chỉ cách hiểu đúng trang so sánh harness để chọn công cụ.
Câu trả lời ngắn: Copilot Evals là plugin/extension giúp bạn tạo, chạy và so sánh bài kiểm tra cho skill, custom agent và MCP tool của Copilot. Cài extension GitHub Copilot Evals trong VS Code, hoặc chạy copilot plugin install eval@github-copilot-evals trong Copilot CLI, rồi dùng /eval create, /eval run, /eval compare. Mỗi lần chạy có thể tốn token, credit.
Tóm tắt nhanh
- Copilot Evals ra bản xem trước công khai ngày 17/11/2026, dành cho gói Copilot Individual, Business và Enterprise.
- Một eval gồm nhiệm vụ thật, mô tả kết quả tốt và các check chấm cả đầu ra lẫn cách agent làm.
- Có 6 lệnh:
/eval create,run,review,improve,compare,setup.- Bộ máy chạy phía sau là Vally của Microsoft, file eval tên
eval.yaml.- Trang benchmarks.github.com thêm mục Harnesses: so Copilot CLI, Claude Code, Codex CLI với cùng model, mức suy luận medium.
Nội dung chính:
- Eval là gì, vì sao người vibe code cần
- Copilot Evals kiểm thử được gì
- Cài Copilot Evals trên VS Code, CLI và app
- Sáu lệnh /eval
- Làm eval đầu tiên từng bước
- Đọc hiểu file eval.yaml
- Trang Harnesses: so Copilot CLI, Claude Code, Codex CLI
- Chi phí, quyền và giới hạn
- Hiểu lầm phổ biến
- Câu hỏi thường gặp

Eval là gì, vì sao người vibe code cần
GitHub định nghĩa eval là “một bài kiểm tra lặp lại được cho hành vi của AI”. Bạn đưa agent một nhiệm vụ thực tế, mô tả thế nào là kết quả tốt, rồi kiểm tra cả đầu ra lẫn con đường agent đi tới đó. Sau mỗi lần sửa skill hay agent, bạn chạy lại cùng bài kiểm tra để bắt lỗi thụt lùi.
Nếu từng viết unit test, bạn có thể hình dung eval là unit test cho agent. Khác biệt nằm ở chỗ AI không trả lời giống hệt nhau mỗi lần, nên eval thường chạy nhiều lượt và tính tỷ lệ đạt chứ không chỉ “xanh” hay “đỏ”. Bộ máy Vally phía sau còn báo các chỉ số như pass@k, pass^k và độ “chập chờn” (flakiness) khi bạn chạy nhiều lần.
Với người mới vibe code, giá trị lớn nhất của eval là thoát khỏi vòng lặp sửa prompt theo cảm tính. Bạn thêm một câu vào SKILL.md vì nghĩ nó giúp agent cẩn thận hơn, nhưng câu đó có thể làm agent bỏ sót một bước khác. Không có eval, bạn chỉ phát hiện khi người dùng phàn nàn.

Copilot Evals kiểm thử được gì
Theo thông báo của GitHub, Copilot Evals nhắm vào ba loại tuỳ biến bạn tự viết cho Copilot. Đây cũng là ba thứ người vibe code hay sửa nhất:
- Skill: thư mục có file
SKILL.mddạy agent một quy trình cụ thể. Nếu chưa rõ skill là gì, đọc bài Agent Skills: viết SKILL.md một lần, dùng cho mọi agent. - Custom agent: agent riêng có vai trò, bộ công cụ và chỉ dẫn do bạn đặt.
- MCP tool: công cụ do một máy chủ MCP cung cấp mà agent gọi ra khi làm việc.
Với từng thứ, bạn làm được bốn việc bằng lời thường hoặc bằng lệnh /eval: tạo eval, chạy eval và xem check nào đạt hay trượt (bạn duyệt từng lần chạy trước khi nó bắt đầu), tìm hiểu vì sao một check trượt, và so các lần chạy trước và sau khi thay đổi. Công cụ dành cho gói Copilot Individual, Business và Enterprise; thông báo không nhắc gói Free.

README của kho github/evals liệt kê đầy đủ thành phần: 6 skill (create, review, improve, run, compare, setup), 3 mẫu tự động hoá cho VS Code, lệnh /eval trong Copilot CLI và GitHub Copilot app, Evals Canvas là khung làm việc ở thanh bên, và một máy chủ MCP tên copilot-evals có 15 công cụ.

Cài Copilot Evals trên VS Code, CLI và app
Bạn dùng Copilot ở đâu thì cài ở đó. Ba cách dưới đây lấy từ thông báo và README chính thức.
1. Trong VS Code
Mở mục Extensions, tìm “GitHub Copilot Evals” của nhà phát hành GitHub (mã GitHub.copilot-evals) rồi bấm Install. Cách khác là vào Chat: Open Customizations, chọn Browse, Configure Marketplaces, Add Marketplace và nhập github/evals. Extension thêm Evals Canvas ở thanh bên để xem kết quả trực quan.

2. Trong Copilot CLI
Mở terminal đã cài Copilot CLI và chạy hai lệnh sau. Lệnh đầu thêm “chợ plugin” github/evals, lệnh sau cài plugin tên eval từ chợ đó:
copilot plugin marketplace add github/evals
copilot plugin install eval@github-copilot-evals
Các lệnh /eval và Canvas cần chế độ thử nghiệm. Trong cửa sổ trò chuyện của Copilot CLI, gõ:
/settings experimental on
/eval help
Dòng đầu bật chế độ thử nghiệm, dòng sau in danh sách lệnh để bạn chắc plugin đã nạp. Không bật thì 6 skill vẫn hoạt động khi bạn yêu cầu bằng lời thường, chỉ thiếu lệnh tắt. Muốn cập nhật plugin sau này, chạy:
copilot plugin marketplace update github-copilot-evals
copilot plugin update eval@github-copilot-evals
3. Trong GitHub Copilot app
Mở mục Customize, thêm marketplace github/evals, rồi cài plugin GitHub Copilot Evals. Sau đó dùng /eval hoặc nói thẳng yêu cầu như “tạo eval cho skill này”.

Để chạy eval, máy cần bộ chạy (runner). README hướng dẫn cài qua Canvas Settings, Advanced, Install eval runner, hoặc lệnh “GitHub Copilot Evals: Set up test runner” trong VS Code. Yêu cầu tối thiểu ghi trong README lúc viết bài: Node.js 24.0.0 cho plugin CLI (22.15.0 cho VS Code), @microsoft/vally-cli 0.21.0, Copilot CLI 1.0.85 và Git 2.28.0. README đang được cập nhật liên tục, nên bạn nên kiểm tra lại số phiên bản trước khi cài.
Sáu lệnh /eval
Mỗi lệnh ứng với một skill. Bạn có thể gõ lệnh kèm yêu cầu bằng tiếng Anh hoặc tiếng Việt; ví dụ trong README là các câu như “Create an eval for this agent that checks its output files”.
| Lệnh | Làm gì | Ví dụ yêu cầu |
|---|---|---|
/eval create | Tạo eval mới | Tạo eval cho agent này, kiểm tra các file nó xuất ra |
/eval run | Chạy eval | Chạy eval này |
/eval review | Xem eval và kết quả đã lưu | Review eval này và kết quả gần nhất |
/eval improve | Bổ sung ca lỗi, lưu bản sửa | Thêm một ca thất bại và lưu bản mới |
/eval compare | So hai lần chạy | So nhiệm vụ này khi có và không có skill |
/eval setup | Thiết lập đường dẫn, bộ test | Thiết lập thư mục eval cho dự án |

Làm eval đầu tiên từng bước
Quy trình dưới đây bám theo mục “first eval” trong README, viết lại cho người mới. Giả sử bạn có một skill tên release-notes soạn ghi chú phát hành từ danh sách issue.
Bước 1: mở dự án và đăng nhập
Mở thư mục dự án có skill trong VS Code hoặc Copilot CLI, đăng nhập tài khoản GitHub có gói Copilot phù hợp.
Bước 2: tạo eval bằng /eval create
Gõ /eval create và chọn skill cần kiểm thử. Copilot sẽ hỏi bạn muốn kiểm tra gì.
Bước 3: mô tả thế nào là đạt
Đây là bước quan trọng nhất. README đưa ví dụ: tạo eval cho skill với một issue đã xong và một issue còn mở, kiểm tra release notes chỉ chứa việc đã xong, giữ nguyên mã issue, và không sửa file đầu vào. Chú ý ví dụ này có cả điều phải làm lẫn điều cấm làm. Viết càng cụ thể, check càng có ý nghĩa.
Bước 4: xem lại và lưu
Đọc eval Copilot đề xuất, sửa chỗ chưa đúng ý rồi lưu. README nói rõ lưu và chạy là hai bước tách rời; kiểm tra hợp lệ và đọc kết quả đã lưu không gọi model.
Bước 5: chạy bằng /eval run
Trước khi chạy, công cụ cho bạn xem những gì sẽ được thực thi và chi phí token, credit dự kiến. Đọc kỹ rồi mới duyệt.
Bước 6: xem kết quả
Dùng /eval review hoặc tab Results trong Canvas để xem check nào trượt và vì sao. Kết quả được lưu trong thư mục .copilot/evals/results của dự án.
Bước 7: sửa skill rồi so sánh
Sửa SKILL.md, chạy lại, rồi gọi /eval compare để so với lần trước. Nếu tỷ lệ đạt giảm, bạn biết ngay thay đổi vừa rồi có vấn đề.

Đọc hiểu file eval.yaml
Copilot Evals chạy bằng Vally, bộ công cụ đánh giá agent của Microsoft. Vally đưa agent làm các nhiệm vụ (gọi là stimuli), ghi lại toàn bộ đường đi (gọi công cụ, số token), chấm bằng các grader rồi tính điểm. Theo tài liệu Vally, file eval tên eval.yaml hoặc eval.yml. Thường bạn không phải viết tay vì /eval create sinh giúp, nhưng đọc hiểu được thì sửa nhanh hơn nhiều.

Dưới đây là một eval nhỏ viết theo đúng cấu trúc trong tài liệu Vally, áp vào skill release notes ở trên:
name: release-notes-chi-lay-viec-da-xong
description: Kiem tra skill release-notes khong dua issue con mo vao ghi chu
defaults:
runs: 3 # chạy 3 lượt để thấy độ ổn định
timeout: 5m # tối đa 5 phút mỗi lượt, bắt buộc có đơn vị
stimuli:
- name: co-mot-issue-dang-mo
prompt: "Dùng skill release-notes để soạn ghi chú phát hành từ file issues.json"
graders:
- type: output-contains
config:
substring: "## Đã hoàn thành"
Giải thích từng phần:
name: tên eval, bắt buộc. Nên đặt không dấu để dễ gõ lệnh.description: mô tả ngắn, giúp người khác hiểu eval kiểm tra gì.defaults: thiết lập chung.runslà số lượt chạy mỗi ca (mặc định 1),timeoutlà thời gian tối đa mỗi lượt và phải có đơn vị như5m,300s. Khối này còn có thể chọnmodelvàreasoning_effort.stimuli: danh sách ca thử, cần ít nhất một. Mỗi ca cóname,promptvà cácgraders.graders: cách chấm. Ở đây graderoutput-containskiểm tra đầu ra có chứa chuỗi tiêu đề mục mà skill bắt buộc phải viết.
Một grader tìm chuỗi như trên chỉ là điểm khởi đầu. Vally còn hỗ trợ grader dùng AI làm giám khảo chấm theo rubric, và phần scoring để đặt trọng số, ngưỡng đạt. Lưu ý giá trị trong prompt là ví dụ; skill và file issues.json phải có thật trong dự án của bạn.

Trang Harnesses: so Copilot CLI, Claude Code, Codex CLI
Tin thứ hai cùng ngày là trang benchmarks.github.com có thêm chế độ xem Harnesses. “Harness” là phần bao quanh model: prompt hệ thống, bộ công cụ đọc file, chạy lệnh, cách quản lý ngữ cảnh. Cùng một model nhưng đặt trong harness khác nhau có thể giải được số việc khác nhau với chi phí khác nhau.

Theo GitHub Changelog, chế độ Harnesses so GitHub Copilot CLI với Claude Code và Codex CLI khi dùng cùng model ở cùng mức suy luận. Biểu đồ phân tán đặt tỷ lệ giải được việc (resolution rate) theo chi phí trung bình mỗi việc, có vùng tô biểu thị độ dao động giữa các lần chạy. Phần chênh lệch theo cặp cho thấy Copilot CLI hơn hay kém bao nhiêu điểm phần trăm và tiết kiệm bao nhiêu chi phí, kèm khoảng tin cậy 95% gần đúng.

Có ba điều kiện cần nhớ khi đọc. Chỉ những cặp model khớp chính xác ở mức suy luận medium được hiển thị. Các cấu hình chỉ có ở Copilot như GitHub Copilot Fusion bị loại khỏi so sánh. Và cả tính năng lẫn trang benchmark đều đang ở dạng xem trước công khai. Trang cũng thêm bộ Terminal-Bench-Science 0.1, đánh giá agent trên quy trình nghiên cứu ở các ngành khoa học sự sống, vật lý, trái đất, toán và kỹ thuật.

Đây không phải lần đầu GitHub công bố so sánh kiểu này. Bài phân tích trên GitHub Blog ngày 25/06/2026 so Copilot CLI với Claude Code (Sonnet 4.6, Opus 4.7) và Codex CLI (GPT-5.4, GPT-5.5) trên SWE-bench Verified, SWE-bench Pro, SkillsBench, TerminalBench 2.0 và một bộ nội bộ. Kết luận khi đó là tỷ lệ giải việc “tương đương trên thực tế”, nằm trong mức dao động giữa các lần chạy; Copilot dùng ít token hơn Claude Code trên mọi bộ thử, và ít hơn Codex CLI trừ SWE-bench Verified.

Với người vibe code, cách dùng hợp lý là xem trang Harnesses như một gợi ý về chi phí. Nếu hai harness cho tỷ lệ giải việc gần nhau, bạn chọn theo thói quen làm việc và mức tiêu tốn. Cần nhớ đây là số liệu do GitHub tự đo và công bố; hãy đối chiếu với trải nghiệm trên chính dự án của bạn. Muốn chọn model trước, đọc thêm bài GPT-6.2 Astra và Sol trong Copilot: chọn model nào khi code.
Chi phí, quyền và giới hạn
Thông báo của GitHub không nêu giá riêng cho Copilot Evals. README cho biết những điểm sau, đủ để bạn tự lên kế hoạch:
- Mỗi lần chạy đều yêu cầu bạn xem chi phí token, credit trước khi duyệt.
- Script thiết lập, công cụ, grader tự viết và giám khảo AI có thể thực thi code và phát sinh phí, với quyền cục bộ bình thường của máy bạn.
- Một check đạt không bảo đảm AI sẽ làm đúng mọi lần.
- Telemetry bật mặc định; tắt bằng biến môi trường
COPILOT_EVALS_TELEMETRY=off,DO_NOT_TRACK=1hoặcOTEL_SDK_DISABLED=true. - Giấy phép là GitHub Limited Use Source License: mã nguồn công khai để xem, không phải phần mềm mã nguồn mở.
Ví dụ đặt biến tắt telemetry trước khi mở Copilot CLI:
# macOS, Linux
export COPILOT_EVALS_TELEMETRY=off
# Windows PowerShell
$env:COPILOT_EVALS_TELEMETRY = "off"
Lệnh trên chỉ có hiệu lực trong cửa sổ terminal hiện tại. Muốn giữ lâu dài, thêm dòng export vào file cấu hình shell như ~/.zshrc, hoặc đặt biến môi trường người dùng trên Windows.

Một lời khuyên thực tế: để eval trong cùng kho mã với skill và commit cả hai. Khi ai đó sửa skill, họ chạy lại eval trước khi gộp code, giống như chạy test. Nếu skill của bạn gọi nhiều công cụ MCP, nhớ rằng mỗi lần chạy cũng nạp các công cụ đó vào ngữ cảnh; bài MCP ngốn context window có cách đo và cắt gọn.
Hiểu lầm phổ biến
“Eval đạt nghĩa là agent luôn làm đúng”
Không. Chính README cảnh báo một check đạt không bảo đảm lần sau AI cũng đúng. Hãy chạy nhiều lượt (runs lớn hơn 1) và nhìn tỷ lệ đạt.
“Chạy eval không tốn gì”
Lưu eval và đọc kết quả không gọi model, nhưng mỗi lần chạy thì có. Bắt đầu với 1 đến 2 ca thử và số lượt nhỏ.
“Copilot Evals là mã nguồn mở”
Kho github/evals công khai nhưng dùng giấy phép Limited Use Source, khác với giấy phép mã nguồn mở như MIT.
“Trang Harnesses là bảng xếp hạng cuối cùng”
Trang chỉ so các cặp cùng model ở mức medium, loại cấu hình riêng của Copilot, và đang ở bản xem trước. Kết quả trên dự án thật của bạn mới là thước đo quyết định.

Câu hỏi thường gặp
Tài khoản Copilot Free có dùng được Copilot Evals không?
Thông báo chỉ nêu gói Copilot Individual, Business và Enterprise. Gói Free không được nhắc tới, nên bạn nên kiểm tra lại trong tài liệu khi cài.
Tôi dùng Claude Code, có cần Copilot Evals không?
Copilot Evals gắn với hệ sinh thái Copilot (VS Code, Copilot CLI, Copilot app). Tuy vậy skill theo chuẩn Agent Skills dùng được ở nhiều agent, nên một eval tốt vẫn giúp bạn giữ chất lượng skill dùng chung.
Có phải tự viết file eval.yaml không?
Không bắt buộc. /eval create sinh eval từ mô tả bằng lời của bạn. Đọc hiểu cấu trúc file giúp bạn sửa nhanh khi cần thêm ca thử.
Kết quả eval lưu ở đâu?
Trong thư mục .copilot/evals/results của dự án. Bạn xem lại bằng /eval review hoặc tab Results trong Canvas.
Trang Harnesses có số liệu cho Claude Opus 5.5 không?
Ảnh chụp chế độ Harnesses trên bộ DeepSWE 1.1 có các điểm cho Claude Opus 5.5, Sonnet 5.5, Haiku 5.5 và nhiều model GPT. Số liệu thay đổi theo bộ thử, nên hãy chọn đúng bộ benchmark gần với việc bạn làm.
Kết luận
Copilot Evals đưa thói quen kiểm thử, vốn quen thuộc với lập trình viên, vào thế giới skill, agent và MCP. Với người vibe code, chỉ cần một eval nhỏ cho skill quan trọng nhất là đã đủ để biết mỗi lần sửa prompt làm mọi thứ tốt lên hay tệ đi. Trang Harnesses thì cho thêm góc nhìn về chi phí khi chọn giữa Copilot CLI, Claude Code và Codex CLI, miễn là bạn đọc kèm các điều kiện so sánh.
Bạn đã thử viết eval cho skill nào chưa, kết quả có bất ngờ không? Chia sẻ ở phần bình luận và theo dõi mmo.vn để nhận thêm hướng dẫn lập trình AI cho người mới.
Nguồn tham khảo: GitHub Changelog (17/11/2026: “GitHub Copilot Evals is now in public preview” và “GitHub Copilot benchmarks site adds harness comparisons”); README kho github/evals; tài liệu Vally của Microsoft (Writing Eval Specs, Eval spec reference); GitHub Blog (25/06/2026) về hiệu năng harness của Copilot.


