property-based-testing

Tổng quan về skill property-based-testing

Skill này dùng để làm gì

Skill property-based-testing giúp bạn viết, review và cải thiện các bài test dựa trên thuộc tính khi test theo ví dụ không còn đủ để tạo niềm tin. Skill này đặc biệt hữu ích cho property-based-testing skill khi bạn cần kiểm tra roundtrip, invariant, parser, validator, bộ chuẩn hoá, logic sắp xếp, hoặc các quy tắc trạng thái của smart contract.

Ai hưởng lợi nhiều nhất

Phù hợp nhất với: kỹ sư làm việc trong các ngôn ngữ có thư viện PBT trưởng thành, reviewer đang kiểm tra những bộ test yếu, và developer thiết kế tính năng nên được đặc tả trước dưới dạng thuộc tính. Nếu bạn đang cân nhắc có nên cài property-based-testing hay không, câu hỏi mấu chốt là: code của bạn có cấu trúc có thể tái sử dụng, phép biến đổi có thể đảo ngược, hay các quy tắc cần đúng trên nhiều đầu vào khác nhau không.

Điểm khác biệt

Khác với một prompt test tổng quát, skill này được tổ chức quanh việc phát hiện vấn đề, chọn thuộc tính, thiết kế strategy, và diễn giải lỗi. Điều đó quan trọng vì rào cản lớn nhất khi áp dụng không phải cú pháp; mà là chọn được một thuộc tính hữu ích và sinh input hợp lệ mà không lọc quá tay. Skill này cũng đủ rộng để dùng cho property-based-testing for Skill Testing trên nhiều hệ sinh thái, bao gồm cả smart contract.

Cách dùng skill property-based-testing

Cài đặt và nạp đúng ngữ cảnh

Cài bằng npx skills add trailofbits/skills --skill property-based-testing, rồi mở SKILL.md trước tiên. Để quyết định nhanh hơn, hãy đọc thêm README.md và các file tham chiếu liên quan nhất tới nhiệm vụ của bạn: references/generating.md, references/reviewing.md, và references/interpreting-failures.md.

Biến ý tưởng sơ bộ thành prompt dùng được

Một prompt property-based-testing usage tốt nên nêu rõ đích đến, thao tác, và cam kết bạn quan tâm. Đầu vào tốt hơn: “Thêm PBT cho decode(encode(x)) trên serializer này, với đầu vào chỉ nằm trong giới hạn UTF-8 hợp lệ và kích thước cho phép.” Đầu vào kém hơn: “Viết property tests cho module này.” Câu đầu cho skill một thuộc tính thật, ranh giới miền hợp lệ rõ ràng, và hình dạng đầu ra cụ thể.

Cần cung cấp gì trong yêu cầu của bạn

Hãy bao gồm ngôn ngữ, test library, chữ ký hàm, các invariant đã biết, hành vi khi input không hợp lệ, và mọi ví dụ hoặc spec liên quan. Nếu bạn đang dùng property-based-testing guide để review, hãy dán test hiện tại vào và nói rõ bạn muốn tìm bug, refactor, hay audit chất lượng. Nếu code có luồng parsing hoặc validation, hãy nói rõ điều gì phải xảy ra với dữ liệu lỗi; điều đó giúp tránh các test mơ hồ và tránh lạm dụng assume().

Quy trình khuyến nghị

Hãy bắt đầu bằng cách ánh xạ code sang một loại thuộc tính: roundtrip, idempotence, invariant, ordering, hoặc oracle. Sau đó thiết kế strategy để sinh input hợp lệ ngay từ đầu, thay vì lọc mạnh tay. Cuối cùng, hãy diễn giải các failure theo references/interpreting-failures.md trước khi xem chúng là bug. Với smart contract, hãy kiểm tra các ghi chú riêng cho EVM và giữ mô hình trạng thái thật rõ ràng.

Câu hỏi thường gặp về skill property-based-testing

property-based-testing có thay thế test thông thường không?

Không. Skill này hữu ích nhất ở nơi các ví dụ thông thường bỏ sót edge case, hoặc khi một thuộc tính có thể bao phủ nhiều hành vi. Hãy giữ example tests cho các regression hẹp và dùng property-based-testing khi một quy tắc tổng quát rõ ràng hơn nhiều case rời rạc.

Guide property-based-testing này có thân thiện với người mới không?

Có, nếu hành vi mục tiêu đơn giản và thuộc tính hiển nhiên, chẳng hạn như kiểm tra roundtrip hoặc idempotence. Nó khó hơn khi spec còn mơ hồ, vì PBT cần một hợp đồng rõ ràng trước khi generator trở nên hữu ích.

Khi nào tôi không nên dùng skill này?

Đừng ưu tiên nó trước tiên khi hành vi chủ yếu do UI điều khiển, quá ngẫu nhiên, hoặc không thể diễn đạt thành một thuộc tính ổn định. Nó cũng không phù hợp lắm khi oracle duy nhất là một chuỗi tái triển khai dài chỉ lặp lại code production.

Nó có phù hợp với ngôn ngữ hoặc framework của tôi không?

Skill này hỗ trợ nhiều hệ sinh thái, bao gồm Hypothesis, fast-check, proptest, jqwik, ScalaCheck, FsCheck, StreamData, QuickCheck, và các smart contract fuzzer như Echidna và Medusa. Nếu stack của bạn nằm ngoài danh sách này, phương pháp nền tảng vẫn hữu ích, nhưng bạn có thể phải điều chỉnh cú pháp test và API strategy.

Cách cải thiện skill property-based-testing

Đưa ra thuộc tính mạnh nhất, không chỉ nêu đích đến

Kết quả tốt nhất đến từ việc mô tả đúng cam kết cần kiểm tra. Ví dụ: “normalize(normalize(x)) == normalize(x) với chuỗi Unicode” tốt hơn nhiều so với “test normalize.” Skill property-based-testing làm tốt hơn khi thuộc tính cụ thể, có thể bị phản ví dụ hóa, và gắn với một hợp đồng đã biết.

Chia sẻ các ràng buộc định hình generator

Các lỗi thường gặp là input không hợp lệ, strategy bị lọc quá nhiều, và thuộc tính quá yếu nên không bắt được bug thật. Hãy nâng chất lượng đầu ra bằng cách nêu rõ khoảng giá trị chấp nhận được, quy tắc định dạng, giới hạn kích thước, và việc có kỳ vọng ngoại lệ hay không. Nếu thuộc tính chỉ nên đúng sau khi validation, hãy nói thẳng điều đó.

Lặp lại từ các ví dụ thất bại

Khi test đầu tiên fail, đừng chỉ yêu cầu sửa. Hãy cung cấp counterexample đã được thu gọn, quy tắc dự định, và mọi tài liệu mô tả hành vi ở edge case. Như vậy skill có thể tách bug thật khỏi thuộc tính sai, đồng thời tạo ra test vòng hai hoặc gợi ý refactor mạnh hơn.