Cách kiểm chứng tuyên bố "AI kiểm tra" của nhà cung cấp: Những câu hỏi không ai muốn bạn đặt ra

Đánh giá AI cần phương pháp, số mẫu, khoảng tin cậy, bên thực hiện và điều kiện sản phẩm. Báo riêng tỷ lệ phát hiện và loại nhầm ở cùng cài đặt. Thử lại với hàng, bao bì và tốc độ thực. Thiếu chứng cứ nghĩa là chưa đánh giá được cho dây chuyền của bạn, không chứng minh mọi hãng hay nghiên cứu đều thiếu xác nhận.

Hãy bắt đầu từ sản phẩm và tạp chất thay vì tên thuật toán. So sánh hệ thống kiểm tra thực phẩm bằng X-ray theo yêu cầu thử nghiệm và đọc Những gì máy X-quang KHÔNG phát hiện được: Hướng dẫn trung thực về giới hạn công nghệ trước khi xác định bộ mẫu và giới hạn chấp nhận.

Những con số nổi tiếng thực ra đến từ đâu

Con số như phát hiện 99,5% hay loại nhầm 0,2% chưa đầy đủ nếu thiếu mẫu số và điều kiện thử. Đây là ví dụ tuyên bố người mua có thể gặp, không phải hiệu năng đã xác nhận của MIQI hoặc cả ngành.

Báo cáo cần nêu nền sản phẩm, vật liệu và kích cỡ dị vật, số mẫu sạch và cấy, tốc độ, ngưỡng quyết định. Số liệu thiếu chi tiết có thể là gợi ý tìm hiểu, chưa phải tiêu chí nghiệm thu.

Nghiên cứu độc lập và thử của hãng trả lời câu hỏi khác nhau. Xem đối tượng thử và khả năng áp dụng cho bạn. Bài này không tuyên bố tổng quan mọi tài liệu hay không tồn tại xác nhận độc lập.

Nếu hãng cung cấp nghiên cứu, ghi bên tài trợ, thực hiện, bộ kiểm tra tách khỏi huấn luyện và cài đặt khóa trước thử. Bằng chứng do hãng tạo vẫn hữu ích khi phương pháp, giới hạn minh bạch.

Những ngộ nhận phổ biến vs. sự thật

Ngộ nhận 1: "AI" là một năng lực phát hiện

Không phải. AI là một lớp phân loại nằm trên một phép đo vật lý. Với X-quang, vật lý đi trước: máy chụp ảnh sự khác biệt về mật độ, và những gì đầu dò không phân giải được thì không mô hình nào khôi phục nổi. Một mạng nơ-ron có thể giúp bạn quyết định một vệt xám mập mờ là mảnh xương hay một nếp gấp của sản phẩm. Nó không thể tạo ra độ tương phản mà đầu dò chưa bao giờ thu được. Khi một nhà cung cấp trả lời câu hỏi vật lý bằng một câu trả lời về AI, đó là lúc bạn nên đạp phanh.

Ngộ nhận 2: Tỷ lệ phát hiện cao hơn thì đương nhiên tốt hơn

Tỷ lệ phát hiện và tỷ lệ loại nhầm luôn dịch chuyển cùng nhau. Bạn có thể đẩy tỷ lệ phát hiện lên trên bất kỳ hệ thống nào bằng cách nới lỏng ngưỡng — và bạn sẽ trả giá bằng hàng đạt chuẩn bị hất vào thùng loại. Bất kỳ tuyên bố độ chính xác nào được trích mà không kèm con số loại nhầm tương ứng, ở cùng một ngưỡng, trên cùng bộ mẫu, đều vô nghĩa. Luôn đòi cả cặp. Nếu nhà cung cấp chỉ đưa bạn một con số, họ đã chọn nửa đẹp mặt.

Ngộ nhận 3: Bài toán khó nằm ở mô hình

Zeegers và cộng sự nghiên cứu tạo nhãn X-quang từ CT. Kết quả dùng dưới mười vật đại diện thuộc quy trình thử đó, không phải yêu cầu dữ liệu huấn luyện chung cho kiểm tra thực phẩm. Hỏi cách lập ground truth và tách mẫu đánh giá khỏi huấn luyện.

Ngộ nhận 4: Demo thành công dự báo được hiệu năng trên dây chuyền

Một buổi demo chạy trên mẫu do nhà cung cấp chọn, ở tốc độ do nhà cung cấp đặt, với dị vật do nhà cung cấp cài vào một vị trí đã biết, chỉ cho bạn biết rằng máy chạy được. Nó gần như không nói gì về tỷ lệ phát hiện trên sản phẩm của bạn ở sản lượng của bạn. Demo là bộ lọc để loại những nhà cung cấp kém ra mặt, không phải là một phép kiểm chứng.

Ngộ nhận 5: Độ nhạy cao hơn thắng được công nghệ đúng

Phần cứng đầu dò cũng quan trọng. Trang X56 DXD+ của METTLER TOLEDO mô tả hệ thống X-quang năng lượng kép. Nguồn hãng hỗ trợ thảo luận lựa chọn phần cứng, không xác nhận độc lập tỷ lệ phát hiện hay hiệu năng MIQI. Thử dị vật thực trong sản phẩm dự kiến.

Hướng đi thực sự của công nghệ trông ra sao

Có hai điều đáng biết để bạn có thể tiến hành một cuộc trao đổi kỹ thuật thay vì một cuộc chào bán.

Tài liệu IX-PD Ishida mô tả đầu dò năng lượng kép chuyển đổi trực tiếp. So sánh phần cứng theo cấu hình hãng nêu; không gán thuật toán hay mức cải thiện cho một mẫu thiếu chứng cứ riêng.

Trên dây chuyền, độ trễ suy luận và thời gian kích hoạt bộ loại là câu hỏi nghiệm thu thiết thực. Hỏi thời gian phản hồi và thử chuỗi phát hiện-theo dõi-loại ở năng suất dự kiến, kể cả lỗi truyền thông hay nguồn.

Danh sách kiểm chứng: những câu hỏi cần đưa vào văn bản

Hãy in phần này ra. Gửi nó kèm hồ sơ yêu cầu báo giá của bạn. Việc nhà cung cấp có sẵn lòng trả lời hay không tự nó đã là một dữ liệu — có thể là dữ liệu hữu ích nhất bạn thu được.

Về bản thân con số

1. Con số độ chính xác của quý công ty đo chính xác cái gì — tỷ lệ phát hiện, tỷ lệ loại nhầm, hay trộn cả hai? Hãy nêu cả hai, ở cùng một ngưỡng. 2. Cỡ mẫu là bao nhiêu? 3. Khoảng tin cậy là bao nhiêu, và ở mức tin cậy nào? 4. Ai chạy thử nghiệm: quý công ty, khách hàng, hay một bên thứ ba độc lập? Chúng tôi có được xem báo cáo không? 5. Đo trên sản phẩm nào, bao bì nào, tốc độ dây chuyền nào? 6. Kết quả này đã được tái lập trên bao nhiêu dây chuyền sản xuất khác nhau?

Về riêng phần AI

7. AI đang làm gì — phân loại ảnh, xác định ngưỡng, tái tạo ảnh, hay ra quyết định loại bỏ? Hãy chỉ đích danh bước đó. 8. Dữ liệu huấn luyện của quý công ty từ đâu ra, và ground truth được thiết lập thế nào: gán nhãn thủ công, hay phương pháp dựa trên dựng hình? 9. Bao nhiêu ảnh, và bao nhiêu loại dị vật khác nhau? 10. Điều gì xảy ra khi chúng tôi đổi công thức sản phẩm hoặc bao bì — mô hình có cần huấn luyện lại không, ai làm, mất bao lâu, và chi phí bao nhiêu? 11. Mô hình chạy tại chỗ hay trên đám mây? Nếu trên đám mây, dây chuyền hành xử thế nào khi mất kết nối? 12. Độ trễ suy luận ở tốc độ dây chuyền chúng tôi nêu là bao nhiêu, và trần thông lượng ở đâu?

Về trách nhiệm

13. Quý công ty có sẵn sàng ghi hiệu năng phát hiện trên sản phẩm của chúng tôi vào hợp đồng như một tiêu chí nghiệm thu, thử trên mẫu của chúng tôi tại nhà máy của chúng tôi không? 14. Chế tài khắc phục của quý công ty là gì nếu sau lắp đặt không đạt hiệu năng đã cam kết? 15. Ai sở hữu mô hình đã huấn luyện và các hình ảnh sinh ra từ dây chuyền của chúng tôi? 16. Máy này thực sự đang giữ những chứng nhận nào, và chúng tôi có được xem số hiệu chứng chỉ không — chứ không phải cái logo in trên tờ rơi?

Ghi hiệu năng, mẫu, điều kiện và biện pháp khắc phục đã thống nhất vào hồ sơ nghiệm thu. So sánh dựa trên điều mỗi nhà cung cấp chứng minh được cho ứng dụng cụ thể.

Cách tự chạy thử nghiệm

Bạn không cần phòng thí nghiệm để làm tốt hơn một buổi demo của nhà cung cấp. Bạn cần kỷ luật.

Dùng bộ mẫu được kiểm soát với sản phẩm, bao bì, khối lượng và loại tạp chất liên quan ở nhiều vị trí. Nhận diện, kiểm soát và cách ly mẫu gài tạp khỏi hàng bán theo quy trình được duyệt. Thêm sản phẩm sạch để đo loại nhầm, chạy tốc độ thực và thử mù khi an toàn. Ghi kết quả cùng cỡ mẫu, điều kiện và khoảng tin cậy phù hợp. Hai mươi lần thử là quan sát, không chứng minh tỷ lệ phát hiện phổ quát với độ tin cậy cao.

Làm việc này một lần cho tử tế, bạn sẽ hiểu về hiệu năng thật của cỗ máy nhiều hơn bất kỳ con số công bố nào có thể nói cho bạn.

Lập trường của MIQI, nói thẳng

Chúng tôi chế tạo thiết bị X-quang và dò kim loại, nên chúng tôi có lợi ích trong chuyện này. Chúng tôi sẽ nói thẳng lập trường của mình thay vì giả vờ trung lập.

Dòng MQ-XR của chúng tôi là máy kiểm tra dị vật bằng X-quang cấu hình tiêu chuẩn cho sản phẩm đóng túi, và MQ-XR-P là biến thể độ chính xác cao. Dòng máy dò kim loại MQ-MD-C có cả cấu hình tiêu chuẩn và cấu hình đặt riêng phi tiêu chuẩn. Chúng tôi là nhà máy gốc, và chúng tôi hỗ trợ thử mẫu miễn phí — hãy gửi cho chúng tôi sản phẩm thật và dị vật thật của bạn, chúng tôi sẽ chạy thử và gửi lại kết quả cho bạn, bao gồm cả những lần không phát hiện được. Đề nghị đó tồn tại chính vì tất cả những gì nói ở trên: con số độ chính xác duy nhất có giá trị với bạn là con số đo trên sản phẩm của bạn.

Có hai điều chúng tôi sẽ không làm. Chúng tôi sẽ không báo cho bạn một tỷ lệ phần trăm độ chính xác AI mà chúng tôi không thể chứng minh bằng phương pháp thử, cỡ mẫu và khoảng tin cậy. Và chúng tôi sẽ không ám chỉ những chứng nhận mà chúng tôi không có: MIQI hiện chưa có chứng nhận CE hay ISO 9001. Nếu tình trạng chứng nhận của nhà cung cấp là quan trọng với quy định mua hàng của bạn, bạn nên yêu cầu mọi nhà cung cấp cung cấp số hiệu chứng chỉ và tự kiểm chứng độc lập — kể cả với chúng tôi. Một nhà cung cấp nói với bạn điều khó nghe trước khi ký thì nhiều khả năng cũng sẽ nói điều khó nghe sau khi ký.

Hãy nói chuyện với một kỹ sư, không phải một nhân viên bán hàng. WhatsApp +86 152 1890 9599 hoặc email 897874196@qq.com. Gửi cho chúng tôi thông số sản phẩm, tốc độ dây chuyền, và loại dị vật bạn thực sự lo lắng, chúng tôi sẽ nói thật với bạn rằng X-quang, dò kim loại, hay kết hợp cả hai mới là câu trả lời đúng — kể cả khi câu trả lời là chẳng cái nào trong số đó giải quyết được vấn đề của bạn.