Tiêu chuẩn quốc gia TCVN 8702:2011 về Công nghệ thông tin - Chất lượng sản phẩm phần mềm - Phần 1: Các phép đánh giá ngoài

Các phép đánh giá tính phù hợp ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tính đầy đủ chức năng

Các chức năng được đánh giá được đáp ứng đầy đủ như thế nào?

So sánh số lượngcác chức năng thựchiện các nhiệm vụxác định và số lượng các chức năng được đánh giá

X = 1 - A/B

A= Số lượng các chức năng có lỗi phát hiện khi đánh giá

B= Số lượng các chức năng được đánh giá

0<=X<=1

Càng gần 1.0 thì càng được thỏa mãn

Tuyệt đối

X = Số đếm/Số đếm

A = Số đếm

B= Số đếm

Đặc tả yêu cầu

Báo cáo đánh giá

6.5 Xác nhận

6.3 Đảm bảo chất lượng

5.3 Kiểm tra chất lượng

Người phát triển

SQA

Tính hoàn thiện của triển khai chức năng

Việc triển khai chức năng đối với các đặc tả yêu cầu được hoàn thiện như thế nào?

Thực hiện các kiểm tra chức năng (Kiểm tra kiểu hộp đen) của hệ thống theo các đặc tả yêu cầu.

Đếm số lượng các chức năng bị thiếu được phát hiện trong quá trình đánh giá và so sánh với số lượng các chức năng được mô tả trong đặc tả yêu cầu.

X = 1 - A/B

A = Số lượng các chức năng bị thiếu được phát hiện trong quá trình đánh giá

B = Số lượng các chức năng được mô tả trong đặc tả yêu cầu

0<=X<=1

Càng gần 1 càng tốt.

Tuyệt đối

A = Số đếm

B= Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Báo cáo đánh giá

6.5 Xác nhận

6.3 Đảm bảo chất lượng

5.3 Kiểm tra chất lượng

Người phát triển

SQA

CHÚ THÍCH:

1. Đầu vào quá trình đánh giá là đặc tả yêu cầu cập nhật. Bất kỳ thay đổi nào được xác định trong vòng đời phải được áp dụng cho các đặc tả yêu cầu trước khi sử dụng trong quá trình đo.

2. Phép đánh giá này được đề xuất như một sử dụng thực nghiệm.

CHÚ THÍCH: Bất cứ chức năng bị thiếu nào cũng không thể kiểm tra bằng các phép đánh giá bởivì nó không được thực hiện.Để phát hiện chức năng bị thiếu, chúng ta đề xuất rằng mỗi chức năng được ghi trong chức năng yêu cầu đượckiểm tra lần lượt trong quá trình đánh giá chức năng. Các kết quả như vậy trở thành đầu vào cho phép đánh giá "Tính hoàn thiện triển khai chức năng". Đối với các chức năng được thực hiện nhưng không đầy đủ phát hiện được, thì đềxuất rằng mỗi chức năng được kiểm tra cho nhiều nhiệm vụ đặc tả.Các kết quả này trởthành đầu vào cho phép đánhgiá "Tính đầy đủ chức năng'. Do đó, các người sử dụng các phép đánh giá được đề nghị sẽ sử dụng cả hai phép đánhgiá trong quá trình đánh giá chức năng.

Mức độbao phủ củatriểnkhaichứcnăng

Việctriểnkhaichứcnăngchínhxác đếnmứcnào?

Thực hiện các bài kiểm tra chức năng (kiểm tra kiểu hộp đen) của hệ thống theo các đặc tả yêu cầu.

Tính toán số lượng các chức năng thực hiện không đúng hoặc bị thiếu được phát hiện trong quá trình đánh giá và so sánh với số lượng các chức năng được mô tả trong đặc tả yêu cầu. Đếm số các chức năng hoàn thành và các chức năng không hoàn thành

X=1- A/B

A= Số lượng các chức năng triển khai không đúng hoặc chức năng bị thiếu được phát hiện trong quá trình đánh giá.

B= Số lượng các chức năng được mô tả trong đặc tả yêu cầu

0<=X<=1

Càng gần 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Báo cáo đánh giá

6.5 Xác nhận

6.3 Đảm bảo chất lượng

5.3 Kiểm tra chất lượng

Người phát triển

SQA

CHÚ THÍCH:

1. Đầu vào quá trình đánh giá là đặc tả yêu cầu cập nhật. Bất kỳ thay đổi nào được xác định trong vòng đời phải đượcáp dụng cho các đặc tả yêu cầu trước khi sử dụng trong quá trình đo.

2. Phép đo này biểu diễn kiểm tra cổng nhị phân của việc xác định sự hiện diện của đặc trưng

Tính ổn định đặc tính chức năng (tính không ổn định)

Các đặc tính chức năng ổn định như thế nào sau khi đi vào hoạt động

Đếm sốlượngcácchứcnăng được mô tả trong đặc tính chức năng bị thay đổi sau khi hệ thống đi vào hoạt động và so sánh với tổng số lượng các chức năng được mô tả trong đặc tả yêu cầu

X=1- A/B

A= Số lượng các chức năng bị thay đổi khi đi vào hoạt động bắt đầu từ khi hoạt động

B = Số lượng chức năng được mô tả trong đặc tả yêu cầu

0<=X<=1

X Càng gần 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Kích cỡ

Đặc tả yêu cầu

Báo cáo đánh giá

6.8 Giải quyết vấn đề

5.4 Vận hành

Người phát triển

SQA

CHÚ THÍCH: Phép đánh giá này được đề xuất như một sử dụng thực nghiệm

Các phép đánh giá tính chính xácngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Độ chính xác mong đợi

Sự khác nhau giữa các kết quả thực và các kết quả mong đợi hợp lý có chấp nhận được không?

Thực hiện các trường hợp kiểm tra chuẩn đầu vào và đầu ra với các kết quả mong đợi hợp lý.

Đếm số trường hợp bắt gặp bởi người sử dụng với sự khác biệt không thể chấp nhận được với các kết quả mong đợi hợp lý

X = A/T

A = Số trường hợp bắt gặp bởi người sử dụng mà khác biệt với kết quả mong đợi lớn hơn giới hạn cho phép

T = Thời gian thực hiện

0<=X

Càng gần bằng 0 càng tốt

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

Đặc tả yêu cầu

Hướng dẫn sử dụng

Ý kiến sử dụng

Báo cáo kiểm tra

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người sử dụng

CHÚ THÍCH: Các kết quả mong đợi hợp lý có thể được xác định trong đặc tả yêu cầu, hướng dẫn sử dụng, hoặc là giátrị mong muốn của người sử dụng.

Độ chính xác tính toán

Người sử dụng cuối thường gặp phải các kết quả không chính xác như thế nào?

Ghi nhận số lượng các tính toán không chính xác dựa trên các đặc tính

X = A/T

A = Số các tính toán không chính xác người sử dụng gặp phải

T = Thời gian thực hiện

0<=X

X càng gần 0 càng tốt

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

Đặc tả yêu cầu

Báo cáo kiểm tra

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người sử dụng

Độ chính xác

Người sử dụng cuối thường gặp phải các kết quả với độ chính xác không thỏa mãn như thế nào?

Ghi nhận số lượng các kết quả với độ chính xác không thỏa mãn

X = A/T

A = Số các kết quả người sử dụng gặp phải với độ chính xác khác với yêu cầu

T = Thời gian thực hiện

0<=X

X càng gần 0 càng tốt

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

Đặc tả yêu cầu

Báo cáo kiểm tra

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người sử dụng

CHÚ THÍCH: Các thành phần dữ liệu cho tính toán của các phép đánh giá ngoài được thiết kế sử dụng thông tin có thể truy cập từ ngoài, vì rằng như vậy sẽ thuận tiện cho người sử dụng cuối, các nhà khai thác, người bảo trì hoặc người mua hàng sửdụng các phép đo ngoài. Do đó, phép đo trên cơ sở thời gian sẽ thường xuất hiện trong các phép đánh giá ngoài và nó sẽ khác với các phép đánh giá trong.

Các phép đánh giá khả năng tương tácngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng trao đổi dữ liệu (Dựa trên định dạng dữ liệu)

Các chức năng giao diện trao đổi cho dữ liệu xác định chuyển giữa các hoạt động được thực hiện chính xác như thế nào?

Kiểm tra mỗi định dạng bản ghi đầu ra của chức năng giao diện đường xuống của hệ thống theo các đặc tính trường dữ liệu.

Đếm số định dạng dữ liệu được chấp thuận để trao đổi với phần mềm hoặc hệ thống khác trong quá trình kiểm tra trao đổi dữ liệu so với tổng số.

X = A/B

A = Số lượng định dạng dữ liệu được chấp thuận trao đổi thành công với phần mềm hệ thống khác trong quá trình kiểm tra trao đổi dữ liệu.

B = Tổng số định dạng dữ liệu được trao đổi

0<=X<=1

X càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu (Hướng dẫn sử dụng)

Báo cáo kiểm tra

6.5 Xác nhận

Người phát triển

CHÚ THÍCH: Khuyến nghị kiểm tra thực hiện dữ liệu xác định.

Khả năng trao đổi dữ liệu (Dựa vào cố gắng thực hiện thành công của người sử dụng)

Người sử dụng thường trao đổi dữ liệu thất bại giữa phần mềm đích và phần mềm khác như thế nào?

Truyền dữ liệu giữa phần mềm đích và phần mềm khác thường thành công như thế nào?

Liệu người sử dụng có thường thành công trong trao đổi dữ liệu không

Đếm số trường hợp chức năng giao diện được sử dụng và bị lỗi.

a) X = 1 - A/B

A = Số trường hợp người sử dụng thất bại khi truyền dữ liệu với phần mềm hoặc hệ thống khác

B = Số trường hợp người sử dụng cố gắng trao đổi dữ liệu

b) Y = A/T

T = Khoảng thời gian thực hiện

0<=X<=1

Càng gần bằng 1.0 càng tốt

0<=Y

Càng gần bằng 0 càng tốt

a) Tuyệt đối

b) Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Y = Số đếm/Thời gian

T = Thời gian

Đặc tả yêu cầu (Hướng dẫn sử dụng)

Báo cáo kiểm tra

5.4 Vận hành

Người bảo trì

Các phép đánh giá tính an toàn ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng kiểm toán truy cập

Theo dõi kiểm toán truy cập liên quan đến truy cập của người sử dụng vào hệ thống và dữ liệu được hoàn thành như thế nào?

Đánh giá lượng truy cập được hệ thống ghi lại trong cơ sở dữ liệu lược sử truy cập.

X = A/B

A = Số lượng "người sử dụng truy cập vào hệ thống và dữ liệu" được ghi trong cơ sở dữ liệu lược sử truy cập

B = Số lượng "người sử dụng truy cập vào hệ thống và dữ liệu" được thực hiện trong quá trình đánh giá

0<=X<=1

Càng gần 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Báo cáo kiểm tra

6.5 Xác nhận

Người phát triển

CHÚ THÍCH:

1 Các truy nhập vào dữ liệu có thể được đo chỉ với các hoạt động kiểm tra.

2. Đánh giá này được đề xuất như một sử dụng thực nghiệm.

3. Khuyến nghị việc kiểm tra xâm nhập nên được thực hiện để mô phỏng các tấn công, vì các tấn công an toàn như vậycó thể không xảy ra trong quá trình kiểm tra thông thường. Các đánh giá an toàn thực tế có thể chỉ được thực hiện trong “môi trường hệ thống thực tế", nó chính là “chất lượng sử dụng".

4. Bản ghi "truy cập của người sử dụng vào hệ thống và dữ liệu” có thể bao gồm “bản ghi phát hiện virus’ cho việc bảo vệ virus. Mục đích của khái niệm bảo vệ virus là tạo ra các bảo vệ hợp lý mà với chúng sự xuất hiện của các virus máy tính có thể được ngăn chặn hoặc phát hiện càng sớm càng tốt.

Ngăn chặn sai lạc dữ liệu

Tuần sát của các sự kiện sai lạc dữ liệu là bao nhiêu?

Đếm sự xuất hiện của các sự kiện sai lạc dữ liệu lớn và nhỏ

a) X = 1 -A/N

A = Số lần sự kiện sai lạc dữ liệu lớn xảy ra

N = Số trường hợp kiểm tra chuẩn cố gắng gây ra sai lạc dữ liệu

b) Y = 1 - B/N

B = Số lần sự kiện sai lạc dữ liệu nhỏ xảy ra

c) Z = A/T hoặc B/T

T = Khoảng thời gian thực hiện (trong quá trình kiểm tra)

0<=X<=1

Càng gần bằng 1.0 càng tốt

0<=Y<=1

Càng gần bằng 1.0 càng tốt

0<=Z

Càng gần bằng 0 càng tốt

a) Tuyệt đối

b) Tuyệt đối

c) Tỷ lệ

T = Thời gian

Z = Số đếm/Thời gian

Đặc tả kiểm tra

Báo cáo kiểm tra

Báo cáo thực hiện

6.5 Xác nhận

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người bảo trì

Người phát triển

CHÚ THÍCH:

1. Cần quá trình kiểm tra thực hiện khác thường chuyên sâu để đạt được các sự kiện sai lạc dữ liệu lớn và nhỏ.

2. Khuyến nghị phân cấp tác động của các sự kiện sai lạc dữ liệu như các ví dụ sau:

Sự kiện sai lạc dữ liệu lớn (tai họa):

• Không thể sao chép lại và hồi phục lại;

• Phân loại sai lệch thứ hai quá rộng;

• Tính quan trọng của bản thân dữ liệu.

Sự kiện sai lạc dữ liệu nhỏ:

• Không thể sao chép lại và hồi phục lại và;

• Không có phân loại sai lệch thứ hai;

• Tính quan trọng của bản thân dữliệu.

3. Các thành phần dữ liệu cho tính toán đánh giá ngoài được thiết kế sử dụng thông tin truy cập từ ngoài, vì rằng nó sẽ thuận tiện cho người sử dụng cuối, các nhà khai thác, bảo trì hay người mua sản phẩm sử dụng các đánh giá ngoài. Do đó, các sự kiện đếm và số lần sử dụng ở đây khác so với đánh giá trong tương ứng.

4. Khuyến nghị rằng các bài kiểm tra thâm nhập được thực hiện để mô phỏng các tấn công, vì rằng các tấn công an toàn như vậy không thường xuất hiện trong các quá trình kiểm tra thông thường. Các phép đánh giá an toàn thực tế chỉđược thực hiện trong "môi trường hệ thống thực", chính là"chất lượng sử dụng”.

5. Phép đánh giá này được đề xuất như một sử dụng thực nghiệm.

6. Dự phòng dữ liệu là một trong những phương pháp ngăn chặn sai lạc dữ liệu. Việc tạo ra dự phòng đảm bảo dữ liệu cần thiết có thể được lưu trữ nhanh chóng trong khi một phần của dữ liệu đang sử dụng bị mất. Tuy nhiên, dự phòng dữ liệu chỉ liên quan như một phần của toàn bộ các phép đánh giá tính tin cậy trong tài liệu này.

7. Đề xuất phép đánh giá này được sử dụng thực nghiệm.

Các phép đánh giá tuân thủ của tính năng ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tuân thủ của tính năng

Tính năng của sản phẩm tuân thủ quy định, tiêu chuẩn, quy ước áp dụng như thế nào?

Đếm số điều khoản yêu cầu tuân thủ đã được đáp ứng và so sánh với điều khoản yêu cầu tuân thủ trong đặc tả. Thiết kế các bài kiểm tra tương ứng với các điều khoản tuân thủ.

Thực hiện quá trình kiểm tra chức năng cho các bài kiểm tra này.

Đếm số điều khoản tuân thủ đã được thỏa mãn.

X = 1 - A/B

A = Số các điều khoản chức năng chưa được thực hiện trong quá trình kiểm tra

B = Tổng số điều khoản tuân thủ tính năng được xác định

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, quy ước, hoặc quy định liên quan

Đặc tả và báo cáo kiểm tra

5.3 Kiểm tra chất lượng

6.5 Xác nhận

Người cung cấp

Người sử dụng

CHÚ THÍCH:

1. Có thể là có ích nếu như thu thập các giá trị đo được theo thời gian, để phân tích xu hướng gia tăng các điều khoảntuân thủ thỏa mãn hay không.

2. Đề xuất nên đếm số các lỗi, vì rằng việc phát hiện vấn đề là mục tiêu của quá trình kiểm tra có hiệu quả và nó cũng thích hợp cho quá trình đếm và ghi nhận.

Tuân thủ tiêu chuẩn giao nhận

Các giao diện tuân thủ các quy định, tiêu chuẩn và quy ước áp dụng như thế nào?

Đếm số giao diện đáp ứng điều kiện tuân thủ yêu cầu và so sánh với số với số giao diện yêu cầu tuân thủ như trong đặc tả.

CHÚ THÍCH: Tất cả các thuộc tính xác định của tiêu chuẩn phải được kiểm tra.

X = A/B

A = Số lượng giao diện được triển khai chính xác như đã xác định

B = Tổng số giao diện yêu cầu tuân thủ

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm theo tính tuân thủ và các tiêu chuẩn, quy ước, hoặc quy định

Đặc tả và báo cáo kiểm tra

6.5 Xác nhận

Người phát triển

Các phép đánh giá tính kỹ lưỡng ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Ước lượng mật độ lỗi tiềm tàng

Có bao nhiêu vấn đề vẫn tồn tại có thể xảy ra như các lỗi tương lai?

Đếm số lượng các lỗi được phát hiện trong giai đoạn thử nghiệm xác định và dự báo số lượng tiềm tàng các lỗi tương lai sử dụng mô hình ước lượng tăng tính tin cậy

X = {ABS(A1-A2)}/B

(X = Mật độ lỗi tiềm tàng còn lại được ước lượng)

ABS()= Giá trị tuyệt đối

A1= Số lượng tổng các lỗi tiềm tàng được dự báo trong sản phẩm phần mềm

A2= Tổng số lỗi phát hiện được trong thực tế

B= Kích cỡ sản phẩm

0<=X

Phụ thuộc vào giai đoạn kiểm tra.

Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt

Tuyệt đối

A1 = Số đếm

A2 = Số đếm

B = Kích thước

X = Số đếm/Kích thước

Báo cáo kiểm tra

Báo cáo khai thác

Báo cáo các vấn đề

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người kiểm tra

SQA

Người sử dụng

CHÚ THÍCH:

1. Khi tổng số các lỗi phát hiện được thực tế lớn hơn tổng số lỗi tiềm tàng dự báo, thì khuyến nghị dự báo lại và ướclượng số lớn hơn. Các số được ước lượng lớn hơn được dự định để dự báo các lỗi tiềm tàng hợp lý, nhưng không làmcho sản phẩm tốt hơn.

2. Khuyến nghị sử dụng một số các mô hình ước lượng tăng tính tin cậy và chọn mô hình thích hợp nhất và lặp lại dự báo với các lỗi phát hiện được giám sát.

3. Sẽ có ích nếu dự báo giới hạn trên và dưới của các lỗi tiềm tàng.

4. Cần phải chuyển đổi giá trị (X) vào đoạn <0,1> nếu thực hiện tổng kết các đặc trưng.

Mật độ lỗi đối chiếu với các trường hợp kiểm tra chuẩn

Có bao nhiêu lỗi được phát hiện trong giai đoạn thử nghiệm xác định?

Đếm số lượng các lỗi được phát hiện và số các trường hợp kiểm tra chuẩn được thực hiện

X = A1/A2

A1 = Số lượng các lỗi được phát hiện

A2 = Số lượng các trường hợp kiểm tra chuẩn được thực hiện

0<=X

Phụ thuộc vào giai đoạn kiểm tra.

Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt.

Tuyệt đối

A1 = Số đếm

A2 = Số đếm

B = Kích thước

X = Số đếm/Kích thước

Báo cáo kiểm tra

Báo cáo khai thác

Báo cáo các vấn đề

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Khai thác

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người kiểm tra

SQA

CHÚ THÍCH:

1. Càng lớn càng tốt trong các giai đoạn đầu của quá trình kiểm tra. Ngược lại, càng bé càng tốt trong các giai đoạn sau của quá trình kiểm tra hoặc vận hành. Khuyến nghị giám sát xu hướng của phép đo này theo thời gian.

2. Phép đánh giá này phụ thuộc vào sự đầy đủ của các trường hợp kiểm tra chuẩn sao cho chúng phải được thiết kếbao hàm các trường hợp thích hợp, tức là các trường hợp bình thường, ngoại lệvà không bình thường.

3. Cần phải chuyển đổi giá trị (X) vào đoạn <0,1> nếu thực hiện tổng kết các đặc trưng.

Giải quyết lỗi

Có bao nhiêu trường hợp lỗi được giải quyết?

Đếm số lượng các lỗi không xuất hiện lại trong giai đoạn thử nghiệm xác định dưới các điều kiện tương tự nhau.

Duy trì báo cáo giải quyết các vấn đề mô tả tình trạng của tất cả các lỗi.

X = A1/A2

A1 = Số lượng các lỗi được giải quyết

A2 = Tổng số các lỗi được phát hiện trong thực tế

0<=X<=1

Càng tiến tới 1.0 càng tốt, vì càng có nhiều lỗi được giải quyết.

Tuyệt đối

A1 = Số đếm

A2 = Số đếm

A3 = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành (kiểm tra)

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

SQA

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị giám sát xu hướng khi sử dụng phép đo này.

2. Tổng số lỗi tiềm tàng dự báo có thể được ước lượng sử dụng các mô hình tăng tính tin cậy được điều chỉnh với dữliệu quá khứ thực tế liên quan với sản phẩm phần mềm tương tự. Trong trường hợp như vậy, số lượng của các lỗi thực tế và dự báo có thể so sánh được và số lượng lỗi chưa được giải quyết còn lại có thể đo được.

Mật độ lỗi

Có bao nhiêu lỗi được phát hiện trong giai đoạn thử nghiệm xác định?

Đếm số lượng các lỗi được phát hiện và tính toán mật độ.

X = A/B

A1 = Số lượng các lỗi được phát hiện

B = Kích thước sản phẩm

0<=X

Phụ thuộc vào giai đoạn kiểm thử.

Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt.

Tuyệt đối

A = Số đếm

B = Kích thước

X = Số đếm/Kích thước

Báo cáo kiểm tra

Báo cáo vận hành

Báo cáo các vấn đề

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.3 Đảm bảo chất lượng

Người phát triển

Người kiểm tra

SQA

CHÚ THÍCH

1. Càng lớn càng tốt, trong giai đoạn đầu của quá trình kiểm tra. Ngược lại, càng nhỏ càng tốt trong giai đoạn sau của quá trình kiểm tra hoặc vận hành. Khuyến nghị giám sát xu hướng của phép đo theo thời gian.

2. Số lượng các lỗi được phát hiện chia cho số lượng các trường hợp kiểm tra chuẩn chỉ thị tính hiệu quả của cáctrường hợp kiểm tra chuẩn.

3. Cần phải chuyển đổigiá trị (X) vào đoạn <0,1> nếu thực hiện tổng kết các đặc trưng.

4. Khi đếm số lỗi, chú ý các điểm sau:

- Có khả năng bị lặp, vì rằng nhiều báo cáo có thể cùng một lỗi như các báo cáo khác;

- Có khả năng có các trường hợp không phải lỗi, vì rằng người sử dụng hoặc người kiểm tra có thể không xác địnhđược các vấn đề của họ là lỗi vận hành, lỗi môi trường hay lỗi phần mềm

Loại bỏ lỗi

Có bao nhiêu lỗi đã được chỉnh sửa?

Đếm số lượng các lỗi được loại bỏ trong quá trình kiểm thử và so sánh với tổng số lỗi được phát hiện và tổng số lỗi được dự báo

a) X = A1/A2

A1 = Số lượng các lỗi được chỉnh sửa

A2 = Tổng số lỗi được phát hiện thực tế

b) Y = A1/A3

A3 = Tổng số lỗi tiềm tàng được dự báo trong sản phẩm phần mềm

0<=X<=1

Càng tiến tới 1.0 càng tốt vì càng có ít lỗi còn tồn tại.

0<=Y

Càng tiến tới 1.0 càng tốt vì càng có ít lỗi còn tồn tại.

a) Tuyệt đối

b) Tuyệt đối

A1 = Số đếm

A2 = Số đếm

A3 = Số đếm

X = Số đếm/Số đếm

Y = Số đếm/Số đếm

Báo cáo kiểm tra

Cơ sở dữ liệu của tổ chức

5.3 Tích hợp

5.3 Kiểm tra chất lượng

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

SQA

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị giám sát xu hướng trong khoảng thời gian xác định..

2. Tổng số lỗi tiềm tàng dự báo có thể được ước lượng sử dụng các mô hình tăng tính tin cậy được điều chỉnh với dữliệu quá khứ thực tế liên quan với sản phẩm phần mềm tương tự.

3. Khuyến nghị giám sát tỷ tệ giải quyết lỗi ước lượng Y, sao cho nếu Y>1, điều tra lý do của nó do nguyên nhân có nhiều lỗi được phát hiện hơn so với trước hoặc do nguyên nhân sản phẩm phần mềm có chứa số lượng lỗi không bình thường.

Trong trường hợp ngược lại, khi Y<1, điều tra nguyên nhân có ít lỗi hơn số lượng thông thường được phát hiện trong sản phẩm phần mềm hoặc do nguyên nhân quá trình kiểm tra không đủ để phát hiện tất cả các lỗi có khả năng.

4. Cần chuyển đổi giá trị (Y) vào đoạn <0,1> nếu thực hiện tổng kết các đặc tính.

5. Khi đếm số lỗi, chú ý khả năng lặp lại, vì rằng một số báo cáo có thể chứa cùng một lỗi như các báo cáo khác.

Thời gian trung bình giữa các lỗi (MTBF)

Phần mềm thường hay gặp lỗi trong quá trình hoạt động như thế nào?

Đếm số lượng các lỗi xuất hiện trong một giai đoạn nhất định của quá trình hoạt động và tính toán khoảng thời gian trung bình giữa các lỗi.

a) X = T1/A

b) Y = T2/A

T1 = Thời gian hoạt động

T2 = Tổng thời gian giữa các lần xuất hiện lỗi liên tiếp

A = Tổng số lượng lỗi được phát hiện thực tế (Các lỗi xuất hiện trong thời gian hoạt động được quan sát)

0

Càng lớn càng tốt. Vì rằng thời gian mong đợi giữa các lỗi càng dài.

a) Tỷ lệ

b) Tỷ lệ

A = Số đếm

T1 = Thời gian

T2 = Thời gian

X = Thời gian/Số đếm

Y = Thời gian/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành (kiểm tra)

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Kiểm tra vận hành

5.4 Vận hành

Người bảo trì

Người sử dụng

CHÚ THÍCH:

1. Các điều tra sau có thể có ích - phân bố khoảng thời gian giữa các xuất hiện lỗi.

- thay đổi thời gian trung bình theo khoảng thời gian hoạt động;

- phân bố chỉ thị chức năng nào xảy ra lỗi thường xuyên và có thường xuyên hoạt động vì sự phụ thuộc của chức năng và sử dụng.

2. Tính toán tỷ lệ lỗi hay tỷ lệ rủi ro có thểđược sử dụng như một lựa chọn.

3. Cần chuyển đổi giá trị (Y) vào đoạn <0,1> nếu thực hiện tổng kết các đặc tính.

Tính bao phủ kiểm tra (Tính bao phủ của quá trình kiểm tra trong kịch bản hoạt động xác định)

Bao nhiêu trường hợp kiểm tra chuẩn yêu cầu đã được thực hiện trong quá trình kiểm tra?

Đếm số lượng các trường hợp kiểm tra chuẩn được thực hiện trong quá trình kiểm tra và so sánh với số trường hợp kiểm tra chuẩn yêu cầu để đạt được mức bao phủ kiểm tra thích hợp.

X = A/B

A = Số lượng các trường hợp kiểm tra chuẩn được thực hiện thực tế tiêu biểu cho kịch bản hoạt động trong quá trình kiểm tra

B = Số lượng các trường hợp kiểm tra chuẩn cần thực hiện để bao phủ các yêu cầu

0<=X<=1

Càng gần 1.0 tính bao phủ của kiểm tra càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Đặc tả kiểm tra hoặc Hướng dẫn sử dụng

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Kiểm tra chất lượng

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người kiểm tra

SQA

CHÚ THÍCH: Các trường hợp kiểm tra chuẩn có thể được chuẩn hóa bằng kích thước phần mềm, tức là, mức bao phủ của mật độ kiểm tra Y=A/C, trong đó C= kích thước của sản phẩm được kiểm tra. Y càng lớn càng tốt. Kich thước cóthể là kích thước chức năng mà người sử dụng có thể đo được

Tính kỹ lưỡng của kiểm tra

Liệu sản phẩm đã được kiểm tra cẩn thận?

Đếm số lượng các trường hợp kiểm tra chuẩn thành công đã được thực hiện thực tế và so sánh nó với tổng số lượng các trường hợp kiểm tra chuẩn được hoàn tất cho từng loại yêu cầu.

X = A/B

A = Số lượng các trường hợp kiểm tra chuẩn thành công trong quá trình kiểm tra hay hoạt động.

B = Số lượng các trường hợp kiểm tra chuẩn được hoàn tất để bao phủ các yêu cầu.

0<=X<=1

Càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Đặc tả kiểm tra hoặc Hướng dẫn sử dụng

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Kiểm tra chất lượng

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người kiểm tra

SQA

CHÚ THÍCH:

1. Khuyến nghị thực hiện quá trình kiểm tra ứng suất sử dụng dữ liệu quá khứ đặc biệttrong các giai đoạn cao điểm.

Cũng khuyến nghị chắc chắn rằng các loại kiểm tra sau được thực hiện và thành công:

• Kịch bản vận hành của người sử dụng;

• Ứng suất cao điểm;

• Đầu vào dữ liệu quá tải.

2. Các trường hợp kiểm tra chuẩn thành công được chuẩn hóa bằng kích thước phần mềm, tức là: mật độ các trường hợp kiểm tra chuẩn thành công Y=A/C. Trong đóC= Kích thước sản phẩm được kiểm tra.

Y càng lớn càng tốt.

Kích thước có thể là kích thước chức năng người sử dụng có thể đo.

Các phép đánh giá khả năng chịu lỗi ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tránh hỏng hóc

Sản phẩm phần mềm thường xuyên gây ra hỏng hóc cho toàn bộ môi trường sản xuất như thế nào?

Đếm số hỏng hóc xảy ra đối với số lượng lỗi.

Nếu lỗi xảy ra trong quá trình vận hành thì phân tích bản ghi lược sử hoạt động của người sử dụng

X = 1-A/B

A =  Số hỏng hóc

B = Số lỗi

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Hỏng hóc có nghĩa là việc thực hiện bất kỳ nhiệm vụ nào của người sử dụng bị dừng lại cho đến khi hệ thống được khởi động lại, hoặc điều khiển của nó bị mất cho đến khi hệ thống được tắt cưỡng bức.

2. Khi không có hoặc có một vài lỗi được quan sát thấy, thời gian giữa các hỏng hóc có thể phù hợp hơn.

Tránh lỗi

Có bao nhiêu mẫu lỗi được đặt dưới sự kiểm soát để tránh các lỗi then chốt và nghiêm trọng?

Đếm số lượng mẫu lỗi đã được tránh và so sánh nó với số mẫu lỗi được xem xét.

X = A/B

A = Số lần xuất hiện lỗi then chốt và nghiêm trọng tránh được trong các trường hợp kiểm tra chuẩn của các mẫu lỗi

B = Số trường hợp kiểm tra chuẩn mẫu lỗi được tiến hành (hầu như gây ra lỗi) trong quá trình kiểm tra.

0<=X<=1

Càng gần bằng 1.0 càng tốt, vì người sử dụng có thể tránh được các lỗi then chốt và nghiêm trọng nhiều hơn

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị phân loại các mức tránh lỗi là phần mở rộng của việc giảm nhẹ ảnh hưởng của lỗi, ví dụ như:

- Khủng hoảng: toàn bộ hệ thống dừng/ hoặc cơ sở dữ liệu bị phá hủy nghiêm trọng;

- Nghiêm trọng: các chức năng quan trọng không có khả năng hoạt động và không có cách nào khác để hoạt động (cách giải quyết khác);

- Trung bình: phần lớn các chức năng hãy còn hoạt động, nhưng hiệu năng bị giới hạn xảy ra với hoạt động bị giới hạn hoặc có lựa chọn khác (cách giải quyết khác);

- Nhỏ: có một vài chức năng trải qua hiệu năng giới hạn với hoạt động bị giới hạn;

- Không có: không ảnh hưởng tới người sử dụng cuối.

2. Các mức tránh lỗi có thể dựa trên ma trận rủi ro được tạo thành từ tính nghiêm ngặt của kết quả và tần suất xuất hiện được đưa ra trong ISO/IEC 15026 Tích hợp hệ thống và phần mềm.

3. Các ví dụ mẫu lỗi:

- dữ liệu ngoài dải;

- sự bế tắc.

Kỹ thuật phân tích cây lỗi có thể được sử dụng để phát hiện mẫu lỗi.

4. Các trường hợp kiểm tra chuẩn có thể bao gồm vận hành không đúng của con người.

Tránh vận hành sai

Có bao nhiêu chức năng được thực thi với khả năng tránh vận hành không đúng?

Đếm số các trường hợp kiểm tra chuẩn của vận hành sai đã được tránh gây ra những lỗi then chốt và nghiêm trọng và so sánh nó với số các trường hợp kiểm tra chuẩn đã được thực hiện của các mẫu vận hành sai được xem xét.

X = A/B

A = Số lỗi then chốt và và nghiêm trọng đã được tránh

B = Số trường hợp kiểm tra chuẩn được thực hiện của các mẫu vận hành sai (gần như chắc chắn sẽ tạo lỗi) trong quá trình kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt, vì càng nhiều vận hành sai của người sử dụng được tránh

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Hỏng dữ liệu cũng được đưa thêm vào lỗi hệ thống.

2. Các mẫu vận hành sai

• Các loại dữ liệu sai như các tham số;

• Thứ tự dữ liệu đầu vào sai;

• Thứ tự vận hành sai.

3. Kỹ thuật phân tích cây lỗi có thể được sử dụng để phát hiện các mẫu vận hành sai.

4. Phép đánh giá này có thể được sử dụng thực nghiệm.

Các phép đánh giá khả năng phục hồi ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng sẵn sàng

Mức độ sẵn sàng sử dụng của hệ thống trong khoảng thời gian xác định như thế nào?

Hệ thống kiểm tra trong môi trường giống như quá trình sản xuất trong khoảng thời gian xác định thực hiện tất cả các thao tác của người sử dụng.

Đo khoảng thời gian sửa chữa mỗi khi hệ thống không sẵn sàng trong quá trình thử nghiệm.

Tính toán thời gian trung bình để sửa chữa

a) X = {(To/(To+Tr)}

b) Y = A1/A2

To = Thời gian vận hành

Tr = Thời gian sửa chữa

A1 = Tổng số trường hợp sẵn sàng sử dụng của phần mềm khi sử dụng

A2 = Tổng số trường hợp người sử dụng thử sử dụng phần mềm trong thời gian quan sát. Xuất phát từ quan điểm vận hành chức năng người sử dụng

0<=X<=1

Càng lớn và càng gần 1.0 càng tốt, vì người sử dụng có thể sử dụng phần mềm lâu hơn.

0<=Y<=1

Càng lớn và càng gần 1.0 càng tốt.

(a),(b)

Tuyệt đối

To = Thời gian

Tr = Thời gian

X = Thời gian/Thời gian

A1 = Số đếm

A2 = Số đếm

Y = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Khuyến nghị rằng phép đánh giá khả năng phục hồi chỉ bao gồm phục hồi tự động bằng phần mềm và không bao gồm công việc bảo trì của con người.

Thời gian chết trung bình

Thời gian trung bình hệ thống không sẵn sàng khi lỗi xảy ra trước khi khởi động lại từ từ là bao nhiêu?

Đo thời gian chết mỗi lần hệ thống không sẵn sàng trong khoảng thời gian thử nghiệm xác định và tính thời gian trung bình

X = T/N

T = Tổng thời gian chết

N = Số lần hỏng hóc quan sát được

Trường hợp xấu nhất và phân bố của thời gian chất cũng phải được đo.

0

Càng nhỏ càng tốt, vì thời gian hệ thống chết càng nhỏ hơn.

Tỷ lệ

T = Thời gian

N = Số đếm

X = Thời gian/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị rằng phép đánh giá khả năng phục hồi chỉ bao gồm phục hồi tự động bằng phần mềm và không bao gồm công việc bảo trì của con người

2.Cần chuyển đổi giá trị (X) tới đoạn <0,1> nếu tổng kết các đặc tính.

Thời gian phục hồi trung bình

Thời gian trung bình mà hệ thống hoàn thành việc phục hồi bắt đầu từ giai đoạn đầu của quá trình phục hồi là bao nhiêu?

Đo thời gian phục hồi toàn bộ cho mỗi lần hệ thống có sự cố trong khoảng thời gian thử nghiệm xác định và tính thời gian trung bình.

X = Tổng (T)/B

T = Thời gian phục hồi hệ thống phần mềm bị lỗi tại mỗi thời điểm

N = Số trường hợp hệ thống phần mềm được đưa vào phục hồi quan sát được

0

Càng nhỏ càng tốt.

Tỷ lệ

T = Thời gian

N = Số đếm

X = Thời gian/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị đo thời gian lớn nhất của trường hợp xấu nhất hoặc đo phân bố thời gian phục hồi cho nhiều trường hợp.

2. Khuyến nghị rằng phép đánh giá khả năng phục hồi này chỉ bao gồm phục hồi tự động bằng phần mềm và không bao gồm công việc duy trì của con người.

3. Khuyến nghị phân biệt mức độ khó của phục hồi, ví dụ, phục hồi cơ sở dữ liệu bị phá hủy khó hơn so với phục hồi giao tác bị phá hủy.

4. Cần chuyển đổi giá trị (X) tới đoạn <0,1> nếu tổng kết các đặc tính.

Khả năng khởi động lại

Tần suất hệ thống có thể khởi động lại để cung cấp dịch vụ cho người sử dụng trong một khoảng thời gian yêu cầu là như thế nào?

Đếm số lần hệ thống khởi động lại và cung cấp dịch vụ cho người sử dụng trong khoảng thời gian yêu cầu mục tiêu và so sánh nó với tổng số lần khởi động lại, khi hệ thống có sự cố trong khoảng thời gian thử nghiệm xác định.

X = A/B

A = Số lần khởi động lại đáp ứng khoảng thời gian yêu cầu trong quá trình kiểm tra hoặc hỗ trợ vận hành cho người sử dụng

B = Tổng số lần khởi động lại trong quá trình kiểm tra hoặc hỗ trợ vận hành cho người sử dụng

0<=X<=1

Càng lớn và càng gần 1.0 càng tốt, vì người sử dụng có thể khởi động lại dễ dàng.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH

1. Khuyến nghị ước lượng các thời gian khởi động lại khác nhau nhằm đáp ứng mức nghiêm ngặt của sự cố, như pháhủy cơ sở dữ liệu, mất nhiều tác giao, mấttác giao đơn, hay phá hủy dữ liệu tạm thời.

2. Khuyến nghị rằng phép đánh giá khả năng phục hồi này chỉ bao gồm phục hồi tự động bằng phần mềm và không baogồm công việc bảo trì của con người

Khả năng khôi phục lại

Khả năng tự khôi phục lại của sản phẩm sau khi có sự kiện bất thường xảy ra hoặc khi có yêu cầu?

Đếm số lần khôi phục thành công và so sánh với số lần khôi phục được kiểm tra được yêu cầu trong đặc tả.

Các ví dụ về yêu cầu khôi phục: điểm kiểm tra của cơ sở dữ liệu, điểm kiểm tra của các giao dịch, chức năng làm ngược thao tác cũ, chức năng thực hiện lại thao tác cũ,…

X = A/B

A = Số lượng trường hợp khôi phục được thực hiện thành công

B = Số trường hợp khôi phục đã được kiểm tra theo yêu cầu

0<=X<=1

Càng gần bằng 1.0 càng tốt, vì sản phẩm có khả năng phục hồi tốt hơn trong các trường hợp xác định

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Đặc tả kiểm tra hay Hướng dẫn sử dụng

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH: Khuyến nghị phép đánh giá này chỉ bao gồm phục hồi tự động cung cấp bởi phần mềm và không bao gồmcông việc bảo trì của con người.

Tính hiệu quả của việc khôi phục lại

Khả năng khôi phục lại hiệu quả như thế nào?

Đếm số lần khôi phục được kiểm tra đáp ứng thời gian khôi phục mục tiêu và so sánh với số lần khôi phục cần thiết với thời gian mục tiêu xác định.

X = A/B

A = Số trường hợp khôi phục thành công đáp ứng thời gian khôi phục mục tiêu

B = Số trường hợp được thực hiện

0<=X<=1

Càng gần bằng 1.0 càng tốt, vì quá trình khôi phục trong sản phẩm hiệu quả hơn.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH: Khuyến nghị phép đánh giá này chỉ bao gồm phục hồi tự động cung cấp bởi phần mềm và không bao gồm công việc bảo trì của con người.

Các phép đánh giá tính năng tuân thủ tin cậy ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tuân thủ của tính tin cậy

Tính tin cậy của sản phẩm tuân thủ các quy định, tiêu chuẩn và quy ước đang áp dụng như thế nào?

Đếm số lượng các điều khoản yêu cầu tuân thủ được thỏa mãn và so sánh với số các điều khoản yêu cầu tuân thủ trong đặc tả.

X = 1 - A/B

A = Số các điều khoản tuân thủ của tính tin cậy được xác định là không được triển khai trong quá trình kiểm tra

B = Tổng số các điều khoản tuân thủ của tính tin cậy được xác định

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của việc tuân thủ và các tiêu chuẩn, quy ước hoặc quy định liên quan.

Đặc tả kiểm tra và báo cáo

5.3 Kiểm tra chất lượng

6.5 Xác nhận

Nhà cung cấp

Người sử dụng

CHÚ THÍCH: Có thể là có ích nếu như thu thập các giá trị đo được theo thời gian, để phân tích xu hướng gia tăng các điều khoản tuân thủ được thỏa mãn và xác định chúng hoàn toàn thỏa mãn hay không.

Các phép đánh giá tính dễ hiểu ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tính đầy đủ của tài liệu mô tả

Tỷ lệ các chức năng (hoặc các dạng chức năng) hiểu được sau khi đọc tài liệu mô tả sản phẩm là bao nhiêu?

Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng.

Đếm số chức năng được hiểu thỏa đáng và so sánh với tổng số lượng chức năng trong sản phẩm.

X = A/B

A = Số chức năng (hay các dạng chức năng) hiểu được

B = Tổng số các chức năng (hay các dạng chức năng)

0<=X<=1

Càng tiến gần tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng tiềm năng có hiểu công năng của sản phẩm sau khi đọc mô tả sản phẩm hay không.

Khả năng truy cập thuyết minh

Tỷ lệ của quá trình thuyết minh/ hướng dẫn người sử dụng có thể truy cập là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ người sử dụng.

Đếm số các chức năng được thuyết minh thỏa đáng và so sánh với tổng số các chức năng yêu cầu khả năng thuyết minh

X = A/B

A = Số các thuyết minh/ hướng dẫn mà người sử dụng truy cập thành công

B = Số các thuyết minh/ hướng dẫn sẵn có

0<=X<=1

Giá trị X càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có thể tìm thấy thuyết minh và/hoặc hướng dẫn hay không.

Khả năng truy cập thuyết minh khi sử dụng

Tỷ lệ của thuyết minh/ hướng dẫn người sử dụng có thể truy cập bất cứ khi nào người sử dụng thực sự cần trong quá trình vận hành là bao nhiêu?

Quan sát thái độ người sử dụng đang cố gắng xem các thuyết minh/hướng dẫn.

Việc quan sát có thể được thực hiện thông qua phương thức giám sát hành động có ý thức của con người với máy Camera.

X = A/B

A = Số các trường hợp người sử dụng xem được thuyết trình khi họ cố gắng thử xem.

B = Số các trường hợp người sử dụng cố gắng xem thuyết trình trong giai đoạn quan sát

0<=X<=1

X càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

Bản ghi quan sát người sử dụng (băng video và các bản ghi hành động)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có thể tìm thấy thuyết minh và/hoặc hướng dẫn khi sử dụng sản phẩm hay không

Hiệu quả của thuyết minh

Tỷ lệ các chức năng người sử dụng có thể vận hành thành công sau khi được thuyết minh hay hướng dẫn là bao nhiêu?

Quan sát thái độ người sử dụng đang cố gắng xem các thuyết minh/hướng dẫn.

Việc quan sát có thể được thực hiện thông qua phương thức giám sát hành động có ý thức của con người với máy Camera.

X = A/B

A = Số các chức năng hoạt động thành công

B = Số lượng các thuyết minh/ hướng dẫn được truy cập

0<=X<=1

Càng gần 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có thể vận hành các chức năng thành công sau khi xem thuyết minhhoặc hướng dẫn hay không.

Các chức năng rõ ràng

Tỷ lệ các chức năng (hoặc các dạng chức năng) có thể được nhận biết bởi người sử dụng dựa trên các điều kiện ban đầu bao nhiêu?

Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng.

Đếm số các chức năng rõ ràng đối với người sử dụng và so sánh với tổng số các chức năng.

X = A/B

A = Số lượng các chức năng (hoặc các dạng chức năng) được nhận biết bởi người sử dụng

B = Tổng số các chức năng thực tế (hoặc các dạng chức năng)

0<=X<=1

X càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có khả năng xác định các chức năng bằng cách thăm dò giao diện (tức là xem xét các menu) hay không.

Khả năng dễ hiểu của chức năng

Tỷ lệ các chức năng sản phẩm người sử dụng có khả năng hiểu được chính xác là bao nhiêu?

Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi.

Đếm số các chức năng giao diện người sử dụng mà mục đích dễ hiểu và so sánh với số các chức năng sẵn sàng cho người sử dụng.

X = A/B

A = Số lượng các chức năng giao diện mà mục đích của nó được mô tả chính xác bởi người sử dụng

B = Tổng số các chức năng sẵn sàng từ giao diện

0<=X<=1

X càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có khả năng hiểu các chức năng bằng cách thăm dò giao diện (tức là xem xét các menu) hay không.

Đầu vào và đầu ra có khả năng hiểu được

Người sử dụng có thể hiểu được những gì được yêu cầu tại dữ liệu đầu vào và những gì được cung cấp tại dữ liệu đầu ra bởi hệ thống phần mềm hay không?

Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng.

Đếm số các thành phần dữ liệu đầu vào và đầu ra mà người sử dụng có thể hiểu và so sánh với tổng số các thành phần sẵn sàng cho người sử dụng.

X = A/B

A = Số lượng các thành phần dữ liệu đầu vào và đầu ra người sử dụng có thể hiểu chính xác.

B = Số lượng các thành phần dữ liệu đầu vào và đầu ra sẵn sàng từ giao diện

0<=X<=1

X càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

6.5 Xác nhận

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có khả năng hiểu khuôn dạng trên đó dữ liệu phải được đưa vào và nhận biết ý nghĩa của dữ liệu đầu ra hay không.

Các phép đánh giá khả năng dễ học ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng dễ dàng học chức năng

Người sử dụng mất bao lâu để học sử dụng chức năng?

Tiến hành kiểm tra người sử dụng và quan sát thái độ người sử dụng.

T = Thời gian trung bình để học sử dụng chức năng chính xác

0

Càng nhỏ càng tốt.

Tỷ lệ

T = Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Phép đánh giá này được sử dụng chung như phép đánh giá kinh nghiệm và biện minh.

Khả năng dễ dàng học cách thực hiện một nhiệm vụ khi sử dụng

Người sử dụng mất bao nhiêu thời gian để học cách thực hiện một nhiệm vụ xác định một cách hiệu quả

Quan sát thái độ người sử dụng từ khi họ bắt đầu học đến khi họ bắt đầu vận hành một cách hiệu quả.

T = Tổng thời gian khai thác của người sử dụng cho đến khi người sử dụng đạt được thực hiện một nhiệm vụ xác định trong thời gian ngắn

0

Càng nhỏ càng tốt

Tỷ lệ

T = Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị tìm thời gian vận hành mong đợi của người sử dụng là một thời gian ngắn.Thời gian vận hành này củangười sử dụng có thể là ngưỡng, ví dụ như, nó là 70% của thời gian tại lần sử dụng đầu tiên làmột tỷ lệ hợp lý.

2. Trong kết quả có thể thay thời gian bằng đơn vị người-giờ.

Tính hiệu quả của các tài liệu hướng dẫn người sử dụng và/ hoặc hệ thống trợ giúp

Tỷ lệ nhiệm vụ được hoàn thành một cách chính xác sau khi sử dụng tài liệu hướng dẫn và/ hoặc hệ thống trợ giúp là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

Đếm số nhiệm vụ được hoàn thành đúng sau khi truy cập vào hệ thống trợ giúp trực tuyến và/ hoặc tài liệu hướng dẫn, so sánh với tổng số nhiệm vụ được kiểm tra.

X = A/B

A = Số nhiệm vụ được hoàn thành đúng sau khi truy nhập vào hệ thống trợ giúp trực tuyến và/hoặc tài liệu hướng dẫn

B = Tổng số nhiệm vụ được kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Có thể có ba phép đánh giá: độ phức tạp của tài liệu, độ phức tạp của phương tiện trợ giúp, hoặc độ phứctạp của trợ giúp và tài liệu sử dụng kết hợp.

Tính hiệu quả của các tài liệu hướng dẫn người sử dụng và/ hoặc hệ thống trợ giúp trong khi sử dụng

Tỷ lệ các chức năng có thể được sử dụng đúng đắn sau khi đọc tài liệu hướng dẫn hoặc sử dụng các hệ thống trợ giúp là bao nhiêu?

Quan sát thái độ của người sử dụng.

Đếm số lượng các chức năng được sử dụng đúng đắn sau khi đọc tài liệu hướng dẫn hoặc sử dụng hệ thống trợ giúp và so sánh với tổng số các chức năng.

X = A/B

A = Số chức năng có thể được sử dụng

B = Tổng số các chức năng được cung cấp

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

Khả năng truy cập trợ giúp

Tỷ lệ các chủ đề trợ giúp người sử dụng có thể xác định là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

Đếm số nhiệm vụ có hỗ trợ trực tuyến được xác định và so sánh với tổng số các nhiệm vụ được kiểm tra.

X = A/B

A = Số nhiệm vụ có trợ giúp trực tuyến được xác định

B = Tổng số nhiệm vụ được kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

Tần suất trợ giúp

Người sử dụng thường xuyên truy cập vào hệ thống trợ giúp học cách vận hành để hoàn thành công việc của họ như thế nào?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

Đếm số trường hợp người sử dụng truy cập vào hệ thống trợ giúp để hoàn thành công việc của mình.

X = A

A = Số lượng truy cập vào hệ thống trợ giúp cho đến khi người sử dụng hoàn thành công việc của mình.

0<=X

Càng gần bằng 0 càng tốt

Tuyệt đối

A = Số đếm

X = Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện

Các phép đánh giá khả năng dễ vận hành ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

a) Phù hợp với mong muốn vận hành của người sử dụng

Tính phù hợp của vận hành trong sử dụng

Các thành phần giao diện người sử dụng phù hợp như thế nào?

Quan sát thái độ của người sử dụng và hỏi ý kiến của họ.

a) X = 1 - A/B

A = Số bản tin hoặc chức năng người sử dụng thấy không phù hợp với mong muốn của mình

B = Số bản tin hoặc chức năng

b) Y = N/UOT

N = Số lần vận hành người sử dụng thấy không phù hợp với mong muốn.

UOT = Thời gian vận hành của người sử dụng (trong khoảng thời gian quan sát

0<=X<=1

Càng gần bằng 1.0 càng tốt.

0<=Y

Càng gần bằng 0 càng tốt.

Tuyệt đối

b) Tỷ lệ

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

UOT = Thời gian

N = Số đếm

Y = Số đếm/Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Kinh nghiệm vận hành của người sử dụng thông thường hữu ích để nhận biết nhiều mẫu vận hành xuất phát từ mong muốn của người sử dụng.

2. Cả hai "dự báo đầu vào" và "dự báo đầu ra" đều hiệu quả cho tính phù hợp của vận hành.

3. Phép đánh giá này có thể được sử dụng để đo "Dễ dàng vận hành' và "Giao tiếp thuận tiện".

Sửa lỗi

Người sử dụng có thể dễ dàng sửa lỗi trong các nhiệm vụ không?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

T = Tc - Ts

Tc = Thời điểm hoàn thành việc sửa lỗi nhất định của nhiệm vụ thực thi.

Ts = Thời điểm bắt đầu sửa các loại lỗi nhất định của nhiệm vụ được thực thi.

0

Càng nhỏ càng tốt.

Tỷ lệ

Ts, Tc = Thời gian

T = Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH: Đề xuất người sử dụng phép đánh giá này xác định các loại lỗi cho các trường hợp kiểm tra mẫu bằng cách xem xét, ví dụ, tính nghiêm trọng (lỗi hiển thị hay dữ liệu bị hủy), loại lỗi vào/ra (lỗi văn bản đầu vào, lỗi dữ liệu ra cơ sở dữ liệu hay lỗi đồ họa trên màn hình) hoặc loại của trạng thái vận hành lỗi (sử dụng tương tác hoặc vận hành khẩn cấp).

Sửa lỗi trong sử dụng

Người sử dụng có thể dễ dàng khôi phục lỗi hoặc thực hiện lại công việc?

Người sử dụng có thể dễ dàng khôi phục lại đầu vào không?

Quan sát thái độ của người sử dụng đang vận hành phần mềm.

a) X = A/UOT

A = Số lần người sử dụng hủy bỏ thành công các vận hành lỗi của họ

UOT = Thời gian vận hành của người sử dụng trong quá trình quan sát.

CHÚ THÍCH: Khi các chức năng được kiểm tra lần lượt, tỷ lệ cũng có thể được tính như tỷ lệ của các số chức năng người sử dụng hủy bỏ vận hành thành công và tất cả các chức năng.

b) X = A/B

A = Số lượng bảng hay biểu mẫu trong đó dữ liệu đầu vào được sửa đổi hay thay thế thành công trước khi được gia công

B = Số lượng bảng hay biểu mẫu trong đó người sử dụng cố gắng sửa đổi hay thay thế dữ liệu đầu vào trong thời gian vận hành của người sử dụng được quan sát

0<=X

Càng lớn càng tốt.

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tỷ lệ

Tuyệt đối

A = Số đếm

UOT = Thời gian

X = Số đếm/Thời gian

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

c) Thích hợp cho vận hành nhiệm vụ

Tính sẵn sàng của giá trị mặc định trong sử dụng

Người sử dụng có thể dễ dàng chọn các giá trị tham số để thuận tiện trong khi vận hành?

Quan sát thái độ của người sử dụng vận hành phần mềm.

Đếm số lần người sử dụng cố gắng thiết lập hoặc lựa chọn các giá trị tham số và thất bại (bởi vì người sử dụng không thể sử dụng các giá trị mặc định cung cấp bởi phần mềm)

X = 1 - A/B

A = Số lần người sử dụng thất bại trong việc thiết lập hoặc lựa chọn giá trị tham số trong thời gian ngắn (bởi vì họ không thể sử dụng các giá trị mặc định cung cấp bởi phần mềm)

B = Tổng số lần người sử dụng lựa chọn hoặc thiết lập các giá trị tham số

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH

1. Khuyến nghị quan sát và ghi lại thái độ của người sử dụng và quyết định độ dài khoảng thời gian cho phép để lựa chọn các giá trị tham số như "khoảng thời gian ngắn".

2. Khi chức năng thiết lập tham số được kiểm tra cho mỗi chức năng, tỷ lệ chức năng cho phép cũng có thể được tính.

3. Khuyến nghị tiến hành kiểm tra chức năng bao hàm cả các chức năng thiết lập tham số.

d) Mô tả (Hướng dẫn)

Khả năng hiểu được bản tin trong sử dụng

Người sử dụng có thể dễ dàng  hiểu các bản tin từ hệ thống phần mềm?

Liệu có bản tin nào gây ra khó hiểu cho người sử dụng trước khi bắt đầu thực hiện thao tác tiếp theo?

Người sử dụng có thể dễ dàng nhớ các bản tin quan trọng hay không?

Quan sát thái độ của người sử dụng vận hành phần mềm.

X = A/UOT

A = Số lần người sử dụng dừng lại trong thời gian dài hoặc liên tục và lặp lại thất bại thực hiện cùng một thao tác, do không hiểu rõ bản tin.

UOT = Thời gian vận hành của người sử dụng (khoảng thời gian quan sát)

0<=X

Càng gần bằng 0 càng tốt.

Tỷ lệ

A = Số đếm

UOT = Thời gian

X = Số đếm/Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Giải thích thêm về sự dễ dàng thấu hiểu bản tin được biểu diễn bằng độ dài thời gian bản tin gây ra chậm trễ trong việc hiểu của người sử dụng trước khi bắt đầu thao tác tiếp theo.

Do đó, khuyến nghị quan sát và ghi lại thái độ người vận hành và quyết định độ dài thời gian của sự dừng lại để xem xét như “khoảng thời gian dài".

2. Khuyến nghị phát hiện các nguyên nhân có khả năng của các vấn đề hiểu bản tin của người sử dụng như sau

a) Sự chăm chú: Sự chăm chú có nghĩa là người sử dụng nhận biết thành công thông tin trong các bản tin quan trọng: như hướng dẫn thao tác các bước tiếp theo, tên của các mục dữ liệu được xét, và các cảnh báo về vận hành thận trọng.

- Có khi nào người sử dụng không xem khi bắt gặp các bản tin quan trọng?

- Người sử dụng có thể tránh các lỗi trong vận hành do nhận biết được các bản tin quan trọng?

b) Khả năng nhớ: Khả năng nhớ có nghĩa là người sử dụng nhớ các thông tin trong các bản tin quan trọng như hướng dẫn thao tác các bước tiếp theo, tên của các mục dữ liệu được xét, và các cảnh báo về vận hành thận trọng.

- Người sử dụng có dễ dàng nhớ các bản tin quan trọng?

- Các bản tin quan trọng được ghi nhớ có giúp ích cho người sử dụng?

- Người sử dụng có cần ghi nhớ chỉ một số các bản tin quan trọng chứ không quá nhiều?

3. Khi các bản tin được kiểm tra lần lượt, tỷ lệ các bản tin được hiểu và tổng số các bản tin cũng có thể được tính.

4. Khi có một số người sử dụng tham gia vận hành được quan sát, tỷ lệ người sử dụng hiểu các bản tin và tổng sốngười sử dụng cũng có thể được tính.

Các bản tin lỗi rõ ràng

Tỷ lệ lỗi người sử dụng đề xuất hành động phục hồi lỗi chính xác trong điều kiện bị lỗi là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

X = A/B

A = Số lượng lỗi mà được người sử dụng đề xuất hành động phục hồi chính xác.

B = Số lượng lỗi được kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

e) Khả năng chịu lỗi vận hành (không tính lỗi do con người)

Khả năng phục hồi lỗi vận hành trong sử dụng

Liệu người sử dụng có thể dễ dàng phục hồi tình trạng xấu nhất của họ không?

Quan sát thái độ của người sử dụng vận hành phần mềm

X = 1 - A/B

A = Số trường hợp phục hồi lỗi không thành công (sau khi có lỗi, hoặc thay đổi của người sử dụng) mà người sử dụng không được hệ thống thông báo có rủi ro

B = Số lượng lỗi hoặc thay đổi của người sử dụng

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH: Công thức trên thể hiện trường hợp xấu nhất. Người sử dụng phép đánh giá này có thể đưa ra kết hợpcủa 1) số lỗi người sử dụng được/ không được cảnh báo từ hệ thống phần mềm và 2) số trường hợp người sử dụngphục hồi thành công/ Không thành công tình trạng.

Khỏang thời gian giữa các vận hành lỗi do con người trong sử dụng

Liệu người sử dụng có thể vận hành phần mềm trong thời gian dài mà không có lỗi?

Quan sát thái độ của người sử dụng vận hành phần mềm.

X = T/N (tại thời điểm t trong khoảng [t-T,t])

T = Thời gian vận hành trong quá trình quan sát (hoặc tổng thời gian vận hành giữa các lần vận hành lỗi của người sử dụng)

N = Số lần xảy ra lỗi vận hành do con người

0

Càng lớn càng tốt.

Tỷ lệ

T = Thời gian

N = Số đếm

X = Thời gian/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Vận hành lỗi do con người có thể phát hiện bằng cách đếm thái độ của người sử dụng như sau:

a) Lỗi đơn giản do con người (Lỗi vô ý): Số lần người sử dụng chỉ gây lỗi vận hành đầu vào;

b) Lỗi có chủ tâm (Nhầm lẫn): Số lần người sửdụng lặp lại các lỗi trên cùng một thao tác vận hành do hiểu sai trong thời gian quan sát;

c) Dừng vận hành: số lần người sử dụng dừng lại trong thời gian dài cùng với sự lưỡng lự trong thời gian quan sát.

Người sử dụng phép đánh giá này được đề xuất đo riêng từng loại được đưa ra ở trên.

2. Chúng ta cho rằng việc dừng vận hành có nghĩa như vận hành lưỡng lự của người sử dụng.

Điều này phụ thuộc vào chức năng, thủ tục vận hành, miền ứng dụng, và người sử dụng được xem xét trong khoảng thời gian dài hay không đối với người sử dụng dừng vận hành. Do đó, người đánh giá được yêu cầu xem xét chúng và xác định ngưỡng thời gian hợp lý. Đối với vận hành tương tác, ngưỡng "khoảng thời gian dài" trong khoảng từ 1 đến 3 phút.

Khả năng tháo gỡ (Sửa lỗi của người sử dụng)

Người sử dụng thường xuyên sửa lỗi đầu vào thành công như thế nào?

Người sử dụng thường xuyên hủy lỗi chính xác như thế nào?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

a) X = A/B

A = Số lượng lỗi đầu vào người sử dụng sửa thành công

B = Số lượng cố gắng sửa lỗi đầu vào

b) Y = A/B

A = Số tình trạng lỗi được người sử dụng sửa thành công

B = Tổng số tình trạng lỗi được kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt.

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH: Phép đánh giá này được sử dụng tổng quát như phép đánh giá thực nghiệm và điều chỉnh.

f) Thích hợp cho cá nhân hóa

Khả năng tùy biến

Người sử dụng có thể dễ dàng tùy biến các thủ tục vận hành cho phù hợp với họ không?

Người hướng dẫn người sử dụng có thể dễ dàng thiết lập các mẫu thủ tục vận hành để tránh các lỗi không?

Tỷ lệ các chức năng có thể được tùy biến là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

X = A/B

A = Số chức năng được tùy biến thành công

B = Số lần cố gắng thực hiện tùy biến

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Tỷ lệ sự cố của người sử dụng được tùy biến có thể được đo.

Y= 1-(C/D)

C= Số trường hợp người sử dụng tùy biến vận hành thất bại

D= Tổng số trường hợp người sử dụng cố gắng tùy biến vận hành cho tiện ích cho họ.

0<=Y<=1, càng gần 1.0 càng tốt.

2. Khuyến nghị tuân theo các điều sau như các biến đổi của tùy biến vận hành:

- chọn vận hành thay thế khác, như sử dụng chọn menu thay cho việc vào lệnh;

- kết hợp các thủ tục vận hành người sử dụng, như ghi lại và biên tập thủ tục vận hành;

- thiết lập vận hành mẫu ràng buộc, như các thủ tục lập trình hoặc tạo mẫu cho hướng dẫn đầu vào.

3. Phép đánh giá này được sử dụng tổng quát như phép đánh giá thực nghiệm và điều chỉnh.

Giảm thủ tục vận hành

Liệu người sử dụng có thể dễ dàng giảm các thủ tục vận hành cho phù hợp với họ không?

Đếm thao tác của người sử dụng cho một quá trình vận hành nhất định, và so sánh giữa thời điểm trước và sau khi tùy biến vận hành.

X = 1 - A/B

A = Số thủ tục vận hành được giảm bớt sau khi tùy biến vận hành.

B = Số lượng các thủ tục vận hành trước khi tùy biến vận hành

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Khuyến nghị tạo các mẫu cho mỗi nhiệm vụ khác nhau của người sử dụng và phân biệt giữa người vận hành là người sử dụng có trình độ và người mới.

2. Số các thủtục vận hành có thể được biểu diễn bằng cách đếm các thao tác vận hành như nhấp chuột, gõ phím, tiếp xúc màn hình,...

3. Bao gồm cả rút gọn bàn phím.

Khả năng truy cập vật lý

Tỷ lệ các chức năng có thể được truy cập bởi tác động vật lý của người sử dụng là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

X = A/B

A = Số chức năng được truy cập thành công

B = Số lượng chức năng

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH: Các ví dụ của không có khả năng truy cập vật lý là không thể sử dụng chuột không nhìn được màn hình.

Các phép đánh giá tính hấp dẫn ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tương tác với người sử dụng

Giao diện với người sử dụng thân thiện như thế nào?

Bản câu hỏi dành cho người sử dụng

Bản câu hỏi ước định sự thân thiện của giao diện phần mềm với người sử dụng phần mềm, sau quá trình sử dụng.

Phụ thuộc vào phương pháp tính điểm của bản câu hỏi.

Tuyệt đối

Số đếm

Kết quả bản câu hỏi

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

Tùy biến thể hiện giao diện

Tỷ lệ các thành phần của giao diện có thể được tùy biến theo sở thích người sử dụng?

Tiến hành kiểm tra người sử dụng và quan sát thái độ.

X = A/B

A = Số các phần giao diện có thể tùy biến thỏa mãn người sử dụng.

B = Số các phần giao diện người sử dụng muốn tùy biến.

0<=X<=1

X càng gần tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Các yêu cầu người sử dụng

Báo cáo vận hành (kiểm tra)

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH: Phép đánh giá này được sử dụng tổng quát như phép đánh giá thực nghiệm và điều chỉnh.

Các phép đánh giá tính tuân thủ khả dụng ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tính tuân thủ khả dụng

Phần mềm hoàn toàn tôn trọng triệt để các tiêu chuẩn, thỏa thuận, hướng dẫn hay quy định liên quan đến tính khả dụng như thế nào?

Xác định các điều khoản tuân thủ yêu cầu dựa trên chuẩn, thỏa thuận hướng dẫn hay quy định liên quan đến tính khả dụng.

Thiết kế các trường hợp kiểm tra mẫu tương ứng với các điều khoản yêu cầu. Tiến hành kiểm tra chức năng cho các trường hợp kiểm tra mẫu này.

X = 1 - A/B

A = Các điều khoản tuân thủ yêu cầu về tính khả dụng được xác định nhưng không được triển khai trong quá trình kiểm tra

B = Tổng số các điều khoản tuân thủ yêu cầu về tính khả dụng đã được xác định

0<=X<=1

Càng gần 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, thỏa thuận, hướng dẫn hay quy định

Đặc tính và báo cáo kiểm tra

5.3 Kiểm tra chất lượng

6.5 Xác nhận

Nhà cung cấp

Người sử dụng

CHÚ THÍCH: Có thể là hữu ích nếu thu thập một số các giá trị đo theo thời gian, phân tích xu hướng tăng của các điều khoản tuân thủ thỏa mãn và xác định chúng hoàn toàn thỏa mãn hay không.

Các phép đánh giá thời gian hoạt động ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

a) Thời gian đáp ứng

Thời gian đáp ứng

Thời gian cần để hoàn thành một nhiệm vụ nhất định là bao nhiêu?

Thời gian cần thiết trước khi hệ thống trả lời một vận hành nhất định là bao nhiêu?

Bắt đầu một nhiệm vụ nhất định.

Đo thời gian ví dụ cần thiết để hoàn thành nhiệm vụ đó.

Lưu kết quả cho mỗi lần đo

T = (thời điểm nhận được kết quả đo) - (thời điểm kết thúc vào lệnh)

0

Càng nhỏ càng tốt

Tỷ lệ

T = Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Tích hợp hệ thống phần mềm

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

CHÚ THÍCH: Khuyến nghị đưa vào dải thời và sử dụng phân tích thống kê với các phép đo cho các nhiệm vụ (ví dụ) chứ không chỉ cho một nhiệm vụ.

Thời gian đáp ứng (Thời gian đáp ứng trung bình)

Thời gian đợi trung bình của người sử dụng từ khi đưa ra yêu cầu đến khi yêu cầu được hoàn thành trong điều kiện tải hệ thống nhất định trên các nhiệm vụ đồng thời và tải sử dụng hệ thống là bao nhiêu?

Thực hiện một số kịch bản các nhiệm vụ đồng thời

Đo thời gian cần thiết hoàn thành vận hành lựa chọn.

Lưu kết quả của mỗi lần đo và tính giá trị trung bình cho mỗi kịch bản.

X = Tmean/TXmean

Tmean = ∑(Ti)/N, (với i = 1 đến N)

TXmean = Thời gian đáp ứng trung bình yêu cầu Ti = Thời gian đáp ứng của lần đánh giá thứ i

N = Số lần đánh giá

0<=X

Càng xấp xỉ bằng 1 càng tốt.

Tuyệt đối

Tmean = Thời gian

TXmean = Thời gian

Ti = Thời gian

N = Số đếm

X = Thời gian/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Tích hợp hệ thống phần mềm

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

CHÚ THÍCH: Thời gian đáp ứng trung bình yêu cầu có thể được lấy từ đặc tính của quá trình xử lý thời gian thực yêucầu, mong muốn của người sử dụng theo nhu cầu công việc hoặc dựa trên quan sát phản ứng của người sử dụng. Kinhnghiệm người sử dụng trên các khía cạnh lao động cũng có thể được xem xét.

Thời gian đáp ứng (Tỷ lệ thời gian đáp ứng trong trường hợp xấu nhất)

Giới hạn tuyệt đối về thời gian cần thiết để hoàn thành một chức năng là bao nhiêu?

Trong trường hợp xấu nhất, liệu người sử dụng vẫn có thể nhận được phản hồi trong giới hạn thời gian nhất định không?

Trong trường hợp xấu nhất, liệu người sử dụng vẫn nhận được trả lời từ phần mềm trong thời gian đủ ngắn người sử dụng chấp nhận được không?

Điều chỉnh bài kiểm tra.

Giả lập điều kiện để hệ thống đạt được một trạng thái tải lớn nhất.

Thực hiện chương trình và giám sát kết quả.

X = Tmax/Rmax

Tmax = MAX(Ti) (với i = 1 đến N)

Rmax = Thời gian đáp ứng lớn nhất yêu cầu

MAX(Ti) = Thời gian đáp ứng lớn nhất trong các lần đánh giá

N = Số lần đánh giá

Ti = Thời gian đáp ứng lần đánh giá i

CHÚ THÍCH:

1. Phân bố có thể được tính toán như sau:

Tỷ lệ thống kê cực đại Y = Tdev/Rmax

Tdev = Tmean+K(DEV)

Tdev là thời gian chênh lệch giữa thời gian trung bình với thời gian thực tế: ví dụ 2 hoặc 3 lần chênh lệch chuẩn.

K: hệ số (2 hoặc 3) DEV = SQRT{∑((Ti-Tmean)**2)/(N-1)} (với i = 1 đến N)

Tmean = ∑(Ti) / N, (với i = 1 tới N)

TXmean = thời gian đáp ứng trung bình yêu cầu

0

Càng gần bằng 1.0 và nhỏ hơn 1.0 càng tốt.

Tuyệt đối

Tmax;Rmax;Ti = Thời gian

N = Số đếm

X = Thời gian/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Tích hợp hệ thống/ phần mềm

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

b) Thông lượng

Thông lượng

Bao nhiêu nhiệm vụ có thể được thực hiện thành công trong khoảng thời gian cho trước?

Điều chỉnh mỗi nhiệm vụ tương ứng với mức độ ưu tiên định trước.

Bắt đầu một số các nhiệm vụ. Đo thời gian cần thiết để nhiệm vụ được đo hoàn thành hoạt động của nó.

Lưu lại kết quả cho mỗi lần đo.

X = A/T

A = Số nhiệm vụ được hoàn thành

T = Khoảng thời gian quan sát

0

Càng lớn càng tốt

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Tích hợp hệ thống/ phần mềm

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Thông lượng (Giá trị trung bình của thông lượng)

Số nhiệm vụ trung bình đồng thời hệ thống có thể xử lý được trong đơn vị thời gian thiết lập là bao nhiêu?

Điều chỉnh mỗi nhiệm vụ tương ứng với mức độ ưu tiên định trước.

Thực hiện một số các nhiệm vụ đồng thời.

Đo thời gian cần thiết để hoàn thành nhiệm vụ được chọn trên điều kiện lưu lượng cho trước.

Lưu lại kết quả cho mỗi lần đo.

X = Xmean/Rmean

Xmean = ∑(Xi) / N

Rmean = Thông lượng trung bình yêu cầu

Xi = Ai/Ti

Ai = Số nhiệm vụ đồng thời quan sát trong khoảng thời gian thiết lập cho lần đánh giá thứ i

Ti = Khoảng thời gian thiết lập cho lần đánh giá thứ i

N = Số lần đánh giá

0

Càng lớn càng tốt

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Thông lượng (Tỷ lệ thông lượng trong trường hợp xấu nhất)

Giới hạn tuyệt đối trong hệ thống trên số lượng và xử lý các nhiệm vụ đồng thời như là thông lượng là bao nhiêu?

Điều chỉnh bài kiểm tra.

Giả lập điều kiện để hệ thống đạt được trạng thái tải lớn nhất. Thực hiện các nhiệm vụ đồng thời và giám sát kết quả.

X = Xmax/Rmax

Xmax = MAX(Xi) (với i = 1 đến N)

Rmax = Thông lượng lớn nhất yêu cầu

MAX(Xi) = Số lớn nhất các nhiệm vụ trong các lần đánh giá

Xi = Ai/Ti

Ai = Số nhiệm vụ đồng thời quan sát trong khoảng thời gian thiết lập cho lần đánh giá thứ i

Ti = Khoảng thời gian thiết lập cho lần đánh giá thứ i

N = Số lần đánh giá

CHÚ THÍCH:

1. Phân bố có thể được tính toán như sau:

Tỷ lệ thống kê cực đại Y = Xdev/Xmax

Xdev = Xmean + K(DEV)

Xdev là thời gian chênh lệch giữa thời gian trung bình với thời gian thực tế: ví dụ 2 hoặc 3 lần chênh lệch chuẩn.

K: hệ số (2 hoặc 3) DEV=SQRT{∑((Xi-Xmean)**2)/(N-1)} (với i=1 đến N)

Xmean=∑(Xi)/N, (với i=1 tới N)

Xmean = ∑((Xi)/N

0

Càng lớn càng tốt

Tuyệt đối

Xmax = Số đếm

Rmax = Số đếm

Ai = Số đếm

Ti = Thời gian

Xi = Số đếm/Thời gian

N = Số đếm

Xdev = Số đếm

Xi = Số đếm/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

c) Thời gian hoàn thành

Thời gian hoàn thành

Thời gian đợi của người sử dụng sau khi đưa lệnh để bắt đầu một nhóm các nhiệm vụ liên quan và khi hoàn thành chúng là bao nhiêu?

Điều chỉnh bài kiểm tra tương ứng.

Bắt đầu thực hiện nhiệm vụ. Đo thời gian cần thiết cho nhiệm vụ để hoàn thành vận hành.

Lưu kết quả đo mỗi lần đo.

T = Thời gian giữa kết thúc nhận được kết quả đầu ra và kết thúc đưa yêu cầu của người sử dụng.

CHÚ THÍCH: Khuyến nghị đưa ra thông lượng thời gian và sử dụng phân tích thống kê cùng các giá trị đo cho nhiều nhiệm vụ, chứ không chỉ cho một nhiệm vụ.

0

Càng nhỏ càng tốt

Tỷ lệ

T = Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Tích hợp hệ thống/ phần mềm

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Thời gian hoàn thành (Thời gian trung bình cho việc hoàn thành)

Thời gian đợi trung bình của người sử dụng sau khi đưa lệnh để bắt đầu một nhóm các nhiệm vụ liên quan và khi hoàn thành chúng với tải hệ thống xác định trên các nhiệm vụ đồng thời và tải sử dụng hệ thống là bao nhiêu?

Điều chỉnh bài kiểm tra tương ứng.

Giả lập điều kiện tải của hệ thống bằng cách thực hiện một số các nhiệm vụ đồng thời.

Đo thời gian cần thiết để hoàn thành nhiệm vụ đã chọn trên lưu lượng cho trước.

Lưu kết quả cho mỗi lần đo.

X = Tmean/TXmean

Tmean = ∑(Ti)/N, (với i + 1 đến N)

TXmean = Thời gian hoàn thành trung bình yêu cầu

Ti = Thời gian hoàn thành cho lần đánh giá thứ i

N = Số lần đánh giá

0

Càng nhỏ càng tốt

Tuyệt đối

Tmean = Thời gian

TXmean = Thời gian

Ti = Thời gian

N = Số đếm

X = Thời gian/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Tích hợp hệ thống/ phần mềm

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Thời gian hoàn thành (Tỷ lệ thời gian hoàn thành trong trường hợp xấu nhất)

Giới hạn tuyệt đối về thời gian yêu cầu để hoàn thành nhiệm vụ là bao nhiêu?

Trong trường hợp xấu nhất thời gian để hệ thống phần mềm hoàn thành các nhiệm vụ xác định là bao nhiêu?

Điều chỉnh bài kiểm tra.

Giả lập điều kiện để hệ thống đạt được trạng thái tải lớn nhất trên các nhiệm vụ thực hiện. Thực hiện các nhiệm vụ được chọn và giám sát kết quả.

X = Tmax/Rmax

Tmax = MAX(Ti) (với i = 1 đến N)

Rmax = Thời gian hoàn thành lớn nhất yêu cầu

MAX(Ti) = Thời gian hoàn thành lớn nhất trong các lần đánh giá

N = Số lần đánh giá

Ti = Thời gian hoàn thành cho lần đánh giá thứ i

CHÚ THÍCH:

1. Phân bố có thể được tính toán như sau:

Tỷ lệ thống kê cực đại Y = Tdev/Rmax

Tdev = Tmean+K(DEV)

Tdev là thời gian chênh lệch giữa thời gian trung bình với thời gian thực tế: ví dụ 2 hoặc 3 lần chênh lệch chuẩn.

K: hệ số (2 hoặc 3) DEV = SQRT{∑((Ti-Tmean)**2)/(N-1)} (với i = 1 đến N)

Tmean = ∑(Ti) / N, (với i = 1 tới N)

TXmean = thời gian trung bình yêu cầu

0

Càng gần 1.0 và nhỏ hơn 1.0 càng tốt.

Tuyệt đối

X = Thời gian/Thời gian

Tmax= Thời gian

Rmax= Thời gian

Ti = Thời gian

N = Thời gian

Tdev = Thời gian

N = Số đếm

Xdev = Số đếm

Xi = Số đếm/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Thời gian đợi

Tỷ lệ thời gian người sử dụng đợi hệ thống trả lời là bao nhiêu?

Thực hiện một số các kịch bản nhiệm vụ đồng thời.

Đo thời gian cần thiết để hoàn thành các vận hành đã chọn.

Lưu kết quả của mỗi lần thử nghiệm và tính thời gian trung bình cho mỗi kịch bản.

X = Ta/Tb

Ta = Tổng thời gian đợi

Tb = thời gian của nhiệm vụ

0<=X

Càng nhỏ càng tốt

Tuyệt đối

Ta = Thời gian

Tb = Thời gian

X = Thời gian/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Tích hợp hệ thống phần mềm

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

CHÚ THÍCH: Nếu các nhiệm vụ có thể hoàn thành từng phần phép đánh giá hiệu quả nhiệm vụ phải được sử dụng khithực hiện so sánh.

Các phép đánh giá sử dụng tài nguyên ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

a) Sử dụng tài nguyên thiết bị I/O

Sử dụng thiết bị I/O

Việc sử dụng thiết bị I/O có quá cao, gây ra không hiệu quả?

Thực hiện đồng thời một lượng lớn các nhiệm vụ, ghi lại sử dụng của thiết bị I/O, và so sánh với mục tiêu thiết kế.

X = A/B

A = Thời gian thiết bị I/O được sử dụng.

B = thời gian xác định được thiết kế cho việc sử dụng thiết bị.

0<=X<=1

Nhỏ hơn và càng gần 1.0 thì tốt hơn.

Tuyệt đối

A = Thời gian

B = Thời gian

X = Thời gian/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

SQA

Giới hạn tải I/O

Giới hạn tuyệt đối của việc sử dụng I/O trong hoàn thành chức năng?

Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và giám sát kết quả.

X = Amax/Rmax

Amax = MAX(Ai), (với i = 1 đến N)

Rmax = Bản tin I/O lớn nhất yêu cầu

MAX(Ai) = Số lượng lớn nhất bản tin I/O từ lần 1 đến lần đánh giá thứ i.

N = Số lần đánh giá

0<=X

Càng nhỏ càng tốt.

Tuyệt đối

Amax = Số đếm

Rmax = Số đếm

Ai = Số đếm

N = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Lỗi liên quan đến I/O

Người sử dụng thường xuyên gặp vấn đề trong vận hành liên quan đến thiết bị I/O như thế nào?

Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố I/O và các cảnh báo.

X = A/T

A = Số bản tin cảnh báo hoặc sự cố hệ thống

T = Thời gian vận hành người sử dụng trong quá trình quan sát.

0<=X

Càng nhỏ càng tốt.

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

SQA

Tỷ lệ hoàn thành I/O trung bình

Số lượng trung bình của bản tin lỗi liên quan đến I/O và số lần sự cố trong một thời gian xác định và sử dụng xác định là bao nhiêu?

Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố I/O và các cảnh báo.

X = Amean/Rmean

Amean = ∑(Ai)/N

Rmean = Số bản tin I/O trung bình được yêu cầu

Ai = Số bản tin lỗi cho lần đánh giá thứ i

N = Số lần đánh giá

0<=X

Càng nhỏ càng tốt.

Tuyệt đối

Amean = Số đếm

Rmean = Số đếm

Ai = Số đếm

N = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Thời gian đợi của người sử dụng khi sử dụng thiết bị I/O

Tác động của việc sử dụng thiết bị I/O tới thời gian đợi của người sử dụng là bao nhiêu?

Thực hiện đồng thời một lượng lớn các nhiệm vụ và đo thời gian đợi vận hành của thiết bị I/O của người sử dụng.

T = Thời gian đợi kết thúc vận hành thiết bị I/O

CHÚ THÍCH: Khuyến nghị thời gian lớn nhất và thời gian phân bố được xác định cho nhiều trường hợp kiểm tra hay vận hành, bởi vì các phép đo thường thay đổi bởi điều kiện sử dụng.

0

Càng nhỏ càng tốt

Tỷ lệ

T = Thời gian

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

b) Sử dụng tài nguyên bộ nhớ

Sử dụng bộ nhớ lớn nhất

Giới hạn tuyệt đối của bộ nhớ được yêu cầu để hoàn thành chức năng là bao nhiêu?

Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và giám sát kết quả

X = Amax/Rmax

Amax = MAX(Ai), (với i = 1 đến N)

Rmax = Số lượng bản tin lỗi lớn nhất liên quan đến bộ nhớ được yêu cầu

MAX(Ai) = Số lượng bản tin lỗi lớn nhất liên quan đến bộ nhớ từ lần đánh giá 1 đến lần i.

N = Tổng số lần đánh giá

0<=X

Càng nhỏ càng tốt

Tuyệt đối

Amax = Số đếm

Rmax = Số đếm

Ai = Số đếm

N = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Xuất hiện trung bình lỗi bộ nhớ

Số lượng trung bình của bản tin lỗi và sự cố liên quan đến bộ nhớ trong một  thời gian xác định và tải xác định trong hệ thống là bao nhiêu?

Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố bộ nhớ và cảnh báo.

X = Amean/Rmean

Amean = ∑(Ai)/N

Rmean = Số bản tin lỗi trung bình liên quan đến bộ nhớ được yêu cầu

Ai = Số bản tin lỗi liên quan đến bộ nhớ trong lần đánh giá thứ i

N = Số lần đánh giá

0<=X

Càng nhỏ càng tốt.

Tuyệt đối

Amean = Số đếm

Rmean = Số đếm

Ai = Số đếm

N = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Tỷ lệ lỗi bộ nhớ/ thời gian

Số lượng lỗi bộ nhớ trong khoảng thời gian thiết lập và sử dụng tài nguyên nhất định là bao nhiêu?

Điều chỉnh các điều kiện kiểm tra.

Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất.

Thực hiện ứng dụng và ghi lại số lỗi do sự cố bộ nhớ và cảnh báo.

X = A/T

A = Số lượng bản tin cảnh báo hay sự cố hệ thống

T = Thời gian vận hành người sử dụng trong quá trình quan sát.

0<=X

Càng nhỏ càng tốt.

Tỷ lệ

A = Số đếm

T = Số đếm

X = Số đếm/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

SQA

c) Sử dụng tài nguyên truyền dẫn

Sử dụng truyền dẫn lớn nhất

Giới hạn tuyệt đối của truyền dẫn yêu cầu để hoàn thành chức năng là bao nhiêu?

Xác định yêu cầu để hệ thống đạt được trạng thái tải lớn nhất.

Giả lập điều kiện đó. Thực hiện ứng dụng và giám sát kết quả.

X = Amax/Rmax

Amax = MAX(Ai), (với i = 1 đến N)

Rmax = Số lớn nhất được yêu cầu của bản tin lỗi và sự cố liên quan đến truyền dẫn

MAX(Ai) = Số lớn nhất của bản tin lỗi và sự cố liên quan đến truyền tải từ lần đánh giá từ 1 đến lần i.

N = Số lần đánh giá

0<=X

Càng nhỏ càng tốt

Tuyệt đối

Amax = Số đếm

Rmax = Số đếm

Ai = Số đếm

N = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Cân bằng sử dụng giữa các thiết bị phương tiện

Mức đồng bộ giữa các phương tiện khác nhau trong một khoảng thời gian thiết lập là thế nào?

Điều chỉnh các điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải truyền dẫn lớn nhất. Thực hiện ứng dụng và ghi lại độ trễ trong quá trình xử lý các loại phương tiện khác nhau.

X = SyncTime/T

SyncTime = Thời gian dành cho tài nguyên liên tục

T = Khoảng thời gian được yêu cầu trong đó các phương tiện không giống nhau được mong đợi kết thúc các nhiệm vụ một cách đồng bộ

Càng nhỏ càng tốt.

Tỷ lệ

SyncTime = Thời gian

T = Thời gian

X = Thời gian/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

SQA

Xuất hiện trung bình lỗi truyền dẫn

Số lượng trung bình bản tin lỗi và sự cố liên quan đến truyền tải trong khoảng thời gian xác định và sử dụng xác định là bao nhiêu?

Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố truyền tải và các cảnh báo.

X = Amean/Rmean

Amean = ∑(Ai)/N

Rmean = Số lượng trung bình được yêu cầu các bản tin lỗi và sự cố liên quan đến truyền dẫn

Ai = Số lượng trung bình các bản tin lỗi và sự cố liên quan đến truyền dẫn trong lần đánh giá thứ i.

N = Số lần đánh giá

0<=X

Càng nhỏ càng tốt.

Tuyệt đối

Amean = Số đếm

Rmean = Số đếm

Ai = Số đếm

N = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

SQA

Lỗi truyền dẫn trung bình trên thời gian

Có bao nhiêu bản tin lỗi liên quan đến truyền dẫn xảy ra trong một khoảng thời gian xác định và sử dụng tài nguyên xác định?

Điều chỉnh các điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải truyền dẫn lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố truyền dẫn và các cảnh báo.

X = A/T

A = Số lượng bản tin cảnh báo hay sự cố hệ thống

T = Thời gian vận hành người sử dụng trong quá trình quan sát.

0<=X

Càng nhỏ càng tốt.

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

Báo cáo kiểm tra

Báo cáo vận hành biểu hiện thời gian trôi qua

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

SQA

Sử dụng dung lượng truyền dẫn

Hệ thống phần mềm có khả năng thực hiện các nhiệm vụ trong phạm vi dung lượng truyền dẫn mong đợi được không?

Thực hiện đồng thời các nhiệm vụ với nhiều người sử dụng, quan sát dung lượng truyền dẫn và so sánh giá trị.

X = A/B

A = dung lượng truyền dẫn

B = dung lượng truyền dẫn xác định được thiết kế để phần mềm sử dụng thực hiện công việc

CHÚ THÍCH: Khuyến nghị nên đo giá trị động lớn nhất với nhiều người sử dụng.

0<=X<=1

Nhỏ hơn và càng gần 1.0 thì càng tốt.

Tuyệt đối

A = Kích thước

B = Kích cỡ

X = Kích cỡ/ Kích cỡ

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

SQA

Các phép đánh giá sự tuân thủ của tính hiệu quả ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tuân thủ của tính hiệu quả

Tính hiệu quả của sản phẩm tuân thủ các quy định, tiêu chuẩn, và thỏa thuận có khả năng áp dụng như thế nào?

Đếm số thành phần yêu cầu tuân thủ đã được đáp ứng và so sánh với tổng số thành phần yêu cầu phải tuân thủ trong đặc tả

X = 1 - A/B

(X: tỷ lệ thành phần thỏa mãn tuân thủ liên quan đến tính hiệu quả)

A = Số lượng thành phần tuân thủ tính hiệu quả được xác định mà không được triển khai trong quá trình kiểm tra

B = Tổng số thành phần tuân thủ tính hiệu quả được xác định.

CHÚ THÍCH: Có thể sẽ thuận lợi hơn nếu thu thập nhiều giá trị đo trong khoảng thời gian dài, phân tích xu hướng làm tăng số lượng thành phần tuân thủ của tính hiệu quả và xác định chúng có thỏa mãn hoàn toàn hay không.

0<=X<=1

Càng gần đến 1.0 thì càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, thỏa thuận, quy định liên quan

Đặc tính và báo cáo kiểm tra

5.3 Kiểm tra chất lượng

6.5 Xác nhận

Nhà cung cấp

Người sử dụng

Các phép đánh giá khả năng phân tích ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng theo dõi kiểm tra

Người sử dụng có thể nhận biết vận hành cụ thể nào gây ra sự cố không?

Người bảo trì có thể dễ dàng tìm vận hành cụ thể nào gây ra sự cố không?

Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng xử lý sự cố

X = A/B

A = Số lượng dữ liệu thực tế được ghi trong quá trình vận hành.

B = Số lượng dữ liệu dự kiến được ghi đủ để giám sát trạng thái phần mềm trong quá trình vận hành

0<=X<=1

Càng gần 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

Hỗ trợ chức năng chẩn đoán

Các chức năng chẩn đoán hỗ trợ phân tích nguyên nhân có khả năng đến đâu?

Người sử dụng có thể nhận biết vận hành cụ thể nào gây ra sự cố không? (Người sử dụng có thể có khả năng tránh rơi vào sự cố giống như vậy với vận hành khác)

Người bảo trì có thể dễ dàng tìm nguyên nhân sự cố hay không?

Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng xử lý sự cố sử dụng các chức năng chẩn đoán

X = A/B

A = Số sự cố người bảo trì có thể chẩn đoán (sử dụng chức năng chẩn đoán) để hiểu mối quan hệ nguyên nhân - kết quả

B = Tổ số sự cố ghi được

0<=X<=1

Càng gần 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

Khả năng phân tích lỗi

Người sử dụng có thể nhận biết vận hành cụ thể nào gây ra sự cố không?

Người bảo trì có thể dễ dàng tìm ra nguyên nhân sự cố không?

Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng xử lý sự cố

X = 1 - A/B

A = Số sự cố nguyên nhân còn chưa tìm được

B = Tổng số sự cố ghi được

0<=X<=1

Càng xấp xỉ bằng 1 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

Người vận hành

Hiệu quả phân tích sự cố

Người sử dụng có thể phân tích hiệu quả nguyên nhân sự cố không? (Người sử dụng thỉnh thoảng thực hiện bảo trì bằng cách thiết lập các thông số)

Người bảo trì có thể dễ dàng tìm ra nguyên nhân sự cố không? Việc phân tích nguyên nhân sự cố dễ dàng đến mức nào?

Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng xử lý sự cố

X = Sum(T)/N

T = Tout - Tin

Tout = Thời điểm các nguyên nhân sự cố được phát hiện (hoặc được thông báo cho người sử dụng)

Tin = Thời điểm nhận được thông báo lỗi

N = Số lỗi ghi được

0<=X

Càng nhỏ càng tốt.

Tỷ số

T = Thời gian Tin

Tout = Thời gian

N = Số đếm

X = Thời gian/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH:

1. Khuyến nghị đo thời gian lớn nhất trong trường hợp xấu nhất và khoảng thời gian (băng thông) biểu diễn độ lệch.

2. Khuyến nghị loại trừ số sự cố nguyên nhân còn chưa được tìm ra khi thực hiện đo. Tuy nhiên, tỷ lệ các sự cố khôngrõ như vậy cũng phải được đo và đưa ra cùng nhau.

3. Từ quan điểm của người sử dụng cá nhân, thời gian được quan tâm, trong khi đó sự nỗ lực cũng có thể là mối quantâm từ quan điểm của người bảo trì. Do đó, người-giờ có thể được sử dụng thay thế cho thời gian.

Khả năng giám sát trạng thái

Người sử dụng có thể nhận biết vận hành cụ thể gây ra sự cố thông qua dữ liệu giám sát trong quá trình vận hành không?

Người bảo trì có thể dễ dàng tìm ra nguyên nhân sự cố thông qua dữ liệu giám sát trong quá trình vận hành  không?

Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng lấy thông tin giám sát ghi trạng thái phần mềm trong quá trình vận hành.

X = 1 - A/B

A = Số trường hợp người bảo trì (hoặc người sử dụng) không lấy được dữ liệu giám sát

B = Số lượng trường hợp mà người bảo trì (người sử dụng) cố gắng lấy dữ liệu giám sát ghi trạng thái phần mềm trong quá trình vận hành

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người phát triển

Người bảo trì

Người vận hành

Các phép đánh giá khả năng thay đổi được ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tính hiệu quả chu trình thay đổi

Vấn đề của người sử dụng có thể được giải quyết thỏa đáng trong khoảng thời gian hợp lý không?

Giám sát tương tác giữa người sử dụng và nhà cung cấp.

Ghi lại thời gian từ khi người sử dụng bắt đầu yêu cầu đến khi vấn đề được giải quyết.

Thời gian trung bình: Tav = Sum(Tu)/N

Tu = Trc - Tsn

Tsn = Thời điểm người sử dụng hoàn thành gửi yêu cầu để bảo trì cho nhà cung cấp cùng báo cáo vấn đề

Trc = Thời điểm người sử dụng nhận được phiên bản sửa lại (hay báo cáo trạng thái)

N = Số phiên bản

0

Càng nhỏ càng tốt, trừ phi số phiên bản sửa lại lớn.

Tỷ lệ

Tu = Thời gian

Trc, Tsn = Thời gian

N = Số đếm

Tav = Thời gian

Báo cáo giải quyết vấn đề

Báo cáo bảo trì

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

Thời gian triển khai thay đổi phần mềm

Liệu người bảo trì có thể dễ dàng thay đổi phần mềm để giải quyết sự cố không?

Quan sát thái độ của người sử dụng và người bảo trì khi cố gắng thay đổi phần mềm.

Nếu không xem xét báo cáo giải quyết vấn đề hay báo cáo bảo trì

Thời gian trung bình: Tav = Sum(Tm)/N

Tm = Tout - Tin

Tout = Thời điểm nguyên nhân sự cố được gỡ bỏ bằng cách thay đổi phần mềm (hoặc trạng thái được báo cáo cho người sử dụng)

Tin = Thời điểm nguyên nhân sự cố được phát hiện

N = Số sự cố được ghi lại và được gỡ bỏ

0

Càng nhỏ càng tốt, trừ phi số sự cố lớn.

Tỷ lệ

Tm = Thời gian

Tin, Tout = Thời gian

Tav = Thời gian

Báo cáo giải quyết vấn đề

Báo cáo bảo trì

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

CHÚ THÍCH:

1.Khuyến nghị đo thời gian lớn nhất trong trường hợp xấu nhất và khoảng thời gian (băng thông) biểu diễn độ lệch.

2. Khuyến nghị loại trừ số sự cố nguyên nhân còn chưa được tìm ra khi thực hiện đo. Tuy nhiên, tỷ lệ các sự cố không rõ như vậy cũng phải được đo và đưa ra cùng nhau.

3. Từ quan điểm của người sử dụng cá nhân, thời gian được quan tâm, trong khi đó sự nỗ lực cũng có thể là mối quan tâm từ quan điểm của người bảo trì. Do đó, người-giờ có thể được sử dụng thay thế cho thời gian.

Tính phức tạp của quá trình sửa đổi

Người bảo trì có thể dễ dàng thay đổi phần mềm để giải quyết vấn đề không?

Quan sát thái độ người bảo trì trong đang cố gắng thay đổi phần mềm. Nếu không xem xét báo cáo giải quyết lỗi hay báo cáo bảo trì và mô tả sản phẩm

T = Sum(AB)/N

A = Thời gian làm việc để thay đổi

B = Khối lượng thay đổi phần mềm

N = Số lượng các thay đổi

CHÚ THÍCH:

Kích cỡ thay đổi của phần mềm có thể được thay đổi dựa trên câu lệnh thực hiện của mã chương trình, số lượng thành phần thay đổi của đặc tả yêu cầu, hay số trang thay đổi của tài liệu…

0

Càng nhỏ càng tốt, hay số lượng yêu cầu thay đổi quá nhiều.

Tỷ lệ

A = Thời gian

B = Kích thước

N = Số đếm

T = Thời gian

Báo cáo giải quyết vấn đề

Báo cáo bảo trì

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

Khả năng thay đổi tham số

Người sử dụng hay người bảo trì có thể dễ dàng thay đổi tham số để thay đổi phần mềm và giải quyết vấn đề không?

Quan sát thái độ của người sử dụng hoặc người bảo trì khi cố gắng thay đổi phần mềm.

Nếu không xem xét báo cáo giải quyết vấn đề hay báo cáo bảo trì

X = 1 - A/B

A = Số trường hợp người bảo trì thất bại khi thay đổi phần mềm bằng cách sử dụng tham số

B = Số trường hợp người bảo trì cố gắng thay đổi phần mềm bằng cách sử dụng tham số

0<=X<=1

Càng gần đến 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng hoặc đặc tả

Báo cáo giải quyết vấn đề

Báo cáo bảo trì

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

Khả năng quản lý thay đổi phần mềm

Người sử dụng có thể dễ dàng nhận biết phiên bản sửa lại không?

Người bảo trì có thể dễ dàng thay đổi phần mềm để giải quyết vấn đề không?

Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng thay đổi phần mềm.

Nếu không xem xét báo cáo giải quyết vấn đề hay báo cáo bảo trì

X = A/B

A = Số lượng dữ liệu thay đổi được ghi lại thực tế

B = Số lượng dữ liệu thay đổi dự kiến được ghi vừa đủ để dò tìm thay đổi phần mềm.

0<=X<=1

Càng gần đến một càng tốt hay gần đến 0 càng thay đổi ít

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng hoặc đặc tả

Báo cáo giải quyết vấn đề

Báo cáo bảo trì

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

Các phép đánh giá tính ổn định ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tỷ lệ thay đổi thành công

Người sử dụng có thể vận hành hệ thống phần mềm không sự cố sau khi được bảo trì không?

Người bảo trì có thể dễ dàng giảm sự cố gây ra bởi tác động của việc bảo trì không?

Quan sát thái độ của người sử dụng hay người bảo trì đang vận hành hệ thống phần mềm sau bảo trì.

Đếm số lượng sự cố mà người sử dụng hay người bảo trì gặp phải khi vận hành phần mềm trước và sau khi bảo trì

Nếu không xem xét báo cáo giải quyết sự cố, báo cáo vận hành hay báo cáo bảo trì

X = Na/Ta

Y{(Na/Ta)/(Nb/Tb)}

Na = Số trường hợp người sử dụng gặp sự cố sau trong vận hành sau khi phần mềm được thay đổi

Nb = Số trường hợp người sử dụng gặp sự cố trong vận hành trước khi phần mềm được thay đổi

Ta = Thời gian vận hành trong khoảng thời gian quan sát xác định sau khi phần mềm được thay đổi.

Tb = Thời gian vận hành trong khoảng thời gian quan sát xác định trước khi phần mềm được thay đổi.

0<=X,Y

Càng nhỏ và càng gần đến 0 càng tốt.

Tỷ lệ

Na,Nb = Số đếm

Ta,Tb = Thời gian

X = Số đếm/Thời gian

Y=[(Số đếm/Thời gian/(Số đếm/Thời gian)]

Báo cáo giải quyết vấn đề

Báo cáo bảo trì

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

CHÚ THÍCH:

1. X và Y có nghĩa “tần suất gặp sự cố sau khi thay đổi" và "tần suất dao động các sự cố gặp phải trước/ sau khi thay đổi".

2. Người sử dụng có thể cần khoảng thời gian nhất định để xác định tác động của các thay đổi phần mềm, khi nâng cấp phần mềm được đưa ra đề giải quyết các vấn đề.

3. Khuyến nghị so sánh tần suất này trước và sau khi thay đổi.

4. Nếu các chức năng thay đổi được nhận biết, khuyến nghị xác định các sự cố gặp phải được phát hiện trong chứcnăng thay đổi hay trong các chức năng khác. Mức độảnh hưởng có thể được chấm điểm cho mỗi sự cố.

Xác định ảnh hưởng của thay đổi

(Sự cố nảy sinh sau khi thay đổi)

Người sử dụng có thể vận hành hệ thống phần mềm không sự cố sau khi được bảo trì không?

Người bảo trì có thể dễ dàng giảm sự cố gây ra bởi tác động của việc bảo trì không?

Đếm sự cố xảy ra sau khi thay đổi, chúng móc xích lẫn nhau và ảnh hưởng bởi thay đổi.

X = A/N

A = Số sự cố nảy sinh sau khi sự cố được giải quyết bằng thay đổi trong một thời gian nhất định

N = Số sự cố được giải quyết

0<=X

Càng nhỏ, càng gần đến 0 càng tốt.

Tuyệt đối

A = Số đếm

N = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

CHÚ THíCH: X có nghĩa là “sự cố chuỗi nảy sinh trên sự cố được giải quyết”. Khuyến nghị thực hiện phép đo chính xác bằng cách kiểm tra nguyên nhân sự cố hiện thời thuộc về thay đổi cho giải quyết sự cố trước hay không.

Các phép đánh giá khả năng kiểm tra ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tính sẵn sàng của chức năng kiểm tra có sẵn sàng trong phần mềm

Liệu người sử dụng và người bảo trì có thể dễ dàng thực hiện kiểm tra vận hành mà không cần chuẩn bị thêm phương tiện kiểm tra không?

Quan sát thái độ của người sử dụng hay người bảo trì kiểm tra hệ thống phần mềm sau khi bảo trì.

X = A/B

A = Số trường hợp người bảo trì có thể sử dụng chức năng kiểm tra phù hợp có sẵn

B = Số trường hợp thực hiện kiểm tra

0<=X<=1

Càng lớn, càng gần 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

CHÚ THÍCH: Ví dụ của chức năng kiểm tra có sẵn bao gồm chức năng mô phỏng, chức năng kiểm tra trước khi sửdụng,...

Tính hiệu quả khi kiểm tra lại

Liệu người sử dụng và người bảo trì có thể dễ dàng kiểm tra vận hành và xác định phần mềm đã sẵn sàng hoạt động hay không?

Quan sát thái độ của người sử dụng hay người bảo trì kiểm tra hệ thống phần mềm sau khi bảo trì.

X = Sum(T)/N

T = Thời gian cần thiết để kiểm tra chắc chắn rằng sự cố được báo cáo đã được giải quyết hay chưa

N = Số sự cố được giải quyết

0

Càng nhỏ, càng tốt

Tỷ lệ

T = Thời gian

N = Số đếm

X = Thời gian/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

CHÚ THÍCH: X có nghĩa “thời gian trung bình kiểm tra sau khi giải quyết sự cố". Nếu các sự cố chưa được giải quyết hay sửa,loại trừ chúng và đo tỷ lệ các lỗi này riêng.

Khả năng khởi tạo lại việc kiểm tra

Người sử dụng và người bảo trì có thể dễ dàng thực hiện kiểm tra vận hành với các điểm kiểm tra sau khi bảo trì không?

Quan sát thái độ của người sử dụng hay người bảo trì kiểm tra hệ thống phần mềm sau bảo trì.

X = A/B

A = Số trường hợp người bảo trì có thể tạm dừng và khởi tạo lại quá trình kiểm tra đang thực hiện tại một số điểm mong muốn để kiểm tra lần lượt từng bước một.

B = Số trường hợp tạm dừng quá trình kiểm tra

0<=X<=1

Càng lớn và càng gần 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người sử dụng

Người bảo trì

Người vận hành

Các phép đánh giá tính tuân thủ của khả năng bảo trì

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tuân thủ khả năng bảo trì

Khả năng bảo trì của sản phẩm tuân thủ các quy định, tiêu chuẩn, thỏa thuận áp dụng như thế nào?

Đếm số thành phần yêu cầu tuân thủ đáp ứng được, và so sánh với tổng số thành phần yêu cầu tuân thủ trong đặc tả

X = 1 - A/B

A = Số lượng thành phần tuân thủ của khả năng bảo trì được xác định mà không được triển khai trong quá trình kiểm tra

B = Tổng số thành phần cần tuân thủ khả năng bảo trì được xác định.

0<=X<=1

Càng gần 1.0 thì càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, thỏa thuận, hay quy định liên quan

Đặc tính và báo cáo kiểm tra

5.3 Kiểm tra chất lượng

6.5 Xác nhận

Người cung cấp

Người sử dụng

CHÚ THÍCH: Sẽ hữu ích nếu thu thập nhiều giá trị đo trong khoảng thời gian dài, phân tích xu hướng tăng thành phầntuânthủ đượcthỏa mãn và xác định nó có thỏa mãn hoàn toàn không.

Các phép đánh giá khả năng tương thích ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng tương thích của cấu trúc dữ liệu

Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với tập dữ liệu trong môi trường mới không?

Quan sát thái độ người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động mới

X = A/B

A = Số lượng dữ liệu có khả năng vận hành nhưng không được nhận biết do vận hành không đầy đủ gây ra bởi các hạn chế trong quá trình tương hợp

B = Số lượng dữ liệu được mong đợi có khả năng vận hành trong môi trường tương hợp với phần mềm

0<=X<=1

Càng lớn và càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH: Các dữ liệu này chủ yếu bao gồm nhiều dạng dữ liệu như các tệp dữ liệu, bộ dữ liệu hoặc các cơ sở dữ liệu được tương hợp với các khối lượng dữ liệu, thành phần dữ liệu hoặc cấu trúc dữ liệu khác nhau. A và Bở côngthức trên cần được đếm với cùng một dạng dữ liệu. Sự tương thích như vậy có thể được yêu cầu khi, ví dụ, phạm vi công việc được mở rộng.

Khả năng tương thích môi trường phần cứng

(Khả năng tương thích với các thiết bị phần cứng và thiết bị mạng)

Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với môi trường không?

Hệ thống phần mềm có đủ khả năng tự tương thích với môi trường hoạt động?

Quan sát thái độ của người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động

X = 1 - A/B

A = Số lượng chức năng vận hành các nhiệm vụ của chúng không được hoàn thành hoặc không đạt được kết quả đáp ứng mức độ thỏa đáng trong quá trình kiểm tra vận hành với môi trường công việc người sử dụng

B = Tổng số các chức năng được kiểm tra.

0<=X<=1

Càng lớn  càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH: Khuyến nghị tiến hành kiểm tra phối hợp quá tải với các cấu hình môi trường phần cứng có khả năng phối hợp hoạt động trong môi trường nhiều người sử dụng.

Khả năng tương thích với môi trường của tổ chức

(Khả năng tương thích của tổ chức với hạ tầng của tổ chức)

Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với môi trường ?

Hệ thống phần mềm có đủ khả năng tự tương thích với môi trường hoạt động?

Quan sát thái độ của người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động

X = 1 - A/B

A = Số lượng chức năng vận hành các nhiệm vụ của chúng không được hoàn thành hoặc không đạt được kết quả đáp ứng mức độ thỏa đáng trong quá trình kiểm tra vận hành với môi trường công việc người sử dụng

B = Tổng số các chức năng được kiểm tra.

0<=X<=1

Càng lớn  càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH:

1. Khuyến nghị tiến hành kiểm tra có tính đến nhiều dạng kết hợp các thành phần hạ tầng trong môi trường công việc có thể có của người sử dụng.

2. "Khả năng tương thích môi trường tổ chức" liên quan tới môi trường hoạt động kinh doanh của tổ chức người sử dụng "Khả năng tương thích môi trường hệ thống phần mềm" liên quan tới môi trường hoạt động kỹ thuật của hệ thống. Do vậy, ở đây có sự phân biệt rõ ràng.

Tính thân thiện với người sử dụng

Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với môi trường?

Quan sát thái độ người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động

T = Tổng thời gian vận hành người sử dụng để hoàn thành tương thích phần mềm với môi trường người sử dụng khi họ cài đặt hoặc thay đổi cài đặt

CHÚ THÍCH: T có nghĩa "người sử dụng yêu cầu tương hợp với môi trường người sử dụng". Người-giờ có thể được sử dụng thay cho thời gian.

0

Càng nhỏ càng tốt.

Tỷ số

T = Thời gian

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

Khả năng tương thích với môi trường phần mềm hệ thống

(Khả năng tương thích với hệ điều hành, phần mềm mạng và phần mềm ứng dụng liên kết)

Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với môi trường ?

Hệ thống phần mềm có đủ khả năng tự tương thích với môi trường hoạt động?

Quan sát thái độ của người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động

X = 1 - A/B

A = Số lượng chức năng vận hành có các nhiệm vụ không được hoàn thành hoặc không đạt được kết quả đáp ứng mức thỏa đáng trong quá trình kiểm tra vận hành phối hợp với phần mềm hệ thống điều hành hoặc phần mềm ứng dụng hiện thời.

B = Tổng số các chức năng được kiểm tra.

0<=X<=1

Càng lớn  càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH:

1. Khuyến nghị tiến hành kiểm tra phối hợp quá tải vớiphần mềm hệ thống điều hành hoặc phần mềm ứng dụng hiện thời, chúng có thể phối hợp hoạt động trong nhiều môi trường người sử dụng.

2. “Khả năng tương thích môi trường tổ chức" liên quan tới môi trường hoạt động kinh doanh của tổ chức người sửdụng. “Khảnăng tương thích môi trường phần mềm hệ thống" liên quan tới môi trường hoạt động kỹ thuật trong hệthống. Do vậy, ở đây có sự phân biệt rõ ràng.

Các phép đánh giá khả năng cài đặt phần mềm

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Dễ dàng cài đặt

Người sử dụng hay người vận hành có thể dễ dàng cài đặt phần mềm trong môi trường hoạt động không?

Quan sát thái độ của người sử dụng hay người bảo trì khi cố gắng cài đặt phần mềm trong môi trường hoạt động

X = A/B

A = Số trường hợp người sử dụng thay đổi cài đặt thành công để thuận tiện cho mình

B = Tổng số trường hợp người sử dụng cố gắng thay đổi cài đặt để thuận tiện cho mình

0<=X<=1

Càng gần 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH

1. Phép đánh giá này được đề xuất như một sử dụng thực nghiệm

2. Khi phép đánh giá cơ sở thời gian được yêu cầu, thời gian cài đặt có thể có khả năng đođược.

Dễ dàng thực hiện lại cài đặt

Người sử dụng hay người vận hành có thể dễ dàng cài đặt lại phần mềm không?

Quan sát thái độ của người sử dụng hay người bảo trì khi thử cài đặt lại phần mềm

X = 1 - A/B

A = Số trường hợp người sử dụng không cài đặt lại được trong quá trình cài đặt

B = Tổng số trường hợp người sử dụng cố gắng cài đặt lại trong quá trình cài đặt

0<=X<=1

Càng gần 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH: Phép đánh giá này được đề xuất như một sử dụng thực nghiệm

CHÚ THÍCH:

Các phép đánh giá bổ sung sau có thể được sử dụng.

1. Cài đặt dễ dàng

Thao tác người sử dụng để cài đặt X=A

A= Số thao tác người sử dụng cần để cài đặt

0àng nhỏ càng tốt.

2. Dễ dàng cài đặt

Mức hỗ trợ cài đặt X=A

A được đánh giá với, ví dụ:

- Chỉ có chương trình thực hiện cài đặt và không cần bất cứ gì hơn (tuyệt vời);

- Hướng dẫn cài đặt (tốt);

- Mã nguồn chương trình cần thay đổi để cài đặt (tồi).

X = Chuyển đổi trực tiếp của giá trị đo

3. Giảm nỗ lực hoạt động cài đặt

Tỷ lệ giảm thủ tục vận hành cài đặt của người sử dụng X= 1-A/B

A= Số thủ tục vận hành cài đặt người sử dụng bắt buộc phải thực hiện sau khi giảm thủ tục

B = Số thủ tục vận hành cài đặt bình thường

0<=X=1; Càng gần 1.0 càng tốt.

4. Dễ dàng của thao tác cài đặt người sử dụng

Mức độ dễ dàng của thao tác cài đặt người sử dụng

X= Điểm mức độ dễ dàng thao tác người sử dụng

Ví dụ mức độ dễ như sau:

[rất dễ] chỉ yêu cầu người sử dụng bắt đầu cài đặt hoặc các chức năng cài đặt và sau đó quan sát cài đặt;

[dễ] chỉ yêu cầu người sử dụng trả lời câu hỏi cài đặt hoặc các chức năng cài đặt;

[không dễ] yêu cầu người sử dụng tra cứu các tham số từ các bảng hoặc điền vào các ô trống;

[phức tạp] yêu cầu người sử dụng tìm kiếm các tệp tham số, tra cứu các tham số từ các tệp được thay đổi và viết chúng.

X= Chuyển đổi trực tiếp của giá trị đo

Các phép đánh giá khả năng cùng tồn tại

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Sẵn sàng cùng tồn tại

Người sử dụng có thường xuyên gặp phải các ràng buộc hoặc sự cố không mong muốn khi vận hành đồng thời với phần mềm khác?

Sử dụng phần mềm đã được đánh giá đồng thời với các phần mềm khác mà người sử dụng hay dùng

X = A/T

A = Số ràng buộc hoặc sự cố không mong muốn người sử dụng gặp phải khi vận hành đồng thời với phần mềm khác

T = Thời gian vận hành đồng thời với phần mềm khác

0<=X

Càng gần 0 càng tốt.

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

SQA

Các phép đánh giá khả năng thay thế

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng tiếp tục sử dụng dữ liệu

Người sử dụng hay người vận hành có thể dễ dàng tiếp tục sử dụng cùng dữ liệu sau khi thay thế phần mềm này thay cho phần mềm trước không? Liệu việc thay thế hệ thống phần mềm có thành công không?

Quan sát thái độ của người sử dụng hay người bảo trì khi người sử dụng thay thế phần mềm cũ bằng phần mềm mới.

X = A/B

A = Khối lượng dữ liệu sử dụng trong phần mềm khác sẽ thay thế và được đảm bảo rằng chúng có khả năng được tiếp tục sử dụng lại.

B = Khối lượng dữ liệu sử dụng trong phần mềm khác sẽ được thay thế và dự định tiếp tục được sử dụng lại.

0<=X<=1

Càng lớn càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH: Phép đo này có thể được áp dụng cho cả hai trường hợp thay thế phần mềm hoàn toàn khác và phiên bản khác của cùng một chuỗi phần mềm

Tính bao hàm của chức năng

Người sử dụng hay người vận hành có thể dễ dàng tiếp tục sử dụng chức năng tương tự sau khi thay thế phần mềm không? Liệu việc thay thế phần mềm có thành công không?

Quan sát thái độ của người sử dụng hay người bảo trì khi người sử dụng thay thế phần mềm cũ bằng phần mềm mới.

X = A/B

A = Số chức năng tạo ra kết quả tương tự chức năng cũ và không đòi hỏi bất kỳ sự thay đổi nào.

B = Số chức năng được kiểm tra tương tự như các chức năng được cung cấp bởi các phần mềm khác bị thay thế

0<=X<=1

Càng lớn càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo giải quyết vấn đề

Báo cáo vận hành

5.3 Kiểm tra chất lượng

5.4 Vận hành

5.5 Bảo trì

Người phát triển

Người bảo trì

Người vận hành

CHÚ THÍCH: Phép đo này có thể được áp dụng cho cả hai trường hợp thay thế phần mềm hoàn toàn khác và phiên bản khác của cùng một chuỗi phần mềm

Tính nhất quán của chức năng hỗ trợ người sử dụng

Mức độ nhất quán của các thành phần mới với giao diện người sử dụng hiện có như thế nào?

Quan sát thái độ của người sử dụng và tham khảo ý kiến

X = 1 - A/A2

A = Số lượng chức năng mới mà người sử dụng thấy mức độ nhất quán không thỏa đáng với mong muốn

B = Số lượng chức năng mới

0<=X

Càng lớn càng tốt.

Tuyệt đối

A1 = Số đếm

A2 = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Đảm bảo chất lượng

Người sử dụng

Người thiết kế giao diện người sử dụng

Người vận hành

Người phát triển

Người kiểm tra

SQA

CHÚ THÍCH:

1. Trường hợp phần mềm khác được đưa ra thay thế phần mềm cũ, phần mềm mới có thể được chỉ định như phiên bản hiện thời.

2. Trong trường hợp mẫu tương tác được thay đổi để cải tiến giao diện người sử dụng trong phiên bản mới, đề xuất quan sát thái độ người sử dụng và đếm số trường hợp người sử dụng truy cập chức năng thất bại do nguyên nhân không phù hợp với mong muốn của người sử dụng xuất phát từ phiên bản cũ.

Các phép đánh giá tuân thủ tính khả chuyển

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tuân thủ của tính khả chuyển

Tính khả chuyển của sản phẩm tuân thủ các quy định, tiêu chuẩn, thỏa thuận đang áp dụng như thế nào?

Đếm số thành phần yêu cầu tuân thủ đã được đáp ứng, so sánh với tổng số thành phần yêu cầu tuân thủ từ đặc tả

X = 1 - A/B

A = Số lượng thành phần tuân thủ tính khả chuyển được xác định không được triển khai trong quá trình kiểm tra.

B = Tổng số thành phần tuân thủ tính khả chuyển xác định

0<=X<=1

Càng gần đến 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, thỏa thuận, quy định liên quan

Đặc tả kiểm tra và báo cáo

Báo cáo vận hành

5.3 Kiểm tra chất lượng

6.5 Đảm bảo chất lượng

Nhà cung cấp

Người sử dụng

CHÚ THÍCH: Có thể sẽ hữu ích nếu thu thập nhiều giá trị đo trong khoảng thời gian, phân tích xu hướng tăng các thành phần tuân thủ thỏa mãn, và xác định chúng có hoàn toàn thỏa mãn không.

Hoạt động 1

Hoạt động 2

Hoạt động 3

Hoạt động 4

Hoạt động 5

Hoạt động 6

Hoạt động 7

Hoạt động 8

Giai đoạn

Phân tíchyêu cầu(Phầnmềm và các hệ thống)

Thiết kếkiến trúc(Phầnmềm vàcác hệ thống)

Thiết kếchi tiếtphầnmềm

Lậptrình vàkiểm traphầnmềm

Tích hợpphầnmềm vàkiểm trachất lượng phần mềm

Tích hợphệ thốngvà kiểmtra chấtlượng hệ

Cài đặtphầnmềm

Hỗ trợtiếpnhậnphầnmềm

Tham chiếu chuỗi mô hình 9126

Chất lượng người sử dụng yêu cầu,

Chất lượng trong yêu cầu,

Chất lượng ngoài yêu cầu

Chấtlượng sử dụng dự báo,

Chất lượng ngoài dự báo,

Chất lượng trong đo được

Chấtlượngsửdụngdự báo,

Chấtlượngngoàidự báo,

Chấtlượngtrongđođược

Chấtlượngsửdụngdự báo,

Chấtlượngngoàiđođược,

Chấtlượngngoàidự báo,

Chấtlượngtrongđođược

Chất lượng sử dụng dự báo,

Chất lượng ngoài đo được,

Chất lượng ngoài dự báo,

Chất lượng trong đo được

Chất lượng sử dụng dự báo,

Chất lượng ngoài đo được,

Chất lượng trong đo được

Chất lượng sử dụng dự báo,

Chất lượng ngoài đođược,

Chất lượng trong đo được

Chất lượng sử dụng đođược,

Chấtlượngngoài đođược,

Chấtlượngtrong đođược

Các thực hiện chính của hoạt động

Các yêu cầu chất lượng người sử dụng (xác định),

Các yêu cầu chất lượng ngoài (xác định),

Các yêu cầu chất lượng trong (xác định)

Thiết kế cấu trúc phầnmềm/ hệ thống

Thiết kế chi tiết phần mềm

Mãnguồn phần mềm,

Các kết quảkiểm tra

Sảnphẩmphầnmềm,

Các kếtquả kiểmtra

Hệ thống tích hợp,

Các kết quả kiểm tra

Hệthống đã cài đặt

Sản phẩm phần mềm thu được

Các phépđánh giásử dụng đểđo

Các phépđánh giátrong (cácphép đánhgiá ngoàicó thểđược ápdụng đểxác nhậnđặc tả)

Các phépđánh giátrong

Cácphépđánhgiátrong

Cácphépđánhgiátrong,Cácphépđánhgiángoài

Cácphépđánh giátrong,Cácphépđánh giángoài

Cácphépđánh giátrong,Cácphépđánh giángoài

Cácphépđánhgiátrong,Cácphépđánhgiángoài

Cácphépđánh giákhi sửdụng,Cácphépđánh giátrong,Cácphépđánh giángoài

Chất lượng sử dụng

Đặc tính

Trọng số

(Cao/trung
bình/thấp)

(High/Medium/Low)

Tính hiệu quả

H

Tính năng suất

H

Tính an toàn

L

Tính thỏa mãn

M

Chất lượng ngoài và trong

Đặc tính

Đặc tính nhỏ

Trọng số

(Cao/trung
bình/thấp)

(High/Medium/Low)

Tính chức năng

Tính phù hợp

H

Độ chính xác

H

Khả năng tương tác

L

Tính an toàn

L

Tính tuân thủ

M

Tính tin cậy

Tính hoàn thiện

L

Khả năng chịu lỗi

L

Khả năng phục hồi

H

Tính tuân thủ

H

Tính khả dụng

Tính dễ hiểu

M

Tính dễ học

L

Khả năng vận hành

H

Tính hấp dẫn

M

Tính tuân thủ

H

Tính hiệu quả

Thời gian xử lý

H

Sử dụng tài nguyên

H

Tính tuân thủ

H

Khả năng bảo trì (Maintainability)

Khả năng phân tích

H

Khả năng thayđổiđược

M

Tính ổn định

L

Khả năng kiểm tra được

M

Tính tuân thủ

H

Tính khả chuyển

Khả năng thích nghi

H

Khả năng cài đặt

L

Tính cùng tồn tại

H

Khả năng thay thế

M

Tính tuân thủ

H

Phân loại phép đo chất lượng sử dụng

Đặc tính

Các phép đánh giá

Mức độ yêu cầu

Kết quả đánh

Tính hiệu quả

Tính năng suất

Tính an toàn

Tính thỏa mãn

Phân loại phép đo chất lượng ngoài

Đặc tính

Đặc tính nhỏ

Các phép đánh giá

Mức độ yêu cầu

Kết quả đánh giá thực tế

Chức năng

Tính phù hợp

Độ chính xác

Khả năng tương tác

Tính an toàn

Tính tuân thủ

Tính tin cậy

Tính hoàn thiện

Khả năng chịu lỗi

Khả năng phục hồi

Tính tuân thủ

Tính khả dụng

Tính dễ hiểu

Tính dễ học

Khả năng vận hành

Tính hấp dẫn

Tính tuân thủ

Tính hiệu quả

Thời gian xử lý

Sử dụng tài nguyên

Tính tuân thủ

Khả năng bảo trì

Khả năng phân tích

Khả năng thay đổi được

Tính ổn định

Khả năng kiểm tra được

Tính tuân thủ

Tính khả chuyển

Khả năng thích nghi

Khả năng cài đặt

Tính cùng tồn tại

Khả năng thay thế

Tính tuân thủ

Phân loại phép đo chất lượng trong

Đặc tính

Đặc tính nhỏ

Các phép giá

Mức độ yêu cầu

Kết quả đánh giá thực tế

Chức năng

Tính phù hợp

Độ chính xác

Khả năng tương tác

Tính an toàn

Tính tuân thủ

Tính tin cậy

Tính hoàn thiện

Khả năng chịu lỗi

Khả năng phục hồi

Tính tuân thủ

Tính khả dụng

Tính dễ hiểu

Tính dễ học

Khả năng vận hành

Tính hấp dẫn

Tính tuân thủ

Tính hiệu quả

Thời gian xử lý

Sử dụng tài nguyên

Tính tuân thủ

Khả năng bảo trì

Khả năng phân tích

Khả năng thay đổi được

Tính ổn định

Khả năng kiểm tra được

Tính tuân thủ

Tính khả chuyển

Khả năng thích nghi

Khả năng cài đặt

Tính cùng tồn tại

Khả năng thay thế

Tính tuân thủ

Đặc tính nhỏ

Sản phẩm được đánh giá

Các phép đánh giá trong được áp dụng

Các phép đánh giá ngoài được áp dụng

Các phép đánh giá sử dụng được áp dụng

1.Tính phù hợp

1.

1.

1.

Không áp dụng

2.

2.

2.

3.

3.

3.

2. Tính thỏa mãn

1.

Không áp dụng

Không áp dụng

1.

2.

2.