Phần 1: Lý thuyết chung về mô phỏng mạng và đánh giá hiệu năng

Chương 1- Tổng quan về sự đánh giá và phân tích hiệu năng của hệ thống (system performance evaluation and analysis)

Tác giả: R. Jain

Dịch thuật: Nguyễn Thị Hiền, Nguyễn Mạnh Linh

Biên tập: Hoàng Trọng Minh

1.1 Các lỗi thường gặp

Hầu hết các lỗi được liệt kê ở đây là lỗi không cố ý mà do các nhầm lẫn đơn giản, nhận thức sai và thiếu kiến thức về các kỹ thuật đánh giá hiệu năng.

E1- Không có mục đích:

Mục đích là phần quan trọng trong bất kỳ sự đánh giá hiệu năng nào. Tuy nhiên có nhiều trường hợp đánh giá hiệu năng được bắt đầu mà không có mục đích rõ ràng. Một người phân tích hiệu năng được thuê lâu dài cùng với bộ phận thiết kế. Người phân tích này sau đó có thể bắt đầu mô hình hóa hoặc mô phỏng thiết kế đó. Khi được hỏi về mục đích, những câu trả lời tiêu biểu của các nhà phân tích là: mô hình này sẽ giúp trả lời các câu hỏi thiết kế nảy sinh. Yêu cầu chung là những mô hình đó có tính mềm dẻo và dễ thay đổi để giải quyết những vấn đề khó khăn. Người phân tích có kinh nghiệm đều biết rằng không có mô hình nào cho một mục đích chung. Mỗi một mô hình phải được phát triển với mục đích cụ thể định trước. Các thông số, tải làm việc và phương pháp thực hiện đều phụ thuộc vào mục đích. Các phần của thiết kế hệ thống trong một mô hình được nghiên cứu tùy theo các vấn đề khác nhau. Bởi vậy, trước khi viết dòng mã chương trình mô phỏng đầu tiên hoặc viết phương trình đầu tiên của một mô hình phân tích hoặc hoặc trước khi cài đặt một thí nghiệm đo, người phân tích cần hiểu về hệ thống và nhận biết được vấn đề để giải quyết. Điều đó sẽ giúp nhận biết chính xác các thông số, tải làm việc, và phương pháp thực hiện.

Thiết lập các mục đích không phải là một bài tập đơn giản. Bởi vì hầu hết các vấn đề về hiệu năng đều mơ hồ khi được trình bày lần đầu, hiểu rõ vấn đề viết ra một tập hợp của các mục đích là việc khó. Một khi vấn đề là rõ ràng và mục đích đã được viết ra, việc tìm ra giải pháp sẽ thường là dễ dàng hơn.

E2- Các mục đích thiên vị (biased)

Một lỗi thông thường khác là việc nêu ra các mục đích theo hướng thiên vị ngầm hoặc thiên vị rõ rệt. Ví dụ như nếu mục đích là “Chỉ ra rằng hệ thống của Chúng Ta tốt hơn hệ thống của Họ”, vấn đề này trở thành việc tìm kiếm các thông số và tải làm việc sao cho hệ thống của Chúng Ta trở thành tốt hơn. Đúng ra thì cần tìm ra các thống số và tải làm việc đúng đắn để so sánh hai hệ thống. Một nguyên tắc của quy ước chuyên nghiệp của người phân tích là không thiên vị. Vai trò của người phân tích giống như vai trò của ban giám khảo. Đừng có bất kỳ sự thiên vị nào định trước và mọi kết luận phải dựa vào kết quả phân tích chứ không phải là dựa vào các niềm tin thuần túy.

E3. Phương pháp tiếp cận không có hệ thống

Các nhà phân tích thường làm theo một phương pháp tiếp cận không có hệ thống bởi vậy họ lựa chọn tham số hệ thống, các nhân tố ảnh hưởng, thông số (hiệu năng) và tải làm việc một cách tùy ý. Điều này dẫn tới các kết luận sai. Phương pháp tiếp cận có hệ thống để giải quyết một vấn đề về hiệu năng là nhận biết một tập hoàn chỉnh của các mục đích, tham số hệ thống, các nhân tố ảnh hương, các thông số hiệu năng và tải làm việc.

E4. Phân tích mà không hiểu về vấn đề

Các nhà phân tích thiếu kinh nghiệm cảm thấy rằng không có gì thực sự có được trước khi một mô hình được dựng nên và có được một số kết quả Với kinh nghiệm đã có, họ nhận ra rằng một phần lớn của các nỗ lực phân tích là dùng cho việc xác định một vấn đề. Phần này thường chiếm tới 40% tổng số nỗ lực này. Điều này khẳng định một châm ngôn xưa: “Khi một vấn đề được nêu ra rõ ràng thì đã được giải quyết xong một nửa”. 60% còn lại liên qua tói sự thiết kế các cách thức, sự giải thích kết quả và sự trình bày kết luận. Việc phát triển của mô hình tự bản thân nó là phần nhỏ của quá trình giải quyết vấn đề. Chẳng hạn xe ô tô và tàu hỏa là phương tiện để đi tới đâu đó chứ không phải là điểm đến cuối cùng. Các mô hình là phương thức để đi đến kết luận chứ không phải là kết quả cuối cùng. Các nhà phân tích mà được đào tạo về các khía cạnh mô hình hóa của sự đánh giá hiệu năng nhưng không được đào tạo về việc xác định vấn đề hoặc trình bày kết quả thì thường thấy rằng mô hình của họ bị bỏ đi bởi người phê duyệt, là người đang tìm kiếm đường hướng chứ không tìm kiếm một mô hình.

E5. Các thông số hiệu năng không đúng

Một thông số hiệu năng (metric) ứng với một tiêu chí được sử dụng để định lượng hiệu năng của hệ thống. Các ví dụ về các thông số hiệu năng hay dùng là thông lượng (throughput) và thời gian đáp ứng (response time). Sự lựa chọn của các thong số hiệu năng đúng đắn phụ thuộc vào các dịch vụ cung cấp bởi hệ thống hoặc bởi hệ thống con mà được mô hình hóa.

Một lỗi chung khi lựa chọn các thông số hiệu năng đó là các nhà phân thích thường chọn các thông số dễ tính toán hoặc dễ đo đạc hơn là chọn thông số thích hợp.

E6 Tải làm việc không có tính đại diện (unrepresentative workload)

Tải làm việc được sử dụng để so sánh hai hệ thống cần đại diện cho sự sử dụng thực tế của các hệ thống này trong lĩnh vực của chúng. Ví dụ như nếu các gói dữ liệu trong mạng thông thường bao gồm hai loại có kích thứơc ngắn và dài thì tải làm việc dùng để so sánh hai mạng phải bao gồm các gói dữ liệu có kích thước ngắn và dài.

Việc chọn tải làm việc có ảnh hưởng quan trọng tới kết quả của việc nghiên cứu hiệu năng. Tải làm việc sai sẽ dẫn tới các kết luận sai.

E7 Phương pháp đánh giá sai

Có ba phương pháp đánh giá: đo lường, mô phỏng và mô hình hóa phân tích. Các nhà phân tích thường có một phương pháp ưa thích được dùng thường xuyên đối với mọi vấn đề về đánh giá hiệu năng. Ví dụ như những ai thành thạo về lý thuyết hàng đợi sẽ có xu hướng quy đổi mọi vấn đề về hiệu năng sang một vấn đề về hàng đợi ngay cả khi hệ thống quá phức tạp và thuận lợi cho việc đo lường. Những ai thành thạo về lập trình sẽ thường có xu hướng giải quyết mọi vấn đề bằng mô phỏng. Việc gắn với một phương pháp đơn lẻ này dẫn tới kết quả một mô hình mà họ có thể giải quyết tốt nhất hơn là một mô hình giải quyết tốt nhất vấn đề này. Vấn đề đối với các quy trình biến đổi này là chúng có thể đưa tới các hiện tượng vào mô hình này trong khi các hiện tuợng này không có trong hệ thống nguyên gốc hoặc là chúng có thể bỏ qua các hiện tượng quan trọng thuộc về hệ thống nguyên gốc.

Một nhà phân tích cần có hiểu biết cơ bản về cả ba phương pháp. Khi xem xét lựa chọn phương pháp đánh giá hiệu năng, cần chú ý tới nhiều hệ số khác nhau.

E8 Bỏ qua các thông số quan trọng

Nên tạo ra một danh sách hoàn chỉnh về các đặc điểm của hệ thống và của tải làm việc mà ảnh hưởng tới hiệu năng của hệ thống. Những đặc điểm này được gọi là thông số. Ví dụ như các thông số của hệ thống có thể bao gồm kích thức lượng tử (đối với việc cấp CPU) hoặc kích thước hoạt động (đối với việc cấp bộ nhớ). Các thông số tải làm việc có thể bao gồm số người sử dụng, các loại yêu cầu đến, sự ưu tiên, v…v. Nhà phân tích có thể chọn một tập hợp các giá trị cho mỗi thong số. Kết quả nghiên cứu cuối cùng phụ thuộc nhiều vào các chọn lựa này. Bỏ sót một hoặc nhiều thông số quan trọng có thể trả lại các kết quả vô ích.

E9. Bỏ qua các hệ số quan trọng

Các thông số mà biến đổi trong nghiên cứu thì được gọi là các hệ số. Ví dụ như trong số các thông số về tải làm việc lệt kê trên đây, chỉ có số lượng người sử dụng có thể đuợc chọn như là một hệ số, các thông số khác có thể được giữ nguyên tại các giá trị điển hình. Không phải tất cả các thông số có tác động như nhau đối với hiệu năng. Điều quan trọng là nhận ra những tham số mà nếu chúng thay đổi thì sẽ gây nên ảnh hưởng quan trọng tới hiệu năng. Trừ khi có lý do nào khác, những thông số này nên được sử dụng như là các hệ số trong việc nghiên cứu hiệu năng. Ví dụ như nếu tốc độ (rate) gói đến tác động tới thời gian đáp ứng của một gateway của mạng hơn là ảnh hưởng của kích thước gói, sẽ tốt hơn nếu như sử dụng một vài tốc độ đến khác nhau trong khi nghiên cứu hiệu năng của gateway.

E10 Thiết kế thí nghiệm không thích hợp

Sự thiết kế thí nghiệm liên quan tới số lượng các phép đo hoặc các thí nghiệm mô phỏng được thực hiện và các giá trị của các thong số sử dụng trong mỗi thí nghiệm. Việc chọn đúng các giá trị này có thể mang tới nhiều thông tin hơn đối với cùng một số lượng các thí nghiệm. Chọn lựa không đúng có thể gây ra lãng phí thời gian của nhà phân tích và tài nguyên.

E11. Mức độ chi tiết không thích đáng

Mức độ chi tiết được sử dụng trong mô hình của hệ thống có ảnh hưởng quan trọng trong việc hệ thống hóa, công thức hóa vấn đề. Tránh các sự công thức hoá quá hẹp hoặc quá rộng. Đối với sự so sánh các cách thức là các biển thể đơn giản của một hướng tiếp cận chung, một mô hình chi tiết mà kết hợp biến thể này có thể có tác dụng hơn là một mô hình ở mức cao. Mặt khác, đối với sự so sánh các cách thức rất khác nhau, các mô hình mức độ cao đơn giản có thể cho phép một vài cách thức được phân tích nhanh hơn và rẻ hơn. đan xen nhau là sự khó khăn lớn, tương tự như mô hình mức độ cao có thể cho phép đan xen vài lần có thể được gọi là phân tích nhanh và rẻ. Một lỗi chung xảy ra là việc sử dụng lối tiếp cận chi tiết khi một mô hình ở mức cao sẽ thực hiện và ngược lại.

E12. Không phân tích

Một vấn đề chung trong dự án đo lường là chúng thường được thực hiện bởi các nhà phân tích hiệu năng là những người giỏi về các kỹ thuật đo nhưng thiếu sự thành thạo trong phân tích dữ liệu. Họ thu thập một lượng khổng lồ của dự liệu nhưng không biết phương pháp phân tích hoặc giải thích nó như thế nào.

E13. Phân tích sai

Các nhà phân tích có thể gây nên hàng loạt các lỗi trong khi đo đạc, mô phỏng và mô hình hóa phân tích vì dụ như lấy giá trị trung bình của các tỷ số và mô phỏng quá ngắn.

E14. Không phân tích độ nhậy

Các nhà phân tích thường quá nhấn mạnh đến kết quả của sự phân tích của họ, trình bày nó như là một thực tế hơn là một bằng chứng. Thực tế mà trong đó các kết quả nhạy cảm đối với tải làm việc và thông số hệ thống thì thường bị coi nhẹ. Khi không có sự phân tích độ nhậy, không thể chắc chắn rằng liệu các kết luận có thay đổi hay không nếu như phân tích này được thức hiện trong một thiết lập khác biệt đôi chút. Sẽ Không có phân tích độ nhạy thì sẽ khó khăn cho việc đánh giá sự quan trọng tương đối của các thông số khác nhau.

E15. Bỏ qua các lỗi đầu vào

Thường các thông số được lựa chọn không thể đo được. Thay vào đó, các biến có thể đo được khác được sử dụng để ước lượng thông số này. Ví dụ như trong một thiết bị mạng máy tính, các gói dữ liệu được lưu trữ trong danh sách liên kết của bộ đệm. Mỗi một bộ đệm có dung lượng là 512x8bit. Với một số lượng bộ đệm được yêu cầu để lưu tữ gói dữ liệu, không thể dự báo trước một cách chính xác số gói hoặc số bít trong gói dữ liệu. Điều nãy dẫn tới độ bất định được cộng thêm ở dữ liệu đầu vào. Nhà phân tích cần điều chỉnh mức độ tin cậy trong kết quả đầu ra của mô hình thu được từ dữ liệu này

E16. Cách xử lý mẫu ngoại lai không thích hợp

Những giá trị quá cao hoặc quá thấp so với phần lớn giá trị trong một tập hợp được gọi là mẫu ngoại lai. Mẫu ngoại lai trong đầu vào hoặc đầu ra của mô hình là một vấn đề. Nếu mẫu ngoại lại không bị gây nên bởi một hiện tượng trong hệ thống thực, nó có thể được bỏ qua. Việc bao gồm mẫu ngoại lai có thể tạo nên một mô hình không hợp lệ. Mặt khác, nếu mẫu ngoại lai là sự xuất hiện có thể xảy ra trong trong hệ thống thực, cần bao gồm mẫu ngoại lai trong mô hình. Bỏ qua mẫu ngoại lai có thể tạo nên một mô hình không hợp lệ.

E17. Giả thiết không có thay đổi trong tương lai: Tương lai thường được giả thiết sẽ giống như quá khứ.

Một mô hình dựa trên tải làm việc và hiệu năng quan sát được trong quá khứ được sử dụng để dự báo hiệu năng trong tương lại. Tải làm việc và hoạt động hệ thống trong tương lại được giả thiết là giống như những gì đã đo được. Nhà phân tích và người thực hiện quyết định nên thảo luận về giả thiết này và giới hạn thời lượng trong tương lai cho các dự đoán

E18. Bỏ qua tính biến thiên

Thường thì người ta chỉ phân tích hiệu năng trung bình bởi vì việc xác định tính biến thiên thường khó khăn. Nếu sự biến thiên cao, chỉ duy nhất giá trị trung bình có thể dẫn tới cuyết định sai. Ví dụ như việc quyết định dựa trên nhu cầu máy tính trung bình hàng ngày có thể không có ích nếu như yêu cầu về tải đạt đỉnh điểm theo giờ, tác động bất lợi tới hiệu năng người sử dụng.

E19 Phân tích quá phức tạp

Các nhà phân tích hiệu năng nên đi đến kết luận bằng phương thức đơn giản nhất có thể. Tốt hơn cả là bắt đầu với một mô hìnhhoặc thí nghiệm đơn giản, đạt được vài kết quả và sau đó tăng thêm tính phức tạp. Các mô hình công bố trong tài liệu khoa học và các mô hình sử dụng trong thực tế khác nhau rõ rệt. Các mô hình trong các tài liệu khoa học, trong các trường học thường là quá phức tạp. Phần lớn các vấn đè hiệu năng trong thực tế hàng ngày được giải quyết bởi các mô hình đơn giản. Các mô hình phức tạp nếu có thì cũng hiếm khi được sử dụng

E20. Trình bày kết quả không thích hợp

Đích cuối cùng của mọi nghiên cứu hiệu năng là để giúp đỡ việc thực hiện quyết định. Một phân tích mà không tạo ra bất kỳ kết quả hữu ích nào thì đó là một sự thất bại bởi đó là sự phân tích với kết quả khó hiểu đối với người đưa ra quyết định. Người phân tích phải có trách nhiệm chuyển tải các kết quả phân tích tới người đưa ra quyết định qua việc sử dụng các từ ngữ, hình ảnh , đồ thị để giải thích kết quả phân tích.

E21. Bỏ qua các khía cạnh xã hội

Sự trình bày thành công kết quả phân tích yêu cầu 2 loại kỹ năng: xã hội và riêng biệt. Kỹ năng viết và nói là kỹ năng xã hội trong khi mô hình hóa và phân tích dữ liệu là các kỹ năng riêng biệt. Hầu hết các nhà phân tích đều có các kỹ năng riêng biệt tốt nhưng chỉ những người có các kỹ năng xã hội tốt thì mới thành công khi bán các kết quả của họ cho những người ra quyết định. Việc chấp nhận kết qủa phân tích yêu cầu hình thành sự tin tưởng giữa người ra quyết định và nhà phân tích và sự trình bày các kết quả tới người ra quyết định theo cách thức hiểu được đối với chúng. Nếu những người ra quyết định không tin tưởng hoặc không hiểu sự phân tích, nhà phân tích thất bại trong việc tạo nên ấn tượng đối với quyết định cuối cùng. Các kỹ năng xã hội đặc biệt quan trọng khi trình bày các kết quả mà chúng có ảnh hưởng tới niềm tin và giá trị của người ra quyết định hoặc yêu cầu về một thay đổi quan trọng trong thiết kế.

E22. Bỏ sót các giả thiết và các hạn chế

Các giả thiết và các hạn chế của sự phân tích thương bị bỏ qua trong báo cáo cuối cùng. Điều này có thể làm cho người sử dụng áp dụng sự phân tích này vào một ngữ cảnh khác khi các giả thiết sẽ không còn hợp lệ. Đôi khi các nhà phân tích lên danh sách các giả thiết ngay ở phần mở đầu báo cáo nhưng họ quên mất các hạn chế và tạo ra các kết luận về các môi trường mà sự phân tích này không áp dụng vào.

Bảng 1.1: Danh sách kiểm tra để tránh các lỗi thường gặp khi đánh giá hiệu năng

Liệu hệ thống được định nghĩa đúng chưa và mục đích được nêu ra ràng chưa ?

Các mục tiêu được nêu ra sao cho không thiên vị chưa?

Các bước phân tích đi theo hệ thống không?

Vấn đề được hiểu rõ ràng trước khi phân tích không?

Các tham số hiệu năng có thích hợp cho vấn đề này không ?

Tải làm việc có đúng cho vấn đề này không?

Kỹ thuật đánh giá có phù hợp không?

Danh sách thông số có ảnh hưởng đến hiệu năng đã được hoàn thiện chưa?

Tất cả các thông số ảnh hưởng đến hiệu năng mà được coi như các thừa số được thay đổi chưa?

Thiết kế thí nghiệm hiệu quả chưa khi xét theo thời gian và kết quả?

Mức độ của chi tiết hợp lý chưa ?

Dữ liệu đo đạc được phân tích và giải thích chưa?

Sự phân tích đã đúng về thống kê chưa?

Độ nhạy phân tích được thực hiện chưa?

Các lỗi lỗi đầu vào có thay đổi kểt quả đáng kể không?

Các mẫu ngoại lai của đầu vào hoặc đầu ra được xem xét một cách thích đáng chưa ?

Các thay đổi trong tương lai của hệ thống và tải làm việc được mô hình hóa chưa?

Phương sai của dữ liệu đầu vào được quan tâm không?

Phương sai của kết quả được phân tích chưa?

Sự phân tích này có dễ giải thích không?

Cách thức trình bày có phù hợp với người đọc không?

Các kết quả có được trình bày dưới dạng đồ thị nhiều nhất có thể không?

Các giả thiết và các giới hạn của sự phân tích được đưa vào tài liệu rõ ràng không?

Một cách tiếp cận có hệ thống cho việc đánh giá hiệu năng

Các thông số, tải làm việc và kỹ thuật đánh giá được sử dụng đối với một vấn đề thì thường không thể được sử dụng cho vấn đề tiếp theo. Tuy nhiên có các bước chung cho tất cả dự án đánh giá hiệu năng mà chúng giúp bạn tránh được các lỗi ghi trong phần 1.1 Các bước này thực hiện như sau.

Bước 1- Xác định mục tiêu và định nghĩa hệ thống

Bước đầu tiên trong vài dự án đánh giá hiệu năng là xác định mục tiêu của việc nghiên cứu và định nghĩa xem cái gì tạo nên hệ thống bằng cách phác họa các giới hạn của hệ thống.

Bước 2: Lập danh sách các dịch vụ và kết quả nhận được

Mỗi một hệ thống cung cấp một tập hợp các dịch vụ. Danh sách của dịch vụ và kết quả khả thi sẽ hữu ích sau này trong việc chọn thông số và tải làm việc đúng.

Bước 3 Lựa chọn các thông số đo

Bước tiếp theo là lựa chọn các tiêu chuẩn để so sánh hiệu năng, chúng được gọi là các thông số đo. Nhìn chung, các thông số này liên hệ với tốc độ, độ chính xác, và ích lợi của dịch vụ.

Bước 4: Lập danh sách các thông số

Bước tiếp theo trong dự án thực hiện là tạo danh sách tất cả các thông số làm ảnh hưởng tới hiệu năng. Danh sách này có thể được phân chia thành các thông số hệ thống và các thông số tải làm việc

Bước 5: Lựa chọn các thừa số để nghiên cứu

Danh sách các thông số có thể phân chia thành 2 phần: các thông số sẽ được thay đổi trong quá trình đánh giá và các thông số không thay đổi. Những thông số được thay đổi gọi là thừa số và những giá trị của chúng được gọi là mức độ.

1.2 Lựa chọn kỹ thuật và thông số đo

Lựa chọn một kỹ thuật đánh giá và lựa chọn tham số đo là hai bước quan trọng trong tất cả các dự án đánh giá hiệu năng. Có rất nhiều vấn đề cần xem xét để có được lựa chọn chính xác.

1.2.1 Lựa chọn một kỹ thuật đánh giá

Có ba kỹ thuật đánh giá hiệu năng là mô hình hóa phân tích, phương pháp mô phỏng và đo đạc. Có một số khía cạnh cần xem xét để quyết định xem kỹ thuật nào là phù hợp nhất để sử dụng. Những khía cạnh đó được liệt kê trong bảng 3.1 và được sắp xếp theo mức quan trọng giảm dần.

Một vấn đề quan trọng trong việc quyết định kỹ thuật đánh giá đó là chu trình vòng đời trong hệ thống. Các phương pháp đo đạc chỉ khả thi nếu đã tồn tại hệ thống khác tương tự như hệ thống ta đưa ra khảo sát, như là khi thiết kế một phiên bản cải tiến hơn của một sản phẩm. Nếu hệ thống đưa ra là một khái niệm mới thì chỉ có thể chọn mô hình hóa phân tích và phương pháp mô phỏng để thực hiện đánh giá. Mô hình hóa phân tích và mô phỏng có thể sử dụng cho những trường hợp mà đo đạc là không khả thi, nhưng nhìn chung để thuyết phục hơn thì nên kết hợp những phương pháp đó dựa trên các kết quả đo đạc trước đó.

Bảng 1.2 Những tiêu chí để lựa chọn kỹ thuật đánh giá

Tiêu chí

Mô hình phân tích

Mô phỏng

Đo đạc

1. Giai đoạn

Bất cứ giai đoạn nào

Bất cứ giai đoạn nào

Sau thiết kế thử nghiệm (postprototype)

2. Thời gian yêu cầu

Ngắn

Trung bình

Thay đổi

3. Công cụ

Nhà phân tích

Các ngôn ngữ máy tính

Các dụng cụ đo

4. Tính chính xác a

Thấp

Vừa phải

Thay đổi

5. Tính đánh đổi

Dễ

Vừa phải

Khó

6. Giá thành

Thấp

Trung bình

Cao

7. Tính dễ bán

Thấp

Trung bình

Cao

a

a Trong tất cả các trường hợp, kết quả có thể bị sai lệch.

Vấn đề tiếp theo cần cân nhắc đó là thời gian sử dụng cho công việc đánh giá. Trong hầu hết các trường hợp, các kết quả được yêu cầu từ ngày hôm trước (thời gian đánh giá ngắn). Nếu đúng như vậy thì mô hình hóa phân tích là sự lựa chọn duy nhất. Các phương pháp mô phỏng cần một thời gian dài, các phương pháp đo đạc thường mất nhiều thời gian hơn mô hình hóa phân tích nhưng không lâu như mô phỏng. Theo ý nghĩa của định luật Murphy thì phương pháp đo đạc được sử dụng thường xuyên hơn hai phương pháp còn lại (.Nếu một việc có thể diễn ra theo chiều hướng xấu, nó sẽ như vậy – Họa vộ đơn chí). Kết quả là, thời gian cần thiết dành cho đo đạc biến động nhiều nhất trong ba kỹ thuật.

Điểm quan tâm tiếp theo là tính sẵn sàng của công cụ. Các loại công cụ bao gồm: các kỹ năng mô hình hóa, các ngôn ngữ mô phỏng, và các thiết bị đo đạc. Nhiều nhà phân tích hiệu năng rất thành thạo và khéo léo trong mô hình hóa. Họ không cần sử dụng tới bất cứ hệ thống thật đắt tiền nào. Những người khác không thành thạo các lý thuyết hàng đợi thì lại quan tâm hơn đến đo đạc và mô phỏng. Thiếu kiến thức về các ngôn ngữ và kỹ thuật mô phỏng khiến nhiều nhà phân tích xa rời các công cụ mô phỏng hữu dụng.

Mức độ chính xác đòi hỏi cũng là một mối quan tâm khác. Nhìn chung, mô hình hóa phân tích yêu cầu nhiều sự đơn giản hóa và giả thiết đến nỗi nếu các kết quả trở nên chính xác thì ngay cả các nhà phân tích cũng phải ngạc nhiên. Các phương pháp mô phỏng có thể kết hợp nhiều chi tiết, yếu tố hơn và yêu cầu ít giả thiết hơn là mô hình hóa phân tích và do đó thường gần hơn với thực tế. Các phương pháp đo đạc mặc dù nghe có vẻ gần thực tế nhất nhưng kết quả lại có thể thiếu chính xác, đơn giản vì có nhiều tham số môi trường tác động đến đối với từng thử nghiệm, như là cấu hình hệ thống, loại tải làm việc, và thời gian đo đạc. Các tham số cũng có thể không thể hiện khoảng làm việc thay đổi trong các hệ thống thực tế. Do vậy tính chính xác của kết quả đo đạc thu được có thể thay đổi từ cao đến không có gì.

Cần phải chỉ ra rằng mức độ chính xác và tính đúng đắn của kết luận là không đồng nhất. Một kết quả chính xác đến mười chữ số thập phân cũng có thể bị hiểu sai hay hoặc nhầm lẫn; do đó có thể dẫn tới kết luận sai.

Mục đích của công việc nghiên cứu hiệu năng là vừa để so sánh các phương án khác nhau vừa để tìm ra giá trị tham số tối ưu. Các Mô hình phân tích thường cung cấp một cái nhìn tốt nhất về tác dụng của các tham số khác nhau và sự tương tác giữa chúng. Với các phương pháp mô phỏng, có thể tìm được khoảng giá trị tham số cho tổ hợp tối ưu, nhưng thường không thể hiện được rõ ràng sự tương xứng giữa tham số này với tham số khác. Các phương pháp đo đạc là kỹ thuật ít thể hiện được tính tương xứng giữa các tham số nhất. Thật không dễ khi khẳng định rằng hiệu năng được cải thiện là kết quả của một vài sự thay đổi ngẫu nhiên về môi trường hoặc hiệu chỉnh một vài tham số nhất định.

Chi phí cấp cho dự án cũng là một yếu tố quan trọng. Đo đạc đòi hỏi phải có thiết bị thật, dụng cụ đo đạc và thời gian. Đây chính là kỹ thuật tốn kém nhất trong 3 kỹ thuật đã nêu. Chi phí, đi kèm với khả năng dễ dàng thay đổi cấu hình, thường là lí do để phát triển các phương pháp mô phỏng cho các hệ thống đắt tiền. Mô hình hóa phân tích chỉ đòi hỏi giấy và bút chì (cộng với thời gian của nhà phân tích) nên có thể xem như là kỹ thuật rẻ nhất.

Tính bán được của kết quả đánh giá có thể là lý lẽ quan trọng khi chọn xem xét các chi phí, lao động của phương pháp đo đạc. Và kết quả đó dễ được thuyết phục hơn nếu nó được thực hiện với hệ thống thực. Nhiều người hoài nghi về các kết quả phân tích đơn giản vì họ không hiểu công nghệ thực hiện hoặc kết quả cuối cùng. Trong thực tế, người phát triển các kỹ thuật mô hình hóa phân tích mới thường kiểm chứng, xác nhận chúng bằng cách sử dụng các phương pháp mô phỏng hoặc đo lường thực sự.

Đôi khi việc sử dụng hai hay nhiều kỹ thuật đồng thời mang lại nhiều lợi ích. Ví dụ, bạn có thể sử dụng mô phỏng và mô hình hóa phân tích cùng nhau để kiểm tra và xác nhận kết quả riêng của từng phương pháp. Cho đến khi chưa chứng mình được tội lỗi, mọi người đều được xem là vô tội, nghĩa là cho đến khi chưa được xác nhận kiểm chứng thì mọi kết quả đánh giá đều đáng nghi ngờ. Điều đó đưa chúng ta đến với 3 quy tắc xác minh sau đây:

Không tin tưởng vào kết quả của một mô hình mô phỏng cho đến khi chúng đã được xác nhận bởi mô hình hóa phân tích hay đo đạc.

Không tin tưởng vào kết quả của một mô hình phân tích cho đến khi cũng đã được xác nhận bởi mô hình mô phỏng hay đo đạc.

Không tin tưởng vào kết quả của phương pháp đo đạc cho đến khi chúng đã được xác nhận bởi mô hình mô phỏng hay mô hình phân tích.

Trong thực tế , sự cần thiết của quy tắc thứ 3 cho việc xác nhận các kết quả đo đạc nên được nhấn mạnh vì đây là quy tắc hay bị bỏ qua nhất. Phương pháp đo đạc dễ bị mắc các lỗi khi thí nghiệm hoặc các sai sót hơn là hai kỹ thuật kia. Yêu cầu duy nhất của phép xác minh là kết quả phải không trái với trực quan mong đợi. Phương pháp xác minh như thế gọi là trực giác của những chuyên gia, thường được sử dụng cho các mô hình mô phỏng. Phương pháp này và các phương pháp khác có thể được sử dụng cho các kết quả đo đạc và phân tích.

Hai hay nhiều kỹ thuật cũng có thể được sử dụng tiếp nối nhau. Ví dụ, trong một trường hợp, một mô hình phân tích đơn giản được sử dụng để tìm ra khoảng phù hợp cho các tham số của hệ thống và một mô hình mô phỏng được sử dụng sau đó để nghiên cứu hiệu năng của thệ thống trong khoảng đó. Điều này làm giảm số trường hợp mà phép mô phỏng cần xét đến và dẫn đến việc sử dụng tài nguyên hiệu quả hơn.

1.3- Ý nghĩa của “Confidence interval” trong việc so sánh kết quả

Từ tiếng Anh sample và example đều bắt nguồn từ một từ Pháp cổ là essample. Mặc dù hiện nay đây là hai từ riêng biệt, nhưng việc nhớ đến nguồn gốc chung của chúng cũng khá là quan trọng. Một mẫu (sample) chỉ đơn giản là một ví dụ (example). Một ví dụ thường không đủ để chứng minh một giả thiết. Tương tự như vậy, một mẫu thường là không đủ để đưa ra một phát biểu rõ ràng về mọi hệ thống. Nhưng sự khác biệt này thường bị bỏ quên. Chúng ta thường đo đạc 2 hệ thống với chỉ 5 hay 10 tải làm việc (workloads) và sau đó kết luận rằng một hệ thống tốt hơn hệ thống kia. Mục đích của phần này là để củng cố sự khác biệt và để thảo luận làm thế nào để sử dụng các mẫu dữ liệu để so sánh hai hệ thống hoặc nhiều hơn.

Ý tưởng cơ bản là một phát biểu chính xác có thể không chính xác với các thuộc tính của tất cả các hệ thống, nhưng một tuyên bố xác suất về khoảng trong đó các thuộc tính của hầu hết các hệ thống tồn tại có thể đúng. Khái niệm về khoảng tin cậy (confidence interval) được giới thiệu trong phần này là một khái niệm cơ bản mà bất cứ nhà phân tích hiệu năng hệ thống nào cũng cần biết để hiểu rõ vấn đề.

1.3.1 Mẫu và (versus) quần thể

Giả sử chúng ta viết một chương trình máy tính để tạo ra vài triệu số ngẫu nhiên với thuộc tính cho trước, ví dụ như có giá trị trung bình ¼ và độ lệch chuẩn Ã. Bây giờ chúng ta đưa các số đó vào một cái bình và rút ra một mẫu của n số .

Giả thiết mẫu {x1, x2, . . . , xn} có giá trị trung bình mẫu là. Giá trị trung bình mẫu khác với Ã. Để phân biệt hai giá trị đó, được gọi là giá trị trung bình mẫu và ¼ được gọi là trung bình của quần thể. Từ quần thể ám chỉ tất cả các số nằm trong chiếc bình.

Trong hầu hết các vấn đề thực tế, các thuộc tính của quần thể (ví dụ như giá trị trung bình quần thể là không được biết , và mục đích của nhà phân tích là ước lượng các thuộc tính đó. Ví dụ, trong thử nghiệm của chúng ta về đo thời gian xử lý của một chương trình, giá trị trung bình mẫu rút ra từ một mẫu đơn lẻ của n giá trị chỉ là một ước lượng đơn giản của giá trị trung bình. Để xác định chính xác giá trị trung bình, chúng ta cần thực hiện lại thí nghiệm tới vô hạn lần, điều đó gần như là không thể làm được.

Các thuộc tính của quần thể được gọi là các tham số trong khi các mẫu thử được gọi là các thống kê. Ví dụ, trung bình tập hợp là một tham số trong khi giá trị trung bình mẫu là một thống kê. Ta cần phải phân biệt hai khái niệm này bởi vì các tham số là cố định (fixed) trong khi thống kê là một biến ngẫu nhiên. Ví dụ, nếu chúng ta lấy ra hai mẫu n phần tử từ một tập phân phối bình thường với trung bình ¼ và độ lệch chuẩn Ã, kỳ vọng mẫu và của hai mẫu sẽ khác nhau. Trong thực tế, chúng ta có thể rút ra nhiều mẫu và đưa ra một hàm phân bố cho giá trị trung bình mẫu. Không có phân bố nào như vậy đúng cho giá trị trung bình của cả quần thể . Nó là cố định và chỉ có thể xác định nếu chúng ta xem xét trên toàn bộ quần thể. Thông thường, các ký hiệu Hy Lạp như ¼ hay à thường được dùng để chỉ các tham số, trong khi các ký hiệu tiếng Anh như và s được dùng để chỉ thống kê.

1.3.2 Khoảng tin cậy cho kỳ vọng

Mỗi giá trị trung bình mẫu là một đánh giá của giá trị trung bình quần thể. Đưa ra k mẫu, chúng ta có k đánh giá và những đánh giá đó là khác nhau. Vấn đề tiếp theo là lấy ra một đánh giá duy nhất cho giá trị tủng bình quần thể từ k đánh giá trên.

Trong thực tế, không thể lấy ra một đánh giá hoàn hảo cho giá trị trung bình quần thể từ một số hữu hạn các mẫu có độ kích thước hữu hạn. Điều tốt nhất chúng ta có thể làm là lấy ra được các biên xác suất. Từ đó, chúng ta có thể lấy ra 2 biên, ví dụ, c1 và c2, như thế sẽ có một xác suất cao, 1 - ±, mà kỳ vọng lý thuyết nằm trong khoảng (c1,c2):

Probability{c1d¼dc2} = 1 - ±

Khoảng (c1,c2) được gọi là khoảng tin cậy cho giá trị trung bình của quần thể , ± được gọi là mức ý nghĩa (significant level), 100(1 - ±) được gọi là mức tin cậy (confidence level), và (1 - ±) được gọi là hệ số tin cậy (confidence coefficient). Chú ý rằng mức tin cậy thường được biểu diễn dưới dạng phần trăm và thường gần đến giá trị 100%, ví dụ, 90% hay 95%; trong khi mức ý nghĩa được biểu diễn bởi một phân số và thường có giá trị gần 0, ví dụ 0.05 hay 0.1.

Một cách để xác định khoảng tin cậy 90% là sử dụng 5% và 95% của các giá trị trung bình mẫu làm các biên. Ví dụ, chúng ta có thể lấy k mẫu, tìm các giá trị trung bình mẫu, sắp xếp chúng ra theo một thứ tự tăng dần và lấy ra trong tập sắp xếp đó phần tử thứ [1+0.05(k-1)] và [1+0.95(k-1)] .

Có một điều may mắn là chúng ta không cần thiết phải lấy ra quá nhiều mẫu. Có thể xác định được khoảng tin cậy chỉ từ duy nhất một mẫu, bởi vì định lý giới hạn trung tâm cho ta xác định được phân phối của giá trị trung bình mẫu. Định lý đó phát biểu rằng nếu các giá trị trong mẫu {x1, x2, . . . , xn} là độc lập và được lấy ra từ cùng một tập có giá trị trung bình ¼ và độ lệch chuẩn à thì giá trị trung bình mẫu của mẫu đó có phân phối thường xấp xỉ với giá trị trung bình ¼ và độ lệch chuẩn :

Độ lệch chuẩn của giá trị trung bình mẫu được gọi là sai số chuẩn. Sai số chuẩn khác với độ lệch chuẩn của tập. Nếu độ lệch chuẩn của tập là Ã, thì sai số chuẩn chỉ là . Từ biểu thức trên, dễ thấy rằng khi kích thước mẫu n tăng lên thì sai số chuẩn sẽ giảm xuống.

Sử dụng định lý giới hạn trung tâm, khoảng tin cậy 100(1 - ±)% cho trung bình quần thể được đưa ra:

Ở đây, là giá trị trung bình mẫu, s là độ lệch chuẩn của mẫu, n là độ lớn mẫu, và z1-±/2 là điểm phân vị (1 -±/2) của một đại lượng ngẫu nhiên.

Ví dụ1. Với mẫu ở ví dụ 12.4, kỳ vọng = 3.90, độ lệch chuẩn s = ­0.95 và n = 32:

Một khoảng tin cậy 90% cho kỳ vọng = (3.62, 4.17)

Chúng ta có thể phát biểu rằng với khoảng tin cậy 90% thì trung bình tập nằm trong khoảng 3.62 và 4.17. Xác suất sai của phát biểu này là 10%. Có nghĩa là, nếu chúng ta lấy 100 mẫu và đưa ra một khoảng tin cậy cho mỗi mẫu như chỉ ra trên hình 13.1, thì trong 90 mẫu sẽ có khoảng tin cậy chứa giá trị trung bình lý thuyết và 10 mẫu thì giá trị trung bình lý thuyết sẽ không nằm trong khoảng tin cậy.

Tương tự như vậy:

Khoảng tin cậy 95% cho kỳ vọng =

= (3.57, 4.23)

Khoảng tin cậy 99% cho giá trị trung bình =

= (3.46, 4.33)

Hình 1.3.2 Ý nghĩa của khoảng tin cậy

Khoảng tin cậy đề cập ở trên chỉ áp dụng cho các mẫu lớn có độ lớn (kích thước) lớn hơn 30 giá trị. Với các mẫu nhỏ, khoảng tin cậy chỉ có thể được xây dựng nếu các giá trị đến từ một tập phân bố chuẩn. Với những mẫu như vậy khoảng tin cậy 100(1 - ±)% được đưa ra:

Ở đây t[1-±/2;n-1] là điểm phân vị (1 - ±/2) của biến ngẫu nhiên t với n – 1 bậc tự do. Các điểm phân vị đó được liệt kê trong bảng A.4 của phụ lục. Khoảng này dựa trên một sự thật là với các mẫu từ một tập chuẩn , có một phân bố N(0,1)và có một phân bố chi bình phương (phân bố x2) với n – 1 bậc tự do, và do đó có một phân bố t với n – 1 bậc tự do (xem phần 29.16 miêu tả về phân bố t). Hình 13.1 chỉ ra một hàm hàm mật độ mẫu t, giá trị t[1-±/2;n-1] nói lên rằng xác suất của biến ngẫu nhiên nhỏ hơn t[1-±/2;n-1] là ±/2. Tương tự với xác suất của biến ngẫu nhiên lớn hơn t[1-±/2;n-1] . Xác suất biến sẽ nằm trong khoảng là 1-±.

Ví dụ 13.2: Xét dữ liệu bị lỗi ở ví dụ 12.5 (đã được chỉ ra là có phân bố chuẩn). 8 giá trị lỗi là -0.04, -0.19, 0.14, -0.09, -0.14, 0.19, 0.04, và 0.09.

Trung bình của các giá trị lỗi trên là 0 và độ lệch chuẩn của chúng là 0.138. Giá trị t[0.95;7] từ bảng A.4 là 1.895. Do vậy, khoảng tin cậy cho lỗi trung bình là:

1.3.3 Kiểm tra một giá trị trung bình ZERO

Một ứng dụng thông thường của khoảng tin cậy là để kiểm tra xem một giá trị đo đạc có khác 0 hay không. Khi so sánh một phép đo đạc ngẫu nhiên với 0, các phát biểu cần mang tính xác suât, nghĩa là ở một độ mức tin tưởng nhất định. Nếu giá trị đo đạc thỏa mãn phép kiểm tra sự khác biệt với một xác suất lớn hơn hoặc bằng mức tin cậy 100(1 - ±)% thì giá trị đó là khác 0.

Khâu kiểm tra bao gồm xác định một khoảng tin vậy và đơn giản xác định xem khoảng đó có chứa giá trị 0 hay không. Bốn trường hợp được chỉ ra trên hình 13.3, CI viết tắt cho confidence interval (khoảng tin cậy). CI được thể hiện bằng một đoạn thẳng đứng giữa giới hạn tin cậy trên và dưới. Kỳ vọng mẫu được thể hiện bằng một vòng tròn nhỏ. Trong trường hợp (a) và (b), khoảng tin cậy bao gồm giá trị 0, do đó, giá trị của phép đo có thể không khác 0. Trong trường hợp (c) và (d), khoảng tin cậy không chứa giá trị 0, và do đó giá trị đo đạc là khác giá trị 0.

Hình 13.3 Kiểm tra một giá trị trung bình Zero

Ví dụ 1.3.3.1 Sự khác nhau giữa thời gian xử lý của hai cách cải thiện khác nhau của cùng một thuật toán được đo trên 7 tải làm việc giống nhau. Các giá trị khác biệt là {1.5, 2.6, -1.8, 1.3, -0.5, 1.7, 2.4}. Chúng ta có thể nói với 99% độ tin cậy rằng một cách cải thiện là tốt hơn cách kia hay không?

Kích thước mẫu = n= 7

Giá trị trung bình = 7.20/7 = 1.03

Phương sai mẫu (sample variance) = (22.84 - 7.20*7.20/ 7)/6 = 2.57

Độ lệch chuẩn mẫu = = 1.60

Khoảng tin cậy =

Tra bảng A.4 trong phụ lục ta có giá trị t[0.995;6] = 3.707, và khoảng tin cậy 99% = (-1.21, 3.27).

Khoảng tin cậy chứa giá trị 0. Do đó, chúng ta không thể nói với 99% độ tin tưởng rằng giá trị khác nhau trung bình là khác 0 được.

Thủ tục để kiểm tra giá trị trung bình 0 có thể áp dụng tốt cho bất cứ các giá trị nào khác. Ví dụ, để kiểm tra xem kỳ vọng có bằng một giá trị a hay không, một khoảng tin cậy được lập ra và nếu khoảng tin cậy chứa giá trị a thì giả thiết cho rằng kỳ vọng bằng a không thể bị loại bỏ ở một mức độ tin cậy. Ví dụ sau sẽ phác họa sự mở rộng của phép kiểm tra này.

Ví dụ 1.3.3.2. Xét một lần nữa dữ liệu trong ví dụ 1.3.3.1 Để kiểm tra xem sự khác nhau về giá trị có bằng 1 với mức tin cậy 99% hay không, khoảng bảo vệ được xác định trong ví dụ đó là (-1.21, 3.21). Khoảng tin cậy này chứa 1. Do đó, một giá trị khác nhau bằng 1 được công nhận với mức tin cậy đó.