Bạn đang quan tâm đến Sơ Lược Về Maximum Likelihood Là Gì, Machine Learning Cơ Bản phải không? Nào hãy cùng TTTD đón xem bài viết này ngay sau đây nhé, vì nó vô cùng thú vị và hay đấy!
XEM VIDEO Sơ Lược Về Maximum Likelihood Là Gì, Machine Learning Cơ Bản tại đây.
Phân loại
Lý thuyết học máy (31)Quy hoạch lồi (13)Thuật toán (6)
Lưu trữ
Thống kê
208278 lần xem
Bài gần đây
Trang
Blogroll
Quản trị
Theo dõi

Blog D.Q. Huy
Xem nhiều nhất
Các khái niệm trong Học máy (Machine Learning) (7) – Một số vídụ
Posted by Trần Quốc Long trên Tháng Bảy 30, 2008
Ước lượng tham số của phân phối chuẩn (normal distribution): Ở bài thứ 3, ta đã thấy một ví dụ sử dụng công thức Bayes để ước lượng xác suất của tham số. Trong ví dụ này, ta sẽ thử sử dụng nguyên tắc cực đại hóa khả năng (maximum likelihood estimation – MLE) để ước lượng tham số.
Bạn đang xem: Maximum likelihood là gì
Ví dụ 1. Giả sử dữ liệu

được lấy từ phân phối chuẩn

. Hãy xác định

.
Giải: Giá trị của

phải cực đại hóa khả năng (likelihood) của dữ liệu

Lấy logarit cơ số tự nhiên cả hai vế và loại bỏ đi hằng số, việc cực đại hóa

tương đương với việc cực đại hóa hàm log-likelihood sau

Lấy đạo hàm

và đặt bằng

rồi giải ra ta được ước lượng MLE của

là

Ví dụ 2. Giả sử dữ liệu

được lấy từ phân phối chuẩn

. Hãy xác định

.
Xem thêm: Rep Trong Facebook Là Gì – Từ Rep Trên Facebook Có Ý Nghĩa Gì
Giải: Tương tự như trên hàm log-likelihood là:

Đầu tiên, cực đại hóa

theo

, ta được


Tiếp tục cực đại hóa

theo

ta có


Lưu ý:
Qua 2 ví dụ trên, ta thấy

xác định qua nguyên tắc cực đại hóa khả năng chính là các đại lượng trung bình cộng của dữ liệu và trung bình bình phương sai số.Đối với dữ liệu nhiều chiều,

, với cách làm tương tự (có phức tạp hơn 1 chút), ta cũng có thể tính được


Ví dụ 3. Giả sử có hai lớp đối tượng

, ta biết rằng


Nghĩa là phân bố của hai lớp đối tượng đều là phân phối chuẩn, có phương sai giống nhau. Đồng thời giả sử

. Hãy xây dựng luật phân lớp tối ưu và ước lượng xác suất lỗi.
Giải: Do

nên luật phân lớp tối ưu là


Lấy logarith cơ số tự nhiên cả hai vế của bất đẳng thức rồi loại bỏ hằng số chung ta được


Tức là nếu

ở gần

hơn thì sẽ được phân vào lớp

và ngược lại. Hoặc nếu

Do

và tính đối xứng của các phân bố ta có

Trong đó

là hàm phân bố xác suất (cummulative distribution function) của phân bố chuẩn

.
Ví dụ 4.
Xem thêm:
Xét trường hợp tổng quát hơn

và


Điều kiện để phân

vào lớp

là

Lấy logarit cơ số tự nhiên cả 2 vế, ta có


Như vậy, ở trường hợp phân phối chuẩn tổng quát, đường phân ranh giới tối ưu giữa 2 lớp là một đường cong bậc 2. Nó có thể là đường thẳng, elipsoid, hyperbol hay parabol tùy thuộc vào

và

. Ta xét một số trường hợp đơn giản:
Lưu ý:
Do ma trận

là ma trận xác định dương nên dễ thấy các tính chất sau




(bất đẳng thức tam giác)
Tức là khoảng cách Mahalanobis thỏa mãn các tính chất cần có của khoảng cách trong không gian metric.
Posted in Lý thuyết học máy | Tagged: cực đại hóa khả năng, CDF, cummulative distribution function, Euclidean distance, generalization error, khoảng cách Euclid, khoảng cách Mahalanobis, LDA, linear discriminant analysis, log-likelihood, Mahalanobis distance, maximum likelihood estimation, MLE, phân bố xác suất, phân cách 2 lớp bằng siêu phẳng, Support Vector Machines, SVM, vectơ hỗ trợ, xác suất lỗi, ước lượng tham số | Leave a Comment »
Chuyên mục: CUỘC SỐNG
Vậy là đến đây bài viết về Sơ Lược Về Maximum Likelihood Là Gì, Machine Learning Cơ Bản đã dừng lại rồi. Hy vọng bạn luôn theo dõi và đọc những bài viết hay của chúng tôi trên website TTTD.VN
Chúc các bạn luôn gặt hái nhiều thành công trong cuộc sống!
- [SỰ THẬT] Etherconnect – Dự án giúp bạn kiếm tiền tỷ trong năm 2022
- Coil whine là gì? Cách khắc phục Coil whine trên laptop, PC
- Ý nghĩa của volcano trong tiếng Anh
- Thích ăn những món tráng miệng ngon
- Ưu điểm dịch vụ vận chuyển qua chành xe & khi nào bạn nên sử dụng dịch vụ này
- Thích Tâm Nguyên Tiểu Sử Đại Đức Thích Tâm Nguyên Là Ai, Năm Sinh Quê Quán, Tên Thật
- WinThruster 2.3 Sửa chữa và tăng tốc máy tính
- Triệu Hân Cannes – Hoa Hậu Trung Quốc Bị Lật Tẩy Nói Dối Ở Cannes
- Nên Làm Gì Khi Bị Hạ Canxi Máu Nên Ăn Gì Khi Bị Hạ Canxi Máu?
- Cách làm bạch tuộc nướng mềm, dai cực ngon, không bị khô