Eigenvectors và eigenvalues
Eigenvectors và eigenvalues có nhiều ý nghĩa trong Conputer vision và ML. Chúng ta đã biết đến PCA (principal component analysis) cho dimensonality reduction hay Eigenfaces cho face recognition. Trong bài này chúng ta sẽ tìm hiểu về chúng cho trường hợp 2D.
Eigenvector là vector mà hướng của nó không đổi khi áp dụng linear transformation lên nó.
Ví dụ hình bên trên các eigenvectors (màu đỏ) không thay đổi hướng khi áp dụng liner transformation. Vector màu vàng không phải là eigenvector do nó có thay đổi hướng khi áp dụng linear transformation.
Transformation trong trường hợp này là scaling đơn giản với
Ban đầu có vector
Nhận thấy hướng của một số vector không bị ảnh hưởng bởi linear transformation. Những vector này được gọi là eigenvectors của linear transformation đó và xác định duy nhất cho ma trân vuông
Định nghĩa và tính chất
Tổng quát, eigenvector
ở đây
Chú ý: Nếu ma trận vuông
Một số tính chất:
1. Eigenvalue
2. Một eigenvalue có thể có nhiều eigenvectors.
Nếu
3. Mỗi eigenvector chỉ có một eigenvalue tương ứng.
Giả sử eigenvector
Lúc này ta có
4. Nếu
Chúng ta tìm các eigenvalues từ phương trình:
Nếu
5. Nếu
Do
6. Ma trận
Ta có đa thức đặc trưng của ma trận
Lúc này
Xác định eigenvalues và eigenvectors
Viết lại phương trình (1) như sau:
hay
trong đó
Phương trình trên giống như chúng ta đi giải hệ phương trình nhiều ẩn. Nếu định thức của ma trận khác 0 thì có nghiệm duy nhất, lúc này vector
Chúng ta đi làm một ví dụ sau, có ma trận
Ta có
Từ đây tìm được
Nên nhớ ma trận vuông
Sau khi tìm được eigenvalue chúng ta sẽ đi xác định eigenvector tương ứng.
Đối với
Cuối cùng nhận được
Nhận thấy ở đây eigenvector đơn giản chỉ biểu diễn hướng, do đó chúng ta có thể nhân thêm bất kì số vô hướng khác 0 nào để nhận được eigenvectors mới song song với eigenvector đó. Nếu muốn normalize có thể normalize chúng để có norm bằng 1. Để đơn giản chọn
Tương tự đối với
Như vậy chúng ta đã tìm hiểu về eigenvectors và eigenvalues. Các bạn có thể thực hành thêm với các ví dụ về tìm eigenvectors và eigenvalues cho ma trận vuông. Thực ra mình viết bài này để phục vụ cho bài về covariance matrix. Mọi người có thể đọc thêm tại link này.