TF-IDF là viết tắt của Term frequencey inverse document frequency. Nó có thể được xác định là mức độ liên quan của một từ trong chuỗi các đoạn text.

• Term frequency: trong document d, frequency (tần số) biểu diễn số lần xuất hiện của từ t. Trọng số của từ xuất hiện trong document

Trong các bài trước chúng ta đã tìm hiểu cách xây dựng mô hình GAN truyền thống. Ở đó chúng ta sử dụng binary cross entropy (BCE) làm cost function. Tuy nhiên việc sử dụng BCE có hai nhược điểm:

• Xảy ra mode collapse (“sụp đổ mô hình”). Hiểu đơn giản thì giả sử ban đầu chúng ta có 10 classes các chữ số viết tay từ 0 đến 9, tuy nhiên sau khi training GAN khi sinh dữ liệu chúng ta thường chỉ nhận được samples từ một class nào đó.
• Vanishing gradient - dẫn đến việc học rất chậm, điều này do discriminator có thể quá xuất sắc và nó không đưa ra được feedback tốt cho generator cách cải thiện như nào.

Trong bài này chúng ta sẽ tìm hiểu một số độ đo có thể đánh giá được sự khác biệt giữa hai phân bố xác suất.

Trong bài này chúng ta sẽ tìm hiểu về matrix calculus. Đây là kiến thức hữu ích cho chúng ta để có thể tiếp cận dễ hơn với các thuật toán. Liên quan đến việc tính đạo hàm theo vector có hai quy ước: numerator layout (Jacobian formulation) và denominator layout (Hessian formulation). Hai quy ước này khác nhau trong việc đạo hàm scalar theo vector, đạo hàm của vector theo scalar để theo vector hàng hay cột. Trong bài này chúng ta sẽ dùng theo quy ước denominator layout. Tuy nhiên cũng có rất nhiều các tài liệu khác sử dụng numerator layout. Khi sử dụng nên nhất quán một cách để tránh nhầm lẫn.

Trong bài trước chúng ta đã tìm hiểu về hàm softmax. Trong này chúng ta sẽ đi phân tích thuật toán backpropagation với hàm softmax và crossentropy- thuật toán được ứng dụng trong mạng Neural Network rất thành công.