Xem Nhiều 5/2022 # Tìm Hiểu Về Cross Entropy Loss Là Gì # Top Trend

Xem 23,463

Cập nhật thông tin chi tiết về Tìm Hiểu Về Cross Entropy Loss Là Gì mới nhất ngày 18/05/2022 trên website Doisonggiaitri.com. Hy vọng nội dung bài viết sẽ đáp ứng được nhu cầu của bạn, chúng tôi sẽ thường xuyên cập nhật mới nội dung để bạn nhận được thông tin nhanh chóng và chính xác nhất. Cho đến thời điểm hiện tại, bài viết này đã đạt được 23,463 lượt xem.

--- Bài mới hơn ---

  • Ý Nghĩa Của Phong Cách Thiết Kế Eco Cho Trang Trí Nội Thất
  • Vé Máy Bay Hạng Economy Là Gì?
  • Làm Quen Với Chế Độ Lái Eco Trên Các Dòng Xe Đời Mới
  • Không Phải Táo, ‘trái Cấm’ Adam Và Eva Đã Ăn Trong Vườn Địa Đàng Là Quả Gì?
  • Nữ Hoàng Thể Hình Erin Stern Đăng Quang Musclecontest Vietnam 2022
  • Cross-entropy loss là gì?

    Mặc dù hinge loss khá phổ biến, nhưng chúng ta có nhiều khả năng sử dụng hàm mất mát cross-entropy và phân loại Softmax trong bối cảnh học sâu và mạng lưới thần kinh tích chập. Trình phân loại Softmax cung cấp cho chúng ta xác suất cho mỗi nhãn lớp trong khi mất bản lề cung cấp cho chúng ta.

    Trình phân loại Softmax là một khái quát của dạng nhị phân của hồi quy logistic. Giống như trong hinge loss hoặc squared hinge loss, chức năng ánh xạ f của chúng ta được xác định sao cho nó có một bộ đầu vào là dữ liệu x_i và ánh xạ chúng đến nhãn lớp đầu ra thông qua sản phẩm chấm của ma trận dữ liệu và ma trận trọng số W

    (bỏ qua thuật ngữ thiên vị cho ngắn gọn): f (x_i;W) = W x_i

    Tuy nhiên, không giống như hinge loss, chúng ta có thể hiểu các điểm số này là xác suất nhật ký không chuẩn hóa cho mỗi nhãn lớp, có nghĩa là hoán đổi chức năng mất bản lề với mất entropy chéo. Hãy lưu ý rằng logarit của chúng ta ở đây thực sự là cơ sở e (logarit tự nhiên) vì chúng ta đang lấy nghịch đảo của lũy thừa so với e trước đó. Số mũ thực tế và chuẩn hóa thông qua tổng số mũ là hàm Softmax của chúng ta. Log âm mang lại tổn thất entropy chéo thực tế của chúng ta.

    Cũng giống như hinge loss và squared hinge loss, tính toán mất mát cross-entropy trên toàn bộ bộ dữ liệu được thực hiện bằng cách lấy trung bình. Một lần nữa, chún ta lại cố tình bỏ qua thuật ngữ regaularization từ hàm mất mát của chúng ta. Chúng ta sẽ quay trở lại regaularization, giải thích nó là gì, sử dụng nó như thế nào và tại sao nó lại quan trọng đối với các mạng lưới thần kinh và sâu sắc học ở các bài kế. Nếu các phương trình trên có vẻ đáng sợ, đừng lo lắng – chúng ta sẽ làm việc thông qua các ví dụ bằng số trong phần tiếp theo để đảm bảo chúng ta hiểu cách thức hoạt động của hàm mất mát cross-entropy.

    Kết luận

    Trong bối cảnh phân loại hình ảnh, dữ liệu đầu vào của chúng ta là tập dữ liệu hình ảnh của chúng ta. Việc ghi hàm tạo dự đoán cho một hình ảnh đầu vào nhất định. Hàm mất sau đó định lượng mức độ tốt hoặc xấu một tập hợp các dự đoán là trên tập dữ liệu. Cuối cùng, ma trận trọng số và vectơ sai lệch cho phép chúng ta thực sự học tìm hiểu từ dữ liệu đầu vào – các tham số này sẽ được điều chỉnh và điều chỉnh thông qua phương pháp tối ưu hóa trong một nỗ lực để có được độ chính xác phân loại cao hơn.

    Sau đó chúng tôi đã xem xét hai chức năng mất phổ biến: mất bản lề và mất entropy chéo. Trong khi margin loss được sử dụng trong nhiều ứng dụng học máy (như SVM), chúng ta gần như có thể đảm bảo với hoàn toàn chắc chắn rằng chún ta sẽ thấy hàm mất mát cross-entropy chéo với tần suất nhiều hơn chủ yếu là do

    thực tế là phân loại Softmax xác suất đầu ra thay vì lề. Xác suất dễ dàng hơn nhiều đối với chúng ta là con người để giải thích, vì vậy thực tế này là một chất lượng đặc biệt tốt đẹp của mất mát entropy chéo.

    Trong các bài tiếp theo, chúng tôi sẽ xem xét các phương pháp tối ưu hóa được sử dụng để điều chỉnh ma trận trọng số của chúng ta và vectơ sai lệch. Phương pháp tối ưu hóa cho phép các thuật toán của chúng ta thực sự học hỏi từ dữ liệu đầu vào của chúng ta bằng cách cập nhật ma trận trọng số và vectơ sai lệch dựa trên đầu ra của các hàm tính điểm và mất của chúng ta.

    Sử dụng các kỹ thuật này, chúng ta có thể thực hiện các bước tăng dần đối với các giá trị tham số có giá trị thấp hơn mất và độ chính xác cao hơn. Phương pháp tối ưu hóa là nền tảng của mạng lưới thần kinh hiện đại và học sâu, và không có chúng, chúng ta sẽ không thể học các mẫu từ dữ liệu đầu vào của mình, vì vậy hãy chắc chắn chú ý đến chương sắp tới.

    UNIDUC – Chuyên Robot, Dây Chuyền Sản Xuất Công Nghiệp tự động

    --- Bài cũ hơn ---

  • Nêu Ý Nghĩa Của Biến Dị Tổ Hợp Với Chọn Giống Và Tiến Hóa
  • Chức Năng 11 Dấu Câu Trong Tiếng Việt
  • Dấu Chấm Trong Comment Có Ý Nghĩa Gì
  • Ý Nghĩa Hình Xăm Dreamcatcher Có Gì Bí Mật? Hãy Cùng Tìm Hiểu
  • Dreamcatcher Là Gì? Ý Nghĩa Của Dreamcatcher
  • Bạn đang xem bài viết Tìm Hiểu Về Cross Entropy Loss Là Gì trên website Doisonggiaitri.com. Hy vọng những thông tin mà chúng tôi đã chia sẻ là hữu ích với bạn. Nếu nội dung hay, ý nghĩa bạn hãy chia sẻ với bạn bè của mình và luôn theo dõi, ủng hộ chúng tôi để cập nhật những thông tin mới nhất. Chúc bạn một ngày tốt lành!

  • Web hay
  • Links hay
  • Guest-posts
  • Push
  • Chủ đề top 10
  • Chủ đề top 20
  • Chủ đề top 30
  • Chủ đề top 40
  • Chủ đề top 50
  • Chủ đề top 60
  • Chủ đề top 70
  • Chủ đề top 80
  • Chủ đề top 90
  • Chủ đề top 100
  • Bài viết top 10
  • Bài viết top 20
  • Bài viết top 30
  • Bài viết top 40
  • Bài viết top 50
  • Bài viết top 60
  • Bài viết top 70
  • Bài viết top 80
  • Bài viết top 90
  • Bài viết top 100
  • Chủ đề top 10
  • Chủ đề top 20
  • Chủ đề top 30
  • Chủ đề top 40
  • Chủ đề top 50
  • Chủ đề top 60
  • Chủ đề top 70
  • Chủ đề top 80
  • Chủ đề top 90
  • Chủ đề top 100
  • Bài viết top 10
  • Bài viết top 20
  • Bài viết top 30
  • Bài viết top 40
  • Bài viết top 50
  • Bài viết top 60
  • Bài viết top 70
  • Bài viết top 80
  • Bài viết top 90
  • Bài viết top 100