SIGMOID LÀ GÌ

  -  

Sigmoid Function là 1 trong những khái niệm thân thuộc trong Deep Learning. Bài viết đã trình bày sơ bộ về Sigmoid Function và lịch sử vẻ vang sinh ra của nó.

Bạn đang xem: Sigmoid là gì

Bài Viết: Sigmoid là gì


Sigmoid Function là gì?

Sigmoid Function (Hàm Sigmoid) còn được Điện thoại tư vấn là con đường cong Sigmoid. Đấy là một hàm toán thù học bao gồm đặc thù là đường cong hình chữ S. Nó bộc lộ cho sự thay đổi các Ngân sách thân phạm vi 0 & 1. Nó là một trong những trong các hàm kích hoạt (activation function) phi tuyến đường tính đc vận dụng thoáng rộng độc nhất vô nhị.

Chứa hẹn một số hàm Sigmoid thông dụng, chẳng hạn như: hàm Sigmoid logistic, hàm tiếp tuyến đường hyperbol and hàm ArcTan. Trong lắp thêm học (machine learning), thuật ngữ Sigmoid Function hay được thực hiện nhằm chỉ hàm Sigmoid logistic, còn được call là hàm logistic.

Sigmoid Function sử dụng để triển khai gì?

Cục bộ phần đa hàm Sigmoid rất nhiều cất một tính chất phổ biến. Chúng rất có thể gửi những số lượng nguồn vào thành một phạm vi bé dại bất biến. Rõ rệt, số đông số lượng đầu vào vẫn chuyển thành tự 0 mang đến 1 hoặc -1 và 1. Nghĩa là, Hàm Sigmoid thực hiện để gửi một túi tiền thực thành một Ngân sách chi tiêu mẫu mã phần trăm.

Hàm Sigmoid đang dấn nguồn vào (input) & thực hiện triển khai các vấn đề có tác dụng sau:


Nếu biến hóa đầu vào âm, hàm Sigmoid vẫn gửi gần như là tổng thể thành một số trong những ngay gần với 0.Với gần như toàn bộ đầu vào dương, hàm Sigmoid đã vươn lên là nguồn vào thành một số trong những sát với 1.Tình huống đầu vào tương đối ngay gần 0, hàm Sigmoid vẫn chúng thành số bất cứ tự 0 mang lại 1.


*

Minch họa về dường cong chữ S của hàm Sigmoid Function.

Lịch sử của Sigmoid Function

Khái niệm Sigmoid Function dường như không còn gì khác new, nhưng nó đang đc ra đời trường đoản cú rất mất thời gian. Ta hoàn toàn có thể phân chia lịch sử dân tộc của Hàm Sigmoid ra làm cho nhị quy trình tiến độ như sau:

Hàm Sigmoid trước năm 1975

Năm 1798, Thomas Robert Malthus vẫn xuất bản một cuốn nắn sách thương hiệu là “An Essay on the Principle of Population” (Một chia sẻ về Nguim lý Dân số). Ông là một trong giáo sĩ và nhà dịch vụ TM học bạn Anh. Cuốn nắn sách của ông xác minh rằng dân số sẽ tăng theo một quá trình hình học. Điều đó tức thị cứ đọng mỗi 25 năm thì dân sinh lại tăng gấp đôi. Trong lúc đó, mối cung cấp vừa lòng nhu yếu hoa màu lại tăng lên theo số học. Ông cho rằng sự khác hoàn toàn giữa nhị con số đó là do nàn đói đã lang rộng.

Xem thêm: Xóa Tài Khoản Game Online Trị Giá 2 Tỷ Đồng Vì Không Còn Đối Thủ

Cuối những năm 1830, nhà tân oán học tập tín đồ Bỉ Pierre François Verhulst đã trải nghiệm các cách thức khác nhau nhằm đồ sộ hóa sự gia tăng dân số. Verhulst ước ao giải thích rằng dân số ko tăng theo cấp cho số nhân mãi, cơ mà nó gồm giới hạn. Ông lựa chọn hàm logistic nhằm quy mô hóa sự chậm lại của gia tốc lớn mạnh dân sinh.


Hàm Sigmoid tiếp tục được vận dụng Một trong những cụ kỷ tiếp theo. Nhiều công ty sinh học tập và kỹ thuật khác thực hiện nó như một phép tắc tiêu chuẩn nhằm đồ sộ hóa sự tăng trưởng dân số.

Hàm Sigmoid sau năm 1975

Năm 1943, Warren McCulloch and Walter Pitts sẽ cải cách và phát triển quy mô mạng nơ-ron nhân tạo áp dụng ngưỡng cứng (hard cutoff) làm hàm kích hoạt. Rõ rệt, nơ-ron xuất ra 1 hoặc 0 tùy thuộc theo Việc nguồn vào cao hơn giỏi tiết kiệm ngân sách và chi phí hơn ngưỡng.


*

Năm 1972, Hugh Wilson và Jaông chồng Cowan đã tra cứu phương thức bài bản hóa phần lớn nơ-ron sinc học bởi phnghiền tính. Họ sử dụng hàm Sigmoid logistic để bài bản hóa sự kích họat của một tế bào thần ghê. Trong số kia, một nơ-ron đã gửi bộc lộ mang lại nơ-ron khác nếu như nó thừa nhận được dấu hiệu to ra nhiều thêm điện nắm kích hoạt. Quy mô này được Gọi là đồ sộ Wilson – Cowan.

Từ các năm 1970 and 1980 trở đi, một số trong những nhà nghiên góp những bước đầu tiên áp dụng rất nhiều hàm Sigmoid trong số những cách làm của mạng nơ-ron nhân tạo, rước cảm hứng từ hầu như mạng nơ-ron sinc học tập. Năm 1998, Yann LeCun vẫn lựa chọn hàm tiếp tuyến đường hyperbol làm hàm kích hoạt vào mạng LeNet nhiều người biết đến của mình. Đấy là mạng trước tiên rất có thể nhận dạng các chữ số viết tay ở mức độ chính xác thực tế.

Các năm vừa mới đây, mạng nơ-ron nhân tạo đã vứt hàm Sigmoid nhằm chuyển sang sử dụng hàm ReLU. Lý vị là vì toàn cục đông đảo thay đổi thể của hàm Sigmoid rất nhiều được gia công mang đến câu hỏi tính toán thù. Trong lúc đó, hàm ReLU gồm độ phi con đường tính thiết yếu nhằm tận dụng tối đa độ sâu của mạng. Hàm ReLU cũng tính toán thù rất là nhanh hao.


Nói tóm lại, Sigmoid Function đã có không ít một quá trình xuất hiện & cải cách và phát triển hơi thọ. Hy vọng, qua bài viết này, chúng ta đang gọi thêm những điều về Sigmoid Function.

Xem thêm: Ngọc Trinh Tung Clip Hậu Trường Chụp Ảnh Khỏa Thân, Ngọc Trinh Chụp Khỏa Thân

Nếu các bạn chăm sóc, hãy coi hồ hết nơi đặt sẽ tuyển chọn dụng của Got It tại: bit.ly/gotit-hanoi and xem thêm về các bước tuyển chọn dụng trên trên đây.