Sigmoid là gì

Sigmoid Function là một khái niệm thân thuộc trong Deep Learning. Bài viết sẽ trình bày sơ bộ về Sigmoid Function and lịch sử hình thành của nó.

Bạn đang xem: Sigmoid là gì

Bài Viết: Sigmoid là gì

Sigmoid Function là gì?

Sigmoid Function (Hàm Sigmoid) còn đc gọi là đường cong Sigmoid. Đấy là một hàm toán học có đặc trưng là đường cong hình chữ S. Nó biểu thị cho sự biến đổi những giá cả giữa phạm vi 0 and 1. Nó là một trong các hàm kích hoạt (activation function) phi tuyến tính đc áp dụng rộng rãi nhất.

Chứa một số hàm Sigmoid thông dụng, chẳng hạn như: hàm Sigmoid logistic, hàm tiếp tuyến hyperbol and hàm ArcTan. Trong máy học (machine learning), thuật ngữ Sigmoid Function thường đc sử dụng để chỉ hàm Sigmoid logistic, còn đc gọi là hàm logistic.

Sigmoid Function sử dụng để làm gì?

Cục bộ những hàm Sigmoid đều chứa một đặc thù chung. Chúng có thể chuyển các con số đầu vào thành một phạm vi bé dại ổn định. Rõ rệt, những con số đầu vào sẽ chuyển thành từ 0 đến 1 hoặc -1 and 1. Nghĩa là, Hàm Sigmoid sử dụng để chuyển một giá cả thực thành một giá cả kiểu xác suất.

Hàm Sigmoid sẽ nhận đầu vào (input) and tiến hành triển khai các việc làm sau:

Nếu biến đầu vào âm, hàm Sigmoid sẽ chuyển gần như cục bộ thành một số gần với 0.Với gần như cục bộ đầu vào dương, hàm Sigmoid sẽ biến đầu vào thành một số gần với 1.Tình huống đầu vào tương đối gần 0, hàm Sigmoid sẽ chúng thành số bất cứ từ 0 đến 1.

Minh họa về dường cong chữ S của hàm Sigmoid Function.

Lịch sử của Sigmoid Function

Khái niệm Sigmoid Function đã không còn gì mới, mà nó đã đc hình thành từ rất lâu. Ta có thể chia lịch sử của Hàm Sigmoid ra làm hai giai đoạn như sau:

Hàm Sigmoid trước năm 1975

Năm 1798, Thomas Robert Malthus đã xuất bản một cuốn sách tên là “An Essay on the Principle of Population” (Một bài luận về Nguyên lý Dân số). Ông là một giáo sĩ and nhà thương mại học người Anh. Cuốn sách của ông xác định rằng dân số đang tăng theo một tiến trình hình học. Điều đó nghĩa là cứ mỗi 25 năm thì dân số lại tăng gấp đôi. Trong khi đó, nguồn thỏa mãn nhu cầu lương thực lại tăng đều theo số học. Ông cho rằng sự khác biệt giữa hai con số đó là do nạn đói đang lang rộng.

Xem thêm: Xóa Tài Khoản Game Online Trị Giá 2 Tỷ Đồng Vì Không Còn Đối Thủ

Cuối các năm 1830, nhà toán học người Bỉ Pierre François Verhulst đã thử nghiệm các cách thức khác nhau để quy mô hóa sự gia tăng dân số. Verhulst muốn giải thích rằng dân số không tăng theo cấp số nhân mãi, mà nó có giới hạn. Ông chọn hàm logistic để quy mô hóa sự chậm lại của vận tốc tăng trưởng dân số.

Hàm Sigmoid tiếp tục đc áp dụng trong những thế kỷ tiếp theo. Nhiều nhà sinh học and khoa học khác sử dụng nó như 1 công cụ tiêu chí để quy mô hóa sự tăng trưởng dân số.

Hàm Sigmoid sau năm 1975

Năm 1943, Warren McCulloch and Walter Pitts đã phát triển quy mô mạng nơ-ron nhân tạo áp dụng ngưỡng cứng (hard cutoff) làm hàm kích hoạt. Rõ rệt, nơ-ron xuất ra 1 hoặc 0 tùy thuộc theo việc đầu vào cao hơn hay tiết kiệm hơn ngưỡng.

Năm 1972, Hugh Wilson and Jack Cowan đã tìm cách thức quy mô hóa những nơ-ron sinh học bằng phép tính. Họ sử dụng hàm Sigmoid logistic để quy mô hóa sự kích họat của một tế bào thần kinh. Trong số đó, một nơ-ron sẽ gửi tín hiệu đến nơ-ron khác nếu nó nhận đc tín hiệu to hơn điện thế kích hoạt. Quy mô này đc gọi là quy mô Wilson – Cowan.

Từ các năm 1970 and 1980 trở đi, một số nhà nghiên giúp bước đầu áp dụng những hàm Sigmoid trong những công thức của mạng nơ-ron nhân tạo, lấy xúc cảm từ những mạng nơ-ron sinh học. Năm 1998, Yann LeCun đã chọn hàm tiếp tuyến hyperbol làm hàm kích hoạt trong mạng LeNet nhiều người biết đến của tớ. Đấy là mạng trước tiên có thể nhận dạng những chữ số viết tay ở mức độ đúng chuẩn thực tiễn.

Các năm gần đây, mạng nơ-ron nhân tạo đã bỏ hàm Sigmoid để chuyển qua sử dụng hàm ReLU. Lý do là vì cục bộ những biến thể của hàm Sigmoid đều được làm cho việc tính toán. Trong khi đó, hàm ReLU có độ phi tuyến tính thiết yếu để tận dụng độ sâu của mạng. Hàm ReLU cũng tính toán cực kỳ nhanh.

Nói tóm lại, Sigmoid Function đã có rất nhiều một quy trình hình thành and phát triển khá lâu. Hy vọng, qua bài viết này, bạn đã hiểu thêm nhiều điều về Sigmoid Function.

Xem thêm: Ngọc Trinh Tung Clip Hậu Trường Chụp Ảnh Khỏa Thân, Ngọc Trinh Chụp Khỏa Thân

Nếu bạn chăm lo, hãy xem những nơi đặt đang tuyển dụng của Got It tại: bit.ly/gotit-hanoi and tham khảo thêm về các bước tuyển dụng tại đây.