ELK LÀ GÌ

  -  
Phần 1: ra mắt về các thành bên trong ELK Stack (bài viết này).

Bạn đang xem: Elk là gì

Với hàng tỷ lượt tải xuống cho những thành phần khác nhau kể từ lần thứ nhất được giới thiệu, ELK Stack là nền tảng quản lý log thịnh hành nhất gắng giới. Ngược lại, Splunk - người đã từng có lần dẫn đầu lịch sử trong nghành nghề dịch vụ này - tự báo cáo có tổng cộng 15.000 khách hàng.

Vậy ELK đúng là gì? lý do ngăn xếp ứng dụng này lại nhận được sự quan tâm và áp dụng rộng rãi như vậy? Làm cầm cố nào để các thành phần không giống nhau trong chống xếp địa chỉ với nhau?

Trong khuyên bảo này, bọn họ sẽ xem xét trọn vẹn các thành phần khác biệt trong ELK Stack. Shop chúng tôi sẽ giúp bạn hiểu sứ mệnh của bọn chúng trong mặt đường ống dẫn dữ liệu của bạn, cách thiết đặt và thông số kỹ thuật chúng cũng giống như cách tốt nhất để tránh một số trong những cạm bẫy phổ cập trong quy trình thực hiện.

ELK Stack là gì?

Cho mang lại một hoặc 2 năm trước, ELK Stack là tập hợp của ba sản phẩm mã nguồn mở - Elasticsearch, Logstash với Kibana - toàn bộ đều do Elastic vạc triển, cai quản và duy trì. Sự thành lập và bổ sung cập nhật sau đó của Beats đã biến hóa ngăn xếp thành một dự án bốn chân.

Elasticsearch là 1 trong công cố kỉnh phân tích với tìm kiếm toàn văn (full-text search), mã mối cung cấp mở, dựa trên công núm tìm tìm Apache Lucene.

Logstash là một trong những công vắt tổng phù hợp log thu thập dữ liệu từ khá nhiều nguồn nguồn vào khác nhau, triển khai các biến đổi và đổi mới khác nhau, tiếp đến vận chuyển tài liệu đến các điểm đến đầu ra được cung ứng khác nhau.

Kibana là một trong lớp trực quan hóa hoạt động dựa trên Elasticsearch, cung cấp cho những người dùng kỹ năng phân tích với trực quan tiền hóa dữ liệu.

Và ở đầu cuối nhưng không hề kém phần đặc trưng - Beats là tác nhân nhẹ được cài đặt trên các sever để thu thập các các loại dữ liệu không giống nhau để chuyến qua vào phòng xếp.

Cùng với nhau, những thành phần khác nhau này được sử dụng phổ cập nhất nhằm giám sát, hạn chế và khắc phục sự vậy và bảo mật môi trường CNTT (mặc dù có không ít trường hợp thực hiện hơn mang đến ELK Stack như business intelligence cùng web analytics).

Beats và Logstash đảm nhiệm việc tích lũy và xử lý dữ liệu, Elasticsearch lập chỉ mục và tàng trữ dữ liệu, với Kibana cung ứng giao diện người dùng để làm truy vấn và hiển thị dữ liệu.

Tại sao ELK lại được yêu dấu đến vậy?

*

ELK Stack phổ cập vì nó đáp ứng nhu cầu nhu mong trong không khí phân tích và thống trị log. Việc thống kê giám sát các ứng dụng văn minh và cơ sở hạ tầng CNTT mà chúng được thực hiện yêu cầu chiến thuật phân tích và quản lý log cho phép các kỹ sư quá qua thách thức đo lường và tính toán môi trường phân tán cao và dynamic.

ELK Stack hỗ trợ bằng phương pháp cung cấp cho người dùng một nền tảng mạnh bạo thu thập và cách xử trí dữ liệu từ nhiều nguồn dữ liệu, lưu trữ dữ liệu kia trong một kho dữ liệu tập trung rất có thể mở rộng khi dữ liệu cải tiến và phát triển và cung ứng một bộ pháp luật để đối chiếu dữ liệu.

Tất nhiên, ELK Stack là mã nguồn mở. Với các tổ chức CNTT ưu thích các thành phầm mã nguồn mở, chỉ riêng vấn đề này đã rất có thể giải thích sự thông dụng của phòng xếp. áp dụng mã nguồn mở tức là các tổ chức hoàn toàn có thể tránh bị nhà hỗ trợ khóa cùng tìm kiếm lực lượng lao động mới dễ dàng hơn nhiều.

Mọi fan đều biết làm nắm nào để sử dụng Kibana, yêu cầu không? Mã nguồn mở cũng có nghĩa là một cộng đồng sôi động thường xuyên thúc đẩy các tính năng và cải tiến mới và trợ giúp trong trường hợp cần thiết.

Chắc chắn, Splunk từ bỏ lâu đã trở thành công ty dẫn đầu thị phần trong lĩnh vực này. Tuy nhiên vô số công dụng của nó ngày càng không đáng với giá đắt đỏ - đặc biệt là đối với những công ty nhỏ dại hơn, các thành phầm SaaS và những công ty khởi nghiệp công nghệ.

Splunk có khoảng 15.000 quý khách trong lúc ELK được sở hữu xuống trong một tháng nhiều hơn so với tổng số người tiêu dùng của Splunk - với gấp những lần tại thời gian đó.

ELK rất có thể không có toàn bộ các nhân kiệt của Splunk, nhưng mà nó không có nhu cầu các tính năng đó. ELK là một nền tảng so sánh và cai quản log dễ dàng và đơn giản nhưng khỏe mạnh với ngân sách chi tiêu thấp hơn.

Tại sao so sánh log lại trở nên quan trọng hơn?

Trong cầm giới đối đầu ngày nay, những tổ chức cần thiết chịu được một giây thời hạn chết hoặc công suất chậm của những ứng dụng của họ. Các vấn đề về hiệu suất có thể làm hỏng thương hiệu và trong một số trong những trường hợp hoàn toàn có thể dẫn cho tổn thất lệch giá trực tiếp.

Xem thêm: Top Game Kiếm Hiệp Hay Trên Mobile Hay Nhất Hiện Nay, Top 5 Game Kiếm Hiệp 3D Mobile Hay Nhất 2022

Vì nguyên nhân tương tự, các tổ chức cũng quan trọng bị xâm phạm và việc không tuân thủ các tiêu chuẩn chỉnh quy định có thể dẫn mang đến tiền phạt nặng với gây thiệt hại cho khách hàng cũng giống hệt như vấn đề về hiệu suất.

Để bảo đảm an toàn các ứng dụng luôn sẵn có, chuyển động hiệu quả với an toàn, những kỹ sư phụ thuộc vào các một số loại dữ liệu không giống nhau do áp dụng của họ tạo ra và cửa hàng hạ tầng cung cấp chúng. Tài liệu này, cho dù cho là log sự kiện hoặc số liệu, hoặc cả hai, được cho phép giám gần kề các hệ thống này và xác minh và giải quyết các vụ việc nếu bọn chúng xảy ra.

Log luôn tồn tại và vì đó, có các công cụ khác nhau để đối chiếu chúng. Mặc dù nhiên, điều đã biến hóa là loài kiến ​​trúc cơ bản của các môi trường xung quanh tạo ra các bạn dạng ghi này.

Kiến trúc đã cách tân và phát triển thành microservices, container và hạ tầng điều phối được tiến hành trên đám mây, trên các đám mây hoặc vào các môi trường thiên nhiên kết hợp. Không chỉ là vậy, khối lượng dữ liệu tuyệt vời được tạo ra bởi các môi trường xung quanh này không xong tăng lên cùng tự nó chế tạo ra thành một thách thức.

Đã qua lâu rồi phần đa ngày cơ mà một kỹ sư tất cả thể chỉ việc SSH vào trong 1 chiếc trang bị và khắc ghi một tệp tin log. Điều này không thể được triển khai trong môi trường bao gồm hàng trăm container tạo nên hàng TB dữ liệu log mỗi ngày.

Đây là cơ hội các giải pháp phân tích và quản lý log tập trung như ELK Stack cho phép các kỹ sư, mặc dù là DevOps, vận hành CNTT xuất xắc SRE, bao gồm được kỹ năng hiển thị mà người ta cần và đảm bảo các ứng dụng luôn luôn có sẵn và hoạt động hiệu quả.

Các chiến thuật phân tích và quản lý log hiện nay đại bao hàm các kĩ năng chính sau:

Tổng hợp - khả năng thu thập với gửi log từ rất nhiều nguồn dữ liệu.Xử lý - khả năng biến đổi log thành tài liệu có ý nghĩa để phân tích dễ dãi hơn.Lưu trữ - năng lực lưu trữ tài liệu trong khoảng thời gian dài để được cho phép theo dõi, phân tích xu thế và những trường hợp thực hiện bảo mật.Phân tích - tài năng phân tích dữ liệu bằng cách truy vấn nó và sinh sản hình ảnh trực quan với bảng điều khiển và tinh chỉnh trên đó.

Cách sử dụng ngăn xếp ELK để phân tích log

Như tôi vẫn đề cập nghỉ ngơi trên, được kết phù hợp với nhau, các thành phần khác nhau của ELK Stack hỗ trợ một chiến thuật đơn giản nhưng khỏe khoắn để quản lý và phân tích log.

Các thành phần không giống nhau trong ELK Stack có phong cách thiết kế để tương tác và chơi giỏi với nhau mà không cần cấu hình thêm thừa nhiều. Tuy nhiên, phương pháp bạn xây dựng ngăn xếp sẽ khác biệt rất các tùy theo môi trường thiên nhiên và ngôi trường hợp áp dụng của bạn.

Đối cùng với một môi trường thiên nhiên phát triển đồ sộ nhỏ, kiến ​​trúc truyền thống sẽ trông như sau:

*

Tuy nhiên, để xử lý những đường ống phức hợp hơn được chế tạo để cách xử trí lượng lớn tài liệu trong quy trình sản xuất (production), những thành phần bổ sung có thể được cung cấp kiến ​​trúc ghi nhật ký kết của bạn, để có tác dụng phục hồi (Kafka, RabbitMQ, Redis) và bảo mật (NGINX):

*

Tất nhiên, đó là một sơ đồ đơn giản để minh họa. Một kiến ​​trúc cho môi trường xung quanh sản xuất (production) khá đầy đủ sẽ bao hàm nhiều nút Elasticsearch, rất có thể là những instance Logstash, một cơ chế lưu trữ, một plugin cảnh báo và một phiên bản sao không thiếu thốn trên các quanh vùng hoặc phân đoạn của trung chổ chính giữa dữ liệu của bạn để tất cả tính khả dụng cao (High Availability).

Bạn rất có thể đọc tế bào tả vừa đủ về phần đa gì cần thiết để thực thi ELK như một chiến thuật phân tích và thống trị log cho môi trường xung quanh sản xuất (production) trong những phần tiếp theo sau của bài bác viết.

Có gì mới?

Như tín đồ ta hoàn toàn có thể mong hóng từ một dự án mã mối cung cấp mở rất là phổ biến, ELK Stack được update liên tục và liên tiếp với các tính năng mới. Vấn đề bám sát những biến đổi này là 1 thách thức, bởi vậy trong phần này, công ty chúng tôi sẽ cung cấp điểm dấn về các tính năng lạ được reviews trong các bản phát hành chính.

Elasticsearch

Elasticsearch 7.x dễ tùy chỉnh cấu hình hơn các vì bây giờ nó được cung ứng kèm theo Java. Các cách tân về hiệu suất bao gồm bộ ngắt mạch bộ nhớ thực, nâng cấp hiệu suất kiếm tìm kiếm và chế độ 1-shard. Bên cạnh ra, một lớp điều phối cụm mới tạo cho Elasticsearch có công dụng mở rộng và khả năng phục hồi cao hơn.

Logstash

Công cụ xúc tiến Java của Logstash (được ra mắt là xem sét trong phiên bạn dạng 6.3) được kích hoạt theo mang định trong phiên bạn dạng 7.x. Thay thế công cụ thực thi Ruby cũ, nó từ hào có hiệu suất tốt hơn, sút mức sử dụng bộ nhớ và nói phổ biến - một trải nghiệm trọn vẹn nhanh hơn.

Kibana

Kibana sẽ trải sang 1 số cách tân lớn với các trang new và cải tiến khả năng sử dụng. Bản phát hành mới nhất bao hàm chế độ buổi tối (dark mode), truy vấn và lọc tài liệu được cải thiện và các cải tiến đối với Canvas.

Beats

Beats 7.x tuân theo Lược đồ gia dụng chung bọn hồi (ECS) bắt đầu - một tiêu chuẩn mới để định dạng các trường. Metricbeat cung cấp mô-đun AWS mới để đưa dữ liệu từ Amazon CloudWatch, Kinesis với SQS. Những mô-đun mới cũng được giới thiệu vào Filebeat cùng Auditbeat.

Xem thêm: Không Nhận Phản Hồi Từ Máy Chủ Khi Đăng Nhập Vào Gmail Trên I

Ở phần tiếp theo, bạn sẽ tìm đọc cách setup và thông số kỹ thuật các yếu tắc của ELK Stack: Elasticsearch, Logstash, Kibana và Beats.