Logstash दस्तावेज़ीकरण

परिचय

Logstash एक ओपन-सोर्स डेटा कलेक्शन इंजन है जिसका उपयोग विभिन्न स्रोतों से डेटा एकत्र करने, उसे प्रोसेस करने और विभिन्न डेस्टिनेशन पर भेजने के लिए किया जाता है। यह Elasticsearch, Logstash, और Kibana (ELK स्टैक) का एक महत्वपूर्ण भाग है, लेकिन इसे स्वतंत्र रूप से भी इस्तेमाल किया जा सकता है। Logstash विशेष रूप से लॉग प्रबंधन के लिए शक्तिशाली है, लेकिन यह किसी भी प्रकार के संरचित या असंरचित डेटा को संभालने में सक्षम है। यह लेख Logstash के बुनियादी अवधारणाओं, स्थापना, कॉन्फ़िगरेशन और उपयोग को शुरुआती लोगों के लिए समझने योग्य तरीके से प्रस्तुत करता है।

Logstash के मुख्य घटक

Logstash तीन मुख्य घटकों से मिलकर बना है:

इनपुट (Inputs): इनपुट प्लगइन्स डेटा के स्रोतों को परिभाषित करते हैं। ये स्रोत फाइलें, डेटाबेस, एपीआई, मैसेजिंग क्यू और बहुत कुछ हो सकते हैं। Logstash विभिन्न प्रकार के इनपुट प्लगइन्स प्रदान करता है, जैसे कि Filebeat, Syslog, TCP, UDP, Redis, और Kafka।
फ़िल्टर (Filters): फ़िल्टर प्लगइन्स डेटा को प्रोसेस करते हैं। वे डेटा को पार्स कर सकते हैं, रूपांतरित कर सकते हैं, समृद्ध कर सकते हैं और अवांछित डेटा को हटा सकते हैं। Logstash कई फ़िल्टर प्लगइन्स प्रदान करता है, जैसे कि Grok, Date, Mutate, Geolocation, और CSV।
आउटपुट (Outputs): आउटपुट प्लगइन्स डेटा को डेस्टिनेशन पर भेजते हैं। ये डेस्टिनेशन फाइलें, डेटाबेस, मैसेजिंग क्यू, और अन्य सिस्टम हो सकते हैं। Logstash कई आउटपुट प्लगइन्स प्रदान करता है, जैसे कि Elasticsearch, File, TCP, UDP, Kafka, और InfluxDB।

Logstash की स्थापना

Logstash को विभिन्न ऑपरेटिंग सिस्टम पर स्थापित किया जा सकता है, जिनमें शामिल हैं:

स्थापना प्रक्रिया ऑपरेटिंग सिस्टम के आधार पर भिन्न होती है। आधिकारिक Logstash दस्तावेज़ीकरण में विस्तृत स्थापना निर्देश उपलब्ध हैं: [1](https://www.elastic.co/guide/en/logstash/current/installing-logstash.html)।

आम तौर पर, स्थापना में Logstash पैकेज डाउनलोड करना और उसे अनज़िप करना शामिल होता है। इसके बाद, आपको Logstash को चलाने के लिए जावा डेवलपमेंट किट (JDK) की आवश्यकता होगी।

Logstash कॉन्फ़िगरेशन

Logstash को कॉन्फ़िगर करने के लिए, आपको एक कॉन्फ़िगरेशन फ़ाइल बनानी होगी। यह फ़ाइल Logstash को बताती है कि डेटा कैसे एकत्र करना है, उसे कैसे प्रोसेस करना है और उसे कहाँ भेजना है। कॉन्फ़िगरेशन फ़ाइल का प्रारूप JSON है।

यहाँ एक सरल Logstash कॉन्फ़िगरेशन फ़ाइल का उदाहरण दिया गया है:

```json input {

 file {
   path => "/var/log/syslog"
   start_position => "beginning"
 }

}

filter {

 grok {
   match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{HOSTNAME:hostname} %{GREEDYDATA:message}" }
 }
 date {
   match => [ "timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
 }

}

output {

 elasticsearch {
   hosts => ["http://localhost:9200"]
   index => "syslog-%{+YYYY.MM.dd}"
 }
 stdout { codec => rubydebug }

} ```

इस कॉन्फ़िगरेशन फ़ाइल में:

इनपुट सेक्शन `/var/log/syslog` फ़ाइल से डेटा पढ़ता है। `start_position => "beginning"` निर्देश Logstash को फ़ाइल की शुरुआत से पढ़ना शुरू करने के लिए कहता है।
फ़िल्टर सेक्शन `grok` फ़िल्टर का उपयोग करके लॉग संदेशों को पार्स करता है। `grok` फ़िल्टर एक रेगुलर एक्सप्रेशन का उपयोग करता है ताकि संदेश को अलग-अलग फ़ील्ड में विभाजित किया जा सके। `date` फ़िल्टर `timestamp` फ़ील्ड को एक दिनांक ऑब्जेक्ट में परिवर्तित करता है।
आउटपुट सेक्शन पार्स किए गए डेटा को Elasticsearch में भेजता है। `hosts` निर्देश Elasticsearch क्लस्टर के पते को निर्दिष्ट करता है। `index` निर्देश Elasticsearch इंडेक्स के नाम को निर्दिष्ट करता है। `stdout` आउटपुट का उपयोग डिबगिंग उद्देश्यों के लिए किया जाता है।

Logstash का उपयोग

Logstash को चलाने के लिए, आपको कमांड लाइन पर निम्नलिखित कमांड चलाना होगा:

```bash /usr/share/logstash/bin/logstash -f /path/to/your/config.conf ```

`config.conf` आपकी कॉन्फ़िगरेशन फ़ाइल का पथ है।

Logstash शुरू होने के बाद, यह कॉन्फ़िगरेशन फ़ाइल में निर्दिष्ट स्रोतों से डेटा एकत्र करना शुरू कर देगा, उसे प्रोसेस करेगा और उसे निर्दिष्ट डेस्टिनेशन पर भेजेगा।

Logstash प्लगइन्स

Logstash की कार्यक्षमता को प्लगइन्स का उपयोग करके बढ़ाया जा सकता है। Logstash विभिन्न प्रकार के प्लगइन्स प्रदान करता है, जो समुदाय द्वारा विकसित किए गए हैं।

नए प्लगइन्स को स्थापित करने के लिए, आप Logstash प्लगइन मैनेजर का उपयोग कर सकते हैं। उदाहरण के लिए, `redis` इनपुट प्लगइन को स्थापित करने के लिए, आपको निम्नलिखित कमांड चलाना होगा:

```bash /usr/share/logstash/bin/logstash-plugin install logstash-input-redis ```

Logstash के उन्नत विषय

पाइपलाइनिंग (Pipelining): जटिल डेटा प्रोसेसिंग कार्यों के लिए कई फ़िल्टर को चेन किया जा सकता है।
कंडीशनल प्रोसेसिंग (Conditional Processing): `if` स्टेटमेंट का उपयोग करके डेटा को विशिष्ट मानदंडों के आधार पर प्रोसेस किया जा सकता है।
मॉनिटरिंग (Monitoring): Logstash के प्रदर्शन को मॉनिटर करने के लिए विभिन्न मेट्रिक्स का उपयोग किया जा सकता है।
सुरक्षा (Security): Logstash को सुरक्षित करने के लिए विभिन्न सुरक्षा सुविधाओं का उपयोग किया जा सकता है, जैसे कि प्रमाणीकरण और प्राधिकरण।
क्यूबर्नेटिस (Kubernetes) के साथ एकीकरण: Logstash को क्यूबर्नेटिस वातावरण में तैनात किया जा सकता है।

Logstash और वित्तीय विश्लेषण

Logstash का उपयोग वित्तीय डेटा के विश्लेषण के लिए भी किया जा सकता है। उदाहरण के लिए, इसका उपयोग स्टॉक मार्केट डेटा, विदेशी मुद्रा डेटा, और क्रेडिट कार्ड लेनदेन डेटा को एकत्र करने, प्रोसेस करने और विश्लेषण करने के लिए किया जा सकता है।

उच्च-आवृत्ति व्यापार (High-Frequency Trading): Logstash का उपयोग वास्तविक समय में बाजार डेटा को प्रोसेस करने और व्यापारिक निर्णय लेने के लिए किया जा सकता है।
जोखिम प्रबंधन (Risk Management): Logstash का उपयोग धोखाधड़ी का पता लगाने और जोखिम का आकलन करने के लिए किया जा सकता है।
अनुपालन (Compliance): Logstash का उपयोग नियामक आवश्यकताओं का पालन करने के लिए डेटा एकत्र करने और रिपोर्ट करने के लिए किया जा सकता है।
एल्गोरिथम ट्रेडिंग (Algorithmic Trading): Logstash का उपयोग एल्गोरिथम ट्रेडिंग सिस्टम के लिए डेटा फीड प्रदान करने के लिए किया जा सकता है।
पोर्टफोलियो विश्लेषण (Portfolio Analysis): Logstash डेटा को पोर्टफोलियो के प्रदर्शन का मूल्यांकन करने के लिए संसाधित कर सकता है।
बाजार की भावना विश्लेषण (Market Sentiment Analysis): Logstash का उपयोग सोशल मीडिया और समाचार स्रोतों से डेटा एकत्र करके बाजार की भावना का विश्लेषण करने के लिए किया जा सकता है।

निष्कर्ष

Logstash एक शक्तिशाली डेटा कलेक्शन इंजन है जिसका उपयोग विभिन्न प्रकार के अनुप्रयोगों के लिए किया जा सकता है। यह विशेष रूप से लॉग प्रबंधन और वित्तीय विश्लेषण के लिए उपयोगी है। इस लेख में, हमने Logstash के बुनियादी अवधारणाओं, स्थापना, कॉन्फ़िगरेशन और उपयोग को कवर किया है।

Elasticsearch Kibana Filebeat Syslog TCP UDP Redis Kafka Grok Date Mutate Geolocation CSV Linux Windows macOS जावा डेवलपमेंट किट (JDK) क्यूबर्नेटिस विदेशी मुद्रा मूविंग एवरेज आरएसआई (रिलेटिव स्ट्रेंथ इंडेक्स)

अभी ट्रेडिंग शुरू करें

IQ Option पर रजिस्टर करें (न्यूनतम जमा $10) Pocket Option में खाता खोलें (न्यूनतम जमा $5)

हमारे समुदाय में शामिल हों

हमारे Telegram चैनल @strategybin से जुड़ें और प्राप्त करें: ✓ दैनिक ट्रेडिंग सिग्नल ✓ विशेष रणनीति विश्लेषण ✓ बाजार की प्रवृत्ति पर अलर्ट ✓ शुरुआती के लिए शिक्षण सामग्री