Kusto Query Language Tutorial

Kusto Query Language টিউটোরিয়াল

Kusto Query Language (KQL) হল মাইক্রোসফট কর্তৃক ডেভেলপ করা একটি শক্তিশালী এবং সহজে ব্যবহারযোগ্য ক্যোয়ারী ভাষা। এটি মূলত লগ ডেটা, টেলিমেট্রি এবং টাইম-সিরিজ ডেটা অনুসন্ধানের জন্য ডিজাইন করা হয়েছে। KQL Azure Data Explorer, Azure Monitor Logs, Azure Sentinel এবং অন্যান্য অনেক Microsoft পরিষেবাতে ব্যবহৃত হয়। এই নিবন্ধে, KQL-এর মৌলিক ধারণা থেকে শুরু করে জটিল ক্যোয়ারী লেখার পদ্ধতি পর্যন্ত বিস্তারিতভাবে আলোচনা করা হবে।

সূচী

• KQL এর পরিচিতি
• KQL এর মৌলিক উপাদান
• টেবিল এবং কলাম
• সাধারণ অপারেটর
• ফিল্টার করা ডেটা
• ডেটা বাছাই এবং সীমা নির্ধারণ
• ফাংশন এবং এক্সপ্রেশন
• এগ্রিগেশন এবং গ্রুপ বাই
• জয়েন অপারেশন
• টাইম-সিরিজ ডেটা নিয়ে কাজ করা
• উন্নত ক্যোয়ারী কৌশল
• KQL ব্যবহারের ক্ষেত্রসমূহ

KQL এর পরিচিতি

KQL একটি রিড-অনলি ক্যোয়ারী ভাষা। এর মানে হল, KQL ব্যবহার করে আপনি ডেটা পুনরুদ্ধার করতে পারবেন, কিন্তু ডেটা পরিবর্তন বা আপডেট করতে পারবেন না। KQL-এর সিনট্যাক্স সহজ এবং পাঠযোগ্য, যা এটিকে ডেটা বিজ্ঞানী, ডেভেলপার এবং নিরাপত্তা বিশ্লেষকদের জন্য একটি জনপ্রিয় পছন্দ করে তুলেছে। KQL পাইপলাইন অপারেটর (|) ব্যবহার করে ক্যোয়ারী তৈরি করে, যেখানে প্রতিটি অপারেটর পূর্ববর্তী অপারেটরের ফলাফলকে ইনপুট হিসেবে গ্রহণ করে এবং একটি নতুন ফলাফল তৈরি করে। ডেটা অনুসন্ধান এবং বিশ্লেষণ এর জন্য KQL একটি গুরুত্বপূর্ণ হাতিয়ার।

KQL এর মৌলিক উপাদান

KQL-এর মৌলিক উপাদানগুলো হলো:

• টেবিল: ডেটার ধারক।
• কলাম: টেবিলের মধ্যে ডেটার বৈশিষ্ট্য।
• অপারেটর: ডেটা ফিল্টার, বাছাই এবং রূপান্তর করার জন্য ব্যবহৃত হয়।
• ফাংশন: পূর্বনির্ধারিত অপারেশন যা ডেটার উপর চালানো যেতে পারে।
• এক্সপ্রেশন: কলাম, অপারেটর এবং ফাংশন ব্যবহার করে তৈরি করা গণনা।

টেবিল এবং কলাম

KQL-এ, ডেটা টেবিলের আকারে সংগঠিত থাকে। প্রতিটি টেবিলের একটি নির্দিষ্ট স্কিমা থাকে, যা কলামের নাম এবং ডেটার ধরন নির্ধারণ করে। কলামের ডেটার ধরন হতে পারে স্ট্রিং, ইন্টিজার, ডাবল, বুলিয়ান, ডেটটাইম ইত্যাদি। টেবিলের ডেটা অ্যাক্সেস করার জন্য, আপনাকে টেবিলের নাম এবং কলামের নাম ব্যবহার করতে হবে। উদাহরণস্বরূপ, `MyTable` নামক একটি টেবিলের `Timestamp` কলাম থেকে ডেটা অ্যাক্সেস করতে, আপনি `MyTable.Timestamp` ব্যবহার করতে পারেন। ডেটা মডেলিং এবং স্কিমা ডিজাইন KQL ব্যবহারের পূর্বে গুরুত্বপূর্ণ।

সাধারণ অপারেটর

KQL-এ বিভিন্ন ধরনের অপারেটর রয়েছে, যা ডেটা ম্যানিপুলেট করতে ব্যবহৃত হয়। কিছু সাধারণ অপারেটর হলো:

• `where`: ডেটা ফিল্টার করার জন্য ব্যবহৃত হয়।
• `project`: কলাম নির্বাচন এবং নামকরণ করার জন্য ব্যবহৃত হয়।
• `extend`: নতুন কলাম তৈরি করার জন্য ব্যবহৃত হয়।
• `summarize`: ডেটা এগ্রিগেট করার জন্য ব্যবহৃত হয়।
• `sort`: ডেটা বাছাই করার জন্য ব্যবহৃত হয়।
• `top`: নির্দিষ্ট সংখ্যক সারি পুনরুদ্ধার করার জন্য ব্যবহৃত হয়।

ফিল্টার করা ডেটা

`where` অপারেটর ব্যবহার করে ডেটা ফিল্টার করা যায়। `where` ক্লজের মধ্যে আপনি কন্ডিশন দিতে পারেন, যা সারিগুলো নির্বাচন করবে। উদাহরণস্বরূপ, `Timestamp > datetime(2023-01-01)` এই কন্ডিশনটি শুধুমাত্র সেই সারিগুলো নির্বাচন করবে যেখানে `Timestamp` কলামের মান 2023 সালের 1 জানুয়ারির পরে। একাধিক কন্ডিশন যুক্ত করার জন্য `and` এবং `or` অপারেটর ব্যবহার করা যেতে পারে। ডেটা ফিল্টারিং টেকনিক একটি গুরুত্বপূর্ণ বিষয়।

ডেটা বাছাই এবং সীমা নির্ধারণ

`sort` অপারেটর ব্যবহার করে ডেটা বাছাই করা যায়। আপনি একটি বা একাধিক কলামের উপর ভিত্তি করে ডেটা বাছাই করতে পারেন। উদাহরণস্বরূপ, `sort by Timestamp asc` এই ক্লজটি `Timestamp` কলামের ভিত্তিতে ডেটা ক্রমবর্ধমানভাবে বাছাই করবে। `top` অপারেটর ব্যবহার করে নির্দিষ্ট সংখ্যক সারি পুনরুদ্ধার করা যায়। উদাহরণস্বরূপ, `top 10` এই ক্লজটি প্রথম 10টি সারি পুনরুদ্ধার করবে। ডেটা বাছাইকরণ অ্যালগরিদম সম্পর্কে জ্ঞান এক্ষেত্রে সহায়ক হতে পারে।

ফাংশন এবং এক্সপ্রেশন

KQL-এ বিভিন্ন ধরনের ফাংশন রয়েছে, যা ডেটার উপর বিভিন্ন অপারেশন চালানোর জন্য ব্যবহৃত হয়। কিছু সাধারণ ফাংশন হলো:

• `count()`: সারির সংখ্যা গণনা করে।
• `sum()`: একটি কলামের মানের যোগফল গণনা করে।
• `avg()`: একটি কলামের মানের গড় গণনা করে।
• `min()`: একটি কলামের সর্বনিম্ন মান খুঁজে বের করে।
• `max()`: একটি কলামের সর্বোচ্চ মান খুঁজে বের করে।
• `strlen()`: একটি স্ট্রিংয়ের দৈর্ঘ্য গণনা করে।
• `substring()`: একটি স্ট্রিং থেকে একটি অংশ বের করে।

আপনি ফাংশন এবং কলাম ব্যবহার করে জটিল এক্সপ্রেশন তৈরি করতে পারেন। উদাহরণস্বরূপ, `extend NewColumn = Timestamp + duration(1, "hour")` এই এক্সপ্রেশনটি `Timestamp` কলামের সাথে 1 ঘন্টা যোগ করে একটি নতুন কলাম `NewColumn` তৈরি করবে। ফাংশনাল প্রোগ্রামিং ধারণা KQL-এ ভালোভাবে কাজে লাগে।

এগ্রিগেশন এবং গ্রুপ বাই

`summarize` অপারেটর ব্যবহার করে ডেটা এগ্রিগেট করা যায়। `summarize` ক্লজের মধ্যে আপনি এগ্রিগেশন ফাংশন এবং `group by` ক্লজ ব্যবহার করতে পারেন। `group by` ক্লজটি নির্দিষ্ট কলামের ভিত্তিতে ডেটা গ্রুপ করে। উদাহরণস্বরূপ, `summarize count() by Category` এই ক্লজটি `Category` কলামের ভিত্তিতে ডেটা গ্রুপ করবে এবং প্রতিটি গ্রুপের সারির সংখ্যা গণনা করবে। এগ্রিগেশন টেকনিক এবং গ্রুপ বাই অপটিমাইজেশন অত্যন্ত গুরুত্বপূর্ণ।

জয়েন অপারেশন

KQL-এ `join` অপারেটর ব্যবহার করে একাধিক টেবিলের ডেটা একত্রিত করা যায়। `join` ক্লজের মধ্যে আপনি জয়েন কন্ডিশন উল্লেখ করতে পারেন, যা সারিগুলো নির্বাচন করবে। বিভিন্ন ধরনের জয়েন অপারেশন রয়েছে, যেমন `inner join`, `left outer join`, `right outer join` এবং `full outer join`. রিলেশনাল ডেটাবেস এবং জয়েন স্ট্র্যাটেজি সম্পর্কে ধারণা থাকলে জয়েন অপারেশন সহজ হবে।

টাইম-সিরিজ ডেটা নিয়ে কাজ করা

KQL টাইম-সিরিজ ডেটা নিয়ে কাজ করার জন্য বিশেষভাবে উপযুক্ত। KQL-এ বিভিন্ন ফাংশন রয়েছে, যা টাইম-সিরিজ ডেটা বিশ্লেষণ করতে ব্যবহৃত হয়। কিছু সাধারণ ফাংশন হলো:

• `make-series()`: টাইম-সিরিজ ডেটা তৈরি করে।
• `bin()`: টাইম-সিরিজ ডেটাকে নির্দিষ্ট সময়কালের বিন-এ বিভক্ত করে।
• `ago()`: বর্তমান সময় থেকে নির্দিষ্ট সময় আগের সময় গণনা করে।

টাইম-সিরিজ বিশ্লেষণ এবং ফোরকাস্টিং মডেল তৈরিতে KQL ব্যবহার করা যায়।

উন্নত ক্যোয়ারী কৌশল

• `let` স্টেটমেন্ট: `let` স্টেটমেন্ট ব্যবহার করে আপনি ক্যোয়ারীর মধ্যে ভেরিয়েবল তৈরি করতে পারেন। এটি ক্যোয়ারীকে আরও পাঠযোগ্য এবং পুনরায় ব্যবহারযোগ্য করে তোলে।
• `union` অপারেটর: `union` অপারেটর ব্যবহার করে আপনি একাধিক টেবিলের ডেটা একত্রিত করতে পারেন।
• `externaldata` অপারেটর: `externaldata` অপারেটর ব্যবহার করে আপনি KQL থেকে অন্য ডেটা সোর্স অ্যাক্সেস করতে পারেন।
• `bag_unpack()`: ডাইনামিক ডেটা স্ট্রাকচার থেকে ডেটা বের করার জন্য ব্যবহার করা হয়।

KQL ব্যবহারের ক্ষেত্রসমূহ

KQL বিভিন্ন ক্ষেত্রে ব্যবহৃত হয়, তার মধ্যে কয়েকটি নিচে উল্লেখ করা হলো:

• লগ বিশ্লেষণ: অ্যাপ্লিকেশন এবং সিস্টেম লগ বিশ্লেষণ করার জন্য KQL একটি শক্তিশালী হাতিয়ার।
• নিরাপত্তা বিশ্লেষণ: নিরাপত্তা হুমকি সনাক্ত এবং তদন্ত করার জন্য KQL ব্যবহার করা হয়।
• কর্মক্ষমতা পর্যবেক্ষণ: অ্যাপ্লিকেশন এবং সিস্টেমের কর্মক্ষমতা পর্যবেক্ষণ করার জন্য KQL ব্যবহার করা হয়।
• ব্যবসায়িক বুদ্ধিমত্তা: ডেটা বিশ্লেষণ করে ব্যবসায়িক সিদ্ধান্ত নেওয়ার জন্য KQL ব্যবহার করা হয়।
• IoT ডেটা বিশ্লেষণ: IoT ডিভাইস থেকে আসা ডেটা বিশ্লেষণ করার জন্য KQL ব্যবহার করা হয়।

KQL শেখা এবং ব্যবহার করা ডেটা বিশ্লেষণের ক্ষমতা বৃদ্ধি করে এবং বিভিন্ন সমস্যার সমাধানে সাহায্য করে। লগ ম্যানেজমেন্ট, সিকিউরিটি ইনফরমেশন এন্ড ইভেন্ট ম্যানেজমেন্ট (SIEM), এবং বিজনেস ইন্টেলিজেন্স (BI) এর মতো ক্ষেত্রগুলোতে KQL একটি অপরিহার্য দক্ষতা।

এই টিউটোরিয়ালটি Kusto Query Language-এর একটি প্রাথমিক ধারণা প্রদান করে। আরও বিস্তারিত জানার জন্য, মাইক্রোসফটের অফিসিয়াল ডকুমেন্টেশন এবং অন্যান্য অনলাইন রিসোর্স অনুসরণ করতে পারেন।

KQL অপারেটর তালিকা

অপারেটর	বর্ণনা	উদাহরণ
where	ডেটা ফিল্টার করে	`where Timestamp > datetime(2023-01-01)`
project	কলাম নির্বাচন করে	`project Timestamp, EventID`
extend	নতুন কলাম তৈরি করে	`extend NewColumn = Timestamp + duration(1, "hour")`
summarize	ডেটা এগ্রিগেট করে	`summarize count() by Category`
sort	ডেটা বাছাই করে	`sort by Timestamp asc`
top	নির্দিষ্ট সংখ্যক সারি দেখায়	`top 10`
join	একাধিক টেবিলের ডেটা একত্রিত করে	`join Table1 on Column1 == Column2`

Kusto Azure Data Explorer Azure Monitor Azure Sentinel ডেটা ভিজুয়ালাইজেশন ডেটা সায়েন্স টাইম সিরিজ ডেটাবেস SQL পাইথন পাওয়ার বিআই ড্যাশবোর্ড ডিজাইন ডেটা ইন্টিগ্রেশন বিগ ডেটা ক্লাউড কম্পিউটিং মেশিন লার্নিং ডেটা গভর্নেন্স ডেটা সুরক্ষা ডাটাবেস ম্যানেজমেন্ট সিস্টেম অ্যাফিলিয়েট মার্কেটিং টেকনিক্যাল বিশ্লেষণ ভলিউম বিশ্লেষণ

এখনই ট্রেডিং শুরু করুন

IQ Option-এ নিবন্ধন করুন (সর্বনিম্ন ডিপোজিট $10) Pocket Option-এ অ্যাকাউন্ট খুলুন (সর্বনিম্ন ডিপোজিট $5)

আমাদের সম্প্রদায়ে যোগ দিন

আমাদের টেলিগ্রাম চ্যানেলে যোগ দিন @strategybin এবং পান: ✓ দৈনিক ট্রেডিং সংকেত ✓ একচেটিয়া কৌশলগত বিশ্লেষণ ✓ বাজারের প্রবণতা সম্পর্কে বিজ্ঞপ্তি ✓ নতুনদের জন্য শিক্ষামূলক উপকরণ