02Data Lab

آزمایشگاه کُد

یه سری پیاده‌سازی فنی و مهندسی که عملاً به کار میاد.

24/24snippet

ES|QL

FROM "index-prod-*"
| WHERE event.action IN ("account_created", "account_deleted")
| EVAL user_id = user.identifier.keyword 
| SORT @timestamp ASC
| STATS

پیدا کردن ناهنجاری‌های چرخهٔ حیات (ساخت در برابر حذف)

با MAX(CASE(...)) وضعیت‌های یک حساب کاربری رو بیرون می‌کشه و از نظر زمانی با هم مقایسه می‌کنه.

ELKAnomalieAudit

MQL5

void TrailingStopATR(int ticket, int atrPeriod, double multiplier)
{
   double atrBuffer[];
   int atrHandle = iATR(_Symbol, PERIOD_CURRENT, atrPeriod);
   CopyBuffer(atrHandle, 0, 0, 1, atrBuffer);

Trailing Stop پویا بر پایهٔ ATR

یه Trailing Stop خودتطبیق که فاصلهٔ حفاظتی رو بر اساس نوسان بازار — که با اندیکاتور ATR اندازه گرفته میشه — تنظیم می‌کنه.

TradingExpert AdvisorATR

Machine Learning

import numpy as np
from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType
import onnxruntime as rt

اجرای ONNX از روی یه مدل Scikit-learn

یه پایپ‌لاین کامل: آموزش یه RandomForest توی Scikit-learn، خروجی گرفتن به فرمت ONNX و بعد لودش کردن برای inference.

PythonONNXScikit-learn

Python

import pandas as pd
import numpy as np

def compute_features(df: pd.DataFrame) -> pd.DataFrame:
    df["log_return"] = np.log(df["close"] / df["close"].shift(1))

Feature Engineering: سیگنال‌های تکنیکال برای ML

فیچرهای تکنیکال (RSI، EMA، نوسان) رو به‌صورت خودکار از روی دادهٔ OHLCV حساب می‌کنه.

PandasFeature EngineeringRSI

Spark

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._

val windowSpec = Window
  .partitionBy("user_id")

حذف رکوردهای تکراری با پنجرهٔ لغزان (Spark SQL)

با Window Functionهای Spark/Scala رکوردهای تکراری رو حذف می‌کنه.

ScalaBig DataWindow Functions

Vega

{
  "$schema": "https://vega.github.io/schema/vega-lite/v5.json",
  "description": "En production Kibana : remplacer data.values par data.url { index: logs-*, body: { aggs terms log.level } }",
  "data": { "values": [
    { "key": "info", "doc_count": 48210 },

نمودار دونات: توزیع سطوح لاگ

یه ویژوال Vega-Lite برای Kibana که سهم هر سطح لاگ رو با یه ظاهر نئونی نشون میده.

Vega-LiteKibanaMonitoring

SQL

SELECT
    customer_id,
    COUNT(*)             AS orders,
    SUM(amount)          AS total_spent,
    ROUND(AVG(amount),2) AS avg_order

تجمیع فیلترشده: GROUP BY + HAVING

گروه‌بندی کن، تجمیع کن (COUNT/SUM/AVG) و بعد با HAVING روی خود نتیجهٔ تجمیع‌شده فیلتر بذار — کاری که WHERE از پسش برنمیاد.

SQLGROUP BYHAVING

ES|QL

FROM "logs-transactions-*"
| WHERE event.action IN ("process_start", "process_end")
| STATS start_time = MAX(@timestamp) WHERE event.action == "process_start",
        end_time = MIN(@timestamp) WHERE event.action == "process_end"
  BY process_id = COALESCE(req.videoId.keyword, resp.videoId.keyword)

به‌هم‌ربط‌دادن رویدادها و حساب کردن مدت‌زمان (Timeout)

با COALESCE لاگ‌های ناهمگام رو به هم وصل می‌کنه و با DATE_DIFF فرایندهایی رو پیدا می‌کنه که از یه آستانهٔ زمانی (مثلاً 20 دقیقه) رد شدن.

ELKCorrélationDATE_DIFF

MQL5

bool IsWithinSession(string session)
{
   MqlDateTime dt;
   TimeCurrent(dt);
   int hour = dt.hour;

فیلتر سشن معاملاتی (London / NY)

یه تابع کمکی که اجرای یه EA رو فقط به ساعات کاری یه سشن مشخص از بازار محدود می‌کنه.

TradingSessionFiltre

Python

import time
from functools import wraps

def retry(max_attempts=3, delay=1):
    def decorator(func):

دکوراتور Retry مقاوم برای فراخوانی‌های API

خطاهای موقتی درخواست‌های HTTP رو با backoff نمایی مدیریت می‌کنه.

APIRequestsDecorators

Spark

df.repartition(col("year"), col("month"))
  .write
  .partitionBy("year", "month")
  .mode("overwrite")
  .parquet("s3a://bucket/data/")

بهینه کردن نوشتن Parquet به‌صورت پارتیشن‌بندی‌شده

با پارتیشن‌بندی هوشمند و repartition، ذخیره‌سازی رو طوری بهینه می‌کنه که کوئری‌ها سریع‌تر بشن.

ScalaParquetPerformance

Vega

{
  "$schema": "https://vega.github.io/schema/vega-lite/v5.json",
  "data": { "values": [
    { "day": "Lun", "hour": 8, "usage": 42 }, { "day": "Lun", "hour": 10, "usage": 78 }, { "day": "Lun", "hour": 14, "usage": 91 }, { "day": "Lun", "hour": 18, "usage": 55 },
    { "day": "Mar", "hour": 8, "usage": 47 }, { "day": "Mar", "hour": 10, "usage": 82 }, { "day": "Mar", "hour": 14, "usage": 96 }, { "day": "Mar", "hour": 18, "usage": 61 },

Heatmap تعاملی ترافیک ساعتی

یه نقشهٔ حرارتی می‌سازه تا اوج‌های استفاده رو به تفکیک روز و ساعت ببینی.

VegaKibanaAnalytics

SQL

SELECT
    sale_date,
    category,
    amount,
    SUM(amount) OVER (PARTITION BY category ORDER BY sale_date

توابع پنجره‌ای: جمع تجمعی و رتبه‌بندی

جمع تجمعی، رتبه و مقدار سطر قبلی رو بدون اینکه سطرها رو در هم بکوبه، با window functionها به دست میاره (OVER ... PARTITION BY ... ORDER BY).

SQLWindow FunctionsCumul

ES|QL

FROM "logs-system-*"
| WHERE event.category == "authentication" AND event.outcome == "failure"
| STATS fail_count = COUNT(*) BY source.ip
| WHERE fail_count > 50
| SORT fail_count DESC

Top N آی‌پی مشکوک بر اساس شکست‌های احراز هویت

یه کوئری بهینه که ورودهای ناموفق رو به تفکیک IP جمع می‌زنه و اونایی که از آستانهٔ ریسک رد شدن رو فیلتر می‌کنه.

SécuritéAuthForensics

MQL5

bool HasOpenPosition(int magic)
{
   for(int i = PositionsTotal()-1; i >= 0; i--)
   {
      ulong ticket = PositionGetTicket(i);

بررسی امن پوزیشن‌های باز

با کمک Magic Number چک می‌کنه که یه پوزیشن مال همون Expert Advisor هست یا نه.

TradingPositionsMagicNumber

Python

import pandas as pd

agg = (
    df.groupby("category")
      .agg(

Pandas: چند تجمیع هم‌زمان به‌ازای هر گروه

چند ستون رو با توابع مختلف توی یه groupby().agg() نام‌گذاری‌شده تجمیع می‌کنه — همون معادل یه GROUP BY پر و پیمون توی pandas.

PythonPandasgroupby

Vega

{
  "$schema": "https://vega.github.io/schema/vega-lite/v5.json",
  "data": { "values": [
    { "req_per_sec": 120, "latency_ms": 38, "error_rate": 0.1 },
    { "req_per_sec": 240, "latency_ms": 42, "error_rate": 0.1 },

Scatter Plot همبستگی زمان پاسخ و حجم درخواست

یه ویژوال پیشرفته که افت کارایی سیستم زیر بار رو لو میده.

VegaPerfCorrelation

SQL

SELECT
    COALESCE(region,  'ALL REGIONS') AS region,
    COALESCE(country, 'Subtotal')    AS country,
    SUM(revenue)                     AS revenue
FROM sales

جمع‌های جزئی خودکار: ROLLUP

با GROUP BY ROLLUP توی یه کوئری هم جمع‌های جزئی و هم جمع کل رو می‌سازه — برای یه گزارش سلسله‌مراتبی (منطقه ← کشور ← جمع کل) عالیه.

SQLROLLUPGROUPING SETS

Vega

{
  "$schema": "https://vega.github.io/schema/vega-lite/v5.json",
  "data": { "values": [
    { "t": "10:00", "cpu": 32, "mem": 58 }, { "t": "10:05", "cpu": 41, "mem": 59 },
    { "t": "10:10", "cpu": 55, "mem": 61 }, { "t": "10:15", "cpu": 73, "mem": 66 },

نمودار چندلایهٔ CPU در برابر حافظه

دو متریک ناهمگون رو با محور Y دوگانه روی یه نمودار واحد روی هم می‌ندازه.

VegaSystemDashboard

SQL

SELECT
    product,
    SUM(CASE WHEN EXTRACT(MONTH FROM sale_date) = 1 THEN amount ELSE 0 END) AS jan,
    SUM(CASE WHEN EXTRACT(MONTH FROM sale_date) = 2 THEN amount ELSE 0 END) AS feb,
    SUM(CASE WHEN EXTRACT(MONTH FROM sale_date) = 3 THEN amount ELSE 0 END) AS mar,

Pivot (جدول متقاطع) با تجمیع شرطی

با SUM(CASE WHEN ...) سطرها رو به ستون تبدیل می‌کنه — یه pivot قابل‌حمل که به دستور اختصاصی PIVOT احتیاجی نداره.

SQLPivotCASE

SQL

WITH ranked AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY user_id
                              ORDER BY updated_at DESC) AS rn
    FROM user_events

حذف تکراری‌ها: نگه داشتن جدیدترین سطر

با ROW_NUMBER() داخل یه CTE فقط یه سطر (جدیدترین) به‌ازای هر کلید نگه می‌داره — مطمئن و خوانا.

SQLDéduplicationROW_NUMBER

SQL

WITH RECURSIVE org AS (
    SELECT id, name, manager_id, 1 AS depth          -- ancre : la racine
    FROM employees
    WHERE manager_id IS NULL
    UNION ALL

CTE بازگشتی: پیمایش یه ساختار سلسله‌مراتبی

با WITH RECURSIVE یه ساختار درختی (چارت سازمانی، دسته‌بندی‌ها، فهرست قطعات) رو پیمایش می‌کنه.

SQLRécursifCTE

SQL

SELECT
    endpoint,
    COUNT(*)                                                 AS calls,
    ROUND(AVG(latency_ms))                                   AS avg_ms,
    PERCENTILE_CONT(0.50) WITHIN GROUP (ORDER BY latency_ms) AS p50_ms,

میانه و صدک‌ها (P50 / P95)

میانه و صدک‌های مقاوم با PERCENTILE_CONT — روی دادهٔ نامتقارن خیلی گویاتر از میانگینه.

SQLPercentileMédiane

SQL

SELECT
    DATE_TRUNC('hour', created_at) AS bucket,
    COUNT(*)                       AS events,
    COUNT(DISTINCT user_id)        AS unique_users,
    SUM(amount)                    AS revenue

تجمیع بر اساس بازهٔ زمانی (time bucketing)

با DATE_TRUNC رویدادها رو توی پنجره‌های زمانی (ساعت/روز/هفته) گروه می‌کنه تا سری‌های زمانی تمیز در بیاد.

SQLTime SeriesDATE_TRUNC

اسنیپت‌های منتخب بر اساس دسته

ES|QLlab/esql21
ES|QL در دنیای واقعی: از لاگ خام تا تصمیم‌گیری. اینجا فقط فهرستی از توابع نیست، بلکه درخواست‌هاییست که یک مهندس واقعی در کنار دستش نگه می‌داره — شناسایی SOC (بیکنینگ، استخراج داده از طریق DNS، impossible travel)، رصدپذیری آماری (MAD، z-score، SLO) و ظرفیت‌سنجی پیش‌بینانه. خروجی‌ای که می‌بینی خودِ همون بینشه، همراه با توابع تازه‌ای مثل INLINESTATS و CATEGORIZE و ST_DISTANCE که تقریباً جای دیگه‌ای به فارسی پیداشون نمی‌کنی.
دیدن 21 اسنیپت
SQLlab/sql19
یه کارگاه PostgreSQL از زبون کسی که واقعاً باهاش کار کرده: هر کوئری از یه نشونه‌ی واقعی شروع میشه — گزارش خالی، جوین کند، ایندکسی که هیچ کاری نمی‌کنه — و خودِ کوئری دقیق رو همراه با خروجی psql و توضیحش نشونت میده. پر از دام‌هایی که حلشون کرده (NOT IN/NULL، non-sargable، OFFSET عمیق) و همون کوئری‌های تشخیصی روی کاتالوگ‌های سیستمی که DBAها واقعاً کنار دستشون نگه می‌دارن.
دیدن 19 اسنیپت
Pythonlab/python20
جعبه‌ابزار میدانی یه مهندس پایتون که پاش به زمین بنده: برنامه‌های کوچیک، کامل و مستقل (اغلب فقط با کتابخونه‌ی استاندارد) که یه مسئله‌ی واقعی رو از اول تا آخر حل می‌کنن — عیب‌یابی یه incident تو Ops، تطبیق دوتا خروجی حسابداری، بررسی یه dérive تو اسکیما. هر اسنیپت واقعاً اجرا میشه، خروجیش واقعیه، و تمرکز روی استواریه (حالت‌های مرزی، NaN، idempotence) نه روی نحو پایه.
دیدن 20 اسنیپت
MQL5lab/mql520
دفترچه‌ی کار یه توسعه‌دهنده‌ی Expert Advisor که واقعاً روی حساب prop-firm کار کرده: همون دام‌هایی که مستندات MetaQuotes درموردشون چیزی نمی‌گه (tick_value در برابر point روی طلا و شاخص‌ها، کدهای 10014/10016، freeze level) و یه مدیریت سرمایه که روی حساب funded دووم میاره — کلمپ دوگانه‌ی ریسک و مارجین، دراودان محقق‌شده و شناور، expectancy برحسب R. کدی که همون بار اول و روی هر بروکری OrderSend رو رد می‌کنه.
دیدن 20 اسنیپت
Sparklab/spark20
دفترچه‌ی میدانی یه مهندس داده: هر دستور PySpark جواب یه دام واقعی تو production رو میده — skew، small files، lineage که منفجر شده، NULLهایی که جوین نمی‌خورن، count() که ۱٫۲ ترابایت رو اسکن می‌کنه — و با یه خروجی واقعی کنسول هم تأییدش می‌کنه (df.show، پلن explain، متریک‌های MERGE). یه PySpark اندازه‌گیری‌شده و ابزارگذاری‌شده (سرعت ×۳۴ و ×۸۸)، با محوریت Delta Lake، پنجره‌بندی زمانی و کیفیت داده.
دیدن 20 اسنیپت
Machine Learninglab/ml20
دفترچه‌ی یه آدم اهل عمل تو ML که یاد گرفته به اعداد خودش هم شک کنه. سه تا خط قرمز: شکار نشت داده و امتیازهای الکی بالا، سخت‌گیری آماری تو مقایسه‌ی مدل‌ها (بوت‌استرپ زوجی، 5x2cv، McNemar)، و گذر از امتیاز آکادمیک به تصمیم واقعی کسب‌وکار (آستانه بر پایه‌ی هزینه، کالیبراسیون بازرسی‌شده). هم کد اشتباه رو نشون میده هم کد درست رو، و اختلافشون رو همیشه با عدد می‌گه.
دیدن 20 اسنیپت
Vegalab/vega20
پلی بین یه منبع داده‌ی واقعی و یه dataviz که رو پای خودش وایمیسته: تبدیل پاسخ یه aggregation از Elasticsearch/Kibana، یه ژورنال معاملات یا یه جریان رصدپذیری به یه اسپک Vega-Lite که خودش خودش رو رندر می‌کنه. نگاشت وفادار به شکل‌های داده‌ی دنیای واقعی (باکت‌های تودرتو، صدک‌ها، moving_fn) و نسخه‌های کاربردی کامل — دراودان زیرآب، high-water mark، burn-rate برای SLO — که تو مستندات رسمی پیداشون نمی‌کنی.
دیدن 20 اسنیپت