PetroNetДата агуулах
petronet.mn Самбарууд

Төлөвлөгөө · 4-р сараас dwh.petronet.mn

Өнөөдрийн литрээс өнгөрсөн өвөл хүртэл

PetroNet нь одоо хаана хэдэн литр байгааг хэлдэг. Дата агуулах нь өнгөрсөн өвөл хэд байсан, аль аймагт нөөц хурдан дуусдаг, ирэх сард хэдэн хоногийн нөөц үлдэхийг асуухад зориулагдана.

Үе шат Давхаргын бүтэц
Өдөрт 1таталт, шөнийн цонхонд
15 °Cзалруулсан литр
JODIбүтээгдэхүүний ангилал
$0лицензийн зардал
Яагаад

Үйл ажиллагааны сан одоог л хадгалдаг

Сав дүүрэхэд үлдэгдэл дарагдана, үнэ өөрчлөгдөхөд хуучин нь алга. Агуулах өөрчлөлт бүрийг үлдээнэ.

Аль хэдийн бий

petro_daily_national

Өдөр × бүтээгдэхүүн × аймгаар нөөц, хэрэглээ, хоногийн нөөц. Батлагдсан тайлангийн мөрөөс шөнө бүр дахин тооцогдоно. Энэ бол агуулахын анхны mart — зохицуулагчийн самбар үүнээс уншдаг.

Тусдаа

ШТС-ын тайланг удаашруулахгүй

Шинжээчийн жилийн хүнд асуулга нь 1500 ШТС-ын тайлан хүлээж авдаг сантай өрсөлдөх ёсгүй. Агуулах өөрийн сантай, эх сан руу зөвхөн шөнийн цонхонд, зөвхөн уншиж хандана.

Яагаад одоо биш

Эхлээд өгөгдөл хуримтлагдана

Гурван сарын түүхгүй улирлын хэв маяг, таамаг гарахгүй. Тиймээс эхний ээлжинд гинж (тайлан → тэнцэл → нэгтгэл) ажиллаж, түүх хуримтлагдана; агуулах 4-р сараас.

Үзүүлэлт

Эхлээд томьёо, дараа нь сервер

Агуулахын төсөл технологиос биш, «хэрэглээ» гэж юуг хэлэх вэ гэдэг дээр хоёр газар өөр тоо авчирснаас унадаг. Үзүүлэлт бүр нэг томьёо, нэг эх сурвалж, нэг эзэнтэй.

ҮзүүлэлтТомьёоЭх сурвалж
Хоногийн нөөц

Улсын нөөц ÷ өдрийн дундаж хэрэглээ, бүтээгдэхүүн ба аймгаар

petro_daily_national
Тэнцлийн зөрүү

Эхний үлдэгдэл + орлого − борлуулалт − эцсийн үлдэгдэл, 15 °C-д; 0.5%-иас дээш бол дохио

petro_report_lines
Хамрах хүрээ

Тайлан ирүүлсэн объект ÷ бүртгэлтэй идэвхтэй объект

petro_report_submissions, petro_stations
Импорт

Гаалиар орсон литр, бүтээгдэхүүн ба хилийн боомтоор

petro_customs_shipmentsГЕГ-тэй холбогдсоны дараа
Хүргэлтийн хугацаа

Баазаас гарснаас ШТС-д хүлээн авсан хүртэл, медиан ба 90-р хувь

petro_dispatch_trips, petro_station_receipts
Ваучерын ашиглалт

Ашигласан литр ÷ олгосон литр, ШТС ба өдрөөр

petro_vouchersваучерын горим асаалттай үед
Архитектур

Давхарга бүр нэг ажилтай

Өгөгдөл доороос дээш урсана. Давхарга алгасахыг хориглоно — самбар Raw-аас шууд уншихгүй.

  1. L0

    Эх сурвалж

    PetroNet-ийн сан (ШТС, сав, тайлан, гинж, ваучер), ГЕГ-ийн мэдүүлэг, e-Barimt, ATG хэмжилт.

    PostgresГЕГATG
  2. L1

    Татах

    Шөнө бүр, зөвхөн шинэчлэгдсэн мөр. Ажиллаж байгаа сан руу өдрийн цагаар хэзээ ч хандахгүй.

    dlt
  3. L2

    Raw — хөндөөгүй хуулбар

    Ирсэн чигээрээ, зөвхөн нэмэгдэнэ, ачаалсан мөчтэйгээ. Гараар засахгүй.

    append-only
  4. L3

    Staging — цэвэрлэгээ

    Литр ба тонныг нэг нэгжид, 15 °C-ийн залруулга, JODI код, аймгийн нэршил. Бизнес логик энд орохгүй.

    dbtтест
  5. L4

    Mart — бизнесийн загвар

    fact_stock_daily, fact_movement, fact_sales; dim_site, dim_product, dim_aimag, dim_date. Өнөөдөр бий: petro_daily_national.

    эхэлсэнdbt
  6. L5

    Semantic — үзүүлэлтийн тодорхойлолт

    Дээрх хүснэгтийн томьёо ганц газар. Самбар ба AI хоёул эндээс уншина.

    Cube Core
  7. L6

    Хэрэглэгчид

    Зохицуулагчийн самбар, JODI-гийн сарын тайлан, хоногийн нөөцийн таамаг, сэрэмжлүүлэг.

    MetabaseJODI
Технологи

Бүгд нээлттэй эх, бүгд дотоод серверт

Лицензийн төлбөр байхгүй; бодит зардал нь техник хангамж ба хүний цаг.

ДавхаргаСонголтЯагаад
Агуулахын санPostgreSQLClickHouse — хэрэгцээ гарвал

Баг аль хэдийн мэддэг; өдөрт нэг мөр × 1600 объект × 7 бүтээгдэхүүн нь Postgres-т жилээр багтана. Самбарын асуулга 10 секунд давбал ClickHouse.

Татахdlt

Python сан — тусдаа сервер шаардахгүй, код нь энэ репод.

Хувиргалтdbt-core

SQL-ээр, гэхдээ тест, lineage, баримтжуулалттай. Энэ дээр буулт хийхгүй.

Оркестрациcron → Dagster

Эхэндээ cron + dbt run хангалттай; урсгал 10 давбал Dagster.

BIMetabaseSuperset — мөрийн эрх хэрэгтэй бол

Техникийн бус хүн өөрөө асуулт үүсгэнэ. Ажиглалтын Grafana нь систем хэмжинэ, бизнес биш.

SemanticCube Core

Postgres-ийн протоколоор SQL API — Metabase түүнийг ердийн сан мэт харна.

Таамагstatsforecast

Хэрэглээ ба хоногийн нөөцийн таамгийг mart_forecast_*-д бичиж, бодит гүйцэтгэлийн хажууд харуулна.
AI

Цэвэр агуулахгүй бол AI нь буруу тоог итгэлтэй хэлнэ

Тиймээс L4 ба L5 бэлэн болтол AI-д хүрэхгүй. Загвар SQL бичихгүй — зөвхөн тодорхойлсон үзүүлэлтийг дуудна.

84–90%

Шууд text-to-SQL — загвар схем уншаад өөрөө SQL бичих үеийн нарийвчлал.

98–100%

Semantic давхаргаар — загвар зөвхөн тодорхойлсон үзүүлэлтийг дуудна.

~15%

Text-to-SQL үнэмшилтэй боловч буруу хариу өгөх магадлал — алдаа нь чимээгүй.

Алдах хэлбэр

«Ийм үзүүлэлт алга» нь буруу тооноос дээр

Semantic давхарга алдвал ил хэлнэ. Text-to-SQL алдвал зөв харагдах тоо буцаана — хүн түүнийг хуралд аваачина.

Төрийн өгөгдөл

Мөр гадагш гарахгүй

Гадаад загварт зөвхөн схем ба үзүүлэлтийн тодорхойлолт явна; асуулга дотоод серверт ажиллана. Эсвэл бүрэн локал загвар — сонголтыг мэдээллийн аюулгүй байдлын журмын зөвшөөрлөөр.

Үе шат

Үе шат бүр ажиллаж байгаа зүйл гаргана

Хугацаа ойролцоо; дуусгах шалгуур нь тодорхой.

Одоо1–3-р сар

Гинж ба түүх

  • Тайлан → 15 °C → тэнцэл
  • petro_daily_national шөнө бүр
  • Үзүүлэлтийн томьёог захиалагчтай батлах

Дуусмагц: гурван сарын батлагдсан тайлангийн түүх, гарын үсэгтэй үзүүлэлтийн жагсаалт.

14–8 долоо хоног

Эхний урсгал, эхний самбар

  • dlt-ээр Raw давхарга
  • dbt staging + 3 mart
  • Metabase дээр зохицуулагчийн самбар

Дуусмагц: гараар гаргадаг долоо хоногийн нэгтгэл өглөө бүр өөрөө шинэчлэгдэнэ.

22–3 сар

Найдвартай байдал

  • 30+ dbt тест
  • SCD2 — объектын төлөв, үнэ
  • Incremental ачаалалт, нөөцлөлт

Дуусмагц: бүх тест өдөр бүр ногоон, аль ч тоо хаанаас ирснийг lineage харуулна.

31–2 сар

Semantic ба тайлагналт

  • Cube Core дээр үзүүлэлтүүд
  • JODI-гийн сарын тайлан автоматаар
  • Тэнцлийн зөрүүний аномали дохио

Дуусмагц: үзүүлэлт бүр нэг л газар тодорхойлогдсон.

42–3 сар

Таамаг ба AI

  • Хэрэглээ, хоногийн нөөцийн таамаг
  • Semantic дээр асуулт-хариулт
  • 20 асуултын сорил

Дуусмагц: сорилын 20 асуултад 100% зөв; таамаг улирлын суурь түвшнийг давсан.

Илэн далангүй

Өнөөдөр юу байхгүй вэ

Агуулахын тусдаа сан, dlt, dbt, Metabase хараахан суугаагүй. Энэ хуудас бол зураглал. Өнөөдөр ажиллаж байгаа нь petro_daily_national ба түүнийг уншдаг зохицуулагчийн самбар.

Агуулах нь нөөцлөлт биш (тэр нь backups.petronet.mn), систем хэмжих хэрэгсэл ч биш (тэр нь monitoring.petronet.mn). Агуулах нь асуухад зориулагдана.

AI-ийн нарийвчлалын тоо нь dbt Labs-ийн 2026 оны semantic layer ба text-to-SQL-ийн харьцуулалтаас — тодорхой бүтээгдэхүүний биш, «semantic давхаргаар яв» гэдгийн нотолгоо.