Kaung Learning Hub

📦 Data Engineering with AWS 101: Amazon S3 ဆိုတာ ဘာလဲ? 🚀

Data Engineering လောကထဲ ခြေလှမ်းစလိုက်ပြီဆိုတာနဲ့ "S3" ဆိုတဲ့ စကားလုံးကို နေ့တိုင်း ကြားရပါလိမ့်မယ်။ S3 ဆိုတာ ဘာလဲ? ဘာလို့ အရေးကြီးတာလဲ? Beginner တွေအတွက် ရှင်းပြပေးပါမယ်။

🔹 Amazon S3 ဆိုတာ ဘာလဲ?

S3 ရဲ့ အရှည်က "Simple Storage Service" ပါ။ ရိုးရိုးရှင်းရှင်း ပြောရရင်တော့ Internet ပေါ်မှာရှိတဲ့ "အကန့်အသတ်မရှိတဲ့ ဂိုဒေါင်ကြီး" တစ်ခုပါပဲ။ ကျွန်တော်တို့ Computer ထဲက Hard Drive ဒါမှမဟုတ် Google Drive လိုမျိုးပဲ Data တွေကို သိမ်းထားလို့ရတဲ့နေရာပါ။

🔹 S3 မှာ ဘာတွေ သိမ်းလို့ရလဲ?

Data Engineering မှာ S3 ကို Data Lake အဖြစ် အသုံးများပါတယ်။

Structured Data (Excel, CSV, SQL files)

Unstructured Data (Images, Videos, Logs, JSON)
ဘာမဆို သိမ်းထားလို့ ရပါတယ်။

🔹 Data Engineer တစ်ယောက်အနေနဲ့ သိထားသင့်တဲ့ S3 Concept (၃) ခု

၁။ Buckets (ပုံးများ):
S3 ထဲမှာ Data သိမ်းဖို့ ပထမဆုံး "Bucket" တစ်ခု ဆောက်ရပါတယ်။ ဒါကို Folder အကြီးကြီး တစ်ခုလို့ မှတ်ယူနိုင်ပါတယ်။ (မှတ်ချက် - Bucket နာမည်ဟာ တစ်ကမ္ဘာလုံးမှာ ထပ်လို့မရပါဘူး)။

၂။ Objects (ပစ္စည်းများ):
Bucket ထဲကို ထည့်လိုက်တဲ့ ဖိုင်မှန်သမျှကို "Object" လို့ ခေါ်ပါတယ်။ Object တစ်ခုမှာ Data ကိုယ်တိုင်ရယ်၊ အဲဒီဖိုင်အကြောင်း ဖော်ပြတဲ့ Metadata ရယ် ပါဝင်ပါတယ်။

၃။ Storage Classes:
Data ကို ခဏခဏ ပြန်ကြည့်မှာလား၊ ဒါမှမဟုတ် သိမ်းပဲ သိမ်းထားမှာလားပေါ်မူတည်ပြီး ဈေးနှုန်းသက်သာအောင် ရွေးချယ်လို့ရပါတယ်။

S3 Standard: အမြဲကြည့်မယ့် data အတွက်။

S3 Glacier: သိမ်းရုံပဲသိမ်းထားပြီး ကြာမှတစ်ခါ ပြန်ကြည့်မယ့် data အတွက် (ဈေးအရမ်းသက်သာပါတယ်)။

🔹 ဘာလို့ S3 က နာမည်ကြီးတာလဲ?

Unlimited Scalability: Data ဘယ်လောက်များများ သိမ်းသိမ်း ဆံ့ပါတယ်။

Durability (ခိုင်မာမှု): AWS က သင့် data တွေ ပျောက်မသွားဖို့ 99.999999999% (11 nines) အထိ အာမခံပါတယ်။

Cost Effective: သုံးသလောက်ပဲ ပေးရလို့ စရိတ်သက်သာပါတယ်။

💡 My 2026 Insight:

ကျွန်တော်တို့ Data Solution တည်ဆောက်တဲ့အခါ Raw Data တွေကို S3 ထဲ အရင်ပစ်ထည့်ထားလေ့ရှိပါတယ်။ ပြီးမှ AWS Glue လို Tool မျိုးနဲ့ သန့်စင်ပြီး Snowflake သို့မဟုတ် Redshift ထဲ ပို့တာပါ။ S3 ကို ပိုင်နိုင်တာဟာ Cloud Data Architecture ရဲ့ အခြေခံအုတ်မြစ်ကို ပိုင်နိုင်တာနဲ့ အတူတူပါပဲ။

နောက်နေ့တွေမှာလည်း AWS Service တွေအကြောင်း တစ်ခုချင်းစီ ဆက်ပြောပြသွားပါမယ်။

Data Engineering with AWS 101

Data က အခုခေတ်ရဲ့ ရွှေဆိုရင်၊ Data Engineer ဆိုတာ အဲဒီရွှေတွေကို တူးဖော်ပြီး သန့်စင်ပေးတဲ့ ပညာရှင်တွေပါပဲ။

Data Engineering နယ်ပယ်ကို စိတ်ဝင်စားပေမဲ့ ဘယ်ကစရမလဲ မသိဖြစ်နေတဲ့ သူငယ်ချင်းတွေအတွက် ကမ္ဘာ့အသုံးအများဆုံး Cloud Platform ဖြစ်တဲ့ AWS နဲ့ မိတ်ဆက်ပေးချင်ပါတယ်။

Data Engineering ဆိုတာ ဘာလဲ?

ရိုးရိုးရှင်းရှင်း ပြောရရင် - နေရာအနှံ့မှာ ပြန့်ကျဲနေတဲ့ Data (ဥပမာ- App တစ်ခုရဲ့ logs တွေ၊ အရောင်းစာရင်းတွေ) ကို စုစည်းမယ်၊ သန့်စင်မယ်၊ ပုံစံသွင်းမယ်။ ပြီးရင် Data Analyst တွေနဲ့ Business သမားတွေ အလွယ်တကူ သုံးလို့ရအောင် Pipeline တွေ တည်ဆောက်ပေးရတဲ့ အလုပ်ပါ။

ဘာလို့ AWS ကို သုံးတာလဲ?

AWS (Amazon Web Services) မှာ Data Engineering အတွက် လိုအပ်တဲ့ Tools တွေ အစုံအလင်ရှိပြီး စရိတ်သက်သာလို့ (Pay-as-you-go) ကုမ္ပဏီအတော်များများက သုံးကြပါတယ်။

AWS မှာ သိထားသင့်တဲ့ အဓိက Service (၄) ခု

၁။ Amazon S3 (Data Lake):
Data တွေအကုန်လုံးကို အပုံလိုက် သိမ်းထားတဲ့ နေရာပါ။ ဓာတ်ပုံ၊ စာသား၊ ဗီဒီယို ဘာမဆို သိမ်းလို့ရတဲ့ "မကုန်ခမ်းနိုင်တဲ့ ဂိုဒေါင်ကြီး" လို့ မှတ်ထားလို့ရပါတယ်။

၂။ AWS Glue (The ETL Tool):
Data တွေကို တစ်နေရာကနေ တစ်နေရာကို ရွှေ့တဲ့အခါ ပုံစံပြောင်းပေးတာ၊ သန့်စင်ပေးတာတွေကို လုပ်ပေးပါတယ်။ "Extract, Transform, Load" လို့ ခေါ်တဲ့ ETL ရဲ့ အဓိက အင်ဂျင်ပါ။

၃။ Amazon Redshift (Data Warehouse):
သန့်စင်ပြီးသား Data တွေကို Analyst တွေ Report ထုတ်ဖို့အတွက် အမြန်ဆုံး Query လုပ်လို့ရအောင် သိမ်းပေးတဲ့ နေရာကြီးပါ။

၄။ Amazon Athena:
S3 ထဲမှာ ရှိနေတဲ့ Data တွေကို SQL သုံးပြီး အလွယ်တကူ လှမ်းကြည့်လို့ရအောင် လုပ်ပေးတဲ့ Tool ပါ။

Beginner တွေအတွက် အကြံပြုချက်

Data Engineer တစ်ယောက်ဖြစ်ဖို့ AWS Service တွေအပြင် SQL နဲ့ Python ကိုတော့ အခြေခံ ကျွမ်းကျင်ထားဖို့ လိုပါတယ်။

ဒီနေ့ခေတ်မှာ Data တွေကို ဘယ်လို စနစ်တကျ စီမံခန့်ခွဲရမလဲဆိုတာ သိထားတာဟာ အရမ်းကို တန်ဖိုးရှိတဲ့ Skill တစ်ခုပါ။ ကျွန်တော်ကိုယ်တိုင်လည်း လက်ရှိမှာ Data Solution တွေ တည်ဆောက်ရင်း လေ့လာနေတာမို့ သိချင်တာရှိရင် Comment မှာ မေးခဲ့လို့ ရပါတယ်ဗျ။