10/04/2023
Understanding a basic CountVectorizer
အထက်တွင်တွေ့ခဲ့ပြီးသည့်အတိုင်း word တစ်လုံးတွင် Term Frequency(TF) နှင့် Document Frequency (DF) ပိုင်ဆိုင်ကြပီး Document တစ်ခု၏ အကြောင်းအရာသည် ၄င်း document ထဲတွင်ပါ၀င်သော TF နှင့်တိုက်ရိုက် သက်ဆိုင်နေပေသည်။ ဥပမာ ပုဂံသမိုင်းရေးထားသောစာအုပ်တွင် အနော်ရထာ၊ ကျန်စစ်သား၊ အာနဒ္ဒါ၊ သဗ္ဗေညု စသည့် စာလုံးတို့သည် ကြိမ်ဖန်များစွာပါ၀င်နေမည်ဖြစ်ပြီး programming အကြောင်းရေးသားထားသော စာအုပ်တွင် OOP, function, class, keywords စသည့်စာလုံးတို့ကြိမ်ဖန်များစွာပါ၀င်နေပေလိမ့်မည်။ ထို့ကြောင့် document တစ်ခုကိုအကြောင်းအရာကို ၄င်းတို့ထဲတွင်ပါ၀င်နေသော စာလုံးများ၏ Team Frequency(TF) က ဖေါ်ပြပေး နိုင် ပါသည်။ ထိုအယူအဆသည် Document တစ်ခု အတွက် မှန်သော်လည်း corpus အတွင်းရှိ Document တစ်ခုတွင်ပါ၀င်သော Term weight ကိုရှာလျှင်တော့ မမှန်နိုင်တော့ပေ။ တချို့စာလုံး များသည် corpus အတွင်းရှိ document အားလုံးတွင်ပါ၀င်မှုအရေအတွက်များသော်လည်း ၄င်းသည် document ၏ အကြောင်းအရာကို ဖေါ်ပြ နိုင်ခြင်း မရှိပေ (ဥပမာ a, an, the)။ တချို့စာလုံးများသည် document များထဲတွင် ကြိမ်ဖန်များစွာ မပါ၀င်သော်လည်း information များစွာပေးနိုင်ပါသည်။ ဥပမာ C # document များစုထားသော corpus တစ်ခု တွင် “encapsulation” ဆိုသည့် စာလုံးသည် အကြိမ်အရေအတွက်အားဖြင့်များစွာပါလေ့မရှိသော်လည်း information များစွာပေးနိုင်ပါသည်။ ထို့ကြောင့် Corpus အတွင်းရှိ Document တစ်ခုနှင့် words နှင့် တို့၏ ဆက်စပ်မှုကို Term Frequecncy တစ်မျိူးတည်းနှင့်ဆုံးဖြတ်၍ မရနိုင်တော့ပေ။ ၄င်းပြဿနာကို TF-IDF သုံး၍ ဖြေရှင်းနိုင်ပါသည်။
အထက်ပါဆွေးနွေးချက်အား Web Version ဖြင့်ဖတ်လိုလျှင် https://mteasylearn.com/CounterVectorizer လင့်တွင်သွားရောက်ဖတ်ရှူနိုင်ပါသည်။