05/10/2020
Natural Language Processing(Text Distancing)
ကျွန်တော် တို့ Data Science and Machine Learning Club ကနေ ဒီနေ့ကစပြီး ဝေမျှပေးမယ့် အကြောင်းအရာကတော့ Natural Language Processing မှာ အသုံးဝင်မယ့် Tool တွေအကြောင်းပဲ ဖြစ်ပါတယ်။ ပထမဦးစွာ Text Distancing အတွက် ပြောပြသွားမှာ ဖြစ်ပါတယ်။
Text Distancing ဆိုတာ ဘာလဲ??
Text Distancing ဆိုတာက စကားလုံး ၂လုံး/ စာကြောင်း၂ ကြောင်းမှာ မတူညီတဲ့ စာလုံး ဘယ်လောက် ရှိသလဲ/ထပ်တူကျ တူညီ တဲ့ စာလုံးဘယ်လောက်ရှိသလဲ ဆိုတာ ကို တိုင်းတာ တာပဲ ဖြစ်ပါတယ်။
Text Distancingအတွက် Tools/methods များ
Text Distancing အတွက် Tool များစွာရှိပြီးတော့ လူသုံးများတဲ့ Tool တွေ အနက် Hamming Distanceအကြောင်းကို ဖော်ပြသွားပါ့မယ်။
Hamming Distance
Hamming Distance မှာ length တူညီ တဲ့ string 2 ခုမှာ မတူညီ တဲ့ စာလုံး အရေ အတွက်ကို တိုင်းတာ ပါတယ်။ String 2 ခု Identical ကျ ထပ်တူညီ ဖို့ရာ အတွက် အစားထိုးဖို့ လိုအပ်တဲ့ စာလုံး အရေအတွက်ကို တိုင်းတာခြင်းပဲ ဖြစ်ပါတယ်။ String 2 ခုမှာ length မတူညီ ခဲ့ရင် length တူအောင် အရင် ညှိပေးရပါတယ်။
ထပ်တူညီ တဲ့ စာလုံးတွေ မှာ Hamming Distance တန်ဖိုးက 0 ဖြစ်ပါတယ်။ Hamming Distance count valueကို တူရင် +0
မတူရင် +1 နဲ့ ထပ်ပေါင်းသွားပါတယ်။
String 1=child
String 2=child
Hamming distance=0
String 1=method
String 2=guilty
Hamming Distance=6
Length မတူညီ တဲ့ စာလုံးတွေ မှာဆိုရင် length နည်းတဲ့ String length ကို တူညီ တဲ့ အထိ value "space" ထပ်ပေါင်းပေးရပါတယ်
String 1=child+" "+" "+" "
String 2=children
Hamming distance=3
Length တူညီပြီးတော့ Word မတူညီတဲ့ စာလုံး မှာဆိုရင်
String 1=lady
String 2=baby
Hamming Distance=2
Hamming Distance ကို Error detection and Error correction မှာ အများအားဖြင့် အသုံးပြုပါတယ်။ Hamming Distance ကို မြန်မာ စာ Natural Language Processing မှာလဲ အသုံးပြုပြီးတော့ မြန်မာစာ အတွက်ဆိုရင်
String 1=သားလေး(သ+ာ+း+လ+ေ+း+" "+" ")
String 2=သမီးကြီး(သ+မ+ီ+း+က+ြ+ီ+း)
Hamming Distance=7
Named by - Richard Hamming
Function - Hamming
Refered link - https://en.m.wikipedia.org/wiki/Hamming_distance
အမှားအယွင်း တစ်စုံတစ်ရာ ရှိခဲ့ပါလျှင် ထောက်ပြ သင်ကြားပေးသွားဖို့ တောင်းဆိုပါတယ် ။
In information theory, the Hamming distance between two strings of equal length is the number of positions at which the corresponding symbols are different. In other words, it measures the minimum number of substitutions required to change one string into the other, or the minimum number of errors t...
