ONE MAN FLEET One captain. Many ships.
เข้าสู่ระบบ
ONE MAN FLEET
เข้าสู่ระบบ หรือสมัครLINE · Google · อีเมล

แก้คำไทยที่ Elasticsearch ตัดผิด

เทคนิคผมใช้ในงานจริง

ใส่ตัวแทนคำก่อนตัดคำ คำอย่าง เทรด พอดแคสต์ คอนเทนต์ จึงไม่ถูกหั่นครึ่ง และไฮไลต์ยังตรงตำแหน่งเดิม

เริ่มใช้ใน 3 ขั้น

ต้องมีก่อน Elasticsearch

  1. สร้างดัชนีที่มีตัวแทนคำ

    คำสั่งcurl -X PUT -H 'Content-Type: application/json' http://127.0.0.1:9200/demo-th -d '{"settings":{"analysis":{"char_filter":{"omf_words":{"type":"mapping","mappings":["เทรด=>trade","อินดิเคเตอร์=>indicator"]}},"analyzer":{"th":{"type":"custom","char_filter":["omf_words"],"tokenizer":"thai","filter":["lowercase"]}}}}}'
  2. ลองคำที่เคยถูกตัดผิด แล้วดูว่าตำแหน่งยังตรงไหม

    คำสั่งcurl -H 'Content-Type: application/json' http://127.0.0.1:9200/demo-th/_analyze -d '{"analyzer":"th","text":"ระบบเทรด"}'
  3. เพิ่มคำที่ตัดผิดของงานคุณลงในรายการ แล้วสร้างดัชนีใหม่

ทำอะไรได้

  • แก้ได้โดยไม่ต้องติดตั้งปลั๊กอิน
  • ใช้ทำคำพ้องได้ เช่น อินดิเคเตอร์ กับ indicator
  • จุดไฮไลต์ยังตรงกับข้อความต้นฉบับ

ทำงานอย่างไร

char_filter แบบ mapping เปลี่ยนคำก่อนถึงตัวตัดคำ ทั้งตอนเก็บและตอนค้น จึงเทียบกันตรง และ Elasticsearch ปรับตำแหน่งกลับให้เอง

เอาไปใช้กับงานอะไร

  • เว็บภาษาไทยที่มีคำทับศัพท์เยอะ
  • ทำให้คำสะกดต่างกันค้นเจอเหมือนกัน

ต้องระวังอะไร

ตัวแทนคำทำงานกับข้อความทุกที่ ถ้าตั้งคำสั้นเกินจะไปโดนคำอื่น ควรเริ่มจากคำยาวและทดสอบทุกครั้ง

ของที่อยู่ในงานเดียวกัน

ดูทั้งหมดในหมวดนี้ →
GitHubผมใช้ในงานจริง

Elasticsearch

ระบบค้นหาที่ตัดคำไทยได้ พิมพ์แล้วเจอทันที และไฮไลต์คำที่ตรงให้

คำสั่งdocker run -d --name omf-es -p 127.0.0.1:9200:9200 -e discovery.type=single-node -e xpack.security.enabled=false -e xpack.license.self_generated.type=basic -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -m 1500m docker.elastic.co/elasticsearch/elasticsearch:9.5.6
ค้นหาและจัดข้อมูลกลาง15 นาที★ 78.5k

เรื่องที่ยังไม่เผยแพร่

เรื่องนี้ยังเขียนไม่เสร็จ

ระหว่างนี้ อ่านเรื่องที่พร้อมแล้ว: เงินมัดจำคือเงินสด ไม่ใช่กำไร →