Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

highlighting is not working. how can i highlighting with combo type analyzer? please help me! #19

Open
happyprg opened this issue Jun 25, 2014 · 1 comment

Comments

@happyprg
Copy link

question.
how can i highlighting with combo type analyzer?
please help me!

  1. create index with combo anlayzer
    {
    "index.analysis.filter.thai_stop_custom.type":"stop",
    "index.analysis.analyzer.custom_whitespace_synonym_analyzer.filter.0":"thai_stop_custom",
    "index.analysis.analyzer.custom_whitespace_synonym_analyzer.filter.1":"english_stop_custom",
    "index.analysis.analyzer.custom_whitespace_synonym_analyzer.filter.2":"synonym",
    "index.analysis.analyzer.custom_whitespace_synonym_analyzer.filter.3":"unique_token_filter",
    "index.analysis.filter.compound_word.max_subword_size":"25",
    "index.analysis.analyzer.custom_whitespace_synonym_analyzer.type":"custom",
    "index.analysis.analyzer.custom_foreign_languages_synonym_analyzer.type":"custom",
    "index.analysis.analyzer.custom_whitespace_synonym_analyzer.tokenizer":"whitespace",
    "index.analysis.analyzer.custom_foreign_languages_synonym_analyzer.filter.0":"compound_word",
    "index.analysis.analyzer.custom_synonym_analyzer.type":"custom",
    "index.analysis.analyzer.custom_synonym_analyzer.filter.2":"synonym",
    "index.analysis.analyzer.custom_synonym_analyzer.filter.3":"unique_token_filter",
    "index.analysis.analyzer.custom_synonym_analyzer.filter.0":"thai_stop_custom",
    "index.analysis.analyzer.custom_foreign_languages_synonym_analyzer.filter.4":"synonym",
    "index.analysis.analyzer.custom_synonym_analyzer.filter.1":"english_stop_custom",
    "index.analysis.analyzer.custom_foreign_languages_synonym_analyzer.filter.3":"english_stop_custom",
    "index.analysis.analyzer.custom_foreign_languages_synonym_analyzer.filter.2":"thai_stop_custom",
    "index.analysis.analyzer.custom_foreign_languages_synonym_analyzer.filter.1":"keep_word",
    "index.analysis.filter.compound_word.min_subword_size":"2",
    "index.analysis.analyzer.custom_foreign_languages_synonym_analyzer.filter.5":"unique_token_filter",
    "index.analysis.analyzer.combo_thai_analyzer.deduplication":"true",
    "index.analysis.filter.unique_token_filter.type":"unique",
    "index.analysis.filter.synonym.synonyms_path":"synonyms.txt",
    "index.analysis.filter.keep_word.type":"keep",
    "index.analysis.filter.compound_word.word_list_path":"protwords.txt",
    "index.analysis.filter.english_stop_custom.type":"stop",
    "index.analysis.analyzer.custom_foreign_languages_analyzer.type":"custom",
    "index.analysis.analyzer.combo_thai_analyzer.type":"combo",
    "index.analysis.filter.thai_stop_custom.stopwords_path":"stopwords.txt",
    "index.analysis.filter.compound_word.type":"dictionary_decompounder",
    "index.analysis.analyzer.custom_foreign_languages_synonym_analyzer.tokenizer":"keyword",
    "index.analysis.analyzer.custom_icu_analyzer.tokenizer":"icu_tokenizer",
    "index.analysis.analyzer.custom_foreign_languages_analyzer.tokenizer":"keyword",
    "index.analysis.filter.synonym.type":"synonym",
    "index.analysis.analyzer.combo_thai_analyzer.sub_analyzers.3":"custom_foreign_languages_synonym_analyzer",
    "index.analysis.analyzer.combo_thai_analyzer.sub_analyzers.2":"custom_synonym_analyzer",
    "index.analysis.analyzer.combo_thai_analyzer.sub_analyzers.1":"custom_foreign_languages_analyzer",
    "index.analysis.analyzer.combo_thai_analyzer.sub_analyzers.0":"custom_icu_analyzer",
    "index.analysis.filter.keep_word.keep_words_path":"protwords.txt",
    "index.analysis.filter.unique_token_filter.only_on_same_position":"false",
    "index.analysis.analyzer.combo_thai_analyzer.sub_analyzers.4":"custom_whitespace_synonym_analyzer",
    "index.analysis.analyzer.custom_icu_analyzer.filter.0":"thai_stop_custom",
    "index.analysis.analyzer.custom_icu_analyzer.filter.1":"english_stop_custom",
    "index.analysis.analyzer.custom_foreign_languages_analyzer.filter.0":"compound_word",
    "index.analysis.analyzer.custom_synonym_analyzer.tokenizer":"icu_tokenizer",
    "index.analysis.analyzer.custom_icu_analyzer.filter.2":"icu_normalizer",
    "index.analysis.analyzer.custom_icu_analyzer.filter.3":"unique_token_filter",
    "index.analysis.analyzer.custom_foreign_languages_analyzer.filter.2":"thai_stop_custom",
    "index.analysis.analyzer.custom_foreign_languages_analyzer.filter.1":"keep_word",
    "index.analysis.filter.compound_word.min_word_size":"2",
    "index.analysis.analyzer.custom_foreign_languages_analyzer.filter.4":"unique_token_filter",
    "index.analysis.analyzer.custom_foreign_languages_analyzer.filter.3":"english_stop_custom"
    }
  2. create mapping with combo analyzer
    {
    "properties": {
    "id": {
    "type": "long",
    "index": "not_analyzed"
    },
    "title": {
    "type": "string",
    "index": "analyzed",
    "store": true
    },
    "indexTitle": {
    "type": "string",
    "index": "analyzed",
    "analyzer": "combo_thai_analyzer",
    "term_vector": "with_positions_offsets",
    "store": true
    },
    "searchKeywords": {
    "type": "string",
    "index": "no",
    "store": true
    },
    "keywordGroup": {
    "type": "string",
    "index": "no",
    "store": true
    }
    }
    }
  3. save docs
    {
    "index":{
    "_index":"testindex",
    "_type":"ITEM",
    "_id":"1"
    }
    }{
    "id":1,
    "title":"เดรสผ่าแขนหน้า เรียบหรูดูดีสุดๆค่ะ ผ้าฮานาโกะคัตติ้งเนี้ยบ งานดีงานสลวยสวยเก๋ ใส่แล้วเป็นคุนนายขึ้นมาทันทีค่ะ ขาว ดำ แดง น้ำเงิน ครีม ชมพู Freesize เอว 24-28 490฿",
    "indexTitle":"เดรสผ่าแขนหน้า เรียบหรูดูดีสุดๆค่ะ ผ้าฮานาโกะคัตติ้งเนี้ยบ งานดีงานสลวยสวยเก๋ ใส่แล้วเป็นคุนนายขึ้นมาทันทีค่ะ ขาว ดำ แดง น้ำเงิน ครีม ชมพู Freesize เอว 24-28 490฿",
    "searchKeywords":"เดรส",
    "keywordGroup":"A"
    }{
    "index":{
    "_index":"testindex",
    "_type":"ITEM",
    "_id":"2"
    }
    }{
    "id":2,
    "title":"เดรสปาดไหล่แขนยาว ทรงนี้เป็นทรงที่ใครใส่ก็สวยค่ะ เดรสเกาะอกแต่งแขนยาวปาดไหล่ เปรี้ยวแซ่บ ตัวนี้ใช้ผ้าเบาสบายเนื้อดี ใส่สวยพริ้วๆ ไม่ร้อนแน่นอนค่ะ ด้านหลังแต่งโบว์เพิ่มความน่ารัก ทำให้ชุดดูมีลูกเล่น สาวๆพลาดไม่ได้เลยนะคะ สวยจริงๆค่ะ ^^ ฟรีไซส์ : อก : ยางยืดได้ถึง38" ,
    รอบแขน13" ยาว21" มี5สี : แดงเลือดหมู ,
    ดำ ,
    ชมพู ,
    เหลือง ,
    ครีม",
    "indexTitle":"เดรสปาดไหล่แขนยาว ทรงนี้เป็นทรงที่ใครใส่ก็สวยค่ะ เดรสเกาะอกแต่งแขนยาวปาดไหล่ เปรี้ยวแซ่บ ตัวนี้ใช้ผ้าเบาสบายเนื้อดี ใส่สวยพริ้วๆ ไม่ร้อนแน่นอนค่ะ ด้านหลังแต่งโบว์เพิ่มความน่ารัก ทำให้ชุดดูมีลูกเล่น สาวๆพลาดไม่ได้เลยนะคะ สวยจริงๆค่ะ ^^ ฟรีไซส์ : อก : ยางยืดได้ถึง38" ,
    รอบแขน13" ยาว21" มี5สี : แดงเลือดหมู ,
    ดำ ,
    ชมพู ,
    เหลือง ,
    ครีม",
    "searchKeywords":"เดรส",
    "keywordGroup":"A"
    }{
    "index":{
    "_index":"testindex",
    "_type":"ITEM",
    "_id":"3"
    }
    }{
    "id":3,
    "title":"เดรสเข้ารูปตัดต่อผ้ามุ้งช่วงบนหน้าอก ดูเซ็กซี่เล็กๆน่าค้นหาชวนมอง ผ้าเรย่อนเนื้อดียืดหยุ่นดีเกรดเริ่ดไม่ย้วยไม่บาง ขอบแขนระบายเล็กๆ Freesize อกยืดไม่เกิน38" สะโพกไม่เกิน38" ยาว30" งานมี4สี เทา/ขาว/ดำ/แดง",
    "indexTitle":"เดรสเข้ารูปตัดต่อผ้ามุ้งช่วงบนหน้าอก ดูเซ็กซี่เล็กๆน่าค้นหาชวนมอง ผ้าเรย่อนเนื้อดียืดหยุ่นดีเกรดเริ่ดไม่ย้วยไม่บาง ขอบแขนระบายเล็กๆ Freesize อกยืดไม่เกิน38" สะโพกไม่เกิน38" ยาว30" งานมี4สี เทา/ขาว/ดำ/แดง",
    "searchKeywords":"เดรส",
    "keywordGroup":"A"
    }{
    "index":{
    "_index":"testindex",
    "_type":"ITEM",
    "_id":"4"
    }
    }{
    "id":4,
    "title":"เดรสผ้ายืดตัวยาว ผ้ายืดค้อตตอนใส่สบาย พิมพ์ลายสัปปะรสที่กำลังอินที่สุดในตอนนี้ ตัวยาวไม่เข้ารูปใส่ปล่อย ผ่าด้านข้าง2ข้าง สาวๆห้ามพลาดน้า Freesize อกยืดถึง43" ยาว56" มีสีเดียวตามรูป",
    "indexTitle":"เดรสผ้ายืดตัวยาว ผ้ายืดค้อตตอนใส่สบาย พิมพ์ลายสัปปะรสที่กำลังอินที่สุดในตอนนี้ ตัวยาวไม่เข้ารูปใส่ปล่อย ผ่าด้านข้าง2ข้าง สาวๆห้ามพลาดน้า Freesize อกยืดถึง43" ยาว56" มีสีเดียวตามรูป",
    "searchKeywords":"เดรส",
    "keywordGroup":"A"
    }{
    "index":{
    "_index":"testindex",
    "_type":"ITEM",
    "_id":"5"
    }
    }{
    "id":5,
    "title":"เดรสทรงตรงใส่สะบายๆ ดีไซส์ระบายผ้าชีฟองช่วงอก ตัวเดรสด้านหน้าปริ้นลายกราฟฟิกสถานที่ ลายสวยคมชัด สามารถใส่ทำงานหรือออกงานได้ตามโอกาส Cutting /Pattern สวย เป๊ะเหมือนแบบเลยจร้า Color : ชมพู ราคา 690 S - อก 34"/ เอว 32" / สะโพก 36" / วงแขน 18" / ค.ยาว 33" M - อก 36" / เอว 34" / สะโพก 38" / วงแขน 18" / ค.ยาว 33" L - อก 37" / เอว 32" / สะโพก 40" / วงแขน 18" / ค.ยาว 33"",
    "indexTitle":"เดรสทรงตรงใส่สะบายๆ ดีไซส์ระบายผ้าชีฟองช่วงอก ตัวเดรสด้านหน้าปริ้นลายกราฟฟิกสถานที่ ลายสวยคมชัด สามารถใส่ทำงานหรือออกงานได้ตามโอกาส Cutting /Pattern สวย เป๊ะเหมือนแบบเลยจร้า Color : ชมพู ราคา 690 S - อก 34"/ เอว 32" / สะโพก 36" / วงแขน 18" / ค.ยาว 33" M - อก 36" / เอว 34" / สะโพก 38" / วงแขน 18" / ค.ยาว 33" L - อก 37" / เอว 32" / สะโพก 40" / วงแขน 18" / ค.ยาว 33"",
    "searchKeywords":"เดรส",
    "keywordGroup":"A"
    }
  4. search docs with combo_thai_analayzer
    {
    "from": 0,
    "size": 100,
    "query": {
    "query_string": {
    "default_field": "indexTitle",
    "query": "เดรส",
    "analyzer": "combo_thai_analyzer"
    }
    },
    "sort": [
    {
    "_score": {
    "order": "desc"
    }
    }
    ],
    "highlight": {
    "fields": {
    "indexTitle": {
    "pre_tags": [
    ""
    ],
    "post_tags": [
    ""
    ],
    "index_options": "offsets"
    }
    }
    }
    }

4-1 result. highlight is wrong. highlighting entire sentence
{
_index: testindex
_type: ITEM
_id: 1
_score: 1.0320579
_source: {
id: 1
title: เดรสผ่าแขนหน้า เรียบหรูดูดีสุดๆค่ะ ผ้าฮานาโกะคัตติ้งเนี้ยบ งานดีงานสลวยสวยเก๋ ใส่แล้วเป็นคุนนายขึ้นมาทันทีค่ะ ขาว ดำ แดง น้ำเงิน ครีม ชมพู Freesize เอว 24-28 490฿
indexTitle: เดรสผ่าแขนหน้า เรียบหรูดูดีสุดๆค่ะ ผ้าฮานาโกะคัตติ้งเนี้ยบ งานดีงานสลวยสวยเก๋ ใส่แล้วเป็นคุนนายขึ้นมาทันทีค่ะ ขาว ดำ แดง น้ำเงิน ครีม ชมพู Freesize เอว 24-28 490฿
searchKeywords: เดรส
keywordGroup: A
}
highlight: {
indexTitle: [
เดรสผ่าแขนหน้า เรียบหรูดูดีสุดๆค่ะ ผ้าฮานาโกะคัตติ้งเนี้ยบ งานดีงานสลวยสวยเก๋ ใส่แล้วเป็นคุนนายขึ้นมาทันทีค่ะ ขาว ดำ แดง น้ำเงิน ครีม ชมพู Freesize เอว 24-28 490฿
]
}
}

  1. search with no combine analyzer
    {
    "from": 0,
    "size": 100,
    "query": {
    "query_string": {
    "default_field": "indexTitle",
    "query": "เดรส",
    "analyzer": "custom_icu_analyzer"
    }
    },
    "sort": [
    {
    "_score": {
    "order": "desc"
    }
    }
    ],
    "highlight": {
    "fields": {
    "indexTitle": {
    "pre_tags": [
    ""
    ],
    "post_tags": [
    ""
    ],
    "index_options": "offsets"
    }
    }
    }
    }

5-1 it's working, but, it's don't know other analysis results. for example synonym, foreign-language analyzer results.
{
_index: testindex
_type: ITEM
_id: 1
_score: 0.72977513
_source: {
id: 1
title: เดรสผ่าแขนหน้า เรียบหรูดูดีสุดๆค่ะ ผ้าฮานาโกะคัตติ้งเนี้ยบ งานดีงานสลวยสวยเก๋ ใส่แล้วเป็นคุนนายขึ้นมาทันทีค่ะ ขาว ดำ แดง น้ำเงิน ครีม ชมพู Freesize เอว 24-28 490฿
indexTitle: เดรสผ่าแขนหน้า เรียบหรูดูดีสุดๆค่ะ ผ้าฮานาโกะคัตติ้งเนี้ยบ งานดีงานสลวยสวยเก๋ ใส่แล้วเป็นคุนนายขึ้นมาทันทีค่ะ ขาว ดำ แดง น้ำเงิน ครีม ชมพู Freesize เอว 24-28 490฿
searchKeywords: เดรส
keywordGroup: A
}
highlight: {
indexTitle: [
เดรสผ่าแขนหน้า เรียบหรูดูดีสุดๆค่ะ ผ้าฮานาโกะคัตติ้งเนี้ยบ งานดีงานสลวยสวยเก๋ ใส่แล้วเป็นคุนนายขึ้นมาทันทีค่ะ
]
}
}

question.
how can i highlighting with combo type analyzer?
please help me!

@happyprg
Copy link
Author

curl -XGET 'http://10.101.57.97:10200/testindex/ITEM/9/_termvector?pretty=true'
"รองเท้า" : {
"term_freq" : 2,
"tokens" : [ {
"position" : 0,
"start_offset" : 0,
"end_offset" : 261
}, {
"position" : 0,
"start_offset" : 0,
"end_offset" : 261
} ]
},

custom_foreign_languages_analyzer รองเท้า 1
custom_foreign_languages_synonym_analyzer รองเท้า 1

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant