|
1 lucene簡介 4 lucene的結(jié)構(gòu)
lucene包括core和sandbox兩部分，其中core是lucene穩(wěn)定的核心部分，sandbox包含了一些附加功能，例如highlighter、各種分析器。 Lucene core有七個包：analysis，document，index，queryParser，search，store，util。 4.1 analysis Analysis包含一些內(nèi)建的分析器，例如按空白字符分詞的WhitespaceAnalyzer，添加了stopwrod過濾的StopAnalyzer，最常用的StandardAnalyzer。 4.2 document Document包含文檔的數(shù)據(jù)結(jié)構(gòu)，例如Document類定義了存儲文檔的數(shù)據(jù)結(jié)構(gòu)，F(xiàn)ield類定義了Document的一個域。 4.3 index Index包含了索引的讀寫類，例如對索引文件的segment進(jìn)行寫、合并、優(yōu)化的IndexWriter類和對索引進(jìn)行讀取和刪除操作的 IndexReader類，這里要注意的是不要被IndexReader這個名字誤導(dǎo)，以為它是索引文件的讀取類，實際上刪除索引也是由它完成， IndexWriter只關(guān)心如何將索引寫入一個個segment，并將它們合并優(yōu)化；IndexReader則關(guān)注索引文件中各個文檔的組織形式。 4.4 queryParser QueryParser包含了解析查詢語句的類，lucene的查詢語句和sql語句有點類似，有各種保留字，按照一定的語法可以組成各種查詢。 Lucene有很多種Query類，它們都繼承自Query，執(zhí)行各種特殊的查詢，QueryParser的作用就是解析查詢語句，按順序調(diào)用各種 Query類查找出結(jié)果。 4.5 search Search包含了從索引中搜索結(jié)果的各種類，例如剛才說的各種Query類，包括TermQuery、BooleanQuery等就在這個包里。 4.6 store Store包含了索引的存儲類，例如Directory定義了索引文件的存儲結(jié)構(gòu)，F(xiàn)SDirectory為存儲在文件中的索引，RAMDirectory為存儲在內(nèi)存中的索引，MmapDirectory為使用內(nèi)存映射的索引。 4.7 util Util包含一些公共工具類，例如時間和字符串之間的轉(zhuǎn)換工具。 5 如何建索引 5.1 最簡單的能完成索引的代碼片斷 IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true); Document doc = new Document(); doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED)); doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED)); writer.addDocument(doc); writer.optimize(); writer.close(); 下面我們分析一下這段代碼。 首先我們創(chuàng)建了一個writer，并指定存放索引的目錄為“/data/index”，使用的分析器為StandardAnalyzer，第三個參數(shù)說明如果已經(jīng)有索引文件在索引目錄下，我們將覆蓋它們。 然后我們新建一個document。 我們向document添加一個field，名字是“title”，內(nèi)容是“lucene introduction”，對它進(jìn)行存儲并索引。 再添加一個名字是“content”的field，內(nèi)容是“lucene works well”，也是存儲并索引。 然后我們將這個文檔添加到索引中，如果有多個文檔，可以重復(fù)上面的操作，創(chuàng)建document并添加。 添加完所有document，我們對索引進(jìn)行優(yōu)化，優(yōu)化主要是將多個segment合并到一個，有利于提高索引速度。 隨后將writer關(guān)閉，這點很重要。 對，創(chuàng)建索引就這么簡單！ 當(dāng)然你可能修改上面的代碼獲得更具個性化的服務(wù)。 5.2 將索引直接寫在內(nèi)存 你需要首先創(chuàng)建一個RAMDirectory，并將其傳給writer，代碼如下： Directory dir = new RAMDirectory(); IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true); Document doc = new Document(); doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED)); doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED)); writer.addDocument(doc); writer.optimize(); writer.close(); 5.3 索引文本文件 如果你想把純文本文件索引起來，而不想自己將它們讀入字符串創(chuàng)建field，你可以用下面的代碼創(chuàng)建field： Field field = new Field("content", new FileReader(file)); 這里的file就是該文本文件。該構(gòu)造函數(shù)實際上是讀去文件內(nèi)容，并對其進(jìn)行索引，但不存儲。 6 如何維護(hù)索引 索引的維護(hù)操作都是由IndexReader類提供。 6.1 如何刪除索引 lucene提供了兩種從索引中刪除document的方法，一種是 void deleteDocument(int docNum) 這種方法是根據(jù)document在索引中的編號來刪除，每個document加進(jìn)索引后都會有個唯一編號，所以根據(jù)編號刪除是一種精確刪除，但是這個編號是索引的內(nèi)部結(jié)構(gòu)，一般我們不會知道某個文件的編號到底是幾，所以用處不大。另一種是 void deleteDocuments(Term term) 這種方法實際上是首先根據(jù)參數(shù)term執(zhí)行一個搜索操作，然后把搜索到的結(jié)果批量刪除了。我們可以通過這個方法提供一個嚴(yán)格的查詢條件，達(dá)到刪除指定document的目的。 下面給出一個例子： Directory dir = FSDirectory.getDirectory(PATH, false); IndexReader reader = IndexReader.open(dir); Term term = new Term(field, key); reader.deleteDocuments(term); reader.close(); 6.2 如何更新索引 lucene并沒有提供專門的索引更新方法，我們需要先將相應(yīng)的document刪除，然后再將新的document加入索引。例如： Directory dir = FSDirectory.getDirectory(PATH, false); IndexReader reader = IndexReader.open(dir); Term term = new Term(“title”, “lucene introduction”); reader.deleteDocuments(term); reader.close(); IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true); Document doc = new Document(); doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED)); doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED)); writer.addDocument(doc); writer.optimize(); writer.close(); 7 如何搜索 lucene的搜索相當(dāng)強(qiáng)大，它提供了很多輔助查詢類，每個類都繼承自Query類，各自完成一種特殊的查詢，你可以像搭積木一樣將它們?nèi)我饨M合使用，完成一些復(fù)雜操作；另外lucene還提供了Sort類對結(jié)果進(jìn)行排序，提供了Filter類對查詢條件進(jìn)行限制。你或許會不自覺地拿它跟SQL語句進(jìn)行比較：“lucene能執(zhí)行and、or、order by、where、like ‘%xx%’操作嗎？”回答是：“當(dāng)然沒問題！” 7.1 各種各樣的Query 下面我們看看lucene到底允許我們進(jìn)行哪些查詢操作： 7.1.1 TermQuery 首先介紹最基本的查詢，如果你想執(zhí)行一個這樣的查詢：“在content域中包含‘lucene’的document”，那么你可以用TermQuery： Term t = new Term("content", " lucene"; Query query = new TermQuery(t); 7.1.2 BooleanQuery 如果你想這么查詢：“在content域中包含java或perl的document”，那么你可以建立兩個TermQuery并把它們用BooleanQuery連接起來： TermQuery termQuery1 = new TermQuery(new Term("content", "java"); TermQuery termQuery 2 = new TermQuery(new Term("content", "perl"); BooleanQuery booleanQuery = new BooleanQuery(); booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD); booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD); 7.1.3 WildcardQuery 如果你想對某單詞進(jìn)行通配符查詢，你可以用WildcardQuery，通配符包括’?’匹配一個任意字符和’*’匹配零個或多個任意字符，例如你搜索’use*’，你可能找到’useful’或者’useless’： Query query = new WildcardQuery(new Term("content", "use*"); 7.1.4 PhraseQuery 你可能對中日關(guān)系比較感興趣，想查找‘中’和‘日’挨得比較近（5個字的距離內(nèi)）的文章，超過這個距離的不予考慮，你可以： PhraseQuery query = new PhraseQuery(); query.setSlop(5); query.add(new Term("content ", “中”)); query.add(new Term(“content”, “日”)); 那么它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中國某高層領(lǐng)導(dǎo)說日本欠扁”。 7.1.5 PrefixQuery 如果你想搜以‘中’開頭的詞語，你可以用PrefixQuery： PrefixQuery query = new PrefixQuery(new Term("content ", "中"); 7.1.6 FuzzyQuery FuzzyQuery用來搜索相似的term，使用Levenshtein算法。假設(shè)你想搜索跟‘wuzza’相似的詞語，你可以： Query query = new FuzzyQuery(new Term("content", "wuzza"); 你可能得到‘fuzzy’和‘wuzzy’。 7.1.7 RangeQuery 另一個常用的Query是RangeQuery，你也許想搜索時間域從20060101到20060130之間的document，你可以用RangeQuery： RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true); 最后的true表示用閉合區(qū)間。 7.2 QueryParser 看了這么多Query，你可能會問：“不會讓我自己組合各種Query吧，太麻煩了！”當(dāng)然不會，lucene提供了一種類似于SQL語句的查詢語句，我們姑且叫它lucene語句，通過它，你可以把各種查詢一句話搞定，lucene會自動把它們查分成小塊交給相應(yīng)Query執(zhí)行。下面我們對應(yīng)每種 Query演示一下： TermQuery可以用“field:key”方式，例如“content:lucene”。 BooleanQuery中‘與’用‘+’，‘或’用‘ ’，例如“content:java contenterl”。 WildcardQuery仍然用‘?’和‘*’，例如“content:use*”。 PhraseQuery用‘~’，例如“content:"中日"~5”。 PrefixQuery用‘*’，例如“中*”。 FuzzyQuery用‘~’，例如“content: wuzza ~”。 RangeQuery用‘[]’或‘{}’，前者表示閉區(qū)間，后者表示開區(qū)間，例如“time:[20060101 TO 20060130]”，注意TO區(qū)分大小寫。 你可以任意組合query string，完成復(fù)雜操作，例如“標(biāo)題或正文包括lucene，并且時間在20060101到20060130之間的文章” 可以表示為：“+ (title:lucene content:lucene) +time:[20060101 TO 20060130]”。代碼如下： Directory dir = FSDirectory.getDirectory(PATH, false); IndexSearcher is = new IndexSearcher(dir); QueryParser parser = new QueryParser("content", new StandardAnalyzer()); Query query = parser.parse("+(title:lucene content:lucene) +time:[20060101 TO 20060130]"; Hits hits = is.search(query); for (int i = 0; i < hits.length(); i++) { Document doc = hits.doc(i); System.out.println(doc.get("title"); } is.close(); 首先我們創(chuàng)建一個在指定文件目錄上的IndexSearcher。 然后創(chuàng)建一個使用StandardAnalyzer作為分析器的QueryParser，它默認(rèn)搜索的域是content。 接著我們用QueryParser來parse查詢字串，生成一個Query。 然后利用這個Query去查找結(jié)果，結(jié)果以Hits的形式返回。 這個Hits對象包含一個列表，我們挨個把它的內(nèi)容顯示出來。 7.3 Filter filter的作用就是限制只查詢索引的某個子集，它的作用有點像SQL語句里的 where，但又有區(qū)別，它不是正規(guī)查詢的一部分，只是對數(shù)據(jù)源進(jìn)行預(yù)處理，然后交給查詢語句。注意它執(zhí)行的是預(yù)處理，而不是對查詢結(jié)果進(jìn)行過濾，所以使用filter的代價是很大的，它可能會使一次查詢耗時提高一百倍。 最常用的filter是RangeFilter和QueryFilter。RangeFilter是設(shè)定只搜索指定范圍內(nèi)的索引；QueryFilter是在上次查詢的結(jié)果中搜索。 Filter的使用非常簡單，你只需創(chuàng)建一個filter實例，然后把它傳給searcher。繼續(xù)上面的例子，查詢“時間在20060101到20060130之間的文章”除了將限制寫在query string中，你還可以寫在RangeFilter中： Directory dir = FSDirectory.getDirectory(PATH, false); IndexSearcher is = new IndexSearcher(dir); QueryParser parser = new QueryParser("content", new StandardAnalyzer()); Query query = parser.parse("title:lucene content:lucene"; RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true); Hits hits = is.search(query, filter); for (int i i < hits.length(); i++) { Document doc = hits.doc(i); System.out.println(doc.get("title"); } is.close(); 7.4 Sort 有時你想要一個排好序的結(jié)果集，就像SQL語句的“order by”，lucene能做到：通過Sort。 Sort sort Sort(“time”); //相當(dāng)于SQL的“order by time” Sort sort = new Sort(“time”, true); // 相當(dāng)于SQL的“order by time desc” 下面是一個完整的例子： Directory dir = FSDirectory.getDirectory(PATH, false); IndexSearcher is = new IndexSearcher(dir); QueryParser parser = new QueryParser("content", new StandardAnalyzer()); Query query = parser.parse("title:lucene content:lucene"; RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true); Sort sort = new Sort(“time”); Hits hits = is.search(query, filter, sort); for (int i = 0; i < hits.length(); i++) { Document doc = hits.doc(i); System.out.println(doc.get("title"); } is.close(); 8 分析器 在前面的概念介紹中我們已經(jīng)知道了分析器的作用，就是把句子按照語義切分成一個個詞語。英文切分已經(jīng)有了很成熟的分析器： StandardAnalyzer，很多情況下StandardAnalyzer是個不錯的選擇。甚至你會發(fā)現(xiàn)StandardAnalyzer也能對中文進(jìn)行分詞。 但是我們的焦點是中文分詞，StandardAnalyzer能支持中文分詞嗎？實踐證明是可以的，但是效果并不好，搜索“如果”會把“牛奶不如果汁好喝 ”也搜索出來，而且索引文件很大。那么我們手頭上還有什么分析器可以使用呢？core里面沒有，我們可以在sandbox里面找到兩個： ChineseAnalyzer和CJKAnalyzer。但是它們同樣都有分詞不準(zhǔn)的問題。相比之下用StandardAnalyzer 和 ChineseAnalyzer建立索引時間差不多，索引文件大小也差不多，CJKAnalyzer表現(xiàn)會差些，索引文件大且耗時比較長。 要解決問題，首先分析一下這三個分析器的分詞方式。StandardAnalyzer和ChineseAnalyzer都是把句子按單個字切分，也就是說 “牛奶不如果汁好喝”會被它們切分成“牛 奶 不 如 果 汁 好 喝”；而CJKAnalyzer則會切分成“牛奶 奶不 不如 如果 果汁 汁好好喝”。這也就解釋了為什么搜索“果汁”都能匹配這個句子。 以上分詞的缺點至少有兩個：匹配不準(zhǔn)確和索引文件大。我們的目標(biāo)是將上面的句子分解成“牛奶 不如 果汁好喝”。這里的關(guān)鍵就是語義識別，我們?nèi)绾巫R別“ 牛奶”是一個詞而“奶不”不是詞語？我們很自然會想到基于詞庫的分詞法，也就是我們先得到一個詞庫，里面列舉了大部分詞語，我們把句子按某種方式切分，當(dāng)?shù)玫降脑~語與詞庫中的項匹配時，我們就認(rèn)為這種切分是正確的。這樣切詞的過程就轉(zhuǎn)變成匹配的過程，而匹配的方式最簡單的有正向最大匹配和逆向最大匹配兩種，說白了就是一個從句子開頭向后進(jìn)行匹配，一個從句子末尾向前進(jìn)行匹配?；谠~庫的分詞詞庫非常重要，詞庫的容量直接影響搜索結(jié)果，在相同詞庫的前提下，據(jù)說逆向最大匹配優(yōu)于正向最大匹配。 當(dāng)然還有別的分詞方法，這本身就是一個學(xué)科，我這里也沒有深入研究?；氐骄唧w應(yīng)用，我們的目標(biāo)是能找到成熟的、現(xiàn)成的分詞工具，避免重新發(fā)明車輪。經(jīng)過網(wǎng)上搜索，用的比較多的是中科院的ICTCLAS和一個不開放源碼但是免費的JE-Analysis。ICTCLAS有個問題是它是一個動態(tài)鏈接庫， java調(diào)用需要本地方法調(diào)用，不方便也有安全隱患，而且口碑也確實不大好。JE-Analysis效果還不錯，當(dāng)然也會有分詞不準(zhǔn)的地方，相比比較方便放心。= new = 0; 9 性能優(yōu)化
一直到這里，我們還是在討論怎么樣使lucene跑起來，完成指定任務(wù)。利用前面說的也確實能完成大部分功能。但是測試表明lucene的性能并不是很好，在大數(shù)據(jù)量大并發(fā)的條件下甚至?xí)邪敕昼姺祷氐那闆r。另外大數(shù)據(jù)量的數(shù)據(jù)初始化建立索引也是一個十分耗時的過程。那么如何提高lucene的性能呢？下面從優(yōu)化創(chuàng)建索引性能和優(yōu)化搜索性能兩方面介紹。 9.1 優(yōu)化創(chuàng)建索引性能 這方面的優(yōu)化途徑比較有限，IndexWriter提供了一些接口可以控制建立索引的操作，另外我們可以先將索引寫入RAMDirectory，再批量寫入FSDirectory，不管怎樣，目的都是盡量少的文件IO，因為創(chuàng)建索引的最大瓶頸在于磁盤IO。另外選擇一個較好的分析器也能提高一些性能。 9.1.1 通過設(shè)置IndexWriter的參數(shù)優(yōu)化索引建立 setMaxBufferedDocs(int maxBufferedDocs) 控制寫入一個新的segment前內(nèi)存中保存的document的數(shù)目，設(shè)置較大的數(shù)目可以加快建索引速度，默認(rèn)為10。 setMaxMergeDocs(int maxMergeDocs) 控制一個segment中可以保存的最大document數(shù)目，值較小有利于追加索引的速度，默認(rèn)Integer.MAX_VALUE，無需修改。 setMergeFactor(int mergeFactor) 控制多個segment合并的頻率，值較大時建立索引速度較快，默認(rèn)是10，可以在建立索引時設(shè)置為100。 9.1.2 通過RAMDirectory緩寫提高性能 我們可以先把索引寫入RAMDirectory，達(dá)到一定數(shù)量時再批量寫進(jìn)FSDirectory，減少磁盤IO次數(shù)。 FSDirectory fsDir = FSDirectory.getDirectory("/data/index", true); RAMDirectory ramDir = new RAMDirectory(); IndexWriter fsWriter = new IndexWriter(fsDir, new StandardAnalyzer(), true); IndexWriter ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true); while (there are documents to index) { ... create Document ... ramWriter.addDocument(doc); if (condition for flushing memory to disk has been met) { fsWriter.addIndexes(new Directory[] { ramDir }); ramWriter.close(); ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true); } } 9.1.3 選擇較好的分析器 這個優(yōu)化主要是對磁盤空間的優(yōu)化，可以將索引文件減小將近一半，相同測試數(shù)據(jù)下由600M減少到380M。但是對時間并沒有什么幫助，甚至?xí)枰L時間，因為較好的分析器需要匹配詞庫，會消耗更多cpu，測試數(shù)據(jù)用StandardAnalyzer耗時133分鐘；用MMAnalyzer耗時150分鐘。 9.2 優(yōu)化搜索性能 雖然建立索引的操作非常耗時，但是那畢竟只在最初創(chuàng)建時才需要，平時只是少量的維護(hù)操作，更何況這些可以放到一個后臺進(jìn)程處理，并不影響用戶搜索。我們創(chuàng)建索引的目的就是給用戶搜索，所以搜索的性能才是我們最關(guān)心的。下面就來探討一下如何提高搜索性能。 9.2.1 將索引放入內(nèi)存 這是一個最直觀的想法，因為內(nèi)存比磁盤快很多。Lucene提供了RAMDirectory可以在內(nèi)存中容納索引： Directory fsDir = FSDirectory.getDirectory(“/data/index/”, false); Directory ramDir = new RAMDirectory(fsDir); Searcher searcher = new IndexSearcher(ramDir); 但是實踐證明RAMDirectory和FSDirectory速度差不多，當(dāng)數(shù)據(jù)量很小時兩者都非?？?，當(dāng)數(shù)據(jù)量較大時（索引文件400M）RAMDirectory甚至比FSDirectory還要慢一點，這確實讓人出乎意料。 而且lucene的搜索非常耗內(nèi)存，即使將400M的索引文件載入內(nèi)存，在運行一段時間后都會out of memory，所以個人認(rèn)為載入內(nèi)存的作用并不大。 9.2.2 優(yōu)化時間范圍限制 既然載入內(nèi)存并不能提高效率，一定有其它瓶頸，經(jīng)過測試發(fā)現(xiàn)最大的瓶頸居然是時間范圍限制，那么我們可以怎樣使時間范圍限制的代價最小呢？ 當(dāng)需要搜索指定時間范圍內(nèi)的結(jié)果時，可以： 1、用RangeQuery，設(shè)置范圍，但是RangeQuery的實現(xiàn)實際上是將時間范圍內(nèi)的時間點展開，組成一個個BooleanClause加入到 BooleanQuery中查詢，因此時間范圍不可能設(shè)置太大，經(jīng)測試，范圍超過一個月就會拋 BooleanQuery.TooManyClauses，可以通過設(shè)置 BooleanQuery.setMaxClauseCount(int maxClauseCount)擴(kuò)大，但是擴(kuò)大也是有限的，并且隨著 maxClauseCount擴(kuò)大，占用內(nèi)存也擴(kuò)大 2、用RangeFilter代替RangeQuery，經(jīng)測試速度不會比RangeQuery慢，但是仍然有性能瓶頸，查詢的90%以上時間耗費在 RangeFilter，研究其源碼發(fā)現(xiàn)RangeFilter實際上是首先遍歷所有索引，生成一個BitSet，標(biāo)記每個document，在時間范圍內(nèi)的標(biāo)記為true，不在的標(biāo)記為false，然后將結(jié)果傳遞給Searcher查找，這是十分耗時的。 3、進(jìn)一步提高性能，這個又有兩個思路： a、緩存Filter結(jié)果。既然RangeFilter的執(zhí)行是在搜索之前，那么它的輸入都是一定的，就是IndexReader，而 IndexReader是由Directory決定的，所以可以認(rèn)為RangeFilter的結(jié)果是由范圍的上下限決定的，也就是由具體的 RangeFilter對象決定，所以我們只要以RangeFilter對象為鍵，將filter結(jié)果BitSet緩存起來即可。 lucene API已經(jīng)提供了一個CachingWrapperFilter類封裝了Filter及其結(jié)果，所以具體實施起來我們可以 cache CachingWrapperFilter對象，需要注意的是，不要被CachingWrapperFilter的名字及其說明誤導(dǎo)， CachingWrapperFilter看起來是有緩存功能，但的緩存是針對同一個filter的，也就是在你用同一個filter過濾不同 IndexReader時，它可以幫你緩存不同IndexReader的結(jié)果，而我們的需求恰恰相反，我們是用不同filter過濾同一個 IndexReader，所以只能把它作為一個封裝類。 b、降低時間精度。研究Filter的工作原理可以看出，它每次工作都是遍歷整個索引的，所以時間粒度越大，對比越快，搜索時間越短，在不影響功能的情況下，時間精度越低越好，有時甚至犧牲一點精度也值得，當(dāng)然最好的情況是根本不作時間限制。 下面針對上面的兩個思路演示一下優(yōu)化結(jié)果（都采用800線程隨機(jī)關(guān)鍵詞隨即時間范圍）： 第一組，時間精度為秒： 方式 直接用RangeFilter 使用cache 不用filter 平均每個線程耗時 10s 1s 300ms 第二組，時間精度為天 方式 直接用RangeFilter 使用cache 不用filter 平均每個線程耗時 900ms 360ms 300ms 由以上數(shù)據(jù)可以得出結(jié)論： 1、 盡量降低時間精度，將精度由秒換成天帶來的性能提高甚至比使用cache還好，最好不使用filter。 2、 在不能降低時間精度的情況下，使用cache能帶了10倍左右的性能提高。 9.2.3 使用更好的分析器 這個跟創(chuàng)建索引優(yōu)化道理差不多，索引文件小了搜索自然會加快。當(dāng)然這個提高也是有限的。較好的分析器相對于最差的分析器對性能的提升在20%以下。 10 一些經(jīng)驗 10.1關(guān)鍵詞區(qū)分大小寫 or AND TO等關(guān)鍵詞是區(qū)分大小寫的，lucene只認(rèn)大寫的，小寫的當(dāng)做普通單詞。 10.2 讀寫互斥性 同一時刻只能有一個對索引的寫操作，在寫的同時可以進(jìn)行搜索 10.3 文件鎖 在寫索引的過程中強(qiáng)行退出將在tmp目錄留下一個lock文件，使以后的寫操作無法進(jìn)行，可以將其手工刪除 10.4 時間格式 lucene只支持一種時間格式y(tǒng)yMMddHHmmss，所以你傳一個yy-MM-dd HH:mm:ss的時間給lucene它是不會當(dāng)作時間來處理的 10.5 設(shè)置boost 有些時候在搜索時某個字段的權(quán)重需要大一些，例如你可能認(rèn)為標(biāo)題中出現(xiàn)關(guān)鍵詞的文章比正文中出現(xiàn)關(guān)鍵詞的文章更有價值，你可以把標(biāo)題的boost設(shè)置的更大，那么搜索結(jié)果會優(yōu)先顯示標(biāo)題中出現(xiàn)關(guān)鍵詞的文章（沒有使用排序的前題下）。使用方法： Field. setBoost(float boost);默認(rèn)值是1.0，也就是說要增加權(quán)重的需要設(shè)置得比1大。 |
|
|
