solr最適化その２
solrだけでなく、周りからの最適化の話。
- MySQLとsolrの両方にデータを入れるという構成がそもそも無駄
- rawデータとしてmysqlに突っ込んでおくとバックアップが楽だし、solrのschemaを好き勝手に変えられるのは嬉しい。
- けどsolrのindexはでかすぎ。
- MySQLが4GBくらいなのに対してsolrのindexが11GB
- 本文のほうは圧縮かけるようにschema書き換えたけど、まだindex作り直してないから、多分あんまり意味が無い。
- indexをもう一つ作る空きディスクがないから、とりあえず今のindexを破壊するところから多分始めないといけない。
- 冷静に考えるとsolrでページ生成しなくていい部分多くないか？
- batchでページを生成しているところは別にDBでもいい気がする
- 本文のデータをbatch生成しているRSSのみに入れて、カテゴリ・板のほうが本文なしにしてしまえば、solrに本文自体は突っ込まなくていい
- 実メモリ512MB、SWAPはその半分くらい使ってるから、768MBに増やせばメモリ問題は解決
- そもそもデータが増えてるので、あんまり根本的な解決にはならない
- そもそもこれを改善しても、まだそれほど嬉しいことがない気がする。
