刺身の上にたんぽぽ乗せる日記

プログラミングしたり、自販機の下に落ちてる小銭を集めたりしてます

solr最適化その2

solrだけでなく、周りからの最適化の話。

  • MySQLとsolrの両方にデータを入れるという構成がそもそも無駄
    • rawデータとしてmysqlに突っ込んでおくとバックアップが楽だし、solrのschemaを好き勝手に変えられるのは嬉しい。
  • けどsolrのindexはでかすぎ。
    • MySQLが4GBくらいなのに対してsolrのindexが11GB
    • 本文のほうは圧縮かけるようにschema書き換えたけど、まだindex作り直してないから、多分あんまり意味が無い。
    • indexをもう一つ作る空きディスクがないから、とりあえず今のindexを破壊するところから多分始めないといけない。
  • 冷静に考えるとsolrでページ生成しなくていい部分多くないか?
    • batchでページを生成しているところは別にDBでもいい気がする
    • 本文のデータをbatch生成しているRSSのみに入れて、カテゴリ・板のほうが本文なしにしてしまえば、solrに本文自体は突っ込まなくていい
  • 実メモリ512MB、SWAPはその半分くらい使ってるから、768MBに増やせばメモリ問題は解決
    • そもそもデータが増えてるので、あんまり根本的な解決にはならない
    • そもそもこれを改善しても、まだそれほど嬉しいことがない気がする。