刺身の上にたんぽぽ乗せる日記

プログラミングしたり、自販機の下に落ちてる小銭を集めたりしてます

2011-05-21から1日間の記事一覧

scrapy

Python用のスクレイパーライブラリ。 http://scrapy.org/ 何がいいかというと、 IO処理の効率が大変高いので、多重ダウンロードなどが効率的 リクエスト投げて、結果をとってくるところはある程度勝手にやってくれる スクレイピング自体がxpathが使えるので…

solrのfacetの使い方

facetってあのgroup byみたいなやつ。 ここに大体書いてある。 http://wiki.apache.org/solr/SimpleFacetParameters忘れないうちにリクエストのurlをメモしておく。/solr/select?indent=on&version=2.2&q=(クエリ)&fq=&start=0&rows=10&fl=*%2Cscore&qt=&wt=…