刺身の上にたんぽぽ乗せる日記

プログラミングしたり、自販機の下に落ちてる小銭を集めたりしてます

2chnavi

ペナルティ

もうそろそろ自分でブックマークしているサイトに対してペナルティをかけようと思うけど、機械的に検出する方法がいまいち思い浮かばない。あまり手動ではやりたくないんだけどなぁ。一応今調べてみたら、jsonのapiでブックマークしているユーザ名が取れるか…

muninのmysql関連のグラフをtritonn用に直した

一応気になるグラフなので。 http://plaza.rakuten.co.jp/gontata/diary/201005130000/ を参考に、/etc/munin/plugin-conf.d/munin-nodeを編集。 [mysql*] user root #env.mysqlopts --defaults-extra-file=/etc/mysql/debian.cnf env.mysqladmin /usr/local…

更新頻度アップ

とりあえずRSSの更新頻度を15分毎くらいにしてみた。 ちゃんと動くか確認して、後で見直しかね。

まとめサイトのアンテナサイト

http://404nots.blog88.fc2.com/blog-entry-1174.html70もあるのか。すげぇな。 五位という結果で割とうれしい。コメントも比較的納得。見直してみると、確かに参照数とか人気度とか、何を指しているのか若干わかりにくい。作成した当時はデータソースにはて…

古いデータ

以前処理が重すぎて、古いデータを別のテーブルに退避させてたけど、いい加減戻してもいい気がしてきた。どうやってやればいいのかね?追記: 現在データを元に戻してる最中。 追記: 4時間くらいかかったけど終わった。

サイトごとの記事一覧

http://2chnavi.net/sites/view/?site_url=http://blog.livedoor.jp/insidears/以前作ったけど、パフォーマンスの問題でまともに動かなかったけど、今はまともなサーバになった上に、真面目にindex作ったので、若干マシに動く。http://2chnavi.net/sites/こ…

検索が高速になりました

まぁ、今まで何も考えずに適当にやりすぎてた、ってのもあるけど、思い出してみれば以前のサーバじゃHDDの容量的にできなかったね。それはさておき、こんな感じでむふふな画像が簡単に検索できるようになりました http://2chnavi.net/search?keyword=%C7%AD%…

ようやくtritonnに移行完了

ハイパー長い戦いだった...。とりあえず何をしていたかを書くと、 mysqlで使っていたデータをtritonnに移し変えたい tritonnのセットアップは、http://d.hatena.ne.jp/kudzu/20100815/1281848093に書いてある通りでOK fulltext index作ったら*1sennaのlexico…

2chnavi負荷増加中

夏休みだからなのでしょうかね? とりあえず当面の負荷対策でやったこと: 板に関するindexを増やした。板ごとの記事一覧の取得速度が速くなたはず カテゴリはさらに高速化 多分人気のカテゴリ/板の取得も若干速くなっているはず これからやったほうがいいこ…

リアルタイム人気記事

まぁ、リアルタイム、って言っても実際1時間に一回くらいしか更新しないんだけど、昨日の早朝と今の段階ですでに順位が動いているのが面白い。http://2chnavi.servebbs.net/realtimetrends.htmlちなみに単純に過去5時間分くらいのクリック数を適当にランキ…

リアルタイム人気記事

前からずっとサーバーが強くなったらやりたいと思っていて、ようやくできる強さになって、データが充分集まったから、実際のユーザ閲覧数の統計をベースに面白いものが作れるか試してみた。以下結果。http://2chnavi.net/realtimetrends.htmlとりあえずトッ…

invalid requestと出るエラーの修正

なおりました。

Linodeセットアップ

契約した Ubuntu 9.10のイメージ作成した dselectがない。aptitudeの使い方がわからない lishとかいうよくわかんない奴からログインしたらncurses系が全滅する 普通にsshで入ったら普通に使えた スピードは若干遅い気がする。たまにだけだから、こっちの帯域…

【ピンチ】Claraのサービス終了

今までClaraがやっていたVPSの安いプラン*1を利用していて、数年前に受付中止になったと思ったら、とうとうサービス終了のお知らせが来ました。うんこ。 10月までに新しいサーバに移動しなくてはいけないのですが、この際appengineで書き直そうかなぁ、とか…

livedoor blogのテンプレートにもう少し規則性はないものか

多少あるけど、なんか違うやつがある。困った。 完成イメージ図: http://2chnavi.net/tsp/ldproxy.php?url=http://blog.livedoor.jp/insidears/archives/52141825.html

TODOメモ:Livedoor blogのサイトをiPhone/Androidで見やすくする

fc2とseesaaは対応してるから、後はlivedoorの対応ができれば結構なカバレージになると思うんだけどね。 問題はどうやってやるか、だねぇ。

Touch Screen Phone向け2chnavi書き直し

なんとか2009年内に完成。AndroidとiPhoneな人は勝手にこっちを表示するようにしました。 PCからなんとなくどんなもんか見てみたい人は*1下のリンクから。 http://2chnavi.net/?tsp=1 *1:タッチスクリーンじゃないと恩恵がないけどね

Touch Screen Phone向けサイトへの移植メモ

今回色々変更するにあたって思った事とか。 デザインについて 縦スクロールのみ。横スクロールは厳禁。 サイドバーはなし。多分あんまりいらないし。 よくクリックするところはテキストリンクではなく、ボタンみたいな大きいヒット判定のあるリンク 一番上の…

更新頻度をアップさせてみた

最近、負荷は大分マシになったし、ディスク不足の原因もわかったので、大体50%増しの頻度で更新するようにしてみた。 しばらくやってみて、大丈夫そうだったらさらに50%アップしてみる。

Touch screen phone向け2chnaviの書き直し

iPhone/HT-03Aくらいの解像度だと若干使いにくいからTouch screen phone向けに書き直そうと思ったけど、どうせそのうち電話が全部高解像度になってあんまり困らなくなるような気もしてきたけど、結局リンクを押しにくいという問題は解決できていないので、な…

2chまとめブログの数

http://blog.livedoor.jp/yamiko010/archives/51307919.html#を見ててふとどのくらいの感じでまとめブログがあるんだろう、と思って簡単に調べてみた訳ですが、2chnaviに登録されていて、クロールしているブログが計1590。で、それぞれのブログでいつ最後に…

またネトランに掲載されるらしいですよ

明後日発売。一応見るかね。 http://www.oshiete-kun.net/archives/2009/12/2009_2.html ブラウズ部門巡回効率化で入っている様子。そういえば一昨年も掲載されてたな、と思い出した。 http://sspp2nd.blogspot.com/2007/04/blog-post.html なんか中々見つか…

サーバ止まってた

ディスクがいっぱいで止まってた 原因はキャッシュ、メールのスプール、ログなど いっぱいになると起動できない 起動出来なくなってもrepairモードでなおせる TODO:logrotateの設定を変更

負荷テスト中

クローラ動かして軽く負荷をかけてるけど、むしろ以前の負荷がかかっていない時より高速に動作している気がする。 もう少し更新頻度を上げてもいいかもなぁ。

パフォーマンスの改善

なんかまだレスポンスタイムが悪かったので。 workerが18に設定してあったので、30にしてみた。普通に考えると「すくねぇよ」と思うかもしんないけど、契約的にどうしようもないから困る Keep aliveをOffに リクエスト数を減らしたのになんかレスポンス悪い…

色々対策

ソケットのTIME_WAITなどはどうやら問題なんだけど、今回発生している問題の原因ではないらしい 送信バッファが一杯になると暴走する、というのが問題らしい 最悪cronで定期的にhttpdをrestartすればいい。 apacheのログ見たら数千回〜数万回のアクセスをし…

高速化のための準備が整った

とりあえず高速化のためにやること一覧: 最適化すべきはDB。 DB遅くてワロタ 一定期間より古い記事は別のテーブルに移動 大体のクエリがテーブル全体を隅まで見た上にsortしてるので、糞みたいに時間がかかっている。テーブルが小さくなれば問い合わせ時間…

大分軽くなったっぽい

今の所レスポンスはすごく速い。 slow queryも大分減った。 テーブルを日付ごとに分割、ってのはグレートなアイディアなのでこれから実装をどうすべきか考える。

サーバ死亡中

負荷対策の前準備しようと思ったら死亡中です。 とりあえずclaraにリブート願いを出してみた。

まだ情報が足りないらしい

これ以上何をしろ、と?