programming
Google Cloud Buildでbazel testで動かしてたpyppeteerが動くようになるまでのメモ。 TL;DR Docker環境ではダウンロード済みのchromiumをexecutablePathで指定 pyppeteer==0.0.25 websockets==6.0.0 pyee==6.0.0 ブラウザからの反応がなくなるタイプの問題は…
基本的には https://cloud.google.com/python/django/appengine にそって行けばいいんだけど、地雷を一杯踏んだので書いておく。 App Engineの場所はアメリカにしろ。AsiaはSQLとApp Engine一緒に置けない。 書かれてないけど、SQLのDB作成時に、場所はApp E…
2chnaviのサービスを運用するにあたって、リソースのボトルネックは何かというと、実はCPUが一番きつい。HDDと違って足りなかったら遅くなるだけでよかったんだけど、流石に全てのフィードをとってパースするのに1時間以上かかるのは、1万以上のRSSがあると…
この記事はモンハン Advent Calendar 2013 23日目のエントリーです。こんにちわ！kudzuです。よろしくっく！ MH4用のスキルシミュレータのMH4スキルシミュ（泣）*1や、お守りスナイプ用のウェブページ*2とかを作ってます。 現在HR289で、好きな武器はライト…
調べても、ほとんどModelからAdminページを作る話ばかりで、完全にカスタマイズされたページで、認証だけ流用したい、という用途においては全然参考になるコードがなかったので、一応記録しておく。 http://docs.djangoproject.jp/en/latest/ref/contrib/adm…
適当にクラスタリングしてみたらこんな感じになった。 ハ 8 ヤバイ 8 ソフトバンク 8 部分 9 ゆき 9 ドイツ 12 小林 15 完全 17 アメリカン, 航空 22 プラス, NEW, ラブ 28 民団, 外国, 異論 32 白, 旭, ヤクザ, ゴルフ 33 お前, 社長, 社員 39 バス, 地下鉄…
とりあえずクラスタリングは置いといて、単純に最近の話題の抽出を行ってみた。 方法は単純に最新1000件とその前の1000件で出てくる単語の比較。 8 栄子 名詞,固有名詞,人名,名,*,*,栄子,エイコ,エイコ 8 ヤクザ 名詞,一般,*,*,*,*,ヤクザ,ヤクザ,ヤクザ 8 …
http://pypi.python.org/pypi/cluster/1.1.0b1これかなぁ。 とりあえずk-means法で適当にクラスタリングしてみたけど、結構時間がかかる。 適当に400次元空間とか遅すぎる。追記： 記事タイトルを形態素解析して、全抽出した単語から、出現頻度が一定以上の…
というか、使えない。酷く時間がかかったけど、ようやくできた。ネットを調べてると、色々なアプローチが書いてあるんだけど、antの使い方わからないし、おぼえるの面倒だからeclipseだけでできる方法で頑張ってみたんだが、うまくいかん。とりあえず、http:…
広告を載せる ロギングをもう少しちゃんとする datetime、IP、Path、UAくらいでいい気がする SVNレポジトリ
色々どたばたしたけど、一応終わったのかな？色々と感想： Pythonは言語的にめちゃくちゃ強い。PHPは不便すぎる。 Cheetah vs Smartyも同様。Cheetah使った後にSmarty見るとあまりにも貧弱で構文がうんこすぎて困る。 TwistedはDocumentが足りなさ過ぎて困っ…
とりえあず置いてみた。 http://2chnavi.net:18080/データを定期更新するスクリプトを実行してないから、データは更新されない感じ。 大きく変わったのは、 実装をphp+ethna+smartyからpython+twisted+cheetahに変更 ページのキャッシングを無効化して、リク…
面白いからtwistedで書き直しているところなんだけど、大体できあがったので、まだ残っている作業をメモしておく。 インデックスの作成しなおし できたけど、インデックスサイズが倍になってしまった... トップページ 完成 リアルタイムランキング 完成 クリ…
http://twistedmatrix.com/trac/wiki/TwistedWeb twisted webが割と強そうなので、試しに2chnaviのコードをpythonで書きなおしてみた。 大雑把にrenderingするところまではできるんだけど、templateのcachingとか考えると、わざわざ書くのが面倒くさい気持ち…
Python用のスクレイパーライブラリ。 http://scrapy.org/ 何がいいかというと、 IO処理の効率が大変高いので、多重ダウンロードなどが効率的 リクエスト投げて、結果をとってくるところはある程度勝手にやってくれる スクレイピング自体がxpathが使えるので…
facetってあのgroup byみたいなやつ。 ここに大体書いてある。 http://wiki.apache.org/solr/SimpleFacetParameters忘れないうちにリクエストのurlをメモしておく。/solr/select?indent=on&version=2.2&q=(クエリ)&fq=&start=0&rows=10&fl=*%2Cscore&qt=&wt=…
なんだかんだで結構自分でも使ったりするので、真面目に作ることにしてみた。 一応目標は、 日付でソートされた結果 ブックマーク数によりフィルタリング 日付・ブックマーク数を利用した重み付け付きの検索結果 が出せればいいと思ってる。最後のはどういう…
これは理解しようとする気が湧かない。 #! /usr/bin/misaごっ、ごぉおっ、ご〜きげんよおぉおおぉおほっ。ほおぉおぉおっ。「ごきげん☆みゃぁああ”あ”ぁ”ぁああ〜っ」さわやかな朝の☆ご挨拶！ お挨拶がっ。 澄みきった青空にこだましちゃうぉ〜ああぉおおお…
今回色々変更するにあたって思った事とか。 デザインについて 縦スクロールのみ。横スクロールは厳禁。 サイドバーはなし。多分あんまりいらないし。 よくクリックするところはテキストリンクではなく、ボタンみたいな大きいヒット判定のあるリンク 一番上の…
http://www.4gamer.net/games/032/G003263/20091212002/なんかすげぇな、これ。Windowsでしか動かないのが残念だ...。
これからはpivotal trackerで管理してみる。 http://www.pivotaltracker.com/projects/26270/stories
昨日datファイルのパースが遅くてびっくりしてた。 900レスくらいのデータを行ごとに配列に入れた上で、 デリミタの<>でsplit 本文の<br>を\nに置換 本文のタグをstrip 本文のhtmlエスケープ文字(&など)のアンエスケープ という処理をやってたわけだけど、ざっく…
今回の変更について。 list viewでflingした際、デフォルトではtouch downで停止する 中のTextViewのsetMovementMethodでMovementMethodを設定すると何故かtouch upで停止になる TextViewに疑似touch upイベントをdispatchすることでflingを停止することはで…
最近apiドキュメントを見て、いくつかのadapterがFilterableを実装していて、ListViewにもsetFilterTextなるものがあることに気付いたので、今まで自力で実装していたfilterをandroid風に変えてみた。http://developer.android.com/reference/android/widget…
以下にその方法を紹介します。 1. ソーシャルブックマークのホッテントリのフィードを購読する 2. 特に気になったサイトの人気エントリにざっと目を通す 3. 特に気になったブログを個別に購読する 4. 流行のライブラリ、フレームワーク、アプリケーションの…
http://dann.g.hatena.ne.jp/dann/20090712/p1http://developer.android.com/guide/practices/design/performance.html先にこれを読んでいれば、四苦八苦しなくて済んだのになぁ。あえてこれに加えるとするならばShort lived objectをなるべく作らないのは重…
androidではUIコンポーネントの状態の変更をUIスレッドでしかできないため、通信処理が多い2chビューワだと、非同期呼び出しがちらほら出て来る。以下のような感じ。 Handler handler = new Handler();void beginDownloading() { class UpdateSomething impl…
文字列の処理のオーバーヘッドを減らすためにString.subSequenceを使おうと思ったら subSequencepublic CharSequence subSequence(int beginIndex, int endIndex) このシーケンスのサブシーケンスである新規文字シーケンスを返します。 次のフォームのメソッ…
大量に小さなインスタンス生成するコードがネックですごく遅い気がする。 さて、どうしようかね。
第10位：「本物のプログラマーなら、絶対にPHPは使わない」 むしろオタクのほうが言いそうな台詞だと思うんだが、どうなのかね。 俺？俺は本物のプログラマーじゃないからPHP使う。
