basyura's blog

あしたになったらほんきだす。

つくりなおし

ROneUsers を放置してたらブクマがついてたので慌てて修正。
ユーザ情報を API でクロールしまくっといてその後は MapReduce ヨロシク的な事をしたかったのだけど、さくらサーバで CGI じゃ分散処理もできないしキャッシュも厳しいので困り果ててたところ。30万レコードぐらいになると sqlite3 から MySQL に変えても find_all で数分かかっちゃうし、cvs にダンプして編集しようとしたら MySQL はリモートサーバだからファイルに吐けなくて終了。
MapReduce 的な事はとりあえず諦め。API で取得したユーザ情報をテーブルに突っ込む際に変換した地域も突っ込むように変更。DB も sqlite3 に戻したけどインデックスを張っておけば count も検索もそれなりに返ってくるのでまぁまぁ。
キャッシュ無しの SQL 投げまくりで動いてるので、ユーザ数がたまってきたら SQL をキーに PStore 使ってキャッシュするようにすれば大丈夫かな。