Blog

升级了 tweets-page

前几天偶尔上 Twitter 的时候看到别人的一条推,说是 Twitter 可以导出自己过去发布的所有消息了。这是我一直想做的,原因之一是 Twitter 自己限制了它是一个快速更新的消息发布集中地,而已经发布了的消息就不是它所关注的了。所以过去你要是在 Twitter 页面上不断的点“上一页”,能看到的页面是有效的,印象里好像回退到 20 几页就不能再往前看了,不知道现在有没有改进。因此我很早之前就有把我所有的 Twitter 条目都导出来的想法,可惜 Twitter 的 API 也有类似的限制,因此这个想法一直没有实现。

第二个原因是让我在国内的父母可以看到我的推。由于我经常发推,因此从我的 Twitter 记录中可以看到我的生活。这样我父母能更放心一些。

我写 tweets-page 是从 2009 年 7 月开始的。那个时候我刚刚回国,Twitter 已经被封锁了。当时我和家人在北京的饭店住着,父母正好有假期,准备带我在北京转转,看看鸟巢等新建设的地方。我因为时差关系到凌晨三点多就睡不着了。自己住在一间客房里没事干,又不想看电视,于是就想解决从国内上 Twitter 的问题。一开始时我用 ssh -D 给自己开个通道用,一会后嫌麻烦,因为代理的速度不高,一些国内的页面用代理会更慢,而且每次开代理还麻烦(那时我还不会 screen)。所以我就自己写了一个程序,让我可以浏览 Twitter 并发布新推。当时的代码怎么写的我早就忘了,好像也没有备份。浏览了一下当时的推特记录,说是用的 Perl 调用 curl 来用官方的 API 来更新,印象里时一个 CGI 小程序,非常简陋,还有不少的问题,当时仅仅是临时用用。

然后回加拿大后,我用 Ruby 写了一个小程序,通过 twitter4r 来获取我的 tweets,保存在数据库中,然后用程序生成页面浏览。API 在那时已经不支持 since 参数了,我只能从某个时间段开始抓取,之前的内容就只好放弃。程序最终写成了,不过我当时对服务器的知识太少,用的还是 Dreamhost 共享主机,最终用 Crontab 让程序定时运行的时候,发现无论怎么样都找不到我用 gem 安装的 twitter4r。如果程序不能定时运行,我每天要登陆到主机上手动执行一遍程序?非常不现实。所以最后我只好放弃,最后的生成结果部分我也懒得弄了。

印象里之后还试过几次,好像都没有成功。

到了 2012 年 5 月,我重新写了一次,结果弄成了。这次用了 Twitter 库和 Sequel,在服务器上我也不再用 SQLite 了,而是用 MySQL。除了保存到数据库之外,它还能在刷新后立即生成输出页面。输出的页面是一个比较大的 HTML 静态文件,我曾经想写一个分页功能的,后来一直没有兴趣碰它。在解决了 Crontab 的问题后,它就一直在我的服务器上工作着,一直到了现在。

当我看到了 Twitter 可以导出的消息后,我就导出了我的记录。看着一个几兆大小的 CSV 文件,我有了把它们添加进我的数据库的想法。于是就尝试了一下,中间也遇到了一些小问题。

开始时我觉得 CSV 文件没有什么难度的,于是就直接读取一行,用逗号拆分。但输出的时候我发现了几个空行,查看了一下原来 CSV 文件并不是严格的每行是一条记录的。记录中有的值有换行符,体现在 CSV 文件中就是直接的换行,我按行处理就会出错。我当时的想法是不要这些有问题的条目了,不过它们太多、太分散,我没有完成。之后我用了 CSV 库,它没有任何问题处理了换行。

第二个问题是时区。导出的 CSV 文件中的发布时间是用的 UTC 时间,看上去是这样的 2013-03-12 01:35:28 +0000。我要把它转换成我所在的时区,于是就做了各种尝试。或许由于 Rails 太火的原因,我搜索到的很多条都是如何在 Rails 里完成的,而不是 Ruby。最后经过尝试,我找到了解决方法。

第三点是如何插入数据库的问题。我开始的想法是直接在 CSV 文件中把我已经保存了的条目删除,然后运行一遍我的程序。现在想想这种方法其实也行,弄进数据库中再排一下序就可以了。不过我当时是直接新建了一个表,导入到这个表后检查结果正常后,就把表改名,跟过去用的表换过来,然后我就有了一个比较大的数据表了。

这次我不想生成静态页面了,为了练习,我改用 PHP 写了一个动态页面。我过去从来没有写过 PHP 程序。之前有想过要学一下 PHP,当时的想法是读别人写的代码,反正 PHP 的语法也不难。但是我悲剧的选了 WordPress,因为它是最流行的 PHP 软件之一。我现在对 PHP 的了解不深,对于 WordPress 的代码写的好坏没什么发言权。不过我觉得 WordPress 的代码非常非常非常不适合初学者用来学习模仿,非常不清晰,几下子就能把人绕晕了。所以我到现在都没有认真学习过 PHP。不过 PHP 在我印象中不难,当然不包括它面向对象的部分。我从网上找了一些它跟 MySQL 合作的介绍,选择了 PDO 方式来操纵数据库,写出了不到一页的代码,很容易的就完成了任务。

新的页面在:http://liuf.net/tweets/

当然这个页面目前其实是比较糟糕的。动态页面每次都要生成,这么多条目导致了这个页面的速度比较慢,要将近 10 秒才能完成。所以有机会我一定会给它安上分页功能,或许加点 JavaScript 来动态载入。

旧的代码我还没有修改,其实我想把它生成页面的部分去掉,单独的干刷新数据库功能。等有机会再说吧。

生成的代码我还没有往 Github 上传,因为当中我直接把数据库的用户名和密码写进代码里了,估计从 git 里回滚几下就能看到。虽然我的数据库仅限 localhost 访问,但还是再考虑一下吧。不过代码库的链接在这里

1 comment

  1. 用 Rails 重写 Tweets Page | 我的空想特摄 - pingback on 2013/06/02/ 17:48
    沙发

Leave a Reply