月光博客 » 编程开发 » Twitter的100亿条信息带来的BUG

Twitter的100亿条信息带来的BUG

  今天上午的Twitter信息统计显示,Twitter信息发送总量已经突破100亿条。此时距离Twitter信息总量突破50亿条仅过去5个月。

  这个消息对Twitter来说是个好消息,但对于使用我先前开发的GAE同步程序的用户来说是个灾难,因为原先程序有个BUG,在Twitter信息量大于100亿条的时候会出现,导致用户的Twitter的ID号码在10000000000之后的信息会反复发布。

  造成这个问题的原因是因为原先的数据排序通过id号进行,当id号升到11位的时候,该数据的排序错误,反而排在10位的id号后面。

  目前我已经做了一个补丁程序Twitter.py,修正了这个错误,使用时间来进行排序,彻底解决了这个问题,原先使用我这个程序的用户,请下载最新的twitter.py代码后重新发布,就会解决信息重复同步的问题。

  手动修改方法:找到id=db.StringProperty()一行,在后面增加一行created = db.DateTimeProperty(auto_now_add=True) 。找到msg=db.GqlQuery("SELECT * FROM Twitter ORDER BY id DESC")一行,将其修改为msg=db.GqlQuery("SELECT * FROM Twitter ORDER BY created DESC"),最后使用appcfg.py更新即可。

  项目地址:http://code.google.com/p/twitter-feed/

  SVN Checkout地址:http://twitter-feed.googlecode.com/svn/trunk/

Twitter的100亿条信息带来的BUG

顶一下 ▲()   踩一下 ▼()

相关文章

  1. 1
    fuq   说道:
    不知什么办法可“跟随我的推特”,总是显示 “位于 http://twitter.com/williamlong 的网页可能暂时无法连接,或者它已被永久性地移动到新网址。”,有何办法接入?
    支持(17反对(6回复
  1. 2
    乘风归来兮   说道:
    我为twitter贡献了0.0000...1%信息
    支持(10反对(5回复
  1. 3
    裸奔的鱼   说道:
    我传上新文件还是不行呢,还在重复。看你在推上说要批量删除gae数据库里的id号。这个程序已经执行此操作了吗,如果没有该怎么清空呢。
    支持(11反对(7回复
  1. 4
    紧急求助   说道:
    今天我的所有电脑都不能登录WPS在线文档,其中三台是连电信宽带的,一台是连联通宽带的。上午已经登录的电脑被发现不能打开在线文件,下午才想登录的电脑输入用户名和密码之后就一直在不停的与服务器进行连接始终无法登录了。超级无敌郁闷呀,由于对谷歌的超级崇拜和信任,所以一直都在使用WPS在线文档,并且大部分重要的文档都是存放在WPS在线文档上。这一下就让我全线停机了。。。
    支持(13反对(9回复
  1. 5
    螃蟹有所谋   说道:
    Error: Server Error
    The server encountered an error and could not complete your request.

    If the problem persists, please report your problem and mention this error message and the query that caused it.

    显示上面的,今天的一直无法同步!请楼主解决一下,谢谢!
    支持(11反对(7回复
  1. 6
    napbonking   说道:
    新浪貌似又封了gae的ip。。然后follow5的貌似同步不过去。。一定要申请api?。。
    williamlong 于 2010-3-8 17:34:06 回复
    的确又封了。没办法啊。
    支持(10反对(6回复
  1. 7
    elapsezyh   说道:
    如果同时开了许多支同步,其中有一个不能用就会影响其他,我把我用的几个分别在GAE里建独立的app试了一下,貌似网易和ping.fm是可用的,sina、digu不可用
    另外hellotxt也不可用,我在hellotxt里面申请了一个app,得到了user_key和API_key,但下面显示了一行This application is not enabled.不知如何解决。。。
    支持(10反对(6回复
  1. 8
    老实人博客   说道:
    新浪有这个东东?去看看。
    支持(8反对(4回复
  1. 9
    kk   说道:
    请问如果想同步官方RT该怎么改?
    支持(9反对(5回复
  1. 10
    lobskiin   说道:
    同 同上
    支持(9反对(6回复

发表留言