hmilyld 发布的文章

今天找了一个资源,直接保存在了百度云里面,然后下载时被限速的那叫惨不忍睹啊,你说你按照速度对半限制我都不会说啥,妈蛋平常4,5M的下载速度,从百度云下只有20多k?你TM在逗我?

无奈去绿盟找了个百度云的xx版 ,打开以后死活登录不进去,提示错误码155010,搜索了下发现是好像屏蔽低版本的客户端登录了,需要用社交账号才能登录,好吧,用QQ登录吧,从这时开始,我就陷入了一个扯淡的死循环中了。

- 阅读剩余部分 -

前两天看到国内一个电影评论,大概意思是说近些年的烂片的一些规律,比如主演,导演,年份等等,闲来不是很忙,就写了段代码,按照年份把豆瓣的电影信息全部抓取下来,然后回头自己统计看看。

思路

爬虫程序写过好多,包括模拟提交,模拟登录抓取数据等等,所以核心代码就决定用Java的HttpClient来实现,本来想用C#来的,但是想着上次用WebClient的坑到现在都没好好填上,还是算了,用java吧。

整体思路很简单,爬了列表后,组合列表Url,然后爬所有电影的ID,最后用豆瓣的api接口来获取每部电影的详细信息。

- 阅读剩余部分 -

记得以前每年都有写年终总结的习惯,到了近两年,也懒了,前年,去年,好像都没有写,其实写了自己也没回过头来看过,所以,暂且就是留个记录,等到什么时候回过头来看看,还能想起某年自己做过了什么。

转眼从公司出来都2年了吧,14年从格蒂离职后,入职恩湃,而后因为和某些人理念,处事方式方法合不来,选择离开,15年初离职,不对,这样算来,应该从某个意义上来说,离职都算3年了,一路跌跌撞撞也还算挺过来了,怎么说呢,至少目前还没倒下吧。

今年应该是在这些年里面成长最快的一年吧,年初和合伙人把公司弄好,一路从注册公司,税务办理,到后期和税局,银行打的各种交道,也算是多少了解了一些东西,回过头来看,一些事情真的不是挂到嘴边去说的,事情不到了跟前,永远都是想当然,一路也没想过会有那么多的问题,好在折腾下来也都处理掉了,虽然不知道回头会再有什么幺蛾子,但至少往前走着,不就比原地不动好么。

- 阅读剩余部分 -

2015年初的时候,万网弄了个免费的虚拟主机,正好当时博客放到vultr 速度不是很理想,就去申请了个,两年的免费使用,不过需要备案,想着正好把博客放回来,就去备吧,折腾折腾,大概有1个来月吧,数据也都转回来了,这一放就是2年,结果昨天收了个邮件,万网发的,说试用期快到了,到公司就登录上去看了下,结果,没有发现续费的地方,- -~,就赶忙把数据下载回来,然后就开始重新给博客找家了。

开始想放到主机壳 ,也不用备案,速度也挺快,就在这时,强迫症发作了,把程序下回来以后,在本地nginx上跑了下,结果发现typecho 在新版本的时候,默认编辑器换成了markdown,以前很多文章都是用html直接写的,所以就造成了有一部分文章看起来很乱,再加上中间从boblog->sablog->wordpress->typecho来回折腾了好几次,所以很早的文章乱七八糟的,格式惨不忍睹,有一些附件和图片都失效了,手工弄了几十篇以后,彻底放弃,所有数据放到本地,重新弄一个算了。

所以这就是这篇文章会出现的原因,下了决心放弃之前的所有数据(虽然也没什么有技术含量或者有用的东西),重新弄一个算了,网上搜了下,放到github 倒挺不错,同步下就OK了,随即折腾了下,本地也有git,省事了,也不用想着托管,数据转移什么的,什么时候想起来了,写一篇放着就行了,方便。

如果你是从搜索引擎过来的,发现404了,那么很抱歉,我也木有办法,因为我实在不想看到原先那乱七八糟的东西了,只能说,哥们,在搜搜吧。

话说,两年时间,真的挺快啊。

国庆去电信领了个网络机顶盒,把客厅的天猫魔盒置换了下来(话说千万不要买天猫魔盒,千万不要,N多莫名其妙的问题,主题不在这,不多叙述,反正不要买就对了,傲娇脸.jpg),换上了电信的网络机顶盒后,有如下感受:

  • 看直播真快啊,家里是电信100M光纤,换台秒换,不会出现网络直播软件的那种卡顿情况
  • 貌似不占日常的网络带宽?反正开着机顶盒,上网也没觉得慢多少
  • 电影,电视,综艺的片源真少啊,操作也麻烦
  • 不能装第三方应用,外置插USB也不行,系统不认

综上,如果只是当成看电视直播的话,很不错,毕竟是免费送的么,好用也省事,不过如果当成机顶盒,平常看看电影啥的,就很不爽了,找个综艺节目都不好找,又不能装三方应用,所以郁闷之下,捣鼓破解了下,搞定。

思路很简单,机顶盒中有个内置的应用市场,虽然应用很少,但是还是有的,我们通过下载内置应用市场中的应用,劫持应用apk的连接,然后转发到自己指定的apk连接上,一切OK,操作如下:

只需要电脑一台即可(我的是Linux,所以不知道windows下有没可替代的软件,如果想省事的话,弄个虚拟机,装个Ubuntu或者Mint就行了,本机系统是Linux Mint),需要软件Ettercap,Wireshark。

第一步:Arp欺骗,劫持机顶盒流量

1.打开Ettrcap
2.Sniff->Unified Sniffing->选择和机顶盒在同一网络的网卡
3.Hosts->Hosts List
4.Hosts->Scan for hosts
5.在随后列出的IP地址中,找到盒子的IP地址,右键,Add to Target 1,找到路由的IP地址,右键,Add to Target 2
6.Mitm->ARP Poisoning->选中Sniff remote connections,确定
7.Start->Start sniffing

第二步:获取机顶盒内置应用市场所下载的APK的连接地址

1.管理员权限打开Wireshark
2.双击网卡,开始监听网络流量
3.在电视上随便选中一个apk,开始下载,下载完成后,停止网络流量监听
4.在Wireshark监听到的流量中,搜索apk,找到apk的下载连接

第三步:电脑中安装nginx或者apache或者其他任意web服务器,转发apk请求到本机

1.安装web应用服务器
2.按照第二步中捕获的apk连接,建立相同的访问路径
3.下载个电视TV助手或者市场之类的东西,例如当贝市场,替换监听的apk

第四步:转发ip请求

iptables -t nat -A PREROUTING -p tcp -d 机顶盒访问的IP地址/32 --dport 机顶盒访问的端口号 -j REDIRECT --to-ports 80

第五步:回到电视中,重新下载刚刚下载的应用

第六步:搞定

看着整个过程很麻烦,其实道理很简单,就是从中间捕获一个连接,然后想办法替换这个连接就可以了,有兴趣的童鞋可以自己捣鼓捣鼓。好运!