铁匠

做人要低调
随笔 - 133, 评论 - 255 , 引用 - 184

导航

公告

文章分类

存档

随笔分类

相册

BLOG

网站

论坛

终于完成了.net版的列车时刻抓取程序的编写

网页获取程序开始找真水无香要了一份,可是由于对方的页面要referer,而他用的那个对象找不到可以加referer的方法,只好放弃。开始自己写。查一下MSDN,发现了HttpWebRequest可以满足我的要求,于是一边参考着MSDN写了一段测试代码,通过!封装成了一个对象。
接下来要把列车的车次导入到数据库中,为下一步的获取作准备。对方网站上的车次刚好是一个下拉列表都列出来了,所以我就把这段HTML代码拷到EP里面,然后用JS写了一小段代码,把这些车次用|串成了一个串,为ASP的处理作准备。可是到了ASP就碰到问题了,连接SQL死活都连不上:((自从自己写了一个加密处理连接的组件后,这个连接一直没有作过),只好查一下资料,搞定连接后,发现存不了库,IIS又不给出错信息(上次装widebey失败后,我的IIS也就成这样的了),只好把这些车次输出成数组格式,粘贴到.Net IDE中,用.NET把它存到数据库里。接下来写其它的相对应的存储过程,和字串分解程序。
发现在ASP里面很容易的字串分割,在C#里面这么难的,特别是按一个字串分割的时候,字串的Split方法,只支持对字符数组作为分割符,而且是按里面的每个字符进行分割,狂FT中,这样分割有什么意义?只好想用正则来分解这些数据了,MSDN里面翻到正则的那部分的时候,突然眼前一亮,发现正则里面也有一个Split方法,写一段测试程序,通过:)可是从下午开始网就不好,时断时续的,一直连不上对方的网站来测试效果。只好在郁闷中,回去睡觉。
今天早上来,再把代码加工一下,就可以用了:)速度还不错,十几分钟,五百多次列车的数据就已经进入了数据库,写一段随笔庆贺一下:)

发表于 2004年4月24日 10:26

评论

# re: 终于完成了.net版的列车时刻抓取程序的编写

乱七八糟的随笔
跟流水帐有得一拼哦!

2004-4-28 14:38 | 我是宝宝!

# re: 终于完成了.net版的列车时刻抓取程序的编写

随笔就是自己乱写的东西呀
2004-4-29 15:32 | 铁匠

# re: 终于完成了.net版的列车时刻抓取程序的编写

您好,看了你的.net版的列车时刻抓取程序的思路,我也想作个这方面的东西,主要抓取指定网站Grid的内容,因为我是新手,不知你能不能共享一下,让我学习一下,谢谢,johlon_szb@21cn.net
2004-5-14 23:34 | johlon

# re: 终于完成了.net版的列车时刻抓取程序的编写

这个最主要的是要分析清网页里面的结构了,然后根据具体的结构,来写分解程序,这样才能事半功倍了。
2004-5-17 23:05 | 铁匠

# re: 终于完成了.net版的列车时刻抓取程序的编写

兄弟急需要列车查询的数据库,可以共享一下吗 ?或者合作,我需要找一个技术方面的专家
QQ:154302164 MSN:ONMAIL·163。COM
2006-4-12 16:48 | 周徐

# re: 终于完成了.net版的列车时刻抓取程序的编写

我也想做一个.可以给个思路吗?fj_shadow@yahoo.com
谢谢。
2008-10-7 17:44 | 你好.

Post Comment

主题  
姓名  
主页
校验码  
内容   
京ICP备 05050892号