在5年前做了一个很简单的新闻系统,主要实现添加栏目以及发表文章,在运用在一些项目上后觉得十分痛苦,终于有一天忍不住了开始了自动化的优化:
1:想到了很多网站有自动抓取,是通过服务器端分析目标网页的列表,标题和内容以及图片,并且把这些信息保留下来,于是写了一个基于正则表达式的抓取保存工具,抓取到的内容从一个隐藏的iframe提交到新闻系统中。
2:之前这个优化大大提高了新闻发表的速度,但是还是需要人工去手动点击以及编辑抓取,于是考虑是否将标题内容拿下来后批量抓取,然后就实现了自动提交文章到新闻系统中。
3:人工去选择哪些文章也不是太有必要了(完全抓取),现在就实现了一个自动抓取内容,自动填充表单,自动提交到新闻系统中。
4:未来,直接无需管理员登录,只需要有事件触发,系统可以直接自己完成抓取工作。
其实效率的提高也是因为人类太懒,有些人懒得改进,有些人懒得时常改进,我更希望当后者,呵呵。
没有评论:
发表评论