MD5 查询 和 网络小说爬虫
改造了一下WP,我把MD5查询功能全部做出来了,然后还开放免费帮大家爬网络小说。你可以到上面的导航条看到2个新的页面,阅读后使用功能就好了。
其中,PHP遇见了个问题:
问题就是全量查询时候,由于脚本执行过长,PHP报错:Maximum execution time of 30 seconds exceeded。
解决方法以下二选一:
1>在配置文件php.ini里将max_execution_time = 30 改为 =0(0代表无限制)
2> 脚本执行的程序开头加一句 set_time_limit(0)
我选择的是方法2,并没有采用全局设置。
然后就是改造后端的python的代码,我增加了免除用户验证的MD5查询,然后把MD5查询的方法换成了轻量和全量,这样根据需求进行查询。全量查询因为数据太多,确实需要花时间去等待。
MD5 查询功能在这里:查询页面
然后就是网络小说的爬虫,最近看的2本网络小说都是抖音上推荐,一个是最强王者,一个是捡漏。
我已经提供了下载,你可以在 网络小说 TXT 整合 中,找到下载地址。
对于爬取的代码,我已经放到了github上,随意写的,很简陋:
https://github.com/Garfield-Chen/BookSpider
如果我的功能帮到你了,欢迎随意给我打赏,请我喝杯咖啡即可:)
Categories: Garfield's Diary