主题:【原创】写个工具,抓大佬文章看看 -- 光头佬
共:💬13 🌺36
有阵子没上西河,最近发现葡萄发言较多,我前2年收集过一阵子葡萄的发言,就是把他每篇帖子copy/paste到word中。不过,这次有好几个月的内容,实在懒得一一复制。所以就想着来个一劳永逸,写个工具把大佬们的文字抓下来看吧。
爬虫我是不太熟,好在铁手大人的西河排版比较有规律,再加上有chatgpt帮手,所以用了三天碎片时间就比较顺利地就把代码写出来了。我已把代码开源到了 https://github.com/pisces76/cc-spider 上,同时作为测试把葡萄最近10年的文章也一并下载并放到了上面。只需简单修改下配置,就可以下载任意西河ID的全部文章。欢迎大家试用并提出宝贵意见。如果愿意在github上分享你下载的其它大佬的文集,那就更好了!
唯一不太确定的是,铁手大人是否接受河里被爬虫侵扰。如果老大不同意的话,那就删除此文吧!
通宝推:s0158,小泽珍珠,
本帖一共被 1 帖 引用 (帖内工具实现)
- 相关回复 上下关系8
🙂【原创】写个工具,抓大佬文章看看
🙂“更新下载葡萄文集的方法”的尝试及反馈 风雪 字150 2024-06-03 11:21:05
🙂好吧,还有下载问题的可以参考楼上兄弟的方法。 光头佬 字0 2024-06-05 11:09:22
🙂更新下载葡萄文集的方法 3 光头佬 字304 2024-06-03 06:01:17
🙂【原创】看图操作 4 光头佬 字249 2024-05-28 02:49:30
🙂花,求分享 s0158 字0 2024-05-28 00:48:00
🙂我在原文下面补了个下载和使用方法,你试试。 光头佬 字0 2024-05-28 21:16:08
🙂谢谢!下载的文档末尾是这样的 s0158 字86 2024-05-29 04:55:03