30 Commits

Include renames

Author	SHA1	Message	Date
kevin	a9cb0b2481	修改成redis	2026-04-20 18:26:54 +08:00
kevin	e944a25e56	修复可能存在的cpu空转问题	2026-04-20 14:40:00 +08:00
kevin	ee96dd82d2	up	2026-04-16 21:56:42 +08:00
kevin	c79192e2ce	加线程delay	2026-04-13 23:02:10 +08:00
kevin	079a4c6291	优雅退出	2026-04-11 23:12:13 +08:00
kevin	0ad7c866d6	实时显示发现的url数量	2026-04-11 22:59:17 +08:00
kevin	5abe9271fe	优化手动增加的逻辑	2026-04-11 21:38:04 +08:00
kevin	e372ef2295	优化优先线程	2026-04-11 19:44:51 +08:00
kevin	1b88ca1efb	子链接不再被 isVisited 过滤	2026-04-10 20:49:49 +08:00
kevin	fd827cbde3	增加爬取状态api	2026-04-10 18:40:40 +08:00
kevin	e6c89c1c6a	优化刷盘轮询，修复优先队列数量错误	2026-04-10 15:28:47 +08:00
kevin	06b8116b79	手动添加的url返回的url不限制数量	2026-04-10 14:52:58 +08:00
kevin	71f74dd85a	优化优先连接逻辑	2026-04-10 14:28:04 +08:00
kevin	8e4cdaca47	up	2026-04-10 13:22:35 +08:00
kevin	5b8b256b35	优先爬取的队列立即执行	2026-04-10 13:14:12 +08:00
kevin	530e2ebd9d	fix 分词bug，添加重爬机制	2026-04-10 00:18:07 +08:00
kevin	7ab7db9b76	允许80、443以外的端口	2026-04-09 17:10:15 +08:00
kevin	3715b03fab	防御一些爬虫陷阱	2026-04-09 17:03:10 +08:00
kevin	2ab89b39db	加固sizeLimit 兜底	2026-04-09 16:51:46 +08:00
kevin	b59c0f6763	可修改线程	2026-04-09 13:16:12 +08:00
kevin	2e5876004b	动态修改线程数量	2026-04-09 12:52:33 +08:00
kevin	18b1c4df5e	up	2026-04-09 11:58:53 +08:00
kevin	439d0c1cb6	up	2026-04-09 00:14:55 +08:00
kevin	7abcca6836	up	2026-04-08 23:35:50 +08:00
kevin	7844495c98	无法正常退出，但也能用	2026-04-08 21:14:13 +08:00
kevin	8520b104eb	合并路由	2026-04-08 20:12:23 +08:00
kevin	6637dff254	增加搜索功能	2026-04-08 19:04:15 +08:00
kevin	1d3570a505	修复一个卡死问题	2026-04-08 18:44:51 +08:00
kevin	c154abf410	加上中文注释	2026-04-08 17:48:05 +08:00
kevin	6c2f5ad978	Signed-off-by: 吴文峰 <kevin@lmve.net>	2026-04-08 17:29:39 +08:00