无法正常退出，但也能用

analyzer/analyzer.go

@@ -7,7 +7,6 @@ package analyzer
 
 import (
 	"encoding/json" // JSON 反序列化（加载屏蔽词列表）
-	"log"          // 日志（gojieba panic 恢复时输出）
 	"math"          // 数学运算（最小值、开方）
 	"os"            // 文件系统操作（读取屏蔽词文件）
 	"strings"       // 字符串操作
@@ -87,35 +86,32 @@ func loadStopWords(path string) map[string]bool {
 // searchMode=true：搜索模式分词（更细粒度，适合搜索查询）；
 // searchMode=false：精确模式分词（适合页面内容分析）。
 // 策略：纯 ASCII 字母数字按空格切分；含中文/其他字符的片段交给结巴处理。
-func (a *Analyzer) Tokenize(s string, searchMode bool) (result []string) {
+func (a *Analyzer) Tokenize(s string, searchMode bool) []string {
 	// 超长文本截断（jieba 对极长文本处理效率下降）
 	if len(s) > 10000 {
 		s = s[:10000]
 	}
 	// 清洗非 UTF-8 字节，防止 gojieba 的 C++ 层报 "decode failed" 错误
 	s = strings.ToValidUTF8(s, "")
+	var result []string
 	for _, part := range strings.Fields(s) {
 		if isASCIIAlnum(part) {
 			// 纯 ASCII 片段直接保留，不走 jieba
 			result = append(result, part)
 		} else {
 			// 非 ASCII（含中文/日文等）：加锁后调用 jieba 分词
-			// defer recover 防止 gojieba C++ 崩溃（如 Ctrl+C 时 SIGSEGV）导致锁泄漏
 			a.mu.Lock()
-			defer func() {
-				if r := recover(); r != nil {
-					log.Printf("[analyzer] gojieba panic recovered: %v", r)
+			var tokens []string
+			if searchMode {
+				tokens = a.jieba.CutForSearch(part, true)
+			} else {
+				tokens = a.jieba.Cut(part, true)
 			}
 			a.mu.Unlock()
-			}()
-			if searchMode {
-				result = append(result, a.jieba.CutForSearch(part, true)...)
-			} else {
-				result = append(result, a.jieba.Cut(part, true)...)
+			result = append(result, tokens...)
 		}
 	}
-	}
-	return
+	return result
 }
 
 // Normalize 标准化字符串：去除非字母数字非 CJK 字符，并转为小写。

crawler/crawler.go

@@ -162,14 +162,42 @@ func (c *Crawler) Run(entryURL string, maxEpoch int) {
 }
 
 // visitURL 抓取一个 URL，提取关键词、缓存摘要、更新网站元信息，返回页面中发现的子链接。
-func (c *Crawler) visitURL(rawURL string) []string {
+func (c *Crawler) visitURL(rawURL string) (hrefs []string) {
+	// recover 保护：防止任何模块（analyzer/storage/parser）的 panic 杀死 goroutine
+	defer func() {
+		if r := recover(); r != nil {
+			log.Printf("[crawler] visitURL panic recovered: url=%s error=%v", rawURL, r)
+		}
+	}()
 	atomic.AddInt64(&c.stats.VisitedURLs, 1) // 计数器 +1
 
-	// 礼貌模式抓取（遵守 robots.txt + 限流），超时 10 秒，不限制大小
-	res, err := c.fetcher.fetchWithHistory(rawURL, true, 10*time.Second, 0)
-	if err != nil || res == nil {
+	// 使用 sync.WaitGroup + select 实现硬超时包装器，
+	// 确保即使 http.Client.Timout 被某些底层操作忽略，goroutine 也不会永久阻塞。
+	fetchTimeout := 30 * time.Second
+	var res *FetchResult
+	var fetchErr error
+	var wg sync.WaitGroup
+	wg.Add(1)
+	go func() {
+		defer wg.Done()
+		// 礼貌模式抓取（遵守 robots.txt + 限流），不限制大小
+		res, fetchErr = c.fetcher.fetchWithHistory(rawURL, true, fetchTimeout, 0)
+	}()
+	waitCh := make(chan struct{})
+	go func() {
+		wg.Wait()
+		close(waitCh)
+	}()
+	select {
+	case <-waitCh:
+		// fetch 正常返回（成功或错误）
+	case <-time.After(fetchTimeout + 5*time.Second):
+		log.Printf("[crawler] fetch timeout: %s", rawURL)
+	}
+
+	if fetchErr != nil || res == nil {
 		c.updateSiteFailure(rawURL) // 记录失败，更新该网站成功率
-		return nil
+		return
 	}
 
 	atomic.AddInt64(&c.stats.SuccessURLs, 1) // 成功计数器 +1
@@ -334,7 +362,6 @@ func (c *Crawler) sendToHarvester(finalURL string, kws []analyzer.Keyword) {
 		// 冷却结束，切换到半开，放行一个试探请求
 		atomic.StoreInt32(&c.circuitState, circuitHalfOpen)
 		atomic.StoreInt64(&c.circuitExpiry, now+int64(circuitCooldownSeconds))
-		log.Println("[crawler] circuit: half-open, probing harvester")
 	case circuitHalfOpen:
 		if now < expiry {
 			return // 半开冷却中，只放行第一个，其余跳过