合并路由

crawler/crawler.go

@@ -5,11 +5,12 @@ package crawler
 import (
 	"bytes"          // 字节缓冲（构造 HTTP POST 请求体）
 	"context"        // context 超时控制
-	"encoding/json"  // JSON 序列化（发送关键词数据到 harvester）
+	"encoding/json"  // JSON 序列化（发送关键词数据到收获服务）
+	"fmt"            // 格式化（构造目标地址）
 	"log"            // 日志输出
 	"math"           // 数学运算（指数衰减、质量评分）
 	"math/rand"      // 随机数（加权采样、队列打乱）
-	"net/http"       // HTTP 客户端（POST 数据到 harvester）
+	"net/http"       // HTTP 客户端（POST 数据到收获服务）
 	"net/url"        // URL 解析
 	"strings"        // 字符串操作
 	"sync"           // 互斥锁（保护并发收集结果）
@@ -316,8 +317,8 @@ func (c *Crawler) updateSiteSuccess(host string, res *FetchResult, title, desc,
 	_ = c.db.SetSiteInfo(host, info)
 }
 
-// sendToHarvester 将关键词索引数据通过 HTTP POST 发送到收获服务器（:5000/l 端点）。
-// 熔断器基于 atomic 实现（无 mutex，不在持有锁时做慢 I/O），确保 goroutine 不会因 harvester 故障而堆积。
+// sendToHarvester 将关键词索引数据通过 HTTP POST 发送到搜索服务器（/l 端点）。
+// 熔断器基于 atomic 实现（无 mutex，不在持有锁时做慢 I/O），确保 goroutine 不会因收获服务故障而堆积。
 func (c *Crawler) sendToHarvester(finalURL string, kws []analyzer.Keyword) {
 	now := time.Now().Unix()
 
@@ -355,7 +356,7 @@ func (c *Crawler) sendToHarvester(finalURL string, kws []analyzer.Keyword) {
 
 	ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
 	defer cancel()
-	req, err := http.NewRequestWithContext(ctx, "POST", config.HarvesterAddr+"/l", bytes.NewReader(data))
+	req, err := http.NewRequestWithContext(ctx, "POST", fmt.Sprintf("http://localhost:%d/l", config.SearchServerPort), bytes.NewReader(data))
 	if err != nil {
 		return
 	}
@@ -370,7 +371,7 @@ func (c *Crawler) sendToHarvester(finalURL string, kws []analyzer.Keyword) {
 		if failures >= circuitFailureThreshold {
 			atomic.StoreInt32(&c.circuitState, circuitOpen)
 			atomic.StoreInt64(&c.circuitExpiry, now+int64(circuitCooldownSeconds))
-			log.Printf("[crawler] circuit OPEN: harvester unreachable (%d failures), cooling for %ds",
+			log.Printf("[crawler] circuit OPEN: harvest endpoint unreachable (%d failures), cooling for %ds",
 				failures, circuitCooldownSeconds)
 		}
 		return