This commit is contained in:
2026-04-09 11:28:43 +08:00
parent 3d46c697a0
commit ce2a91d9f5
3 changed files with 200 additions and 25 deletions
+3 -2
View File
@@ -52,7 +52,7 @@ func initConfig() error {
index:
max_urls_per_key: 11000 # 每个索引词最多保存的 URL 数量上限
max_same_domain_per_key: 20 # 同一域名在每个索引词下最多出现的次数
big_clean_threshold: 10000000 # 内存中累计多少条索引后触发一次刷盘清理
big_clean_threshold: 2000000 # 内存中累计多少条索引后触发一次刷盘清理
max_new_urls_per_key: 10000 # 每次刷盘时,每个索引词最多写入的新 URL 数量上限
min_urls_for_new_key: 3 # 新索引词如果 URL 数少于该值则丢弃,不写入磁盘
@@ -76,7 +76,7 @@ search:
consecutive_key_weight: 1.3 # 连续关键词命中权重:多词连续出现时加分
backlink_weight: 1.0 # 反向链接权重:指向该 URL 的链接越多得分越高
server_port: 80 # 搜索服务和收获服务的统一 HTTP 监听端口
flush_interval_seconds: 60 # 定期刷盘间隔(秒):将内存索引批量写入磁盘
flush_interval_seconds: 30 # 定期刷盘间隔(秒):将内存索引批量写入磁盘
# 反向链接(PageRank 类)计算相关配置
backlink:
@@ -140,6 +140,7 @@ func main() {
log.Fatalf("failed to open storage: %v", err)
}
defer db.Close()
db.StartWriteFlusher() // 启动异步写缓冲后台刷盘
// ---- 2. Info 服务:加载繁荣表、调整表和屏蔽词 ----
infoSvc := info.New(*storageDir)