dsh/mailgo
1
0 Fork 0
forked from kevin/mailgo
Code Pull Requests Activity
54 Commits 15 Branches 0 Tags
fix/auth-reset-and-date-sort
Commit Graph
15 Commits
Author SHA1 Message Date
dsh aa0437fb4f perf(imap): STORE 批量持久化 + 推送序号复用已加载列表，消除逐条写库与全量扫描 
原实现每封匹配消息单独 UPDATE + GetByID + seqOf 全量扫描（含大
附件 raw_data），手机整批标记已读（60+ 封）时产生 60 次写 +
180 次全量读，连接被长时间占住，其他连接响应被推送洪泛阻塞。

优化：收集目标状态后合并为单条 UPDATE ... IN 批量写；推送更新
直接用已加载列表的序号与目标状态（buildFlagsUpdateAt），不再
重复查库。实测 19 封批量 STORE 服务器耗时 372µs。
 2026-08-19 11:13:42 -04:00
dsh d9bb3cbf3f fix(store): 邮件日期统一 UTC 存储，修复混合时区偏移导致 Web/IMAP 排序错乱 
根因：date 列在 SQLite 中是文本，历史数据混存 +08:00/-04:00/+00:00
等时区偏移，ORDER BY date DESC 变成字符串字典序而非时间序：
- Web 列表最新邮件排不到最前（如 22:21+08 的邮件排在 20:03+08 后面）
- IMAP 序号与客户端按日期排序的视图不一致

修复：
- mailStore.Create 统一 msg.Date = msg.Date.UTC()（所有写入路径
  共用：SMTP/IMAP APPEND/Web/外发回执），新数据字典序即时间序
- 生产数据一次性迁移为 UTC 格式（130 条，Python 全量解析转换）
- 验证：kevin INBOX 排序 172→170→166→164…（严格最新在前）
 2026-08-19 10:35:50 -04:00
dsh f48776e89b fix(auth): 协议登录（IMAP/SMTP/POP3）成功时清零失败计数 + 支持裸用户名 
问题：ResetFail 只在 Web 登录调用，协议层失败计数只增不减。
合法用户的客户端（手机 APP 用裸用户名重试、配置向导探测、输错
密码等）失败次数持续累积，每达到阈值就触发一次封禁档位，从第 4
次触发起真实封禁 30 分钟+——用户被反复误封，手机端表现为一直
卡在"正在接收邮件"。

修复：
- IMAP/SMTP/POP3 认证成功路径调用 Bans.ResetFail（与 Web 一致）
- 新增 UserStore.AuthenticateLogin：支持裸用户名（如 "kevin"），
  唯一归属时自动解析到其域名；跨域名同名歧义时要求完整邮箱
- 新增 TestAuthenticateLoginBareUsername 单元测试
 2026-08-19 10:12:28 -04:00
dsh 7ede29a18a fix(imap): UIDVALIDITY 改为持久化随机值，修复数据库重建后客户端缓存永不失效 
根因：Status() 硬编码 UidValidity=1。数据库重建后消息 ID 空间
完全变化（uid 2-166 对应完全不同的邮件），但 UIDVALIDITY 不变，
Thunderbird 认为本地缓存（旧 uid 1-166）仍然有效，只下载"新增"
（uid 167:*）与"缺失"（2,4,8,9）的少数邮件——列表只剩 1-3 封，
每次刷新数量随机。

修复（RFC 3501 UIDVALIDITY 语义）：新增 mailbox_states 表，
每（用户,文件夹）首次访问随机生成并持久化 UIDVALIDITY；数据库
重建后新值触发客户端丢弃缓存全量重同步。0 值修正，不同用户/
文件夹互相独立。

新增 TestMailboxStateUidValidity 单元测试。
 2026-08-19 09:36:55 -04:00
kevin 07ba01a6f6 fix(imap): 修复 Thunderbird 未读状态丢失（SQLite 并发写 + 客户端 seq 错位） 
A. SQLite 并发写失败被吞（高概率根因）：
- DSN 追加 _busy_timeout=5000&_journal_mode=WAL&_synchronous=NORMAL，
  WAL 下读不阻塞写，消除瞬时 SQLITE_BUSY
- UpdateMessagesFlags 不再吞 MarkReadState/MarkFlagged 错误：
  出错记日志并返回 error（客户端收到 NO 会重试）
- Web MarkRead/Delete 同款静默丢错补日志

B. 客户端 seq 视图错位（集成测试复现后修复）：
- 真实服务器+脚本客户端测试复现：客户端按日期倒序自编号发
  seq 式 STORE 时，旧排序（id ASC）把最旧邮件标为已读
- 规范排序改为 date DESC, id DESC（最新在前），与主流客户端
  默认视图一致；buildNewMessageUpdate 改用 seqOf 取真实序号
- 新增 UID STORE / 服务器下发 seq STORE / 自编号 seq STORE 集成测试

注：go-imap v1.2.1 存在库内 *conn.silent() 数据竞争（启用推送后
必然触发），集成测试以 //go:build !race 排除，-race 下由单元测试
覆盖推送逻辑
 2026-08-19 20:30:06 +08:00
kevin b158b8f1f5 feat(outbound): 外发投递多线程化（worker 池 + 每域并发上限） 
- 1 个 dispatcher + N 个 worker 池（默认 4）并行投递，启动时立即
  扫描清空积压；workers=0/1 退化为串行（旧行为）
- 每收件域并发信号量（默认 2，配置 max_concurrent_per_domain），
  防对单个 MX 域并发过多被判定滥发；中继模式统一按 relay 限制
- store 新增 Claim 原子抢占（sending 状态防重复投递），并发下
  每封邮件恰好投递一次
- 新增配置 workers/batch_size（替代硬编码 50）；dispatcher 改为
  抢占后投递、worker 只负责发送，退避重试/退信/状态机不变
- 新增测试：真并发、串行回退、每域上限、临时/永久失败、错误隔离、
  Claim 并发原子性与状态可抢占性；-race 无警告
 2026-08-19 19:23:27 +08:00
kevin f2493da03e feat(security): IP 阶段性封禁，前3次触发不封禁、第4次起按档位递增 
- 封禁规则：达到失败阈值记为一次触发，前 3 次只计数不封禁；
  第 4 次起封禁并按档位递增：30分钟（ban_duration_min）→ 3小时
  → 3个月 → 半年（上限）；封禁过期后保留记录作为升档依据，
  成功登录或管理员解封清零
- BanEntry 新增 BanCount（累计触发次数），每 IP 一条记录 upsert，
  不再重复建行；RecordAuthFailure 统一 Web/LDAP/SMTP/IMAP/POP3
  五处封禁逻辑，原因带档位（如"第1次封禁：登录失败次数过多
  （第4次触发，失败5次）"）
- 黑名单页修复：列表仅显示已封禁或曾封禁记录（原因/到期时间必填），
  新增封禁次数列与封禁中/已过期状态徽章，移除清理过期按钮
- 用户封禁页显示第 N 次封禁档位；新增档位升级与列表过滤单测
 2026-08-19 19:07:25 +08:00
kevin 353bfa88f2 feat: 新增 SMTP/IMAP/POP3 协议调用日志（含攻击分析筛选） 
- 每个连接记录一条日志：协议、端口、来源 IP、用户名、成功/失败、
  失败原因（密码错误/IP封禁/中继被拒/发件人伪造/未认证发信等）、
  操作摘要、消息数与会话时长
- 管理后台新增「协议日志」页：按协议/状态/IP/用户名/时间筛选，
  今日与历史成功/失败统计卡片，分页查看，可手动清理
- 后台每 6 小时自动清理超出 protocol_log_keep_days（默认30天）
  的日志；新增 [web] protocol_log_keep_days 配置项
- 修复 POP3 认证既有 bug：handleUSER 丢弃邮箱域名导致 PASS 永远失败
- 新增 store 单测、SMTP/POP3 端到端测试与模板渲染测试
 2026-08-19 18:49:29 +08:00
kevin 8ea4a623a9 fix(security): 修复 P3 低危项（开放重定向/配额TOCTOU/safeJS/会话治理） 
- Referer 开放重定向：safeRedirectPath 仅放行同站相对路径，
  外部 URL/协议跳转一律回退 /inbox
- 发信配额 TOCTOU：新增 TryReserveQuota 原子预扣
  （UPDATE ... WHERE used_bytes + n <= quota_bytes），超配额即拒发；
  附件保存失败按大小补偿回退
- 移除危险模板函数 safeHTML/safeJS：新增 jsonify（json.Marshal，
  < > & 转义为 \u003c 等，无法逃出 </script>），compose 页
  quill.innerHTML 改用 jsonify；srcdoc 改回默认属性转义
- 会话治理：登录成功后 session.Clear() 清旧状态；记录 loginAt，
  绝对过期 7 天 + 滑动续期（活跃会话 12h 写回刷新）
- 确认 #15 Content-Disposition 编码随 P1 #4 已完成
- 新增 12 个测试：重定向路径矩阵、配额原子性（含超额不部分扣费）、
  jsonify 逃逸防护、会话绝对过期/有效访问（签名会话构造）

至此 16 项安全审计项（P0-P3）全部修复完成。
 2026-08-19 16:56:23 +08:00
kevin 3f28ec20f4 fix(security): 修复 P2 中危项（cookie/协议限速/路径遍历/默认口令/中继TLS/安全头/信息泄露） 
- 会话 cookie 增加 Secure 标志；新增 [web].cookie_secure 配置
  （默认 true，仅本地 HTTP 调试关闭；缺失字段按安全默认处理）
- SMTP/IMAP/POP3 认证接入封禁体系（store.RecordAuthFailure 与 Web
  共用 ban_entries）：失败计数达 ban.max_fail_attempts 即封禁 IP，
  已封禁 IP 拒绝认证，堵住协议层暴力破解
- 附件存储路径遍历防护重写：FullPath 白名单校验（UUID 文件名格式）
  + baseDir 前缀兜底，非法路径返回错误；Save 扩展名白名单化
- 初始管理员不再使用 admin/admin：密码取 MAILGO_ADMIN_PASSWORD 或
  随机生成并打印一次；新增 MustChangePassword 首登强制改密
  （管理员重置密码同样触发）
- 外发中继默认验证 TLS 证书（保护 AUTH 凭据，防 MITM），直投 MX
  保持机会式 TLS；新增 outbound.relay_tls_insecure 开关（默认 false）
- 新增安全响应头中间件：HSTS、X-Frame-Options DENY、nosniff、
  Referrer-Policy、基础 CSP（frame-ancestors 'none' 防点击劫持，
  connect-src/form-action 'self' 防数据外泄）
- LDAP/OAuth 登录错误统一为通用文案，原始错误只写日志，
  不再回显邮箱/内部细节（防用户枚举与信息泄露）
- 新增 25 个回归测试：cookie 标志、封禁阈值、路径遍历用例、
  中继 TLS 验证（自签证书 STARTTLS 集成）、安全头、OAuth 文案

部署注意：升级后所有会话失效需重新登录；若直接以 HTTP 提供
服务需显式配置 cookie_secure = false。
 2026-08-19 16:45:21 +08:00
dsh 5eb9bc2c71 feat: 实现对外邮件投递（外发队列 + MX 直投 + DKIM + 退信 + 管理后台） 
- 新增 internal/outbound 模块：MX 查询、SMTP 出站客户端（EHLO/STARTTLS/
  MAIL/RCPT/DATA/QUIT）、4xx 临时失败与 5xx 永久失败分类、8BITMIME 支持
- 新增 outbound_messages 队列表与 OutboundStore，后台 worker 指数退避重试
- 永久失败/超限退信到发件人收件箱，包含原因与目标收件人
- 外发邮件使用域名 DKIM 私钥签名（go-msgauth）
- SMTP 提交集成：认证用户可发外部收件人，MAIL FROM 必须等于登录用户邮箱，
  未认证外部投递明确拒绝（防开放中继）
- Web 发信集成：外部收件人自动入队，附件以 multipart/mixed + base64 编码
  加入邮件正文
- 每用户每分钟/每日发送限速（max_per_day=0 可禁用外部投递）
- 管理后台新增外发队列页面：状态统计、失败原因、手动重试/取消
- 新增 [outbound] 配置段并更新 README / todo.md
 2026-08-15 17:18:54 -04:00
kevin 59719586a1 修复部分功能 2026-06-02 20:33:08 +08:00
kevin bd56c4dc5f 完善tls配置 2026-06-02 18:47:28 +08:00
kevin 4e233c82b4 二阶段差不多 2026-06-01 19:46:51 +08:00
kevin 9e50d05e71 一阶段ok 2026-06-01 18:59:55 +08:00