dsh/mailgo
1
0 Fork 0
forked from kevin/mailgo
Code Pull Requests Activity
49 Commits 15 Branches 0 Tags
6d5a7a8ed4c849e7255c3b38b28cf1489d0a9db5
Commit Graph
34 Commits
Author SHA1 Message Date
dsh 6d5a7a8ed4 fix(imap): mailbox_states 表加入 AutoMigrate（此前漏迁移导致 UIDVALIDITY 回退 1） 2026-08-19 09:45:39 -04:00
dsh 7ede29a18a fix(imap): UIDVALIDITY 改为持久化随机值，修复数据库重建后客户端缓存永不失效 
根因：Status() 硬编码 UidValidity=1。数据库重建后消息 ID 空间
完全变化（uid 2-166 对应完全不同的邮件），但 UIDVALIDITY 不变，
Thunderbird 认为本地缓存（旧 uid 1-166）仍然有效，只下载"新增"
（uid 167:*）与"缺失"（2,4,8,9）的少数邮件——列表只剩 1-3 封，
每次刷新数量随机。

修复（RFC 3501 UIDVALIDITY 语义）：新增 mailbox_states 表，
每（用户,文件夹）首次访问随机生成并持久化 UIDVALIDITY；数据库
重建后新值触发客户端丢弃缓存全量重同步。0 值修正，不同用户/
文件夹互相独立。

新增 TestMailboxStateUidValidity 单元测试。
 2026-08-19 09:36:55 -04:00
dsh 3a4636c2c5 fix(imap): FETCH BODY/BODYSTRUCTURE 解析失败时服务器 panic 导致客户端只能取到部分邮件 
根因：backendutil.FetchBodyStructure 对部分消息返回 nil（典型场景：
- message/rfc822 附件为 base64 编码时库内不解码，把编码文本当嵌套
  消息头解析报错（转发邮件场景，如 .mail-monitor/forward.py 转发）
- multipart 缺少结束边界（截断）时 extended 解析报错）

buildIMAPMessage 未处理 nil，go-imap 格式化 FETCH 响应时在 send()
协程 nil 指针解引用 panic，连接中断——Thunderbird 只取到崩溃前已
发送的几封邮件，手机客户端一直卡在"正在获取邮件"。

修复：
- BodyStructure 解析失败时降级为 text/plain 单段结构，杜绝 nil
- FetchBodySection 返回 nil 时跳过该 section，不再写入 nil literal
- 新增集成测试 TestFetchBodyMalformedMIME 覆盖两类畸形 MIME
 2026-08-19 08:52:39 -04:00
kevin 07ba01a6f6 fix(imap): 修复 Thunderbird 未读状态丢失（SQLite 并发写 + 客户端 seq 错位） 
A. SQLite 并发写失败被吞（高概率根因）：
- DSN 追加 _busy_timeout=5000&_journal_mode=WAL&_synchronous=NORMAL，
  WAL 下读不阻塞写，消除瞬时 SQLITE_BUSY
- UpdateMessagesFlags 不再吞 MarkReadState/MarkFlagged 错误：
  出错记日志并返回 error（客户端收到 NO 会重试）
- Web MarkRead/Delete 同款静默丢错补日志

B. 客户端 seq 视图错位（集成测试复现后修复）：
- 真实服务器+脚本客户端测试复现：客户端按日期倒序自编号发
  seq 式 STORE 时，旧排序（id ASC）把最旧邮件标为已读
- 规范排序改为 date DESC, id DESC（最新在前），与主流客户端
  默认视图一致；buildNewMessageUpdate 改用 seqOf 取真实序号
- 新增 UID STORE / 服务器下发 seq STORE / 自编号 seq STORE 集成测试

注：go-imap v1.2.1 存在库内 *conn.silent() 数据竞争（启用推送后
必然触发），集成测试以 //go:build !race 排除，-race 下由单元测试
覆盖推送逻辑
 2026-08-19 20:30:06 +08:00
kevin 278c16c36a fix(imap): 修复多监听器广播更新导致 close of closed channel panic 
broadcastUpdate 此前把同一个 backend.Update 对象推送到明文/TLS 两个
监听器的推送通道，两个 go-imap listenUpdates goroutine 各自对
update.Done() 执行 close，二次关闭同一 channel 触发 panic
（server.go:373 close of closed channel）。

修复：按监听器克隆 Update 对象（载荷共享、Done channel 独立），
新增回归测试：两个监听器收到的更新 Done channel 必须不同，且各自
close 不 panic；全量 -race 通过
 2026-08-19 19:58:18 +08:00
kevin 6a9dcd0285 feat(imap): 多客户端状态实时同步 + 当前连接「断开并封禁」 
- 推送扩展：IMAP STORE（已读/星标/\Deleted）推送 FETCH 标志更新、
  EXPUNGE 推送 ExpungeUpdate（删除前序号）、APPEND/COPY/MOVE 推送
  新邮件；POP3 QUIT 删除、Web 标已读/删除同样实时同步到 IMAP 客户端
- Pusher 接口统一 SMTP/POP3/Web 的推送入口，IMAP 内部操作经会话
  通道直接入队（非阻塞，满则丢弃）
- 当前连接页新增「断开并封禁」：connhub 支持断开回调，SMTP/POP3
  关底层连接、IMAP 经 ForEachConn 按地址断开；一键封禁 180 天并
  断开该 IP 全部在线连接，黑名单页可随时解封
- 修复：POP3 PASS 成功后保留完整邮箱（此前被裸用户名覆盖）
- 新增测试：断开/按 IP 断开、flags/expunge 推送内容、POP3 删除推送、
  Web 断开封禁处理器；全量 -race 通过
 2026-08-19 19:56:04 +08:00
kevin ede85e0698 feat(imap): 新邮件实时推送（IDLE）+ 后台当前连接监控 
- IMAP 推送：imapBackend 实现 backend.BackendUpdater，SMTP 本地投递
  与 Web 写信投递成功后 NotifyNewMessage，挂起 IDLE 的客户端即时收到
  新邮件 FETCH 通知（按用户名+INBOX 过滤广播，通道满非阻塞丢弃）
- 当前连接：新增 internal/connhub 连接注册中心，SMTP/IMAP/POP3 三协议
  注册/注销/用户名/TLS/活跃时间追踪；后台新增「当前连接」页
  （/admin/connections，统计卡片+连接表格，每 5 秒自动刷新）
- 新增测试：connhub 并发安全、推送内容/非阻塞/nil 安全、
  后台页面渲染；全量 -race 通过
 2026-08-19 19:40:05 +08:00
kevin b158b8f1f5 feat(outbound): 外发投递多线程化（worker 池 + 每域并发上限） 
- 1 个 dispatcher + N 个 worker 池（默认 4）并行投递，启动时立即
  扫描清空积压；workers=0/1 退化为串行（旧行为）
- 每收件域并发信号量（默认 2，配置 max_concurrent_per_domain），
  防对单个 MX 域并发过多被判定滥发；中继模式统一按 relay 限制
- store 新增 Claim 原子抢占（sending 状态防重复投递），并发下
  每封邮件恰好投递一次
- 新增配置 workers/batch_size（替代硬编码 50）；dispatcher 改为
  抢占后投递、worker 只负责发送，退避重试/退信/状态机不变
- 新增测试：真并发、串行回退、每域上限、临时/永久失败、错误隔离、
  Claim 并发原子性与状态可抢占性；-race 无警告
 2026-08-19 19:23:27 +08:00
kevin 6d73171207 fix(web): 管理后台内容被固定顶栏遮挡 
.container 缺少顶部内边距，固定定位的 topbar（56px）盖住后台页面
标题/统计卡片/表格表头；为用户页面同等的 --topbar-h 下移空间，
移动端断点同步修正（50px）
 2026-08-19 19:11:32 +08:00
kevin f2493da03e feat(security): IP 阶段性封禁，前3次触发不封禁、第4次起按档位递增 
- 封禁规则：达到失败阈值记为一次触发，前 3 次只计数不封禁；
  第 4 次起封禁并按档位递增：30分钟（ban_duration_min）→ 3小时
  → 3个月 → 半年（上限）；封禁过期后保留记录作为升档依据，
  成功登录或管理员解封清零
- BanEntry 新增 BanCount（累计触发次数），每 IP 一条记录 upsert，
  不再重复建行；RecordAuthFailure 统一 Web/LDAP/SMTP/IMAP/POP3
  五处封禁逻辑，原因带档位（如"第1次封禁：登录失败次数过多
  （第4次触发，失败5次）"）
- 黑名单页修复：列表仅显示已封禁或曾封禁记录（原因/到期时间必填），
  新增封禁次数列与封禁中/已过期状态徽章，移除清理过期按钮
- 用户封禁页显示第 N 次封禁档位；新增档位升级与列表过滤单测
 2026-08-19 19:07:25 +08:00
kevin 353bfa88f2 feat: 新增 SMTP/IMAP/POP3 协议调用日志（含攻击分析筛选） 
- 每个连接记录一条日志：协议、端口、来源 IP、用户名、成功/失败、
  失败原因（密码错误/IP封禁/中继被拒/发件人伪造/未认证发信等）、
  操作摘要、消息数与会话时长
- 管理后台新增「协议日志」页：按协议/状态/IP/用户名/时间筛选，
  今日与历史成功/失败统计卡片，分页查看，可手动清理
- 后台每 6 小时自动清理超出 protocol_log_keep_days（默认30天）
  的日志；新增 [web] protocol_log_keep_days 配置项
- 修复 POP3 认证既有 bug：handleUSER 丢弃邮箱域名导致 PASS 永远失败
- 新增 store 单测、SMTP/POP3 端到端测试与模板渲染测试
 2026-08-19 18:49:29 +08:00
kevin 8ea4a623a9 fix(security): 修复 P3 低危项（开放重定向/配额TOCTOU/safeJS/会话治理） 
- Referer 开放重定向：safeRedirectPath 仅放行同站相对路径，
  外部 URL/协议跳转一律回退 /inbox
- 发信配额 TOCTOU：新增 TryReserveQuota 原子预扣
  （UPDATE ... WHERE used_bytes + n <= quota_bytes），超配额即拒发；
  附件保存失败按大小补偿回退
- 移除危险模板函数 safeHTML/safeJS：新增 jsonify（json.Marshal，
  < > & 转义为 \u003c 等，无法逃出 </script>），compose 页
  quill.innerHTML 改用 jsonify；srcdoc 改回默认属性转义
- 会话治理：登录成功后 session.Clear() 清旧状态；记录 loginAt，
  绝对过期 7 天 + 滑动续期（活跃会话 12h 写回刷新）
- 确认 #15 Content-Disposition 编码随 P1 #4 已完成
- 新增 12 个测试：重定向路径矩阵、配额原子性（含超额不部分扣费）、
  jsonify 逃逸防护、会话绝对过期/有效访问（签名会话构造）

至此 16 项安全审计项（P0-P3）全部修复完成。
 2026-08-19 16:56:23 +08:00
kevin 3f28ec20f4 fix(security): 修复 P2 中危项（cookie/协议限速/路径遍历/默认口令/中继TLS/安全头/信息泄露） 
- 会话 cookie 增加 Secure 标志；新增 [web].cookie_secure 配置
  （默认 true，仅本地 HTTP 调试关闭；缺失字段按安全默认处理）
- SMTP/IMAP/POP3 认证接入封禁体系（store.RecordAuthFailure 与 Web
  共用 ban_entries）：失败计数达 ban.max_fail_attempts 即封禁 IP，
  已封禁 IP 拒绝认证，堵住协议层暴力破解
- 附件存储路径遍历防护重写：FullPath 白名单校验（UUID 文件名格式）
  + baseDir 前缀兜底，非法路径返回错误；Save 扩展名白名单化
- 初始管理员不再使用 admin/admin：密码取 MAILGO_ADMIN_PASSWORD 或
  随机生成并打印一次；新增 MustChangePassword 首登强制改密
  （管理员重置密码同样触发）
- 外发中继默认验证 TLS 证书（保护 AUTH 凭据，防 MITM），直投 MX
  保持机会式 TLS；新增 outbound.relay_tls_insecure 开关（默认 false）
- 新增安全响应头中间件：HSTS、X-Frame-Options DENY、nosniff、
  Referrer-Policy、基础 CSP（frame-ancestors 'none' 防点击劫持，
  connect-src/form-action 'self' 防数据外泄）
- LDAP/OAuth 登录错误统一为通用文案，原始错误只写日志，
  不再回显邮箱/内部细节（防用户枚举与信息泄露）
- 新增 25 个回归测试：cookie 标志、封禁阈值、路径遍历用例、
  中继 TLS 验证（自签证书 STARTTLS 集成）、安全头、OAuth 文案

部署注意：升级后所有会话失效需重新登录；若直接以 HTTP 提供
服务需显式配置 cookie_secure = false。
 2026-08-19 16:45:21 +08:00
kevin c725d0b91e fix(security): 修复 P1 高危项（OAuth2 state / 伪造客户端IP / CRLF 邮件头注入） 
- OAuth2: state 改为 crypto/rand 随机值并写入独立短期 cookie
  （主会话为 SameSite=Strict，跨站回调不携带，不能放主会话）；
  回调用 ConstantTimeCompare 校验 state，缺失/不匹配返回 403，
  校验后立即清除保证一次性使用。原硬编码 mailgo_oauth2_state
  可被利用做授权码注入/登录 CSRF。
- 代理信任: engine.SetTrustedProxies 仅信任 127.0.0.1/::1。
  外部直连时 X-Forwarded-For 完全不可信，防止伪造客户端 IP
  绕过登录封禁或恶意封禁他人；本机 Caddy/Nginx 转发不受影响。
- CRLF 注入: Web 写信的 To/Cc/Subject 及附件文件名不再原样拼入
  MIME 头。新增 sanitizeHeaderField（strip CR/LF/NUL）、
  subject 按 RFC 2047 编码、附件名用 mime.FormatMediaType
  （RFC 2231）；附件下载的 Content-Disposition 同步修复。
  消息构建抽为 buildOutgoingMessage 纯函数便于测试。
- test: 新增 13 个回归测试（trustedproxy / mail_injection /
  oauth2_state），覆盖伪造 XFF、注入载荷、state 校验全部分支。
 2026-08-19 16:31:25 +08:00
kevin 551ed981de fix(security): 会话密钥改为随机生成，修复硬编码密钥可伪造管理员会话 
安全审计 P0 修复：旧版会话签名密钥硬编码在源码中（源码公开即泄露），
任何人可据此伪造 isAdmin 会话接管后台。

- config: 新增 [web].secret_key，首启/升级时用 crypto/rand 自动生成
  32 字节随机密钥并持久化；旧硬编码值自动替换
- config: 支持 MAILGO_SECRET_KEY 环境变量覆盖（覆盖值不落盘）
- config: 配置文件权限收紧为 0600（同时保护 relay_password 等敏感字段）
- web: NewWebServer 校验密钥（空/旧默认值/短于16字节拒绝启动）
- test: 伪造会话拒绝、密钥生命周期（生成/持久化/重启稳定/env不落盘）等
  9 个测试
- docs: README 配置参考、security_todo.md 安全修复清单

部署注意：升级重启后所有用户需重新登录。
 2026-08-19 16:21:28 +08:00
dsh bf283ba5fc fix: 返回列表后未读邮件状态不更新（BFCache 静默同步） 
问题：打开未读邮件（阅读页已自动标记已读）后返回列表，浏览器从 BFCache
恢复旧 DOM，列表仍显示未读，需手动刷新。

修复：
- 三个列表页的交互脚本提取为公共模板 listjs（base.html），行为一致
- pageshow(persisted=true) 时静默 fetch 最新列表并局部更新行状态
  （未读类/圆点/已删除行/未读角标/总数），不整页刷新、保留滚动
- visibilitychange 兜底：标签页重新可见时也同步一次（离线失败静默忽略，
  仅 BFCache 场景失败才整页刷新）
- 验证：合成 pageshow 事件驱动同步，未读->已读局部更新 PASS；
  桌面/移动/平板布局回归无异常
 2026-08-17 23:08:15 -04:00
dsh f281121a4d feat: 前端移动端响应式适配（≤767px） 
- 左侧文件夹栏在小屏下变为底部导航条：收件箱/草稿箱/已发送/管理后台 + 居中「写信」悬浮圆钮（带未读角标）
- 顶栏紧凑化：列表页搜索框自动下移为通栏第二行
- 邮件列表：隐藏正文摘要、缩小头像/时间列、行高加大便于触控，删除按钮常显
- 阅读页/写信页/设置页：内边距与字号收紧，配额条适配
- 管理后台：侧栏改为横向换行导航，表格横向滚动，统计卡两列排布
- 全部模板 viewport 增加 viewport-fit=cover（iOS 安全区），底部导航支持 env(safe-area-inset-bottom)
- settings.html 内联样式改为 .settings-main 类以便响应式覆盖
 2026-08-17 13:21:19 -04:00
dsh 878d31b48e feat: 前端整体重写为 QQ 邮箱风格布局 
- base.html: 全新设计系统（顶部导航栏 + 左侧文件夹栏 + 内容区三栏布局，
  蓝/橙主题色），兼容管理后台原有组件类
- inbox/drafts/sent: 邮件列表页重写，支持全选、批量删除、实时搜索过滤、
  未读标记、头像圆标、QQ 式短日期、悬停行内删除、分页
- view: 邮件阅读页重写（返回/回复/删除工具条、发件人卡片、附件区）
- compose: 写信页重写（发送/附件/取消、字段行、附件 chips、配额进度条）
- settings/login/banned: 设置页（账号信息+配额条）、登录页、封禁页重写
- server.go: 新增模板函数 mailName/mailEmail/initial/truncate/shortDate/avatarStyle
- mail.go: 侧栏文件夹计数（收件箱未读红标、草稿/已发送数量）
- 新增 render_test.go 模板渲染回归测试
 2026-08-17 04:42:03 -04:00
dsh eed0c7b95f fix: 修复编辑域名时私钥留空仍报“TLS 私钥和公钥证书必须同时填写” 
浏览器提交 textarea 会把换行规范为 CRLF，而证书文件（尤其是一键从
Caddy 导入的）是 LF，导致“证书未修改”的比较失效，私钥留空（保留
现有私钥）时误报必须同时填写。

- handleDomainTLSUpdate 增加 normalizePEM：提交值与磁盘文件统一
  归一化为 LF 后再比较/写入
- 新增 3 个回归测试：CRLF 提交证书未变+私钥留空、CRLF 新证书对
  保存为 LF、证书已变但私钥留空仍应报错
 2026-08-16 23:45:44 -04:00
dsh f0b9ad3e6f feat: 管理后台一键从 Caddy 获取证书 + TLS 证书热加载 
- 域名编辑页新增“从 Caddy 获取证书”按钮：一键把本机 Caddy 已签发的
  证书与私钥导入该域名的 TLS 目录并自动启用 TLS，支持通配符证书
  （如 *.example.com 可匹配 mail.example.com），成功/失败均回显横幅
- 新增 internal/caddycert：搜索 Caddy 证书存储（同步镜像目录优先、
  caddy.data_dir 与常见位置兜底），校验密钥对/有效期/SAN，并给出
  可操作的中文错误提示（未找到/证书无效/权限不足）
- install.sh 新增 setup-caddy-cert：安装 root 权限的 systemd
  path+timer 同步任务（mailgo-caddy-sync），把 Caddy 证书树镜像到
  /srv/mail_go/tls/caddy（证书续期后自动更新、每日兜底），另授予
  ACL 作为直接读取兜底；install 时自动检测并配置
- 新增 [caddy] data_dir 配置节，支持自定义 Caddy 数据目录
- 新增 internal/tlsutil：TLS 证书热加载器，每次握手按需重载证书
  文件（mtime 检测），重载失败继续使用旧证书兜底并节流重试；
  应用于 SMTPS 465/IMAPS 993/POP3S 995 与 STARTTLS，导入或上传
  新证书后无需重启服务即生效
- 证书来源动态切换：协议显式配置优先，否则取首个启用 TLS 且有证书
  的域名（10 秒缓存），新域名一键导入证书后自动切换
- 更新 README 与界面文案（去掉“重启服务生效”提示）
 2026-08-16 23:39:43 -04:00
kevin cead42fd69 Merge pull request 'fix: 外发优先 IPv4 + smarthost 中继 + 地址族配置（补 PR #1 合并后遗漏的提交）' (#3) from dsh/mailgo:outbound-ipv4-relay into main 
Reviewed-on: kevin/mailgo#3
 2026-08-16 00:13:00 -04:00
dsh 7ce8751f46 feat: 出站地址族可配置（ip_family=ipv4/ipv6/auto）+ 源地址绑定（source_ip） 
- ip_family 默认 ipv4（保持 PTR/SPF 最可靠的路径）；运营商为静态 IPv6
  配置 PTR 后可切换 ipv6
- source_ip 绑定出站源地址，避免内核使用轮换的 IPv6 临时隐私地址
  （临时地址无 PTR，Gmail 等会拒收）
- 无 MX 回退时按地址族偏好排序 A/AAAA
 2026-08-16 00:09:53 -04:00
dsh 8fb7aef052 fix: 外发优先走 IPv4（Gmail 拒收无 PTR 的 IPv6）；新增 smarthost 中继支持 
- 出站 SMTP 连接强制 IPv4（tcp4），无 MX 回退时 IPv4 优先：
  住宅/动态 IP 的 IPv6 临时地址通常无 PTR，Gmail 会以 5.7.25 拒收，
  而 IPv4 一般具备正反向一致的 PTR（实测 Gmail 250 OK）
- [outbound] 新增 relay_host/relay_port/relay_user/relay_password/
  relay_starttls：配置后所有外部投递经智能主机中继（AUTH PLAIN、
  465 隐式 TLS / 其他端口 STARTTLS），解决服务器 IP 被 Spamhaus PBL
  收录时 Outlook/Hotmail 拒收的问题
- 新增 smarthost 中继单元测试
 2026-08-16 00:09:53 -04:00
dsh 31e5f94be6 fix: SMTP 收件邮件的附件未保存（Web 邮箱看不到附件） 
- parseSMTPMessage 之前只提取附件元数据、丢弃内容；现在保留原始字节
- saveMessage 创建邮件后落盘附件文件（storage.Save）、写 attachments 记录
  并计入用户配额 used_bytes，Web 邮箱可正常列表/下载
- 新增单元测试：附件字节提取 + 附件落盘/记录/配额校验
- 已在生产环境实测：带附件邮件经 :25 入站后，附件文件、记录、配额、
  Web 下载（/attachment/:id）全部正确
 2026-08-15 23:53:50 -04:00
dsh 3bc33214c3 test: 增加外发 mailer 单元测试（线格式/点填充/8BITMIME/永久失败）及 DKIM 签名测试 2026-08-15 17:30:40 -04:00
dsh 5eb9bc2c71 feat: 实现对外邮件投递（外发队列 + MX 直投 + DKIM + 退信 + 管理后台） 
- 新增 internal/outbound 模块：MX 查询、SMTP 出站客户端（EHLO/STARTTLS/
  MAIL/RCPT/DATA/QUIT）、4xx 临时失败与 5xx 永久失败分类、8BITMIME 支持
- 新增 outbound_messages 队列表与 OutboundStore，后台 worker 指数退避重试
- 永久失败/超限退信到发件人收件箱，包含原因与目标收件人
- 外发邮件使用域名 DKIM 私钥签名（go-msgauth）
- SMTP 提交集成：认证用户可发外部收件人，MAIL FROM 必须等于登录用户邮箱，
  未认证外部投递明确拒绝（防开放中继）
- Web 发信集成：外部收件人自动入队，附件以 multipart/mixed + base64 编码
  加入邮件正文
- 每用户每分钟/每日发送限速（max_per_day=0 可禁用外部投递）
- 管理后台新增外发队列页面：状态统计、失败原因、手动重试/取消
- 新增 [outbound] 配置段并更新 README / todo.md
 2026-08-15 17:18:54 -04:00
kevin c7f466c99b 修复网页端编码问题 2026-06-02 20:46:59 +08:00
kevin 59719586a1 修复部分功能 2026-06-02 20:33:08 +08:00
kevin bd56c4dc5f 完善tls配置 2026-06-02 18:47:28 +08:00
kevin 3dcc3f9a35 up 2026-06-01 20:43:01 +08:00
kevin 0e9b62f5cf 修复socket问题 2026-06-01 20:18:38 +08:00
kevin c3be042acb up 2026-06-01 19:51:19 +08:00
kevin 4e233c82b4 二阶段差不多 2026-06-01 19:46:51 +08:00
kevin 9e50d05e71 一阶段ok 2026-06-01 18:59:55 +08:00