Author SHA1 Message Date
dsh 30af358dd7 fix: 迁移 attachments→files 增加内容回退策略,防重建表后 id 撞号漏搬
场景:中途部署过旧版二进制时 AutoMigrate 会把 attachments 以
id=1 重新编号;此前按 id 对齐的 NOT EXISTS 会误判已迁移,
导致新上传行静默丢失。现在第二段按 stored_name(内容 SHA-256)
补齐 id 冲突的行(省略 id 由数据库重新分配,内容已登记则跳过)。
2026-08-28 20:03:39 +08:00
6 changed files with 66 additions and 241 deletions
+16 -26
View File
@@ -139,6 +139,20 @@ func UploadAttachment(db *gorm.DB, storagePath string) gin.HandlerFunc {
sum := sha256.Sum256(content)
stored := hex.EncodeToString(sum[:])
// 磁盘去重:仅在文件不存在时才写入。
dir := attachmentsDir(storagePath)
if err := os.MkdirAll(dir, 0755); err != nil {
c.JSON(http.StatusInternalServerError, gin.H{"error": "failed to create storage dir"})
return
}
dstPath := filepath.Join(dir, stored)
if _, err := os.Stat(dstPath); os.IsNotExist(err) {
if err := os.WriteFile(dstPath, content, 0644); err != nil {
c.JSON(http.StatusInternalServerError, gin.H{"error": "failed to save file"})
return
}
}
ext := strings.ToLower(filepath.Ext(header.Filename))
att := models.File{
Type: models.FileTypeAttachment,
@@ -152,9 +166,8 @@ func UploadAttachment(db *gorm.DB, storagePath string) gin.HandlerFunc {
Size: header.Size,
Category: check.Type.Category,
}
// 统一上传引擎:磁盘去重写入(SHA-256 内容寻址)+ files 表登记。
if _, err := saveUploadedFile(db, att, attachmentsDir(storagePath), content); err != nil {
c.JSON(http.StatusInternalServerError, gin.H{"error": "failed to save attachment"})
if err := db.Create(&att).Error; err != nil {
c.JSON(http.StatusInternalServerError, gin.H{"error": "failed to record attachment"})
return
}
@@ -169,29 +182,6 @@ func UploadAttachment(db *gorm.DB, storagePath string) gin.HandlerFunc {
}
}
// saveUploadedFile 是全站统一上传引擎(files 表 + 内容寻址磁盘存储):
// - 确保 dir 存在;
// - 以 f.StoredName(内容 SHA-256 十六进制)为磁盘文件名,文件已存在则
// 跳过写入(磁盘去重,内容寻址文件可被多行记录共享);
// - 在 files 表登记一条记录(Type/UploaderID/ArticleID 等由调用方给定)。
//
// 附件、头像等所有上传类型共用本引擎。
func saveUploadedFile(db *gorm.DB, f models.File, dir string, content []byte) (models.File, error) {
if err := os.MkdirAll(dir, 0755); err != nil {
return f, err
}
dstPath := filepath.Join(dir, f.StoredName)
if _, err := os.Stat(dstPath); os.IsNotExist(err) {
if err := os.WriteFile(dstPath, content, 0644); err != nil {
return f, err
}
}
if err := db.Create(&f).Error; err != nil {
return f, err
}
return f, nil
}
// ---------------- 删除 ----------------
// DeleteAttachment 软删除附件记录(files 表,Type=attachments),仅当
-167
View File
@@ -1,167 +0,0 @@
package handlers
import (
"bytes"
"crypto/sha256"
"encoding/hex"
"encoding/json"
"image"
"image/color"
"image/png"
"mime/multipart"
"net/http"
"net/http/httptest"
"os"
"path/filepath"
"strings"
"testing"
"go_blog/models"
)
// newTestPNG 生成一张指定大小的纯色 PNG。
func newTestPNG(t *testing.T, w, h int, c color.RGBA) []byte {
t.Helper()
img := image.NewRGBA(image.Rect(0, 0, w, h))
for y := 0; y < h; y++ {
for x := 0; x < w; x++ {
img.Set(x, y, c)
}
}
var buf bytes.Buffer
if err := png.Encode(&buf, img); err != nil {
t.Fatalf("encode png: %v", err)
}
return buf.Bytes()
}
// isHexString 报告字符串是否全部为十六进制字符。
func isHexString(s string) bool {
if s == "" {
return false
}
for _, r := range s {
if !strings.ContainsRune("0123456789abcdef", r) {
return false
}
}
return true
}
// avatarPOST 以 multipart 提交头像上传(表单字段名 avatar)。
func avatarPOST(e *securityTestEnv, cookie, csrf string, img []byte, filename string) *httptest.ResponseRecorder {
var buf bytes.Buffer
mw := multipart.NewWriter(&buf)
fw, _ := mw.CreateFormFile("avatar", filename)
_, _ = fw.Write(img)
_ = mw.Close()
req := httptest.NewRequest(http.MethodPost, "/api/profile/avatar", &buf)
req.Header.Set("Content-Type", mw.FormDataContentType())
req.Header.Set("X-CSRF-Token", csrf)
req.Header.Set("Cookie", cookie)
w := httptest.NewRecorder()
e.router.ServeHTTP(w, req)
return w
}
// TestAvatarUploadRegistersFileRow 验证头像上传走统一上传引擎:
// files 表登记 type=avatars、stored_name=处理内容 SHA-256 哈希、
// 用户 Avatar 字段与磁盘文件 avatars/<哈希>、公开 URL /uploads/avatars/<哈希>。
// 更换头像时:旧登记行软删除;旧磁盘文件无其他引用即清理。
func TestAvatarUploadRegistersFileRow(t *testing.T) {
e := newSecurityTestEnv(t)
// 允许 .png(平台策略允许的图片类型)。
_ = e.db.Create(&models.UploadFileType{Extension: ".png", MimeType: "image/png", Category: models.CategoryImage, Enabled: true})
models.LoadConfigCache(e.db)
alice := e.login(t, "alice")
token := e.csrfTokenFor(t, alice)
aliceID := userIDByUsername(t, e.db, "alice")
// --- 第一次上传 ---
img1 := newTestPNG(t, 16, 16, color.RGBA{R: 200, G: 30, B: 30, A: 255})
w := avatarPOST(e, alice, token, img1, "avatar.png")
if w.Code != http.StatusOK {
t.Fatalf("avatar upload: status = %d, body %s", w.Code, w.Body.String())
}
var resp struct {
Avatar string `json:"avatar"`
}
if err := json.Unmarshal(w.Body.Bytes(), &resp); err != nil {
t.Fatalf("decode response: %v", err)
}
if len(resp.Avatar) != 64 || !isHexString(resp.Avatar) {
t.Fatalf("avatar stored name = %q, want 64-char sha256 hex", resp.Avatar)
}
name1 := resp.Avatar
// files 表记录:type=avatars + 哈希存储名 + 归属上传者。
var f models.File
if err := e.db.Where("type = ? AND stored_name = ?", models.FileTypeAvatar, name1).First(&f).Error; err != nil {
t.Fatalf("files row (type=avatars) not found: %v", err)
}
if f.UploaderID != aliceID {
t.Fatalf("uploader_id = %d, want %d", f.UploaderID, aliceID)
}
if f.Category != models.CategoryImage || f.Ext != ".jpg" || f.MIME != "image/jpeg" {
t.Fatalf("avatar row category/ext/mime = %q/%q/%q", f.Category, f.Ext, f.MIME)
}
// 用户记录头像 = 哈希。
var u models.User
if err := e.db.First(&u, aliceID).Error; err != nil {
t.Fatalf("load user: %v", err)
}
if u.Avatar != name1 {
t.Fatalf("user.Avatar = %q, want %q", u.Avatar, name1)
}
// 磁盘文件位于 avatars/<哈希>,内容为处理后的 256x256 JPEG,且与哈希一致。
diskPath := filepath.Join(e.storageDir, "avatars", name1)
raw, err := os.ReadFile(diskPath)
if err != nil {
t.Fatalf("avatar disk file missing: %v", err)
}
if len(raw) == 0 {
t.Fatal("avatar disk file is empty")
}
if sum := sha256.Sum256(raw); hex.EncodeToString(sum[:]) != name1 {
t.Fatal("disk file content does not match stored_name (sha256)")
}
// --- 更换头像 ---
img2 := newTestPNG(t, 16, 16, color.RGBA{R: 30, G: 30, B: 200, A: 255})
w = avatarPOST(e, alice, token, img2, "avatar2.png")
if w.Code != http.StatusOK {
t.Fatalf("second avatar upload: status = %d, body %s", w.Code, w.Body.String())
}
if err := json.Unmarshal(w.Body.Bytes(), &resp); err != nil {
t.Fatalf("decode second response: %v", err)
}
if resp.Avatar == "" || resp.Avatar == name1 {
t.Fatalf("second avatar name = %q, want a new hash", resp.Avatar)
}
name2 := resp.Avatar
// 旧的 avatars 登记行已软删除(活动查询不可见,Unscoped 可见且 DeletedAt 非空)。
var oldRow models.File
if err := e.db.Unscoped().Where("type = ? AND stored_name = ?", models.FileTypeAvatar, name1).First(&oldRow).Error; err != nil {
t.Fatalf("old avatar row not found (unscoped): %v", err)
}
if !oldRow.DeletedAt.Valid {
t.Fatal("old avatar row should be soft-deleted")
}
var active models.File
if err := e.db.Where("type = ? AND stored_name = ?", models.FileTypeAvatar, name2).First(&active).Error; err != nil {
t.Fatalf("new avatar row not found: %v", err)
}
// 旧磁盘文件无其他引用,应被清理。
if _, err := os.Stat(filepath.Join(e.storageDir, "avatars", name1)); !os.IsNotExist(err) {
t.Fatal("old avatar disk file should have been removed")
}
if _, err := os.Stat(filepath.Join(e.storageDir, "avatars", name2)); err != nil {
t.Fatalf("new avatar disk file missing: %v", err)
}
}
+18 -38
View File
@@ -2,8 +2,6 @@ package handlers
import (
"bytes"
"crypto/sha256"
"encoding/hex"
"fmt"
"image"
"image/jpeg"
@@ -221,51 +219,33 @@ func UploadAvatar(db *gorm.DB, storagePath string) gin.HandlerFunc {
return
}
// 统一上传引擎:SHA-256 内容寻址写入 avatars/ 目录,并在 files 表
// 登记一条记录(Type=avatars)。公开链接 /uploads/avatars/<哈希>。
sum := sha256.Sum256(processedBytes)
storedName := hex.EncodeToString(sum[:])
// 确保头像目录存在。
avatarDir := filepath.Join(storagePath, "avatars")
os.MkdirAll(avatarDir, 0755)
oldAvatar := user.Avatar // 替换前的旧头像(旧命名 <uid>.jpg 或哈希)
f := models.File{
Type: models.FileTypeAvatar,
UploaderID: user.ID,
Filename: header.Filename,
StoredName: storedName,
Ext: finalExt,
MIME: "image/jpeg",
Size: int64(len(processedBytes)),
Category: models.CategoryImage,
// 删除旧头像文件。
if user.Avatar != "" {
oldPath := filepath.Join(avatarDir, user.Avatar)
os.Remove(oldPath)
}
if _, err := saveUploadedFile(db, f, filepath.Join(storagePath, "avatars"), processedBytes); err != nil {
// 保存处理后的头像。
savedName := fmt.Sprintf("%d%s", user.ID, finalExt)
savedPath := filepath.Join(avatarDir, savedName)
if err := os.WriteFile(savedPath, processedBytes, 0644); err != nil {
c.JSON(http.StatusInternalServerError, gin.H{"error": "Failed to save avatar"})
return
}
// 更新用户记录与会话(Avatar 存哈希,公开 URL /uploads/avatars/<哈希>
user.Avatar = storedName
// 更新用户记录。
user.Avatar = savedName
db.Save(&user)
session.Set("avatar", storedName)
// 更新会话。
session.Set("avatar", savedName)
session.Save()
// 清理旧的头像记录与文件:
// - 软删除旧的 avatars 登记行(保留历史查询痕迹,仅从活动查询隐藏);
// - 仅当无其他 files 记录或其他用户引用时删除磁盘文件,
// 避免误删被共享的内容寻址文件(引用计数语义与附件一致)。
if oldAvatar != "" && oldAvatar != storedName {
db.Where("type = ? AND stored_name = ?", models.FileTypeAvatar, oldAvatar).
Delete(&models.File{})
var refs int64
db.Model(&models.File{}).Where("type = ? AND stored_name = ?", models.FileTypeAvatar, oldAvatar).Count(&refs)
var otherUsers int64
db.Model(&models.User{}).Where("avatar = ? AND id <> ?", oldAvatar, user.ID).Count(&otherUsers)
if refs == 0 && otherUsers == 0 {
os.Remove(filepath.Join(storagePath, "avatars", oldAvatar)) // 忽略错误
}
}
c.JSON(http.StatusOK, gin.H{"avatar": storedName})
c.JSON(http.StatusOK, gin.H{"avatar": savedName})
}
}
+5 -4
View File
@@ -2,6 +2,7 @@ package handlers
import (
"bytes"
"fmt"
"image"
"image/color"
"image/png"
@@ -238,8 +239,8 @@ func TestUploadAvatarRejectsNonImage(t *testing.T) {
t.Fatalf("upload valid png: status=%d body=%s", w.Code, w.Body.String())
}
alice := reloadAlice(t, e)
if len(alice.Avatar) != 64 || !isHexString(alice.Avatar) {
t.Fatalf("avatar = %q, want 64-char sha256 hex (hash-based name)", alice.Avatar)
if want := fmt.Sprintf("%d.jpg", alice.ID); alice.Avatar != want {
t.Fatalf("avatar = %q, want %q", alice.Avatar, want)
}
if _, err := os.Stat(filepath.Join(e.storageDir, "avatars", alice.Avatar)); err != nil {
t.Fatalf("processed avatar file missing: %v", err)
@@ -271,8 +272,8 @@ func TestUpdateProfileAvatarRejectsNonImage(t *testing.T) {
t.Fatalf("upload valid avatar: status=%d body=%s", w.Code, w.Body.String())
}
alice := reloadAlice(t, e)
if len(alice.Avatar) != 64 || !isHexString(alice.Avatar) {
t.Fatalf("avatar = %q, want 64-char sha256 hex (hash-based name)", alice.Avatar)
if want := fmt.Sprintf("%d.jpg", alice.ID); alice.Avatar != want {
t.Fatalf("avatar = %q, want %q", alice.Avatar, want)
}
if _, err := os.Stat(filepath.Join(e.storageDir, "avatars", alice.Avatar)); err != nil {
t.Fatalf("processed avatar file missing: %v", err)
+27 -2
View File
@@ -142,12 +142,18 @@ func InitDB(cfg *config.Config) *gorm.DB {
// files 表,type 一律标记为 "attachments"。仅当 attachments 表仍存在时
// 执行——新安装从未创建过该表,而已经切换的部署会将其删除。
//
// 幂等策略:以主键 id 对齐——files 中已存在同 id 的行视为已迁移并跳过,
// 因此 InitDB 每次启动重复执行也不会产生重复数据(含软删除行一并复制)。
// 幂等与异常恢复策略:
// 1. 按主键 id 对齐——files 中已存在同 id 的行视为已迁移并跳过;
// 2. 若 attachments 表被重建(例如中途部署过旧版二进制,AutoMigrate 把表
// 从 id=1 重新编号),旧 id 已被其他内容占用,改用 stored_name(内容
// SHA-256)比对补齐,避免新上传被静默漏搬。
// 含软删除行一并复制;重复执行不会产生重复数据。
func migrateAttachmentsToFiles(db *gorm.DB) {
if !db.Migrator().HasTable("attachments") {
return
}
// 1) id 对齐迁移(常规升级路径)。
res := db.Exec(`
INSERT INTO files
(id, type, article_id, session_token, uploader_id, filename, stored_name, ext, mime, size, category, created_at, updated_at, deleted_at)
@@ -163,4 +169,23 @@ WHERE NOT EXISTS (SELECT 1 FROM files f WHERE f.id = a.id)`)
if res.RowsAffected > 0 {
log.Printf("Migration: copied %d attachment(s) into files table (type=attachments)", res.RowsAffected)
}
// 2) 内容补齐:id 已存在但指向不同内容(重建表后 id 撞号)的行,
// 省略 id 让数据库重新分配,且跳过内容已在 files 中登记的行(去重)。
res = db.Exec(`
INSERT INTO files
(type, article_id, session_token, uploader_id, filename, stored_name, ext, mime, size, category, created_at, updated_at, deleted_at)
SELECT
'attachments', a.article_id, a.session_token, a.uploader_id, a.filename,
a.stored_name, a.ext, a.mime, a.size, a.category, a.created_at, a.updated_at, a.deleted_at
FROM attachments a
WHERE EXISTS (SELECT 1 FROM files f WHERE f.id = a.id AND f.stored_name <> a.stored_name)
AND NOT EXISTS (SELECT 1 FROM files f WHERE f.stored_name = a.stored_name)`)
if res.Error != nil {
log.Printf("Migration attachments -> files (content fallback) failed: %v", res.Error)
return
}
if res.RowsAffected > 0 {
log.Printf("Migration: recovered %d colliding attachment(s) into files table by content", res.RowsAffected)
}
}
-4
View File
@@ -45,10 +45,6 @@ func (File) TableName() string {
// FileTypeAttachment 是文件归属类型常量:文章附件(原 attachments 表历史数据)。
const FileTypeAttachment = "attachments"
// FileTypeAvatar 是文件归属类型常量:用户头像(存储于 avatars/ 目录,
// 公开下载链接为 /uploads/avatars/<stored_name>)。
const FileTypeAvatar = "avatars"
// IsImage 报告该文件是否为图片(用于决定 Markdown 插入形式:![]() 还是 []())。
func (f *File) IsImage() bool {
return f.Category == CategoryImage