kevin/meshtastic_mqtt_server
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
138 Commits 2 Branches 0 Tags
c50c7a57d7bc9b0a6371c2499900776837f532c9
Commit Graph
138 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
kevin c50c7a57d7 签到 2026-06-23 21:04:31 +08:00
kevinandClaude Fable 5 ec24e70275 修复 MQTT QoS0 消息重发问题 
问题：
- 设备发送 QoS0 消息后服务器未及时响应 TCP ACK
- 导致设备重发 3 次
- 有时能一次成功，有时需要多次重发

根本原因：
- TCP Nagle 算法延迟小数据包（包括 TCP ACK）40-200ms
- QoS0 不需要 MQTT 应用层 PUBACK，但依赖 TCP 层 ACK
- TCP ACK 延迟触发客户端 TCP 重传机制

解决方案：
- 在 OnConnect hook 中设置 TCP_NODELAY
- 禁用 Nagle 算法，确保 TCP ACK 立即发送
- TCP ACK 延迟从 40-200ms 降低到 ~0.05ms

测试：
- 添加 tcp_nodelay_test.go 验证修复
- 平均往返延迟：54µs
- 符合 MQTT broker 行业最佳实践（Mosquitto、EMQX、HiveMQ 均默认启用）

文档：
- doc/TCP_ACK_FIX_CN.md - 中文详细说明
- doc/TCP_ACK_FIX.md - 英文详细说明

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-06-23 21:04:00 +08:00
kevin cfe4ef04d7 修复消息重复问题 2026-06-20 12:32:05 +08:00
kevin 260bd12ec8 修复重复消息bug 2026-06-20 12:24:58 +08:00
kevin dc5d9bf9a6 签到ai基本完成 2026-06-20 02:20:29 +08:00
kevin 54df706ca7 基本完成 2026-06-20 02:15:15 +08:00
kevin fd766be731 up 2026-06-20 01:45:24 +08:00
kevinandClaude 94835a5f1d fix(llm): 启用工具时最终回复改用主回复配置的 system prompt 
此前工具循环把工具路由 prompt 同时塞进最终回复和路由决策，导致用户在
「主 AI 回复配置」编辑的系统提示词被工具路由 prompt 覆盖、未加载到回复。
现在 finalMessages 用主回复 prompt，decisionMessages 用工具路由 prompt。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-20 00:53:21 +08:00
kevinandClaude b9c2b8f0bd fix(llm): 工具路由配置修改后立即生效，不再硬编码 system prompt 
toolrouter 每轮调用都从 DB 读取最新配置，/admin/llm/api 保存后下一条消息即生效，
无需重启。ai.NewService 启动时从 DB 加载初始配置，移除硬编码 prompt 覆盖用户配置的问题。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-20 00:41:28 +08:00
kevin f5dacdce19 up 2026-06-19 23:39:30 +08:00
kevin 0ef477b15f 不明bug 2026-06-19 23:30:33 +08:00
kevin fd66162d57 feat(mqtt): client_id 冲突时自动加 4 位随机后缀 
同一 Meshtastic 节点被多台 Android 同时连时，broker 按 [MQTT-3.1.4-3]
强制顶号会让两边互相踢，日志被刷屏且无法稳定收发。

OnConnect 里检测 server.Clients 中是否已有未关闭的同 ID 客户端，命中
就把当前连接的 cl.ID 改成 "原ID-xxxx"（4 位 hex），避开顶号路径。
打 mqtt_client_id_renamed 日志记录原/新 ID 与双方 remote。
 2026-06-19 22:51:34 +08:00
kevin 6cec82235a fix(map): 节点右键菜单不再触发地图空白菜单 
leaflet 与自定义的 handleMapContextMenu 都挂在 mapEl 容器上，普通
stopPropagation 不能阻止同节点上的后续监听器。改用
stopImmediatePropagation 并显式重置 menuMap，确保右键 marker 只显示
节点菜单。
 2026-06-19 21:00:11 +08:00
kevin 2afd890de4 批量删除节点，一键屏蔽ip 2026-06-19 20:37:19 +08:00
kevin b56cfb7b1e 新增删除节点功能 2026-06-19 20:03:25 +08:00
kevin 3fbc52c6c1 up 2026-06-19 19:08:44 +08:00
kevin 01b0ad1999 up 2026-06-19 18:51:28 +08:00
kevin 5aae81c831 up 2026-06-19 18:17:27 +08:00
kevinandClaude 8e7d11a162 feat(llm): 处理完成的消息自动软删除并隐藏删除按钮 
- MarkAsProcessed 在写入 reply/processed_at 的同时设置 deleted_at，
  避免 /admin/llm 队列页堆积已处理消息（仍可勾选"包含已删除"查看）
- 前端列表中已删除的消息行隐藏删除按钮，改为显示灰色"已删除"标签

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-19 17:50:56 +08:00
kevinandClaude 8bbe40c230 feat(llm): console_log.llm 控制可读单行流程日志，并追踪路由 AI 决策 
autoreply.Service 增加 consoleLog 字段和 logf 辅助；processMessage 中
原本的 printJSON map dump 全部替换为 [llm] 前缀的单行 key=value 输出。
关闭开关时整条链路静默。

把原本传 nil 给 toolrouter.RunAgentToolLoop 的 emit 接进来，将
stream.Frame trace 帧渲染为可读行，区分三类来源：

- 主 AI：main_model / completion / 最终 reply
- 路由 AI：router=<model> prepare/decide iter=N → call_tools=[...] / no_tool
- 工具调用：tool=<name> args=... / result(Nms)=... / ERROR ...

ai.Config 增加 ConsoleLog 字段，由 main.go 传入 cfg.ConsoleLog.LLM，
再透传给 autoreply.NewService。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-19 17:45:21 +08:00
kevinandClaude 49a287e6e7 feat: console_log.meshtastic 控制 packet 控制台输出；新增每客户端报文统计 
- ConsoleLogConfig 增加 Meshtastic 字段（默认 true）；旧配置自动补齐
- meshtasticFilterHook 增加 packetConsoleLog；OnPublish 中根据开关调用
  新的 printMeshtasticRecord 输出可读单行（key=value、按 type 着色），
  替代原来的 JSON dump；事件型 printJSON 调用保持不变
- 新增 internal/mqttforward/ClientStats，按 client_id 累计 in/out 报文计数
- meshtasticFilterHook 多挂 OnPacketRead / OnPacketSent / OnDisconnect
  事件，用于增减计数；Provides() 同步声明
- AdminMQTTClient JSON 视图删除 RemoteHost/RemotePort，新增
  packets_in / packets_out；前端 types.ts、AdminDashboard.vue 同步更新

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-19 17:09:00 +08:00
kevinandClaude 937580e24f feat(mqtt): console_log.mqtt 控制连接/断开/订阅/取消订阅日志 
为 meshtasticFilterHook 增加 consoleLog 字段；当 console_log.mqtt=true 时
向 stderr 输出 4 类事件（带 client_id、username、remote IP:port）：

- OnSessionEstablished → [mqtt] connect ...     （认证后才打，避开被 IP 屏蔽拒掉的客户端）
- OnDisconnect        → [mqtt] disconnect ...   （含 expire 和 mochi 上报的断开原因）
- OnSubscribed        → [mqtt] subscribe ...    （每个 filter 一行）
- OnUnsubscribed      → [mqtt] unsubscribe ...  （每个 filter 一行）

Provides() 同步多声明这 4 个事件类型；关闭开关时各 handler 立即返回。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-19 16:21:55 +08:00
kevinandClaude 52da224a19 refactor(config): console_log 提到顶层并细分 web/mqtt/llm/sql；data_dir 归入 ai 
- 新增顶层 ConsoleLogConfig{Web, MQTT, LLM, SQL}，默认全 true，方便后续按模块扩展
- WebConfig.ConsoleLog 移除；NewRouter/NewHTTPServer 改为显式接 consoleLog 参数
- AIConfig 增加 DataDir，原 Config.DataDir（仅 ai 模块使用）下沉到 ai.data_dir
- OpenStore(cfg, consoleLog) 通过 console_log.sql 控制 gorm logger 级别（Warn/Silent）
- gorm logger 始终设 IgnoreRecordNotFoundError=true，修掉 GetBoolRuntimeSetting
  正常缺省路径仍刷屏 'record not found' 的噪声
- 同步更新 install.sh 模板、win/etc 默认 yaml 与所有测试调用点

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-19 16:13:18 +08:00
kevinandClaude 98d5e9e117 feat(web): 新增 web.console_log 开关；data_dir 默认改为 srv/mesh_mqtt_go 
- WebConfig 增加 console_log 字段，关闭后 gin 不再向控制台打印 HTTP 访问日志（保留 Recovery）
- 默认值 true；旧配置加载时自动补齐并写回
- defaultDataDirForGOOS 默认目录由 var/lib/mesh_mqtt_go 调整为 srv/mesh_mqtt_go，与 install.sh 中 DATA_DIR=/srv/${SERVICE_NAME} 保持一致
- install.sh 模板同步加入 console_log: true

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-19 15:43:38 +08:00
kevinandClaude d57dff58f3 重构：把剩余 12 个顶层包全部迁到 internal/ 
继续之前的重构：把根目录残留的非数据/资源类子目录（agents、agenttool、ai、
autoreply、completion、conversation、llm、message、mqtpp、stream、
toolmanager、toolrouter）一并搬到 internal/ 下，并把全工程引用它们的
import 路径从 "meshtastic_mqtt_server/<x>" 重写为
"meshtastic_mqtt_server/internal/<x>"。

变更
- git mv 12 个顶层目录进 internal/，无函数体改动。
- 全工程 sed 把 import path 加上 internal/ 前缀，包括 main.go、
  internal/bot/bot_service.go、internal/store/bot_store.go 中对 mqtpp
  的引用，以及 ai 子系统内部 agents/agenttool/autoreply/conversation/
  llm/toolmanager/toolrouter 之间的相互引用。

验证
- go build ./... 通过；go test ./... 全部包通过。
- AI 自动回复链路（main → ai.NewService → autoreply.Service → botSender）
  保持不变，仅 import 路径调整。
- 根目录最终只剩 main.go / main_test.go / internal/ 加 go.mod / go.sum
  与数据资源目录（dist、doc、firmware、py、win、meshmap_frontend）。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-18 18:43:42 +08:00
kevinandClaude 02b445884d 合并 refactor/internal-packages：把根目录 46 个 .go 文件按功能拆到 internal/ 下 
把工程根目录全部 package main 文件按业务边界搬到 internal/ 子包下。
根目录从 46 个文件 12.6k 行降到 2 个文件 480 行；新增 13 个 internal 子包：
auth、blocking、bot、config、help、llmadmin、mapsource、mqttforward、
runtimesettings、sign、store、store/testutil、web、webutil。

共 4 个 commit 渐进迁移，每个 commit 单独 build/test 通过：
- eff4972 拆出 internal/config 与 internal/store
- c527a9f 拆出 auth / blocking / runtimesettings / help / mqttforward
- 9394aa0 拆出 bot / sign / mapsource / llmadmin / web
- 46916d9 main.go 直接 import 子包并删除全部 bridge

go build ./... 与 go test ./... 全部通过，测试数量与重构前一致。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-18 18:34:14 +08:00
kevinandClaude 46916d9a93 重构：main.go 直接 import 各 internal/ 子包，删除全部 bridge 
最后一步：把 main.go 里所有指向桥接小写名的引用（store / config /
blocking / bot / runtimesettings / mqttforward / web 等）改写成直接调用
internal/* 子包的导出 API，从而拆掉所有 *_bridge.go。

变更点
- main.go 顶部 import 区改为引用 11 个 internal/ 子包：auth、blocking、
  bot、config、mqttforward、runtimesettings、store、web 等。
- meshtasticFilterHook 字段类型改为 *storepkg.WriteQueue / *blockingpkg.Cache
  / *rspkg.Cache / *mqttforwardpkg.Stats；不再依赖 main 包内别名。
- mqttClientInfoFromClient 返回 storepkg.MQTTClientInfo（之前为 main 包别名）。
- run() 里 newSessionManager → auth.NewManager；newRouter → webpkg.NewRouter；
  serveHTTPUnixSocket → webpkg.ServeUnixSocket；mqttRuntimeStatus →
  webpkg.MQTTRuntimeStatus；botSendTextRequest → botpkg.SendTextRequest；
  newBlockingCache / newRuntimeSettingsCache / newMQTTForwardManager 都改为
  对应包的 New / NewManager。
- main_test.go 里的 BlockingViolationForRecord 测试改用 testutil.OpenStore
  + blockingpkg.New，全部通过 store.Store 的公开 API 构造数据，不再需要
  根目录 test_helpers_test.go。

删除根目录文件
- config.go、auth.go（已删）、blocking_bridge.go、bot_bridge.go、
  help_bridge.go、llmadmin_bridge.go、mapsource_bridge.go、
  mqttforward_bridge.go、runtime_settings_bridge.go、sign_bridge.go、
  store_bridge.go、web_bridge.go、test_helpers_test.go。

最终结果
- 根目录只剩 main.go (~370 行) 和 main_test.go (~110 行)。
- internal/ 下 13 个独立子包：auth / blocking / bot / config / help /
  llmadmin / mapsource / mqttforward / runtimesettings / sign / store /
  store/testutil / web / webutil。
- go build ./... / go test ./... 全部通过；测试数量与重构前一致；
  go build . 可以产出可执行二进制（约 50 MB）。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-18 18:30:00 +08:00
kevinandClaude 9394aa0f4a 重构：拆出 bot / sign / mapsource / llmadmin / web 包 
第三批（最终批）：把 root 中剩下所有领域文件按功能搬到 internal/ 下。
完成后根目录从 46 个 .go 文件降到 14 个，其中 11 个是 bridge（type alias
+ thin wrapper），仅供尚未改造的 main.go 引用。

新增包
- internal/bot/         Service / TextSender / NewPKIKeyResolver /
                        RegisterRoutes，含 PKI 直连发送、节点信息广播、
                        outbound DM 持久化等业务逻辑。
- internal/sign/        SignDTO / SignDayCountDTO / RegisterAdminRoutes，
                        把原来分散在 admin_sign_routes.go 与 web.go 中的
                        sign DTO/路由收拢到一处。
- internal/mapsource/   AdminDTO / PublicDTO / RegisterAdminRoutes /
                        RegisterPublicRoutes。
- internal/llmadmin/    LLM 消息队列、Provider、ToolRouter、PrimaryConfig 的
                        admin 路由。
- internal/web/         路由总入口（NewRouter/NewHTTPServer/ServeUnixSocket）、
                        各资源的 GET API、admin 用户/登录/MQTT 状态、所有
                        DTO 函数。把 auth.go 的 sessionClaims 升级为
                        auth.SessionClaims；mqtt_status.go 重写成
                        MQTTRuntimeStatus / AdminMQTTStatus 结构体并把
                        client info 解析在 web 包内自带，不再依赖 main 包。
                        map_tile_proxy_routes 与测试一起搬入。

修改
- web.go 中 parseListOptions / writeListResponse / ptrString 等本地 helper
  改为对 internal/webutil 的 thin wrapper，避免重复实现。
- internal/auth 在 step 4 已创建，本批中 web 包正式开始引用其 Manager /
  RequireAdmin / SessionClaims。

根目录新增 bridge：bot_bridge.go / sign_bridge.go / mapsource_bridge.go /
llmadmin_bridge.go / web_bridge.go。后者把 mqttRuntimeStatus 包成
webpkg.MQTTStatusProvider 适配器，使 main.go 中旧字段名保持可用。

go build ./... / go test ./... 全部通过；测试数量未变。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-18 18:24:14 +08:00
kevinandClaude c527a9fd9a 重构：拆出 auth / blocking / runtimesettings / help / mqttforward 包 
第二批：把根目录中纯逻辑领域文件（cache、service、admin route）按业务边界
迁到 internal/ 下的子包。各子包暴露 RegisterRoutes 给 web 包调用，根目录
只留下一行 bridge 文件保留旧名字别名。

新增包
- internal/auth/        SessionClaims / Manager / RequireAdmin / HashPassword /
                        VerifyPassword / AdminUserResponse 等。原 auth.go 中
                        被两个 admin route 依赖的 sessionClaims 现在以 auth.
                        SessionClaims 形式被它们 import；不再被锁在 main 包。
- internal/blocking/    Cache + RegisterRoutes，以前散在 blocking_cache.go
                        和 admin_blocking_routes.go 里。
- internal/runtimesettings/  Cache + RegisterRoutes。
- internal/help/        RenderMarkdown / RegisterPublicRoutes /
                        RegisterAdminRoutes（拆分原来的 registerHelpRoutes
                        和 registerAdminHelpRoutes 两条入口）。
- internal/mqttforward/ Manager / Reloader / Stats / RegisterRoutes。
                        forwarder runner、循环抑制 cache 等运行时逻辑随之迁入。
- internal/webutil/     ParseListOptions / WriteListResponse[WithTotal] /
                        ParseMapReportListOptions / ParseMapReportViewportOptions
                        以及 PtrString/PtrInt64/... 等指针解引用 helper。
                        以前散在 web.go 中，现在被各 admin route 子包共享，
                        避免 internal/blocking → internal/web → internal/blocking
                        的循环依赖。
- internal/store/testutil/  OpenStore(t) helper，让其它包测试零样板拿到 store。

根目录新增 bridge 文件
- blocking_bridge.go / runtime_settings_bridge.go / help_bridge.go /
  mqttforward_bridge.go：用 type alias + thin wrapper 把上述子包的导出
  名映射到旧的小写名（blockingCache、registerAdminBlockingRoutes 等），
  让 main.go / web.go 等仍未迁出的文件无须改动。

修改
- auth.go 改为对 internal/auth 的 bridge；web.go 中 sessions.newCookie /
  clearCookie 改为 NewCookie / ClearCookie。
- main_test.go 中 BlockingViolationForRecord* 测试不再直接构造未导出字段，
  改成走 store.CreateNodeBlocking → newBlockingCache 的真实路径。
- internal/mqttforward 把以前 *_store.go 中没有方法依赖的运行时类型
  （forwarder runner、loop cache）和 admin route 一并归位；mqtt_status.go
  暂时仍留在根目录（依赖 main 中的 mqttClientInfoFromClient）。

go build ./... / go test ./... 全部通过；测试数量未变。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-18 14:23:56 +08:00
kevinandClaude eff4972668 重构：拆出 internal/config 与 internal/store 子包 
把工程根目录中和"配置加载"、"数据存储"两个领域相关的全部 Go 文件迁到
internal/ 下的子包，按功能分组的第一阶段成果。

internal/config/
- 从 config.go 抽出 Config / MQTTConfig / WebConfig / DatabaseConfig 等
  类型并大写导出，函数改名 Default/Load/Write/Validate/BuildTLS 等。
- 测试随被测代码迁移成 package config 的内部测试。
- 根目录留 config.go 作桥接：用 type alias 让旧的小写名（config /
  mqttConfig / databaseConfig 等）继续可用，避免修改 30+ 处调用方。

internal/store/
- 把 db.go、store_query.go、db_write_queue.go 与 13 个 *_store.go 一并
  迁入；26 个 *Record 类型与 store 同包以避免循环依赖。
- store -> Store；50+ 标识符从小写未导出改为大写导出（包括 record、
  ListOptions、错误变量、bot/llm/runtime 常量、helpers 等）。
- 新增 DB() / Driver() 访问器供 ai 子系统使用，避免直接访问私有字段。
- bot_pki_store.go 独立出来，把 PKI 解密所需的 store 方法集中归类。
- helpers.go 提供 hashPassword / uint32FromRecord / printJSON 等以前在
  其他根目录文件中的辅助；test_helpers_test.go 提供 verifyPassword
  与 publicMapTileSourceDTO 让测试可以本地运行而不依赖 main 包。

根目录新增：
- store_bridge.go：完整 type-alias / 函数包装层，把 internal/store 的
  导出名映射回旧的小写名，让 admin_*_routes.go、web.go、bot_service.go
  等仍未迁出的文件继续编译。后续步骤把它们迁到各自领域包后可逐步删除。
- test_helpers_test.go：根目录测试沿用 openTestStore 的入口。

go build ./... 与 go test ./... 全部通过；测试数量与重构前一致。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-18 13:56:36 +08:00
kevin 6f6b06e37d up 2026-06-18 12:24:18 +08:00
kevin 4e7aacbc68 up 2026-06-18 08:52:25 +08:00
kevin fcd230cb5b 写成屎山了 2026-06-18 08:35:09 +08:00
kevin 45822fd333 工具路由还没实现 2026-06-18 08:14:09 +08:00
kevin dfb3fdd3e5 根本原因：PKI 私聊需要接收方的公钥，但 !72d17be4 这个节点从未广播过节点信息，nodeinfo 表中没有它的公钥。这傻x豆包ai突然发什么神经，蠢死了 2026-06-18 00:49:42 +08:00
kevin ce07792c4b up 2026-06-17 23:54:38 +08:00
kevin 9f088c265d up 2026-06-17 23:10:20 +08:00
kevin fd0a3bc1fe up 2026-06-17 22:14:18 +08:00
kevin f3ee4035bb up 2026-06-17 20:58:01 +08:00
kevin b0a9f52096 实现每机器人独立 LLM 消息队列 
主要变更：
- 后端：为 botNodeRecord 添加 llm_queue_enabled 和 llm_include_channel_messages 字段
- 后端：移除全局 LLM 队列开关，完全基于每个机器人的设置
- 后端：重写 enqueueChannelMessageToLLM，为每个启用了「包含频道消息」的机器人创建独立队列记录
- 后端：频道消息不再使用 bot_id=0，每条消息都有明确的机器人归属
- 前端：AdminLLM.vue 完全重写，添加机器人 LLM 设置面板
- 前端：消息列表表格新增「机器人」列，显示机器人名称和节点 ID
- 前端：消息类型判断逻辑改为使用 channel_id 区分频道/私聊
- 前后端类型同步更新
 2026-06-17 20:51:22 +08:00
kevin e2bf6aa173 up 2026-06-17 20:18:37 +08:00
kevinandClaude 2840aca69b 修复签到日历人数显示 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-16 20:56:50 +08:00
kevinandClaude 8690265fa0 新增签到日历筛选 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-16 20:49:21 +08:00
kevinandClaude d36455ce71 修复签到页顶部导航显示 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-16 20:26:13 +08:00
kevinandClaude 6084897bdb 新增签到管理功能 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-16 20:16:28 +08:00
kevinandClaude eeefdaa180 调整轨迹浮窗宽度 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-16 19:56:42 +08:00
kevinandClaude 5b873ea059 修复轨迹浮窗文字布局 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-16 19:54:01 +08:00
kevin 3a94cf2c3e Merge branch 'feature/web-listener-toggles' 2026-06-16 19:50:28 +08:00
kevinandClaude e6a8826a8f 显示轨迹全部坐标节点 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-16 19:45:27 +08:00
kevinandClaude 0f04047517 支持 Web 端口和 Sock 同时启用 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-16 19:36:47 +08:00