test(text_splitter): P3-1第十五波 长文本分段单测 32个 #719

Merged

xiaoxia merged 7 commits from feat/p3-1-text-splitter-tests into develop 2026-07-22 16:28:26 +08:00

Conversation 3 Commits 7 Files Changed 6

+2738 -252

xiaoxia commented 2026-07-22 14:43:54 +08:00

Owner

Copy Link

Copy Source

P3-1 第十五波单元测试

新增

• tests/unit/test_text_splitter.py - 32个测试

覆盖范围

• 基础场景 (5个): 空文本/纯空白/短文本单段/刚好max_chars/首尾strip
• 句子边界分段 (9个): 中文句号/长句句号/问号/感叹号/换行/分号/混合标点/英文句号/英文问号
• 超长硬切 (4个): 单长句硬切/三倍长度/非整数倍/所有段均在限制内
• 短段合并 (2个): 末段过短合并/多短句合并
• max_chars参数 (3个): 小max_chars/自定义200/极小max_chars
• 中英文混合 (2个): 混合短文本/混合长文本
• 输出完整性 (3个): 拼接长度一致/顺序保留/无空串
• 边界情况 (4个): 单字符/纯标点/纯换行/大量长句

## P3-1 第十五波单元测试 ### 新增 - `tests/unit/test_text_splitter.py` - 32个测试 ### 覆盖范围 - **基础场景** (5个): 空文本/纯空白/短文本单段/刚好max_chars/首尾strip - **句子边界分段** (9个): 中文句号/长句句号/问号/感叹号/换行/分号/混合标点/英文句号/英文问号 - **超长硬切** (4个): 单长句硬切/三倍长度/非整数倍/所有段均在限制内 - **短段合并** (2个): 末段过短合并/多短句合并 - **max_chars参数** (3个): 小max_chars/自定义200/极小max_chars - **中英文混合** (2个): 混合短文本/混合长文本 - **输出完整性** (3个): 拼接长度一致/顺序保留/无空串 - **边界情况** (4个): 单字符/纯标点/纯换行/大量长句

xiaoxia added 6 commits 2026-07-22 14:43:54 +08:00

test(p3-1): 第十波 - url_security 安全模块单测 72个 ... 911478495a

覆盖 url_security.py 核心安全逻辑：
- validate_url_safety: scheme/端口/主机名/URL长度 等基础校验
- SSRF防护: 内网IP/回环/链路本地/组播/未指定/保留地址
- 内网主机名防护: localhost/.local/.internal/metadata
- 可信域名白名单: 精确匹配+子域名匹配
- is_url_safe 便捷函数
- 文件魔数校验: PNG/JPEG/GIF/WEBP/BMP/WAV/MP3/OGG/FLAC
- safe_download_file / safe_download_bytes (mock网络)
- 大小限制 / MIME类型白名单 / Content-Length预检

test(pagination): 补充通用分页器52个单元测试 ... a9bc314fed

覆盖 PaginationParams 默认值/校验/offset/limit、
PaginationMeta.from_params 边界场景、
PaginatedResponse.create 工厂方法、
paginate 内存分页函数

test(storage): 补充SharedStorageService 55个单元测试 ... 92b8044cb3

覆盖 _normalize_storage_key/URL解码、_is_local_generated_url、
get_url、create_direct_upload_post/policy+HMAC签名验证、
get_download_url fallback、未配置OSS错误处理、
bucket操作调用验证、单例模式、endpoint https前缀处理

test(module_registry): 补充模块注册中心62个单元测试 ... bb83549cc0

覆盖 ModuleStatus枚举/QuotaRule/ModuleCapability/Module数据类、
Module.activate/disable状态转换、ModuleRegistry注册注销/
自动激活/依赖检查/能力发现/状态过滤/全局单例

test(feature_flag_store): 补充FeatureFlag配置与存储43个单元测试 ... 0a23f72bfa

覆盖 FeatureFlagConfig 序列化/is_active判定（全局开关/
白名单/百分比哈希/边界值）、InMemoryFeatureFlagStore CRUD

test(text_splitter): 补充长文本分段工具32个单元测试 ... de5538ad1f

覆盖空文本/短文本/句子边界分段/超长硬切/
过短段落合并/max_chars参数/中英文混合/输出完整性

xiaoxia added 1 commit 2026-07-22 15:07:45 +08:00

fix(ci): auto-fix lint/format issues 5aef45636f

auto-approve-bot approved these changes 2026-07-22 15:30:27 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

auto-approve-bot approved these changes 2026-07-22 15:30:27 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

gitea-actions bot commented 2026-07-22 15:31:12 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#719
预览链接	https://pr-719.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #719 | | 预览链接 | [https://pr-719.preview.xiaoxiajianji.com](https://pr-719.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia merged commit 76a0fdd00c into develop 2026-07-22 16:28:26 +08:00

Sign in to join this conversation.

Reviewers

No Reviewers

auto-approve-bot

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#719