工程化04：灰度发布

AI 应用的灰度发布比传统应用更复杂，需要同时管理模型版本、Prompt 版本和策略配置。有效的灰度发布能确保新功能平稳上线，及时发现问题并快速回滚。

灰度发布策略

发布策略对比

策略	说明	适用场景	风险
全量发布	一次性发布给所有用户	紧急修复、低风险变更	高，问题影响所有用户
百分比发布	按比例逐步扩大范围	常规功能发布	中，可控制影响范围
用户分组	按用户特征分组发布	定向测试、VIP用户	低，影响可控
地域发布	按地域逐步发布	大规模发布	中，地域隔离
蓝绿部署	双环境切换	关键功能发布	低，可快速回滚

灰度流程设计

1. 开发环境测试 → 2. 灰度环境验证 → 3. 小流量发布(1%-5%) → 
4. 中等流量发布(10%-30%) → 5. 大流量发布(50%-80%) → 6. 全量发布

灰度发布示例

@Service
public class CanaryService {
    private final Map<String, Double> canaryRules = Map.of(
        "model-v2", 0.1,     // 10%用户使用模型v2
        "prompt-v3", 0.2,    // 20%用户使用prompt v3
        "feature-x", 0.05    // 5%用户使用新功能X
    );
    
    public boolean isCanaryUser(String userId, String feature) {
        double threshold = canaryRules.getOrDefault(feature, 0.0);
        if (threshold == 0) {
            return false;
        }
        
        int hash = userId.hashCode();
        double normalized = Math.abs(hash % 1000) / 1000.0;
        return normalized < threshold;
    }
    
    public void updateCanaryRule(String feature, double percentage) {
        canaryRules.put(feature, percentage);
    }
}

模型版本管理

版本管理策略

策略	说明	适用场景
语义化版本	MAJOR.MINOR.PATCH	需要严格版本控制
日期版本	YYYYMMDD	快速迭代场景
哈希版本	Git commit hash	代码与模型绑定
标签版本	Stable/Beta/Alpha	多环境并行

模型版本切换

@Service
public class ModelVersionService {
    private final Map<String, ModelClient> modelClients = new ConcurrentHashMap<>();
    private volatile String activeVersion = "v1";
    
    @PostConstruct
    public void init() {
        modelClients.put("v1", new ModelClient("https://api.openai.com/v1"));
        modelClients.put("v2", new ModelClient("https://api.openai.com/v2"));
    }
    
    public String generate(String prompt, String version) {
        ModelClient client = modelClients.get(version);
        if (client == null) {
            client = modelClients.get(activeVersion);
        }
        return client.generate(prompt);
    }
    
    public void switchVersion(String version) {
        if (modelClients.containsKey(version)) {
            activeVersion = version;
        }
    }
    
    public void addVersion(String version, String endpoint) {
        modelClients.put(version, new ModelClient(endpoint));
    }
}

版本对比测试

测试维度	指标	说明
质量对比	BLEU、ROUGE、人工评分	评估输出质量
性能对比	延迟、吞吐量、错误率	评估系统性能
成本对比	Token消耗、API调用成本	评估成本差异
用户反馈	NPS、满意度评分	评估用户体验

Prompt 版本管理

Prompt 版本策略

策略	说明	适用场景
版本号管理	每个版本独立存储	需要回溯历史版本
配置中心管理	Prompt 作为配置项	需要动态调整
A/B 测试	多个版本并行测试	需要对比效果
模板引擎	动态生成 Prompt	需要个性化

Prompt 配置管理

@Service
public class PromptVersionService {
    private final Map<String, String> promptTemplates = new ConcurrentHashMap<>();
    
    public String getPrompt(String key, String version) {
        String fullKey = key + ":" + version;
        return promptTemplates.getOrDefault(fullKey, 
            promptTemplates.get(key + ":latest"));
    }
    
    public void updatePrompt(String key, String version, String content) {
        promptTemplates.put(key + ":" + version, content);
        promptTemplates.put(key + ":latest", content);
    }
    
    public void rollbackPrompt(String key, String version) {
        String content = promptTemplates.get(key + ":" + version);
        if (content != null) {
            promptTemplates.put(key + ":latest", content);
        }
    }
}

Prompt A/B 测试

@Service
public class PromptABTestService {
    private final Map<String, List<String>> abGroups = new ConcurrentHashMap<>();
    
    public String selectPrompt(String experimentKey, String userId) {
        List<String> variants = abGroups.get(experimentKey);
        if (variants == null || variants.isEmpty()) {
            return promptService.getPrompt(experimentKey);
        }
        
        int hash = userId.hashCode();
        int index = Math.abs(hash % variants.size());
        return variants.get(index);
    }
    
    public void addExperiment(String key, List<String> variants) {
        abGroups.put(key, variants);
    }
    
    public void removeExperiment(String key) {
        abGroups.remove(key);
    }
}

策略开关

开关类型

类型	说明	示例
功能开关	控制功能是否启用	新功能上线
限流开关	控制请求速率	防止系统过载
降级开关	控制降级策略	故障恢复
白名单开关	控制特定用户访问	VIP用户测试
地域开关	控制地域访问	分地域发布

开关实现示例

@Component
public class FeatureToggleService {
    private final Map<String, Boolean> toggles = new ConcurrentHashMap<>();
    private final Map<String, Set<String>> whitelists = new ConcurrentHashMap<>();
    
    public boolean isEnabled(String feature) {
        return toggles.getOrDefault(feature, false);
    }
    
    public boolean isEnabledForUser(String feature, String userId) {
        Set<String> whitelist = whitelists.get(feature);
        if (whitelist != null && whitelist.contains(userId)) {
            return true;
        }
        return isEnabled(feature);
    }
    
    public void setToggle(String feature, boolean enabled) {
        toggles.put(feature, enabled);
    }
    
    public void addWhitelist(String feature, String userId) {
        whitelists.computeIfAbsent(feature, k -> new HashSet<>()).add(userId);
    }
    
    public void removeWhitelist(String feature, String userId) {
        Set<String> whitelist = whitelists.get(feature);
        if (whitelist != null) {
            whitelist.remove(userId);
        }
    }
}

开关监控

指标	说明	告警阈值
开关状态	各个开关的当前状态	异常变更
开关变更次数	开关被修改的次数	频繁变更
功能启用率	功能被启用的比例	低于预期
错误率	启用后的错误率	高于基线 2 倍

回滚机制

回滚策略

策略	说明	适用场景
立即回滚	发现问题立即回滚	严重问题
定时回滚	设定时间自动回滚	灰度测试
条件回滚	满足条件自动回滚	指标监控
手动回滚	需要人工确认回滚	关键变更

回滚实现示例

@Service
public class RollbackService {
    private final Stack<ChangeRecord> changeHistory = new Stack<>();
    
    public void recordChange(String type, String version, String previousVersion) {
        changeHistory.push(new ChangeRecord(type, version, previousVersion, 
            LocalDateTime.now()));
    }
    
    public boolean rollback() {
        if (changeHistory.isEmpty()) {
            return false;
        }
        
        ChangeRecord record = changeHistory.pop();
        switch (record.getType()) {
            case "MODEL":
                modelVersionService.switchVersion(record.getPreviousVersion());
                break;
            case "PROMPT":
                promptVersionService.rollbackPrompt(record.getKey(), 
                    record.getPreviousVersion());
                break;
            case "FEATURE":
                featureToggleService.setToggle(record.getKey(), false);
                break;
        }
        return true;
    }
    
    public boolean rollbackTo(String timestamp) {
        LocalDateTime targetTime = LocalDateTime.parse(timestamp);
        while (!changeHistory.isEmpty()) {
            ChangeRecord record = changeHistory.peek();
            if (record.getTimestamp().isAfter(targetTime)) {
                rollback();
            } else {
                break;
            }
        }
        return true;
    }
}

回滚验证

步骤	说明	验证方式
版本确认	确认回滚后的版本	检查版本号
功能验证	验证核心功能	自动化测试
性能验证	验证性能指标	监控面板
用户反馈	收集用户反馈	用户调查

灰度发布最佳实践

发布检查清单

检查项	说明
测试覆盖率	自动化测试覆盖关键路径
监控告警	关键指标有告警
回滚预案	有明确的回滚流程
文档更新	发布文档已更新
人员待命	相关人员待命

发布后监控

指标	监控时间	告警阈值
错误率	实时	> 5%
延迟	实时	P99 > 5s
用户反馈	实时	负面反馈激增
Token消耗	实时	超出预算
业务指标	5分钟	下降 > 10%

发布节奏

阶段	时间	流量比例
小流量	0-30分钟	1%-5%
观察期	30-60分钟	5%-10%
中等流量	1-2小时	10%-30%
大流量	2-4小时	30%-80%
全量	4小时后	100%

常见问题与解决方案

问题1：灰度发布导致性能下降

表现：发布后延迟增加、错误率上升

解决方案：

• 立即回滚到稳定版本
• 分析性能数据定位问题
• 优化后重新发布

问题2：用户反馈不一致

表现：部分用户反馈正常，部分用户反馈异常

解决方案：

• 检查用户分组策略
• 分析不同分组的差异
• 针对性修复问题

问题3：回滚失败

表现：回滚后系统仍有问题

解决方案：

• 检查回滚流程是否完整
• 查看变更历史
• 回滚到更早的版本

问题4：灰度时间过长

表现：灰度发布持续时间超过预期

解决方案：

• 检查监控指标是否达标
• 确认是否有未解决的问题
• 评估是否可以继续扩大范围

项目判断清单

• 新功能上线 → 使用灰度发布策略
• 需要对比不同版本效果 → 实施 A/B 测试
• 功能需要动态开关 → 实现策略开关
• 需要快速回滚能力 → 建立回滚机制
• 关键功能发布 → 使用蓝绿部署
• 需要定向测试 → 使用用户分组
• 需要控制影响范围 → 使用百分比发布
• 需要长期维护 → 建立版本管理体系