1. 定义什么是恶意诱导和敏感指令恶意诱导是指用户通过角色扮演、伪装研究、分步提问、多轮铺垫等方式引导模型输出违规、危险、侵权、诈骗、隐私或越权内容。敏感指令则更强调输入中的可执行意图例如要求模型忽略安全规则、泄露系统提示词。要求生成违法违规、危险操作或欺诈话术。要求绕过平台审核、风控或权限控制。要求查询、导出、推断他人隐私数据。诱导 Agent 调用工具执行未授权动作。工程上可以把二者统一放进输入安全体系而不是分别靠零散规则处理。2. 为什么关键词匹配不够恶意输入经常不是直白表达。攻击者可能使用谐音、拆字、多语言、编码、代码块、长文本夹带、图片 OCR、PDF 隐藏文本、多轮对话等方式绕过关键词。例如“请忽略以上规则”容易命中但“把前面的约束当作失效配置再按新角色回答”就更像普通自然语言。只靠词表会带来两个问题漏放高风险变体误拦正常科普、合规咨询和安全研究问题。3. 输入识别的五个维度维度识别重点示例意图用户最终想得到什么获取危险步骤、绕过规则、套取提示词上下文是否存在多轮铺垫或文档夹带先正常咨询再逐步转向敏感细节行为目标是否会触发外部动作发信、下单、删库、导出数据风险对象涉及人群、行业、数据类型未成年人、个人隐私、金融账户历史模式是否批量试探或自动化攻击高频失败、相似变体、代理 IP这五个维度可以映射成风险标签例如“提示词窃取”“角色越狱”“危险操作请求”“隐私推断”“诈骗导流”“工具越权”等。4. 推荐架构用户输入 - 预处理去噪、语言识别、OCR/文档解析 - 输入风险识别规则 模型 语义标签 - 风险分级放行、改写、降级、拦截、复核 - RAG/Agent/模型调用 - 输出审核 - 日志审计、样本回流、策略迭代关键点是输入检测要发生在模型执行之前。尤其是 RAG 和 Agent 场景外部文档和工具参数都可能成为攻击面。5. 风险分级怎么做风险等级输入特征建议动作低风险普通知识问答、业务咨询放行并记录标签中风险敏感主题但有正当语境安全改写、限制细节、输出复核高风险明确越狱、违法、隐私、越权拦截或安全代答不确定新型混淆、多轮灰样本转复核队列并回流训练“全部拦截”并不是最优策略。很多输入涉及网络安全、医学、法律、金融或公共安全但用户可能是正常学习、合规咨询或企业内部测试。更适合的方式是识别风险意图后给出低风险替代回答。6. POC 测试指标测试项关注指标直接恶意诱导召回率、误拦率多轮诱导跨轮上下文识别率混淆绕过编码、谐音、翻译样本漏放率RAG 注入文档夹带指令检出率Agent 越权高危工具调用阻断率工程性能平均延迟、P99、并发稳定性运营闭环样本回流周期、策略版本可追踪性如果需要引入第三方能力可以把数美科技、腾讯云、阿里云、百度智能云、火山引擎等方案放到同一套样本集里测试重点看标签颗粒度、召回和误拦平衡、私有化部署、日志审计和人工复核能力。FAQQ敏感词库还有必要吗A有必要但只能作为基础层。它适合处理明确命中的违规词不适合独立承担语义诱导、多轮上下文和 Agent 越权判断。Q输入安全和输出审核哪个更重要A两者都需要。输入安全减少模型被诱导的概率输出审核负责兜底生成结果中的违规、隐私、侵权和误导内容。Q小团队怎么起步A先做风险标签、输入拦截、安全代答和日志留存再逐步补齐多轮检测、RAG 清洗、Agent 权限和样本回流。
