从可以检验的任务开始
明确什么才是有用的结果。
检索内部文档与预测业务结果,需要不同的数据和评估方法。我们考察输入内容、输出所支持的决策以及出错的后果,以明确应探索的方案、所需的依据,以及在使用结果前需要人工核查的环节。
在确定更大应用的范围之前,聚焦的可行性验证可以先回答一个具体技术问题。
AI 应用开发
开发辅助文档处理、信息查找和内容草稿准备的应用。在相关业务流程中明确来源材料、所需输出和复核步骤。
- 文档处理
- 检索选定的知识内容
- 辅助内容准备
聊天机器人与助手开发
利用经过批准的信息和已连接的服务,开发对话式界面。设定主题边界和访问规则,并提供进一步询问或转交人工处理的方式。
- 对话式用户界面
- 知识来源连接
- 转交人工支持
机器学习开发
为预测或分类任务准备数据,开发候选模型,并与相关基准比较结果。评估采用具有代表性的案例,以及适合业务问题的指标。
- 数据准备
- 预测与分类模型
- 模型比较与评估
AI 集成与评估
将选定模型接入应用,检查整个流程的表现。记录有价值的反馈,并审查陌生输入、缺少来源或需要重点关注的输出等情况。
- 应用与模型集成
- 评估案例与标准
- 监控与用户反馈
计算机视觉示意案例
先检测目标,再核查依据。
此建筑工地场景用于说明图像流程中的目标检测。实际项目需要定义目标类别和代表性样本,再分析漏检与误检,之后才能决定如何使用输出。
- 明确重要的目标与情境。
- 核查误检结果和遗漏目标。
- 将输出接入约定的人工复核环节。
AI 应用示例
检索公司文档,并提供来源引用。
内部助手可以帮助员工从选定的公司文档中查找答案。应用只检索用户有权访问的材料,并生成附有来源引用的回答。评估时需检查引用是否支持回答,以及在文档缺失、过时或相互矛盾时,助手会如何处理。
- 在检索来源材料前应用文档访问规则。
- 既测试有用的回答,也测试无法回答的问题。
- 提供查看原始来源或寻求人工帮助的途径。
- 提问员工提交与工作相关的问题。
- 检索应用搜索允许访问的文档来源。
- 回答助手生成附带来源引用的回答。
- 复核用户核查引用或寻求进一步帮助。
此处为假设的助手使用场景;可行性与输出质量需要针对选定信息源进行评估。
AI 项目交付
用评估结果指导下一步。
当原型能够回答事先约定的任务、数据或方案问题时,它才具有实际价值。
评估应用场景
与您的团队一起审查输入样本、来源访问条件和预期输出。明确评估案例、成功标准,以及哪些条件会使该方案不再适用。
您将获得的成果应用场景范围与评估计划开发与比较
构建聚焦的原型或模型并评估结果。分析失败案例,比较候选方案,找出集成前必须处理的局限。
您将获得的成果原型与书面评估结论集成与复核
将选定方案接入应用,并落实约定的访问控制和人工复核。记录监控、反馈收集,以及未来模型或来源变更的检查方式。
您将获得的成果已集成流程与复核程序
是否需要定制机器学习模型?
这取决于任务本身。现有模型、基于检索的应用或传统软件都可能满足需求。我们会先考虑数据可用性、评估结果和运营限制,再决定是否建议开发定制模型。
业务数据不完整,能否开始?
可以先审查具有代表性的样本。结论可能指向数据准备、扩大信息源覆盖,或缩小初始任务范围,也有助于区分目前能够测试的内容与仍需补充信息的内容。
如何处理 AI 回答不准确的问题?
设计中可以加入来源引用、人工复核、备用处理方式和反馈收集。这些措施根据任务选择,并用代表性问题进行测试。它们有助于管理错误,但不能保证每次输出都正确。
您的下一步
您的 AI 项目应解决哪项任务?
请提供输入示例、所需输出,以及输出将支持的决策。我们可以据此定义初步评估范围。
