上个月一个在东莞开五金厂的老同学半夜给我发语音,声音压得很低,说车间最近上了一套人工智能质检设备,结果误判率高得离谱,良品被当成次品往外扔,老板气得拍桌子,供应商那边却说是他们现场光线没调好。他问我,采购人工智能产品这事,到底有没有靠谱的判断标准。说实话,我听完心里也咯噔一下,因为我自己前年就踩过一模一样的坑。
先说说我自己那段不太光彩的经历。前年公司想上一套智能客服系统,销售给我看的参数表漂亮得不行,识别准确率标着百分之九十八,响应速度零点几秒,价格还比同行低三成。我当时觉得捡到宝了,合同签得飞快。结果上线第一个月,客户问“发票怎么开”,它给我回了一段产品功能介绍,气得我当晚没睡好。
后来我才搞明白,那个百分之九十八的准确率,是在实验室安静环境下、用标准普通话、问固定问题的测试结果。真实场景里带着方言口音、背景噪音、说话还爱绕弯子,准确率直接掉到六成出头。这就像买车只看发动机参数,却忘了自己每天要在堵成停车场的路上开。参数不是假的,但它只告诉你最好情况,不告诉你最坏情况。
所以现在我看人工智能产品,第一件事不是看准确率,而是问供应商三句话:你的测试数据集是怎么采的?有没有在和我同行业的客户现场跑过?出问题的时候你们的响应机制是什么?这三个问题问下来,能筛掉一大半只会背参数的销售。我那个老同学后来按这个思路重新谈,供应商终于承认他们的模型确实没在五金件表面反光强的场景下训练过,最后调整了补光方案,误判率从接近两成降到了百分之三左右。
提示:采购人工智能产品时,一定要让对方提供和你业务场景高度相似的落地案例联系人,并且真的打电话过去问。那些支支吾吾说客户不方便透露的,基本可以放下了。
很多老板以为人工智能产品买回来插上电就能用,这误会可太大了。我见过一家做服装批发的公司,花大价钱买了智能补货系统,结果数据接口和自家老旧的进销存系统对不上,硬是折腾了两个月才打通,这期间系统就是个摆设。你细想,人工智能再聪明,它得先能看见数据才能干活,数据管道不通,它就是台昂贵的计算器。
我自己后来的做法是,合同里必须写清楚部署阶段的分工和时间表。比如数据清洗谁负责、接口对接谁来做、试运行多久、验收标准是什么。特别是验收标准,千万别写“系统运行稳定”这种虚话,要写具体,比如连续两周日均处理一千条请求,错误率低于百分之五。这些条款看着琐碎,但真出事的时候,它们就是你手里的绳子。
还有个容易被忽略的点是人员培训。系统再好,一线员工不会用或者不愿用,照样白搭。我认识一个做物流的朋友,上了智能分拣系统后没做充分培训,老师傅嫌麻烦还是按老办法手动分,系统成了摆设。后来他们搞了个笨办法,让每个班组选一个年轻人当种子用户,先教会他们,再带着老师傅用,慢慢才把习惯扭过来。这个过程大概花了六周,不算快,但总比系统闲置强。
不是买不了,是别贪大求全。很多人工智能产品现在按年付费或者按调用量计费,小公司可以从一个具体的小痛点切入,比如先用智能客服挡掉重复咨询,或者用智能识别处理单据录入。花小钱先跑通一个场景,尝到甜头再扩,比一次性砸大钱上大系统稳妥得多。
说到这里我其实也有个没想明白的地方。现在市面上人工智能产品更新换代太快了,今年买的顶配,明年可能就被新模型甩开一截。到底该一步到位买贵的,还是先买个够用的过渡,这个问题我跟好几个同行聊过,谁也没给出个让我服气的答案。反正后来我就按够用原则走了,也不知道是对是错,你们要是有踩过坑的,欢迎来说说。