不知道大家留意没，最近有一个消费者，因为利用AI技术做了一个所购螃蟹坏了的视频试图仅退款，但被商家无意间发现视频伪造的端倪，从而这个消费者被拘留的情况。AI时代的新型骗术正在涌现出来。

据南方都市报近期报道，AI造假问题甚至蔓延至了学术、法律、审计等高专业度的领域。今年11月，香港大学博士生的一篇有关生育率的学术论文，就在不察之下，引用了24篇AI生成的虚假文献。当然这位博士生最后遭到论文被撤稿、学校启动调查的厄运。

更为可怕的是，现在已经出现律师在诉讼过程中引用不存在的判决的案例。据南方都市报，今年10月，北京通州法院披露了一起律师利用AI生成虚假判例的案例，最后律师因未尽核实义务，遭到法官批评。

说起AI造假问题，近期一个名叫“GEO”的东西，渐渐引起外界的关注。

或许大家对SEO并不陌生，它是互联网时代的产物，全名意思是“搜索引擎优化”，主要是通过为客户做网址权重、标签展现等服务，来实现客户品牌或产品等的曝光情况。

GEO是什么呢？全名是Generative Engine Optimization，即生成式引擎优化。可以说它是从SEO进化而来的AI时代的产物。

大家认为SEO就是一种营销推广生意，有坏影响但不大，只要用户仔细甄别，还是可以分别出来哪些是SEO服务推出的营销内容。

可GEO是针对大模型内容的营销推广生意，其坏影响遭多家媒体报道，甚至被媒体看作黑灰产产业，类似于给AI投毒。这到底是怎么回事？

应该说GEO本身不会作恶，作恶的还是利用这一模式进行牟利的人。如今有一些灰产分子已经开始利用这一方式进行作恶了。

GEO并非从用户端着手，因此用户对它的感知并不明显，但它作为更高端的营销打法，主要在于从源头投喂大模型一些数据和内容，从而达到为客户实现营销推广的目的。

这一模式的可怕之处，就在于被其污染的大模型内容，往往顶着权威、靠谱、可信的高质量信息的帽子，因此下游用户很难甄别真假，从而受其影响，很可能做出错误的决策。

讲一个例子，一些灰产分子利用GEO，将虚构的行业报告、假专家、提示词等方式注入到大模型的内容之中，还有将虚假联系方式注入进去搞电诈的。由于内容伪装的过好，大模型往往将其作为权威内容，就此输出给用户参考，而用户又很难辨认真伪，从而上当受骗。

最近根据媒体报道，金融黑灰产正在利用GEO技术升级诈骗手段，其通过干扰AI输出伪造金融机构客服电话，诱导用户落入陷阱。

这个报道讲述了这种新型诈骗方法，主要是黑灰产将伪造的联系方式植入到AI答案之中，用户若致电这个显示为“某某金融机构客服电话”时，可能其实已被导向了诈骗电话。

说起来，之所以灰产分子利用GEO钻了大模型的空子，在于大模型训练一大部分是公开数据源的投喂，而灰产分子将明明不存在的“某某专家”“某某权威报告”“某某实验室”等具有特定倾向的内容，定向投喂给大模型，从而在源头实现对AI的投毒。

其实现在GEO从业者，基本都是由原来的SEO转型而来的。他们都是一些小公司，鱼龙混杂，监管起来也有难度。不过，这一现象已经引起外界强烈关注，想必后续会逐渐在上游构建相应的规则和体系。