最近随着chatGPT的火爆，AI人工智能算力也开始进入大众视野。当前的AI模型大多采用了大模型，需要部署在云端，用户需要通过订阅制才能获得AI服务。
而chatGLM等60亿参数的“小”模型，能够部署在家用个人电脑上，给个人用户提供了更多的可能。不少用户开始感到好奇，我的个人电脑在AI算力上究竟表现如何。
UL benchmark公司在2023年3月20日发布新闻稿，宣布推出了针对Windows个人电脑的全新AI推理能力评测软件，集成在其评测套装UL Procyon中。其AI推理能力评测软件的英文全称为UL Procyon AI Inference Benchmark for Windows。此前UL的AI推理能力评测软件仅在手机端运行，手机端的拍照功能对于NPU、AI算力要求较高。
UL benchmark这个公司可能并不为广大用户所熟知，但是旗下产品PCMark 10、3DMark等则是大多数电脑用户耳熟能详的评测软件。其中3DMark更是显卡图形性能测试的行业基准。
按照UL benchmark的新闻稿与官网介绍，全新的AI推理测试软件主要测试了AI在计算机视觉方面的性能。其中包括了Mobile Net V3、Inception V4、YOLO V3、DeepLab V3、RealESRGAN和ResNet 50，这些测试模型主要用于图像分类、超分辨率、图像分割、对象识别等经典的人工智能场景使用。
值得注意的是，目前UL AI推理能力的计算，有四种不同的SDK，包括了Microsoft Windows ML, Qualcomm SNPE, Intel OpenVINO 和 NVIDIA TensorR。而模型精度则可以选择整数或浮点32位。
在评测最终分数上，UL AI Inference Benchmark则能够提供不同模型的耗时，并给出标准化计算的分数。
分数计算的标准化流程，为上述六种模型耗时的几何平均值的倒数，乘以协调系数 K=5000。
坦白来说，UL使用的测试案例主要为CV计算机视觉相关的神经网络算力测试，与当下大模型运行仍然存在较大的差别。同时，图像识别的推理在个人电脑上我能够想到的应用也并不多。不管怎么说，对于个人电脑运行AI推理能力的测试，UL benchmark算是走出了评测软件的重要一步。
