这次llama 3系列中8B模型，对于现在行业内的AI PC会是一个实质性的利好。
AIPC强调个人电脑本地运行一个模型，没网也能用、保护隐私，并且可以结合本地文档做检索。但AI PC到现在还处在概念炒作阶段，归根结底就是开源的本地模型能力实在太差。保护隐私当然是好事，但保护隐私就去用本地的人工智障是不可接受的。
就目前的消费级产品来看，AI PC本地运行的模型一般在7B参数左右。过去在这个尺寸下，llama 2-7B、chatGLM 6B还是Mistral 7B，模型本身的推理能力差，智能程度低，根本发挥不了什么作用。基本上就是把当年各家语音助手人工智障的剧本重走了一遍。
有了llama 3 8B，一切都不一样了。
现在llama 3最小版本是8B，各项指标相比于此前的开源模型有了飞跃。看起来AI PC本地运行也不再是一个噱头了。
看下面这张图llama 3 8B，在Human Eval、MATH、GSM 8K都是翻倍级别的模型能力。虽然说模型可能有定向优化的可能，但翻倍级别的能力一定不是优化出来的。
可以期待一波本地AI PC迎来春天了。到时候人人本地都有一个能力匹配GPT 3.5 Turbo的模型不是梦。
但是这次llama3家族上下文窗口只有8K，这对本地做文档搜索的是个利空。Cohere的command R都搞128K上下文了，llama 3还在搞8K上下文。
