端侧“大模型”端侧AI…#情报

端侧“大模型”
端侧AI模型Octopus V2：推理比GPT-4快168%，准确率超Llama7B
意义：现在的大模型参数太大，无法在端侧设备直接部署，Octopus V2的独特之处在于其能在智能手机、汽车和个人电脑等多种终端设备上流畅运行，尤其在涉及自动化工作流的任务中，它能够灵活调用函数，堪称构建AI智能体的核心要素。
Octopus V2端侧AI模型由斯坦福大学科研团研发，拥有20亿参数。
相较于基于RAG函数调用机制的Llama7B模型，Octopus V2在响应速度上更是取得了惊人的飞跃，较之提升了36倍。