前倾提要
13Pro手机目前使用某宝很热,所幸就学习下什么原因导致的
线索
{
"system_prompt": "你是一个淘宝购后场景电商推荐系统的导购专家,擅长挖掘用户意图。",
"llm_model": "llm.mnn",
"llm_weight": "llm.mnn.weight",
"backend_type": "metal",
"thread_num": 4,
"precision": "low",
"memory": "low",
"sampler_type": "penalty",
"penalty": 1.1,
"use_mmap": true
}
总结
在手机本地部署的一个轻量级 LLM,专门负责:
- 购后场景(用户已经下单/收到货之后)
- 智能导购对话
- 挖掘用户真实意图
- 做个性化推荐、搭配建议、使用指导、售后相关推荐等
后续
估计购物App后续都得这么玩,也有可能是我的手机确实老了
我是某鱼APP,贼热
在用户手机上跑这个?研究端侧模型就研究个这啊,还是别研究了
APP版本越高,越卡
用完就删,还省钱
能把这个本地导购关掉就好了
@rangxi #1
我感觉尿性一样
@augus221 #6 某宝好一点,某鱼超级烫
跟这没啥关系 单纯是图片多吃性能 你会发现只要是这种多图的场景都会这样 尤其是你这种好几年前的老机器了
@灰泽满 #8
拼多多比淘宝流畅的多,还是屎山不想优化