推荐软件》LM Studio
推荐模型》谷歌开源Gemma/2B
Window平台软件及模型下载地址》https://enfi.ecomine.tech/#s/-OVIzDew
访问密码:座机号码前四位
简评:软件通用性较好,兼容A卡,可在笔记本运行,无需联网。小模型的推理能力不及目前的免费模型如文心一言、通义千问,但运行在本地无需担心信息被采集,生成速度较快。
目前探索的实用功能:
- 翻译
- 短段落文字数据抽取生成表格
知乎教程:用LM studio本地离线部署大语言模型(LLM)(更新至2024.2) – 知乎 (zhihu.com)
微信文章:Gemma 多平台使用指南
发表回复