设为首页收藏本站
开启辅助访问 切换到宽版

无忧启动论坛

 找回密码
 注册
搜索
无忧启动论坛»论坛 › ::启动制作:: › 综合讨论区 › 调用本地大语言模型的单文件小工具
系统gho:最纯净好用系统下载站广告联系 微信:wuyouceo QQ:184822951
12下一页
返回列表 发新帖
查看: 1370|回复: 35
打印 上一主题 下一主题

[分享] 调用本地大语言模型的单文件小工具

  [复制链接]
lhc0688
跳转到指定楼层
1#
发表于 2024-3-7 18:53:31 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
加入VIP会员，获无忧币，赠积分，送勋章，下载无限制，获论坛最高级会员权限 !
本帖最后由 lhc0688 于 2024-3-8 09:09 编辑

推荐一个调用本地大语言模型的单文件小工具koboldcpp，分GPU版和CPU版，均为单文件，无须配置复杂的python、git、cuda等环境，直接运行即可使用，非常简单方便；
使用方法：将需要调用的模型放在同一文件夹内，路径不能有中文，然后直接运行，根据提示选择模型文件，点加载即可；

虽然是单文件小工具，但功能很强大，不仅可以语言对话，而且还可以同时调用SD图像模型、以及指定自己语音模型，可以实现文、图、音同步；

软件界面：


官网下载链接：
GPU版：https://github.com/LostRuins/koboldcpp/releases/download/v1.60.1/koboldcpp.exe
CPU版：https://github.com/LostRuins/koboldcpp/releases/download/v1.60.1/koboldcpp_nocuda.exe

推荐开源模型，可CPU运行，对中文支持也较好：
https://huggingface.co/tastypear/CausalLM-7B-DPO-alpha-GGUF/blob/main/causallm_7b-dpo-alpha.Q5_K_M.gguf







点评

yyz2191958
要科学上网吗？  发表于 2024-3-7 19:07
回复

使用道具 举报

2#
发表于 2024-3-7 19:02:55 | 只看该作者
谢谢分享
回复

使用道具 举报

lhc0688
3#
 楼主| 发表于 2024-3-7 19:03:17 | 只看该作者
不仅可以语言对话，而且还可以调用SD图像模型、以及自己语音模型，可以实现文、图、音同步；
回复

使用道具 举报

4#
发表于 2024-3-7 19:03:26 | 只看该作者
无法访问此网站检查 github.com.cnpmjs.org 中是否有拼写错误。
如果拼写无误，请尝试运行 Windows 网络诊断。
DNS_PROBE_FINISHED_NXDOMAIN

点评

lhc0688
科学  发表于 2024-3-7 19:04
回复

使用道具 举报

5#
发表于 2024-3-7 19:06:40 | 只看该作者
要科学上网吗？
回复

使用道具 举报

lhc0688
6#
 楼主| 发表于 2024-3-7 19:07:23 | 只看该作者
本帖最后由 lhc0688 于 2024-3-8 09:10 编辑

。。。
回复

使用道具 举报

lhc0688
7#
 楼主| 发表于 2024-3-7 19:09:47 | 只看该作者
使用方法：将需要调用的模型放在同一文件夹内，路径不能有中文，然后直接运行，根据提示选择模型文件，点加载即可；
回复

使用道具 举报

8#
发表于 2024-3-7 19:12:46 | 只看该作者
谢谢分享
回复

使用道具 举报

lhc0688
9#
 楼主| 发表于 2024-3-7 19:14:20 | 只看该作者
本帖最后由 lhc0688 于 2024-3-8 09:10 编辑

。。。
回复

使用道具 举报

10#
发表于 2024-3-7 19:52:08 | 只看该作者
感谢分享
回复

使用道具 举报

jobgan
11#
发表于 2024-3-7 22:23:20 | 只看该作者
谢谢分享
回复

使用道具 举报

yc2428
12#
发表于 2024-3-7 22:25:24 | 只看该作者
谢谢分享
回复

使用道具 举报

13#
发表于 2024-3-7 23:09:29 | 只看该作者
CausalLM-14B-DPO-alpha-GGUF,这个14B更强吗？

点评

lhc0688
14需要10G现存，也能跑，只是慢很多  发表于 2024-3-7 23:28
回复

使用道具 举报

14#
发表于 2024-3-7 23:20:34 | 只看该作者
谢谢分享
回复

使用道具 举报

leone
15#
发表于 2024-3-8 00:51:49 | 只看该作者
谢谢分享！
回复

使用道具 举报

16#
发表于 2024-3-8 08:54:45 | 只看该作者
本帖最后由 digital hero 于 2024-3-8 09:44 编辑

从哪里可以看出来是通义千问？      哦，看出来了

怎么让它不默认是在写小说？

点评

lhc0688
设置-对话模式  详情 回复 发表于 2024-3-8 10:03
lhc0688
基于通义训练的  详情 回复 发表于 2024-3-8 09:08
回复

使用道具 举报

lhc0688
17#
 楼主| 发表于 2024-3-8 09:08:18 | 只看该作者
digital hero 发表于 2024-3-8 08:54
从哪里可以看出来是通义千问？

基于通义训练的
回复

使用道具 举报

18#
发表于 2024-3-8 09:29:36 | 只看该作者
谢谢分享
回复

使用道具 举报

lhc0688
19#
 楼主| 发表于 2024-3-8 10:03:50 | 只看该作者
digital hero 发表于 2024-3-8 08:54
从哪里可以看出来是通义千问？      哦，看出来了

怎么让它不默认是在写小说？ ...

设置-对话模式
回复

使用道具 举报

xwei9277
20#
发表于 2024-3-8 10:03:57 | 只看该作者
经测试，调用qwen 7b模型，回答问题不会超过120个字，所以回答一半就没有下文 了，而ollama调用qwen 7b模型，会有一个完整的回答！

点评

lhc0688
Tokens调大，设到4096  详情 回复 发表于 2024-3-8 12:19
回复

使用道具 举报

lhc0688
21#
 楼主| 发表于 2024-3-8 12:19:01 | 只看该作者
xwei9277 发表于 2024-3-8 10:03
经测试，调用qwen 7b模型，回答问题不会超过120个字，所以回答一半就没有下文 了，而ollama调用qwen 7b模型 ...

Tokens调大，设到4096
回复

使用道具 举报

guong
22#
发表于 2024-3-8 12:54:21 | 只看该作者
谢谢分享
回复

使用道具 举报

23#
发表于 2024-3-8 13:40:48 | 只看该作者
感谢分享
回复

使用道具 举报

pbmmm
24#
发表于 2024-3-8 13:42:48 | 只看该作者
感谢分享
回复

使用道具 举报

fegr
25#
发表于 2024-3-8 16:18:31 来自手机 | 只看该作者
感谢分享
回复

使用道具 举报

26#
发表于 2024-3-8 17:42:25 | 只看该作者
官网下载太慢了，能否给一个网盘分流？
回复

使用道具 举报

9527sss
27#
发表于 2024-3-8 19:43:46 | 只看该作者
感谢分享
回复

使用道具 举报

28#
发表于 2024-3-9 09:44:30 | 只看该作者

感谢分享
回复

使用道具 举报

29#
发表于 2024-3-9 11:18:12 | 只看该作者
这个大模型dpo训练侧重是什么？从网站上没有看到。 觉得回答问题比较发散
回复

使用道具 举报

30#
发表于 2024-3-9 18:46:23 | 只看该作者
谢谢辛苦提供分享！
回复

使用道具 举报

12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|Archiver|捐助支持|无忧启动 ( 闽ICP备05002490号-1 )

闽公网安备 35020302032614号

GMT+8, 2024-5-29 13:19

Powered by Discuz! X3.3

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表