Openclaw学习笔记(9)本地LLM服务器搭建
由于openclaw运行起来实在太费token,现在有很多的开源的大模型,性能都已经很不错了,如果自己电脑的配置尚可,可以尝试在本地运行大模型,然后连接openclaw。下面以LM Studio为例说明如何搭建这个配置。去到这个网站下载LM Stuido: https://lmstudio.ai/点击右边侧边栏的“Model Search”图标,就是那个机器人加放大镜的图标。可以看到有很多的开源大模型可以选择,这里选择Google最新的开源模型Gemma 4,一共有四个不同尺寸的模型,31B, 26B, E4B和E2B,根据自己的电脑配置选择不同的模型,这里我选择了26B和E2B的模型。点击右边的下载按钮即可下载。下载完后可以在“我的模型”里查看模型的具体参数,可以看到Gemma 4 26B具有视觉,工具使用和思考能力,而E4b没有思考能力。切换到“对话”图标,在最下方的对话框里可以导入模型。导入模型的时候会要求设置上下文窗口大小和GPU使用占比,默认上下文窗口是4096,这个对openclaw是不够用的,可以设为128K。设置完后可以选择记住设置,然后点载入模型。如果openclaw是装在同一台机器,可以使用localhost服务器地址。如果openclaow是装在同一个网络的不同机器上,那可以点开server setting,然后打开Serve on Local Network,这样服务器的地址就变成了一个内外的地址。使用SSH工具如putty登录到openclaw安装环境,输入以下命令:openclaw configure --section model
在模型提供商里面选择custom provider:提示输入API Base URL,这是就是大模型服务器的地址,本地的话就是127.0.0.1:1234,如果是局域网就是192.168那个地址。继续要求输入API key,这里可以谁便输入比如lm_service。接下来一步问接入点的兼容性,选择openai-compatible,Model ID 可以去LM Studio里查看,比如这里就是gemma-4-e4b-it,验证成功的话就会提示"verification successful",然后自动出现一个Endpoint ID: