Ollama 模型交互

Ollama 提供了多种方式：

1. 命令行方式
2. ollama 服务（API）
3. ollama SDK（Python、JavaScript）、langchain 调用

命令行交互

通过命令行直接与模型进行交互是最简单的方式。

使用 ollama run <model-name> 命令启动模型并进入交互模式

例如：

ollama run qwen3:0.6b

在交互模式下，输入 /bye 或按下 Ctrl+d 退出。

API 交互

ollama 默认开机自启，也可以使用一下命令启动 ollama 服务

ollama serve

启动之后 ollama 默认运行在 http://localhost:11434 。直接在浏览器访问这个地址能够正常返回内容就说明启动成功了。

然后可以在 ollama API 官方文档 中查看使用方式。

这种方式可以自己利用暴露的 api 编写客户端，也可以使用第三方的客户端直接操作。例如 cherry studio 等。

SDK 使用

Ollama 提供了 Python SDK、JavaScript SDK，同时 Python 庞大的生态系统中，也有很多工具提供了对 ollama 的支持，可以让我们能够在 Python 环境中轻松与本地运行的模型进行交互。

通过 Ollama 的 Python SDK 能够轻松地将自然语言处理任务集成到 Python 项目中，执行各种操作，如文本生成、对话生成、模型管理等，且不需要手动调用命令行。

也可以使用 langchain 实现更高级的功能（RAG、MPC、Agent 等）

Ollama SDK

首先，我们需要安装 Ollama 的 Python SDK。

安装之前确保 Python 版本不是太旧以及太新

pip install ollama

在使用之前可以查看一下官方文档：https://github.com/ollama/ollama-python

from ollama import chat
from ollama import ChatResponse

response: ChatResponse = chat(model='qwen3:0.6b', messages=[
    {
        'role': 'user',
        'content': '你是谁？',
    },
])
# print(response['message']['content'])
print(response.message.content)

langchain 调用 ollama

使用之前需要安装一下 langchain_community。 相关文档可以访问：https://python.langchain.com/api_reference/community/index.html

pip install langchain_community

然后再调用

from langchain_community.llms import Ollama

llm = Ollama(
    base_url='http://127.0.0.1:11434',  # 如果是默认，可以省略
    model="qwen3:0.6b"
)
print(llm.invoke("你是谁？"))