from openai import OpenAI
import json

class Chat(object):
    def __init__(self,api_key,base_url,model_name="deepseek-ai/DeepSeek-V2.5",init_content="You are a helpful assistant.",):
        self.client = OpenAI(
            api_key=api_key, 
            base_url=base_url
        )
        self.messages=[
            {"role": "system", "content": init_content},
        ]
        self.model_name=model_name
    def add_message(self,content="hello world",role_type="user"):
        self.messages.append(
            {"role":role_type,"content":content}
        )
    def assistant(self,content=""):
        self.assistant_info={"role":"assistant","content":""}
        self.add_message(content,"assistant")
    def response(self,chat_message):
        self.add_message(chat_message)
        rep=self.client.chat.completions.create(
            model=self.model_name,
            messages=self.messages
        )
        end=rep.choices[0].message.content
        self.assistant(end)
        print(self.model_name,">>>: ",end)
        return end
    def init_message(self,init_content="You are a helpful assistant."):
        self.messages=[
            {"role": "system", "content": init_content},
        ]
    
api_key="sk-shanpdouituaxbqjscaymfviktf******"
base_url="https://api.siliconflow.cn/v1"
model_name="Pro/deepseek-ai/DeepSeek-R1"
chat=Chat(api_key,base_url,model_name)

# print(chat.messages)
chat.response("1+1等于几")
# print(chat.messages)
chat.response("再加1等于几")
# print(chat.messages)
chat.response("再加2等于几")
# print(chat.messages)



print("I am ",model_name,"!")
while 1:
    ask=input("You>>>: ")
    chat.response(ask)
    # time.sleep(1)

chat=Chat(api_key,base_url,model_name)
chat.response(“1+1等于几”)
#开始会话，保保存上下文的记忆
chat.init_message()
#重启会话

配置3个参数 ，直接就可以调用了，可以使用连续对话。

事间的一切就是输入与输出。

输入：

具体执行，对新闻（今日头条）微博 知乎，及相对便于采集的文字信息作为输入。

处理：

对于热点信息的分析的原则：

1.探求事实，整合其余内容

2.做出总结。

输出：

总结+叙述

环境准备：

torchvision安装（pytorch已安装的情况下，下面的是CPU版本，Mac无英伟达）

pip install torchvision -f https://mirrors.tuna.tsinghua.edu.cn/pytorch/wheels/cpu -i https://pypi.tuna.tsinghua.edu.cn/simple

安装qwen-vl-utils==0.0.8

pip install qwen-vl-utils==0.0.8 -i https://pypi.tuna.tsinghua.edu.cn/simple

更新你的transformer

pip install --upgrade transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

安装’accelerate>=0.26.0′

pip install 'accelerate>=0.26.0' -i https://pypi.tuna.tsinghua.edu.cn/simple

完蛋 CPU CUDA MPS（apple特有）每个都不一样

安装：

curl -fsSL https://ollama.com/install.sh | sh

默认是打开11434 端口 给本地应用使用（localhost:11434）

配置其他端口

vi ~/.ollama/config.json

修改配置文件，若没有则新创建；下面设置了50002 端口替换11434

{
    "OLLAMA_HOST": "0.0.0.0:50002"
}

修改完成后需要重启ollama服务，

systemctl restart ollama

或者临时解决 修改环境变export OLLAMA_HOST="0.0.0.0:50002" 重启失效，

然后运行 ollama serve

ollama通过脚本安装默认是开机自启动。

问题：内部应用RAGflow anythingLLM 无法访问

去魔搭社区下载

https://modelscope.cn/models/Qwen/Qwen2.5-VL-3B-Instruct/files

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

modelscope download --model Qwen/Qwen2.5-VL-3B-Instruct

使用lm studio 载入模型即可 https://lmstudio.ai/