网站开发 提成,wordpress随机文章插件,网页版qq音乐在线登录,一个app下载网站Langchain功能
LangChian 作为一个大语言模型#xff08;LLM, Large Language Model#xff09;开发框架#xff0c;是 LLM 应用架构的重要一环。借助 LangChain#xff0c;我们可以创建各种应用程序#xff0c;包括聊天机器人和智能问答工具。 AI模型#xff1a;包含各…Langchain功能
LangChian 作为一个大语言模型LLM, Large Language Model开发框架是 LLM 应用架构的重要一环。借助 LangChain我们可以创建各种应用程序包括聊天机器人和智能问答工具。 AI模型包含各大语言模型的LangChain接口和调用细节以及输出解析机制。
提示模板Prompts 提示模板激发大语言模型的潜力。
检索Retrieval 自建知识库实现检索增强生成Retrieval Augmented Generation RAG包含文档加载、文本拆分、转换成向量、向量存储、知识检索。
向量数据库 保存语料信息。
组件
架构 | ️ LangChain 框架 快速上手
安装依赖
pip install langchain
pip install -qU langchain-openai
pip install langserve[all]
pip install -U langchain-community
python
Python 3.10.0 | packaged by conda-forge | (default, Nov 10 2021, 13:20:59) [MSC v.1916 64 bit (AMD64)] on win32
Type help, copyright, credits or license for more information.pip list
Package Version
------------------------ -----------
aiohappyeyeballs 2.5.0
aiohttp 3.11.13
aiosignal 1.3.2
annotated-types 0.7.0
anyio 4.8.0
async-timeout 4.0.3
attrs 25.1.0
build 1.2.2.post1
certifi 2025.1.31
charset-normalizer 3.4.1
cmake 3.31.6
colorama 0.4.6
dataclasses-json 0.6.7
diskcache 5.6.3
dpcpp-cpp-rt 2024.0.2
exceptiongroup 1.2.2
frozenlist 1.5.0
greenlet 3.1.1
h11 0.14.0
httpcore 1.0.7
httpx 0.28.1
httpx-sse 0.4.0
idna 3.10
importlib_metadata 8.6.1
intel-cmplr-lib-rt 2024.0.2
intel-cmplr-lic-rt 2024.0.2
intel-opencl-rt 2024.0.2
intel-openmp 2024.0.2
jsonpatch 1.33
jsonpointer 3.0.0
langchain 0.3.20
langchain-community 0.3.19
langchain-core 0.3.41
langchain-text-splitters 0.3.6
langsmith 0.3.12
llama_cpp_python 0.2.23
marshmallow 3.26.1
mkl 2024.0.0
mkl-dpcpp 2024.0.0
multidict 6.1.0
mypy-extensions 1.0.0
numpy 2.2.3
onednn 2024.0.0
onemkl-sycl-blas 2024.0.0
onemkl-sycl-datafitting 2024.0.0
onemkl-sycl-dft 2024.0.0
onemkl-sycl-lapack 2024.0.0
onemkl-sycl-rng 2024.0.0
onemkl-sycl-sparse 2024.0.0
onemkl-sycl-stats 2024.0.0
onemkl-sycl-vm 2024.0.0
orjson 3.10.15
packaging 24.2
pip 25.0
propcache 0.3.0
pydantic 2.10.6
pydantic_core 2.27.2
pydantic-settings 2.8.1
pyproject_hooks 1.2.0
python-dotenv 1.0.1
PyYAML 6.0.2
requests 2.32.3
requests-toolbelt 1.0.0
setuptools 75.8.2
sniffio 1.3.1
SQLAlchemy 2.0.38
tbb 2021.13.1
tenacity 9.0.0
tomli 2.2.1
typing_extensions 4.12.2
typing-inspect 0.9.0
urllib3 2.3.0
wheel 0.45.1
yarl 1.18.3
zipp 3.21.0
zstandard 0.23.0推理问题示例
完成代码
from langchain_community.llms import LlamaCpp
from langchain.prompts import PromptTemplate
from langchain.schema.output_parser import StrOutputParser
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler# 1. 定义中文提示模板
template_zh [INST] SYS
你是一个智能 助手需用简洁且口语化的回答用户问题。若问题不明确请主动询问细节。
/SYS{question} [/INST]prompt PromptTemplate(templatetemplate_zh, input_variables[question])
callback_manager CallbackManager([StreamingStdOutCallbackHandler()])
# 2. 加载本地模型
# 配置参数
n_gpu_layers 40 # 根据您的模型和GPU VRAM大小调整
n_batch 512 # 应在1到n_ctx之间考虑GPU的VRAM大小llm LlamaCpp(model_pathllama-2-7b-chat.Q4_K_M.gguf,n_gpu_layersn_gpu_layers,n_batchn_batch,callback_managercallback_manager,verboseTrue,
)# 3. 构建链
chain prompt | llm | StrOutputParser()# 4. 调用示例
question 如何用Python实现快速排序
response chain.invoke({question: question})
print(f\n回答{response})
输出结果
回答 Hey there!
To implement quicksort in Python, you can use the following code:
python
def quicksort(arr):if len(arr) 1:return arrelse:pivot arr[0]less [x for x in arr[1:] if x pivot]greater [x for x in arr[1:] if x pivot]return quicksort(less), pivot, quicksort(greater)This is a basic implementation of the quicksort algorithm. The function takes an array as input and returns three values: the sorted list (or lists), the pivot element, and the results of recursively calling the quicksort function on the greater and less than elements.
Please let me know if you have any questions!
(langchain) PS D:\code\trae ref
一文详解最热的 LLM 应用框架 LangChain - 知乎
