h5科技 网站,昆明建设公司网站,培训机构退费法律规定,网页设计培训南京分类目录#xff1a;《自然语言处理从入门到应用》总目录 特征存储是传统机器学习中的一个概念#xff0c;它确保输入模型的数据是最新和相关的。在考虑将LLM应用程序投入生产时#xff0c;这个概念非常重要。为了个性化LLM应用程序#xff0c;我们可能希望将LLM与特定用户…分类目录《自然语言处理从入门到应用》总目录 特征存储是传统机器学习中的一个概念它确保输入模型的数据是最新和相关的。在考虑将LLM应用程序投入生产时这个概念非常重要。为了个性化LLM应用程序我们可能希望将LLM与特定用户的最新信息结合起来。特征存储可以是保持数据更新的好方法而LangChain提供了一种将该数据与LLM结合的简单方式。
在下面的示例中我们将展示如何将提示模板连接到特征存储。其基本思想是从提示模板中调用特征存储以检索值然后将这些值格式化到提示中。
Feast
首先我们将使用流行的开源特征存储框架Feast。首先假设我们已经做完了Feast的入门步骤。紧接着我们将基于入门示例构建并创建一个LLMChain用于驱动有关其最新统计信息。
加载 Feast 存储
根据Feast的README中的说明进行设置
from feast import FeatureStore# 根据存储路径进行更新
feast_repo_path ../../../../../my_feature_repo/feature_repo/
store FeatureStore(repo_pathfeast_repo_path)提示
在这里我们将设置一个自定义的FeastPromptTemplate。这个提示模板将接收一个司机 ID查找他们的统计数据并将这些统计数据格式化到提示中。需要注意的是这个提示模板的输入只有driver_id因为这是唯一由用户定义的部分所有的其它变量都在提示模板内部查找。
from langchain.prompts import PromptTemplate, StringPromptTemplate
template 根据司机的最新统计数据写一个便签将这些统计数据传达给他们。
如果他们的对话率超过0.5请给他们一个赞美。否则在最后讲一个关于鸡的愚蠢笑话让他们感觉好一些。以下是司机的统计数据
对话率{conv_rate}
接受率{acc_rate}
平均每日行程数{avg_daily_trips}你的回复
prompt PromptTemplate.from_template(template)
class FeastPromptTemplate(StringPromptTemplate):def format(self, **kwargs) - str:driver_id kwargs.pop(driver_id)feature_vector store.get_online_features(features[driver_hourly_stats:conv_rate,driver_hourly_stats:acc_rate,driver_hourly_stats:avg_daily_trips],entity_rows[{driver_id: driver_id}]).to_dict()kwargs[conv_rate] feature_vector[conv_rate][0]kwargs[acc_rate] feature_vector[acc_rate][0]kwargs[avg_daily_trips] feature_vector[avg_daily_trips][0]return prompt.format(**kwargs)
prompt_template FeastPromptTemplate(input_variables[driver_id])
print(prompt_template.format(driver_id1001))输出:
根据司机的最新统计数据写一个便签将这些统计数据传达给他们。
如果他们的对话率超过0.5请给他们一个赞美。否则在最后讲一个关于鸡的愚蠢笑话让他们感觉好一些。以下是司机的统计数据
对话率0.4745151400566101
接受率0.055561766028404236
平均每日行程数936你的回复在上面的例子中我们创建了一个FeastPromptTemplate的实例并使用format方法为特定的driver_id生成一个提示。使用store.get_online_features从特征存储中检索司机的特征向量并将相关统计数据填充到提示模板中。现在我们可以将生成的提示文本用于进一步处理或作为输入提供给您的语言模型。
在链式结构中使用
现在我们可以在链式结构中使用它创建一个由特征存储支持的个性化链式结构
from langchain.chat_models import ChatOpenAI
from langchain.chains import LLMChain
chain LLMChain(llmChatOpenAI(), promptprompt_template)
chain.run(1001)输出
嗨我想向您更新一下您当前的统计数据。您的接受率为0.055561766028404236平均每日行程数为936。虽然您当前的对话率为0.4745151400566101但我相信只要再加一点努力您就能超过0.5的标准继续保持良好的工作还记得即使鸡无法总是穿过马路但它们仍会尽力而为。以上是根据提供的统计数据生成的更新消息。消息中包含司机的接受率、平均每日行程数和对话率的信息。鼓励司机继续努力工作并给予他们一些鸡的笑话来增加一些轻松的氛围。
Tecton
上面我们展示了如何在LangChain中使用流行的开源自管特征存储Feast。下面的示例将展示如何使用Tecton进行类似的集成。Tecton是一个完全托管的特征平台用于协调完整的ML特征生命周期从转换到在线服务具备企业级SLA。
前提条件
Tecton部署将TECTON_API_KEY环境变量设置为有效的服务账户密钥
定义和加载特征
我们将使用Tecton教程中user_transaction_counts的Feature View作为Feature Service的一部分。为简单起见我们只使用了一个Feature View然而更复杂的应用可能需要更多的Feature View来检索其提示所需的特征。
user_transaction_metrics FeatureService(nameuser_transaction_metrics,features[user_transaction_counts]
)上述Feature Service预计将被应用到实时工作空间中。在本示例中我们将使用prod工作空间。
import tectonworkspace tecton.get_workspace(prod)
feature_service workspace.get_feature_service(user_transaction_metrics)Prompts
在这里我们将设置一个自定义的TectonPromptTemplate。该提示模板将接收一个用户ID查找其统计数据并将这些统计数据格式化为提示。需要注意的是该提示模板的输入只有user_id因为这是唯一由用户定义的部分所有其他的变量都在提示模板内部查找。
from langchain.prompts import PromptTemplate, StringPromptTemplate
template 给定供应商的最新交易统计数据根据以下规则给他们写一封信1. 如果他们在过去一天内有交易向他们祝贺最近的销售成绩。
2. 如果过去一天没有交易但过去30天内有交易逗趣地鼓励他们多卖一些。
3. 最后总是加上一个关于鸡的愚蠢笑话。以下是供应商的统计数据
过去一天的交易数量{transaction_count_1d}
过去30天的交易数量{transaction_count_30d}您的回复
prompt PromptTemplate.from_template(template)
class TectonPromptTemplate(StringPromptTemplate):def format(self, **kwargs) - str:user_id kwargs.pop(user_id)feature_vector feature_service.get_online_features(join_keys{user_id: user_id}).to_dict()kwargs[transaction_count_1d] feature_vector[user_transaction_counts.transaction_count_1d_1d]kwargs[transaction_count_30d] feature_vector[user_transaction_counts.transaction_count_30d_1d]return prompt.format(**kwargs)prompt_template TectonPromptTemplate(input_variables[user_id])
print(prompt_template.format(user_iduser_469998441571))输出
给定供应商的最新交易统计数据根据以下规则给他们写一封信如果他们在过去一天内有交易向他们祝贺最近的销售成绩。
如果过去一天没有交易但过去30天内有交易逗趣地鼓励他们多卖一些。
最后总是加上一个关于鸡的愚蠢笑话。
以下是供应商的统计数据 过去一天的交易数量657 过去30天的交易数量20326您的回复在链式模型中使用
现在我们可以在链式模型中使用它创建一个通过Tecton Feature平台支持的个性化链式模型
from langchain.chat_models import ChatOpenAI
from langchain.chains import LLMChain
chain LLMChain(llmChatOpenAI(), promptprompt_template)
chain.run(user_469998441571)输出
哇恭喜您最近的销售成绩您的业务就像热气球上的一只鸡一样飞得很高继续保持良好的工作Featureform
最后我们将使用Featureform一个开源的企业级特征存储来运行相同的示例。Featureform允许我们使用Spark等基础设施或本地环境来定义特征转换。
初始化Featureform
我们可以按照README中的说明初始化Featureform中的转换和特征。
import featureform as ffclient ff.Client(hostdemo.featureform.com)Prompts
在这里我们将设置一个自定义的FeatureformPromptTemplate该提示模板将使用用户每笔交易的平均金额作为输入。需要注意的是该提示模板的输入只有avg_transaction因为所有其他变量都在提示模板内部查找。
from langchain.prompts import PromptTemplate, StringPromptTemplate
template Given the amount a user spends on average per transaction, let them know if they are a high roller. Otherwise, make a silly joke about chickens at the end to make them feel betterHere are the users stats:
Average Amount per Transaction: ${avg_transcation}Your response:
prompt PromptTemplate.from_template(template)
class FeatureformPromptTemplate(StringPromptTemplate):def format(self, **kwargs) - str:user_id kwargs.pop(user_id)fpf client.features([(avg_transactions, quickstart)], {user: user_id})return prompt.format(**kwargs)prompt_template FeatureformPrompTemplate(input_variables[user_id])
print(prompt_template.format(user_idC1410926))在对话链中使用
现在我们还可以将其用于对话链中成功创建一个由Featureform Feature平台支持的个性化对话链。
from langchain.chat_models import ChatOpenAI
from langchain.chains import LLMChain
chain LLMChain(llmChatOpenAI(), promptprompt_template)
chain.run(C1410926)参考文献 [1] LangChain ️ 中文网跟着LangChain一起学LLM/GPT开发https://www.langchain.com.cn/ [2] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架http://www.cnlangchain.com/
