藏书吧 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!
藏书吧 >  离语 >   第298章 黄瓜

向量知识库构建是一个将处理过的数据嵌入向量知识库的过程,主要用于将不同类型的数据转

化为向量,并进行存储和检索。其流程如图 4.1 所示。

图 4.1 向量知识库构建流程

对收集到的数据进行清洗、去重、分类,提取分割文本,以确保数据的质量和有效性。消除噪

声数据,提高数据的一致性和准确性。将预处理后的数据转化为向量,将向量化后的数据存储到向

量知识库中,并利用向量数据库进行高效的存储和检索。向量数据库是一种专门用于存储和检索向

量数据的数据库系统,可以根据语义或上下文含义查找最相似或相关的数据。

测试流程包括以下几个步骤:

测试设计:根据目标领域定义测试用例,包括典型问题、边缘情况和错误输入。

环境搭建:搭建测试环境,包括聊天界面和后端模型处理系统。

执行测试:记录模型的回应。

评估结果:根据预设的标准(如准确性、响应时间、用户满意度)评估模型表现。

优化模型:根据测试结果对模型进行调整和优化。

5.2 智能交互组件 chatbot

chatbot 是一种人工智能程序,它设计用于模拟人类对话,并且能够基于事先编程或机器学习

技术来进行智能对话交流。chatbot 通常被用于客户服务、信息查询、娱乐等各种场景,可以通过

文本或语音与用户进行交互。

chatbot 的一些特点和作用包括:

1自动化交互:chatbot 可以自动回答用户提出的问题,执行指定的任务,无需人工干,减少

人力成本和时间消耗。

2实时响应:chatbot 能够在任何时间、任何地点提供服务,随时响应用户的问题和需求。

3个性化服务:chatbot 可以根据用户的需求和历史数据提供个性化的服务和建议,提高用户

体验。

4多渠道支持:chatbot 可以在多种通信渠道上运行,如网页、应用程序、社交媒体平台等,

为用户提供多样化的对话途径。

本项目选择 openAI 的 Gpt 模型作为 chatbot 的大语言模型基座,Gpt 模型基于 transformer

架构,相较于其他模型,这种架构允许模型在处理长文本时保持较好的性能,同时具有良好的并行

化能力,使得模型的训练和推理速度得到提升。

5.2.1 chatbot 后端

基于先前构建的针对电力 LcA 领域的向量知识库构建 chatbot 测试模型性能,主要设计思路是

为了实现检索功能,大致可分为知识库检索功能和在线搜索。

chatbot 功能流程图如图 5.1 所示。

用户通过 chatbot 界面输入他们的问题或请求。对用户输入文本进行清洗,包括去除标点符

号,进行分词等。转化为结构化数据后将预处理后的文本转换为向量形式,以便于机器理解。将向

量化处理后的用户问题构建成搜索向量。使用搜索向量与知识库中已向量化的内容进行匹配,找出

相关的信息。对匹配到的知识库内容进行排序,选择最相关的几个回答候选。为保证性能设置最相

关的问答数量。基于排序和选择的结果,生成回答,将最终确定的回答返回给用户。

对于用户输入的问题语句进行文本预处理,随后将其变成机构化数据后向量化,与先前处理文

献数据类似,因此这里不再赘述。

知识库搜索:

以下是通过 weaviate 在名为“water”的集合中搜索与特定查询文本相近的文档,并返回相

关文档的内容和来源,设置 top_k=3,考虑计算机性能与运行速度,只寻找三个匹配项。

这段代码最终返回一个包含匹配文档内容和来源的列表。

在线搜索:

以下是通过在线搜索引擎在互联网上搜索相关内容,并返回格式化的文档列表,其中包含每个

搜索结果的摘要内容和来源链接的代码,同样设置 top_k=3,返回三个匹配项。

通过 duckduckGo 搜索引擎在互联网上搜索相关内容,并返回格式化的文档列表,其中包含每

个搜索结果的摘要内容和来源链接。代码利用正则表达式提取搜索结果中的摘要、标题和链接信

息,并对结果进行整理和格式化,以便展示给用户。通过这个函数,用户可以通过输入查询来搜索

互联网上的相关信息,并查看摘要和链接。

Streamlit 是一个强大的 python 库,主要用于机器学习、数据可视化和 web 应用程序的快速

开发。用户在编写代码时可以实时看到应用界面的变化,快速调试和验证结果。内置多种交互式组

件(如滑块、复选框等)方便用户与应用进行互动。支持快速创建数据可视化图表,如折线图、散

点图、地图等,展现数据分析结果。

5.3 测试模型与优化

性能评估的目的是通过系统的测试结果来识别当前实现的短板和潜在改进点。基于这些评估,

可以针对性地对向量知识库进行优化,从而提高整体模型的准确性和效率。以下是如何根据

chatbot 模式测试的结果对向量知识库进行优化。

在性能评估过程中,需要关注几个关键指标:

1.准确率:模型响应的正确性。

2.响应时间:从接收到查询到返回响应的时间。

3.用户满意度:基于用户反馈的满意度评分。

4.系统稳定性:系统在连续运行时的稳定性和可靠性。

通过以上三种途径的问答,可以看到,通过向量知识库和在线搜索与大语言模型本身相结合,

即 RAG 技术,均为大语言模型优化了生成回答的准确性,对大语言模型的专业领域知识做了补充和

改善。

基于以上的性能评估结果,可以采取以下步骤对向量知识库进行优化。

1.增强向量覆盖范围:对于准确率低的查询,分析模型回应错误的原因。如果是由于知识库中

缺少相关信息,可以通过添加更多相关文档和数据来增强向量知识库的覆盖范围。

2.优化向量生成算法:重新训练向量生成模型,使用更大的数据集或更复杂的模型架构,以提

高向量的质量和表达能力。

3.调整检索算法:如果响应时间较长或返回的向量与查询关联度不高,考虑优化检索算法。例

如,采用更快的检索算法或调整向量匹配逻辑。

4.用户反馈集成:建立一个机制,允许用户在使用过程中提供反馈。这些反馈可以直接用于指

导向量知识库的更新和优化。

5.持续监控和测试:建立持续的性能监控和定期测试机制,确保向量知诀库的持续优化和模型

性能的稳定性。

5.4 本章小结

向量知识库后,对向量知识库的效果进行检验,也对本项目进项完善,设计了一个 chatbot 模

式来对向量知识库进行优化,通过向 chatbot 提问,看基于电力 LcA 领域的专业大模型能否回答专

业问题。通过 chatbot 实现了用户对文献的检索功能,最后是通过对模型回答问题的准确率,正确

率进行评估,从而实现将模型不断优化。

藏书吧推荐阅读:极乐合欢功盗墓:当吴小佛爷开始玩养成重生后娘娘宠冠后宫让你援助抗战,你成列强了?我捡来的小奶狗竟然是顶头上司恶性相依穿书救闺蜜,病娇夫君天天争宠如不成魔,怎去成仙蚕神商贾之女咋啦?小小世子照样拿捏反派弟子全舔狗?摆烂师尊浪浪浪综漫:无敌从加入轮回空间开始貌美继室摆烂后,禁欲权臣他慌了寻回的璀璨人生穿书七十年代:开局多一个老公王妃葬身火海,渣男王爷哭疯了时来允转梦境里我为主宰我有位面快穿系统,反手上交国家快穿之宠妃上位记武力值爆表!清冷美人是满级大佬被卖后,她只想苟在一亩三分地上穿越从一拳开始快穿:手撕渣男主,被男配宠上天闺蜜双穿!我们真的只是朋友!明天的明天是今天逃荒:有粮有钱心不慌奥特,我贝利亚只想咸鱼重生之不被书写的人生霍格沃茨的冒牌巫师校花曝光我在殡仪馆抓鬼现场四合院:万倍经验暴击,众禽慌了傲剑狂魔末世重生,开局打造顶级安全屋抗战:鬼子太太不想丈夫丢工作0幻梦0影踪0行异界大小姐重生,通通闪开!网王:从签到开始的网球传奇快穿带娃:开局精神控制躺赢末世快穿:苦逼钓鱼佬在年代文还债我靠捉鬼发家致富跟男主的病弱小叔互换身体后70闪婚军官后,国家给我做靠山一本随记本民俗诡事簿炮灰不走剧情,主角死活随便穿越农家种田遇上王爷美丽的圌山传穿成兽世娇雌,大佬们每天都在修罗场灵异悬疑小说集
藏书吧搜藏榜:野玫瑰欲又撩,太子爷失控诱捕我爹哪去了菟丝绕红缨玄学直播捉鬼忙,看看今晚谁塌房两只虫崽在垃圾星的日常生活乖乖的,不许逃没错,我的卡牌是辛弃疾怎么了我一个小刑警,你让我当鬼差帝少动情,顾大小姐三年抱俩离婚后她空降热搜末世:探寻龙头脉无限:开局成为海虎之弟南宫轩与上官洛儿倾城之恋爷,您夫人又管不住了月华倾心遮天之阴阳道以前上班的不成功日记人在斗罗,开局觉醒时间零美女天才中医与黏人总裁综穿:捣乱从甄嬛传开始恋综爆火后,哥哥他坐不住了海贼里的龙珠模拟器平安修行记蚀骨情深,顾总他上头了四合院:精神病面前禽兽算个球斗罗:佛道双魂,我玩转诸天横空出世的娇帝君火葬场女工日记骑行异事重生端木,我不吃牛肉我,赤犬大将,开局轰杀逃兵王废物公子神豪富婆,这点小钱洒洒水啦姐弟恋:好想和你一起长大女孩子会喜欢逗比的吧?不是吗?唉!又是一天把亲爹气的直跺脚!时不时吐血的我在柯南身边怎么活锦鲤四岁半捡的妹妹超旺家七零军婚:重生后被兵哥哥盯上了如意茶馆叶罗丽之重生归来,我依旧爱你当我在火影成为空律洪荒:我袁洪一心求稳,人间清醒带着抽卡系统穿综漫完了!订婚前夜禁欲战神闯我闺房女配给大反派生孩子后,男主疯了最后的任务,许我为妻我重生成为了曙光圣者崩坏:成为梅比乌斯的妹妹明月揽星辰
藏书吧最新小说:影综穿越诸天靠蹭女主角气运活着双剑破苍穹废材?顶级毒医她在玄界当海后协议离婚后:总裁妻子悔哭了和离前夜,她重生回了出嫁前诸天:小玉你还小,别追了被害投湖,嫡女归来怒掀渣男龙椅叶老师又娇又撩,科技大佬婚后夜夜求名分太古无双神尊四合院谁都不要和我抢养老被甩后,我医武双绝,你求复合做什么?灵武苍天重生假少爷,从打猎带妻女发家开始穿成农家秀才的作精娘子修己心:如何做这个世界的旁观者小夫人会玄学,携崽炸翻豪门重生1993:我权势滔天废柴美女修仙记老婆打遍诸天万界,我无敌了噶我腰子?我靠氪金电子女友杀穿缅北互换婚书你提的,朕登九五你哭啥?王爷不近女色,我却孕吐三年新美人鱼传说娇软雌性万人迷,兽世老公宠宠宠民国奇探之路垚是我嫂子惯坏她茅山嘉乐之除魔卫道我对疯批男主手拿把掐那些年穿到七年后,和死对头结婚生崽了来世之后的复仇不装了!神医归来,前妻哭着求复合三岁福宝有空间,全家一起宠翻天和亲归来后,全城为我哭坟不许我摆烂,那我就杀穿崩铁:云骑小姐与普通的我魂穿孤女后,夫君成都督豆角和豆包致命偏宠,顾少步步诱哄首长你的洋媳妇儿来了,签收一下成婚当日我改嫁未来权臣!悦己者极乐永恒天老李沟的故事病弱美人靠着与摄政王亲嘴续命装娇弱扮深情,清冷权臣拿命宠规则:开局出现在神秘列车让你下山娶妻,你却无敌天下惊!嗜血将军夜夜在我怀里装乖巧最牛重生,人生回档在牙牙学语四合院:开局植物人,送大爷进局