藏书吧 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!
藏书吧 >  离语 >   第297章 睡了睡了

要偏向于更为全面的文献数据。生命周期评价的本质是用来评估产品或服务从生产到消费再到废弃的整个过程对环境和社会的影响,它考虑了资源使用、能源消耗、排放物的产生等方面。那么为了提高最后基于电力LcA这个领域搭建的专业模型的准确度,对文献进行精细筛选,选取同时包括流程图,数据,各单元过程投入产出详细数据,数据时间地点落去方法,技术细节的文献,作为最终的数据。将精细筛选后的论文数据,结合unstructed库进行数据处理。进行信息精细化拆解与清洗,使以pdf形式存储的文献数据通过分割,分区,变成便于嵌入模型的结构化数据。对文字进行筛选与清理,图像的内容进行识别,存储图像的解释信息,表格转化为htmL格式。最后统一变成标题加内容的格式。在这里我列举了简单的数据处理流程。首先是对数据进行分割。随后是对文本进行拆分,识别内容是否为文本,如果是,就填进text_list。将表格转化为htmL格式,将图片变为图片解释信息。第二部分是知识库的构建。向量知识库,能将各类数据(如文本、图像、音频等)转化为向量形式进行存储。数据之间的相似性和关联性得以量化,不像平时你存储你的,我存储我的,向量数据库给予了一个统一的标准。也正是因为统一了格式,利用相似度对比,检索更加高效。构建知识库的流程首先是提取分割文本进行向量化的操作。向量化的本质是将离散的符号信息,如词或句子,映射到连续的向量空间中,以便计算机能够处理。向量化将高维数据转化为低维数据,保留了数据的关键特征又降低了数据的复杂度。选择pipecone存储向量数据,它支持查询,插入,删除等一些列操作。选择weaviate作为向量搜索引擎,可以通过主题的分类检索,进行语义搜索、问答提取等等功能。第三部分是chatbot的构建。先前已经构建好了针对电力LcA领域的专业大模型,但是缺少检验模型的手段,即缺少模型优化环节,本项目设置通过chatbot模式,通过与用户进行问答的形式,检验模型是否能调用电力行业LcA领域向量数据库回答该领域专业性问题和时效性问题的有效性。chatbot是模拟人类对话的一种形式,就我们平时能使到的chatgpt就是以chatbot的形式来呈现的,而chatbot在这里的功能实现主要是为了体现检索功能,大致可分为知识库检索功能和在线搜索。那么就产生了三种检索模式。

仅基于大语言模型,连接知识库搜索,和在线搜索。前端部分我采用streamlit来完成,UI设计如图所示。这边是功能按钮,中间是对话框。先前有讲到了,我们来检测针对专业领域的大模型的标准就是检测是否有能力回答专业领域的问题,并针对结果进行优化。这里我向chatbot提出同一个问题。只采用大语言模型,采用知识库与大语言模型结合,和联网搜索与大语言模型结合。三种功能下获得的回答是完全不同的,后面两个检索功能均为大语言模型优化了生成回答的准确性,对大语言模型的专业领域知识做了补充和改善。可以看到普通的大语言模型回答的是最简短的,采用了知识库的回答,将答案细分,扩充,并添加了新的内容,附上参考文献。最后的联网搜索,将答案分为了几类,更加全面,但是每类回答点到即止。最后就是向量知识库进行优化。对于准确率低的查询,分析模型回应错误的原因。如果是由于知识库中缺少相关信息,可以通过添加更多相关文档和数据来增强向量知识库的覆盖范围。用户反馈是对输入的问题和产生的回答进行记录,方便针对性进行调整。反馈可以直接用于指导向量知识库的更新和优化。不断地测试来完善我的专业领域大模型。最后一部分是我本次研究的总结。首先创建了一个能被大语言模型直接调用的专业知识库,在电力LcA这个专业性较高的领域填补了大语言模型的空白。其次是采用RAG技术,将知识库,联网与大语言模型相结合,增强了大语言模型在特定领域的可信度和实用性。最后就是本次研究虽然是针对电力LcA领域,但其背后的构架适用于各个领域,构建了一个完整的体系,可以进行修改,全方面的辅助大语言模型,应用广泛。以下就是我的全部研究内容请各位老师批评指正。

3.3.2 数据预处理

Unstructured 库是一个强大的工具,专为处理非结构化数据设计,具体流程如图 3.7 所示,

如从文本文档、pdF 文件或网页中提取数据。它支持多种数据提取方法,包括正则表达式匹配、自

然语言处理(NLp)技术等。

数据预处理步骤如下:

步骤一:数据清洗

去除杂质:从文本中去除无关的字符,如特殊符号、空白行等。

格式统一:将所有文本统一为相同的编码格式,通常为 UtF-8,以避免编码错误。

语言标准化:统一不同术语的使用,例如将所有\"photovoltaic\"统一替换为\"pV\",确保术语的

一致性。

步骤二:信息提取

关键信息标识:标识文献中的关键信息,如研究方法、主要结论、实验条件等。

数据分类:根据信息类型将数据分类,如作者、出版年份、研究结果等。

步骤三:结构化转换

结构化处理:将信息精细化拆解与清洗,将各种元素进行转换,形成结构化数据形式,拆分成

标题与内容。

分割部分关键代码:

对于其中的每个元素,如果是 positeElement 类型,就提取其中的文本并将其添加到

text_list 中;如果是 table 类型,就将表格的文本表示(可能是 htmL 格式)添加到

text_list 中。

将图 3.8 的提取的数据进行拆分,添加到 text_list 中,输出结果如图 3.11 所示。

非结构化文本数据通常非常稀疏,即包含大量的词汇但每个文档只使用其中的一小部分。而结

构化数据则可以通过合并相似信息来降低数据的稀疏性,这有助于生成更加紧凑和有效的嵌入向

量。

结构化数据可以实现更高效的特征提取。结构化数据通常已经按照特定的模式或结构进行了组

织,这使得我们可以更加高效地从中提取有用的特征(如标题、作者、摘要、关键词等)。这些特

征可以作为后续 Embedding 的输入,帮助生成具有更强区分性和泛化能力的嵌入向量。结构化数据

中的元素(如主题、类别、属性等)通常具有明确的含义,这些含义可以在 Embedding 过程中被保

留下来。因此,基于结构化数据的嵌入向量往往具有更强的解释性,有助于我们更好地理解模型的

预测结果和内部机制。

藏书吧推荐阅读:极乐合欢功盗墓:当吴小佛爷开始玩养成重生后娘娘宠冠后宫让你援助抗战,你成列强了?我捡来的小奶狗竟然是顶头上司恶性相依穿书救闺蜜,病娇夫君天天争宠如不成魔,怎去成仙蚕神商贾之女咋啦?小小世子照样拿捏反派弟子全舔狗?摆烂师尊浪浪浪综漫:无敌从加入轮回空间开始貌美继室摆烂后,禁欲权臣他慌了寻回的璀璨人生穿书七十年代:开局多一个老公王妃葬身火海,渣男王爷哭疯了时来允转梦境里我为主宰我有位面快穿系统,反手上交国家快穿之宠妃上位记武力值爆表!清冷美人是满级大佬被卖后,她只想苟在一亩三分地上穿越从一拳开始快穿:手撕渣男主,被男配宠上天闺蜜双穿!我们真的只是朋友!明天的明天是今天逃荒:有粮有钱心不慌奥特,我贝利亚只想咸鱼重生之不被书写的人生霍格沃茨的冒牌巫师校花曝光我在殡仪馆抓鬼现场四合院:万倍经验暴击,众禽慌了傲剑狂魔末世重生,开局打造顶级安全屋抗战:鬼子太太不想丈夫丢工作0幻梦0影踪0行异界大小姐重生,通通闪开!网王:从签到开始的网球传奇快穿带娃:开局精神控制躺赢末世快穿:苦逼钓鱼佬在年代文还债我靠捉鬼发家致富跟男主的病弱小叔互换身体后70闪婚军官后,国家给我做靠山一本随记本民俗诡事簿炮灰不走剧情,主角死活随便穿越农家种田遇上王爷美丽的圌山传穿成兽世娇雌,大佬们每天都在修罗场灵异悬疑小说集
藏书吧搜藏榜:野玫瑰欲又撩,太子爷失控诱捕我爹哪去了菟丝绕红缨玄学直播捉鬼忙,看看今晚谁塌房两只虫崽在垃圾星的日常生活乖乖的,不许逃没错,我的卡牌是辛弃疾怎么了我一个小刑警,你让我当鬼差帝少动情,顾大小姐三年抱俩离婚后她空降热搜末世:探寻龙头脉无限:开局成为海虎之弟南宫轩与上官洛儿倾城之恋爷,您夫人又管不住了月华倾心遮天之阴阳道以前上班的不成功日记人在斗罗,开局觉醒时间零美女天才中医与黏人总裁综穿:捣乱从甄嬛传开始恋综爆火后,哥哥他坐不住了海贼里的龙珠模拟器平安修行记蚀骨情深,顾总他上头了四合院:精神病面前禽兽算个球斗罗:佛道双魂,我玩转诸天横空出世的娇帝君火葬场女工日记骑行异事重生端木,我不吃牛肉我,赤犬大将,开局轰杀逃兵王废物公子神豪富婆,这点小钱洒洒水啦姐弟恋:好想和你一起长大女孩子会喜欢逗比的吧?不是吗?唉!又是一天把亲爹气的直跺脚!时不时吐血的我在柯南身边怎么活锦鲤四岁半捡的妹妹超旺家七零军婚:重生后被兵哥哥盯上了如意茶馆叶罗丽之重生归来,我依旧爱你当我在火影成为空律洪荒:我袁洪一心求稳,人间清醒带着抽卡系统穿综漫完了!订婚前夜禁欲战神闯我闺房女配给大反派生孩子后,男主疯了最后的任务,许我为妻我重生成为了曙光圣者崩坏:成为梅比乌斯的妹妹明月揽星辰
藏书吧最新小说:诸天:小玉你还小,别追了被害投湖,嫡女归来怒掀渣男龙椅叶老师又娇又撩,科技大佬婚后夜夜求名分太古无双神尊四合院谁都不要和我抢养老被甩后,我医武双绝,你求复合做什么?灵武苍天重生假少爷,从打猎带妻女发家开始穿成农家秀才的作精娘子修己心:如何做这个世界的旁观者小夫人会玄学,携崽炸翻豪门重生1993:我权势滔天废柴美女修仙记老婆打遍诸天万界,我无敌了噶我腰子?我靠氪金电子女友杀穿缅北互换婚书你提的,朕登九五你哭啥?王爷不近女色,我却孕吐三年新美人鱼传说娇软雌性万人迷,兽世老公宠宠宠民国奇探之路垚是我嫂子惯坏她茅山嘉乐之除魔卫道我对疯批男主手拿把掐那些年穿到七年后,和死对头结婚生崽了来世之后的复仇不装了!神医归来,前妻哭着求复合三岁福宝有空间,全家一起宠翻天和亲归来后,全城为我哭坟不许我摆烂,那我就杀穿崩铁:云骑小姐与普通的我魂穿孤女后,夫君成都督豆角和豆包致命偏宠,顾少步步诱哄首长你的洋媳妇儿来了,签收一下成婚当日我改嫁未来权臣!悦己者极乐永恒天老李沟的故事病弱美人靠着与摄政王亲嘴续命装娇弱扮深情,清冷权臣拿命宠规则:开局出现在神秘列车让你下山娶妻,你却无敌天下惊!嗜血将军夜夜在我怀里装乖巧最牛重生,人生回档在牙牙学语四合院:开局植物人,送大爷进局重生后,皇帝为我痛哭流涕禁欲霸总的契约婚姻叶小子修仙记三年不回,我穿七零退亲你又追来穿越红楼之寡妇李纨