Llama模型Lora训练微调面试题
《Llama模型Lora训练微调面试题》共 19 页、0.7 万字，通篇围绕 LoRA、预训练、微调、数据集 展开，归在「训练、微调与数据」这一层。
适合要自己训模型、或者判断这一版该不该训的人
目录骨架（6 节）
- 文本文档
- 1. 预训练数据参数介绍
- /root/miniconda3/bin/python
- 六、如何基于 lora 的 llama2 微调？
- or --model_name_or_path”
- t、如何使用基于 lora 的 llama2 做推理？
原 PDF 已逐页还原成图，共 19 页，这里先放前 3 页。右侧文字由 OCR 按版面重排，可能有个别错字，以图为准；点图可全屏放大。
一、为什么需要对 |lama2 做基…
- 一、为什么需要对 |lama2 做基于 lora 的二次预训练？
- 二、基于 lora 的 llama2 二次预训练的目标是什么？
- 三、基于 lora 的 llama2 二次预训练的思想是什么？
- 四、基于 lora 的 llama2 二次预训练语料构建思路？
- 五、如何基于 lora 的 llama2 二次预训练？
- 5.1 基于 lora 的 llama2 二次预训练参数介绍
- 5.2 基于 lora 的 llama2 二次预训练
- 六、如何基于 lora 的 llama2 微调？
- 6.1 训练数据介绍
- 6.2 基于 lora 的 llama2 微调参数介绍
- 6.3 基于 lora 的 llama2 微调
• 七、如何使用基于 lora 的 llama2 做推理？
一、为什么需要对 |lama2 做基于 lora 的二次预训练？
加入中文训练语料进行 lama2 的二次预训练，这样模型就可以增加支持中文输出的能力。
二、基于 lora 的 lama2 二次预训练的目标是什么？
在保持预训练模型权重不变的情况下，通过添加额外的网络层并仅训练这些新增的网络层参数，实现大模型的高 效微调（peft）。
三、基于 lora 的 llama2 二次预训练的思想是什么？
思想：基于对模型本征维度（intrinsic dimension）的理解。 “本征维度”是指模型中真正有用的、能够影响模型输出的参数数量。 Aghajanyan 研究发现，预训练模型的内在维度实际上非常小，即只有一小部分参数对模型输出有显著影响。就是 存在一个极低维度的参数，微调它和在全参数空间中微调能起到相同的效果 LORA 假设模型在任务适配过程中权重的改变量是低秩（low rank） W=WO+AW,AW=BA 参数更新范围：只训练新增的网络层参数
四、基于 lora 的 llama2 二次预训练语料构建思路？
- 预训练数据集下载 本项目基于 lora 的 llama2 二次预训练语料来自中文书籍，一个中文书籍收录整理项目。
$ git clone https:…
$ git clone https://github.com/shjwudp/shu.git 1.数据集格式介绍 书名
Book Title The Shoo King or the Book of Historical - 诗经 The Canon of Poetry The Drean of the Red Chamber 隋唐演义 Heroes in Sui and Tang Dynasties Hanfeizi 韩非子 盐铁论 DISCOURSES OK SALT AND IROK 南方草木状 NanF angCaoluZhuang The Analects of Confucius 骆驼祥子
TeaHouse & Canel Xiangzi 道德经 The Tao-te Ching
太平广记
Taiping guangji 本草纲目 Herbal Foundation Compendiun 淮南子 Huainanzi Stratagens of the Warring States 战国策 庐隐文集 Anthology of Lu Yin Call to Arms 三国演义 Ronance of Three Kingdons 吕氏春秋
The Annals of Lu Buwei Mozi 梦溪笔谈 The Drean Pool Essays 水浒传 All Men Are Brothers
史记
The Records of the Grand Historian
资治通鉴
History as a Mirror 天工开物 Tian Cong Kai Wu 孙子兵法 皇华纪闻 Huang Hua Ji Wen
儒林外史
The Scholars
西游记 Journey to the West 回忆鲁迅先生 昭明文选 Literary Anthology by Prince Chao Ming Investiture of the Gods 雷峰塔奇传 Lei Feng Ta Qi Chuan 庄子 The Book of Chuang Tzu
春秋左传
Chun Qiu Zuo Zhuan 千金谱 Qianjin spectrum Qinjian 在潮神庙 At Tide Temple 喜讯 Cood Ners 山雨 Shanyu
北国之春
Spring comes to the north 茶馆 The Teahouse
近代 秦汉
红楼梦，txt 皇华纪闻，txt 梦溪笔谈.txt
介绍：数据集格式，tt 结尾 1. 数据集介绍 《红楼梦》
Publication Date Author CopyrightLast Modified 2022/10/9 1949
2022/10/9
1949
曹雪芹、言 18th century
1949 2022/10/9 2022/10/9 曾国藩 1949
19th century 1949 1695
2022/10/9 2022/10/9 1949 韩非
1949 1th century BC
2022/10/9
1949
2022/10/9 3th-5th century 嵇含 2022/10/9 5th century BC 孔子 1949 1937 老舍 2022/10/9
2016 1949 2022/10/9 1949 2022/10/9 李肪、感素 978 AD 2022/10/9 1596 AD 李时珍 1949 2th century BC
劉安 2022/10/9
1949 2022/10/9 1949 1984 1998 庐隐 2022/10/9 鲁迅
1949 1923
2022/10/9
1949 罗贯中 2022/10/9 1949 2022/10/9
thcentury 1949 2022/10/9 沈括 th centu 1949 2022/10/9 2022/10/9
1949
14th century
1949
司马迁 2022/10/9 司馬光 2022/10/9 1949 1084 AD 2022/10/9 宋應星 1637 AD 1949 515 BC-512 BC 2022/10/9 1949 孙武 2022/10/9 王士祯 1949 1949 吴敬梓 2022/10/9 16th century 1949
吳承恩
2022/10/9
1592 AD
萧红 1939 1992 2022/10/9 2022/10/9 萧统、张线 6th century 1949 2022/10/9 许仲琳 1949 16th century
玉花堂主 1806 1949 2022/10/9 庄子
4th century BC
2022/10/9
1949 2022/10/9 468 BC-300 BC 左丘明 1949 1984 2003 2022/10/10 ~10th century 崔遵度 2022/10/10 1949 2022/10/12 1933 1983 1983 彭家煌 2022/10/12 1934 1933 2007 2022/10/13
王统照
2007 2022/10/13 1933 王统照 2022/10/17 2016
老舍
1957 文件夹 2023/11/9 11:30 文件夹 2023/11/9 11:30 文件夹 2023/11/9 11:30 5,422 KB 2023/11/9 11:30 文本文档 文本文档 2023/11/9 11:30 321 KB 2023/11/9 11:30 1,731 KB 文本文档 2,562 KB 文本文档
2023/11/9 11:30
115 KB 文本文档 2023/11/9 11:30 文本文档 131 KB
2023/11/9 11:30
文本文档 290 KB 2023/11/9 11:30 文本文档 2023/11/9 11:30 文本文档 2023/11/9 11:30 11 KB
文本文档
3 KB 2023/11/9 11:30
文本文档
2023/11/9 11:30 2023/11/9 11:30
文本文档
1,671 KB 2023/11/9 11:30
文本文档
2,540 KB
文本文档
1,838 KB 2023/11/9 11:30|
文本文档 1,924 KB 2023/11/9 11:30
文本文档
444 KB 2023/11/9 11:30 2023/11/9 11:30 文本文档 2,121 KB 2023/11/9 11:30 4,009 KB 文本文档
第一回甄士隐梦幻识通灵贾雨村风尘怀闺…
第一回甄士隐梦幻识通灵贾雨村风尘怀闺秀
列位看官：你道此书从何而来？说起根由，虽近荒唐，细按则深有趣味。待在下将此来历注 明，方使阅者了然不惑。
原来女娲氏炼石补天之时，于大荒山无稽崖炼成高经十二丈、方经二十四丈顽石三万六千五百 零一块。娲皇氏只用了三万六千五百块，只单单剩了一块未用，便弃在此山青埂峰下。谁知此 石自经煅炼之后，灵性已通，因见众石俱得补天，独自己无材不堪入选，遂自怨自叹，日夜悲 号惭愧。
一日，正当嗟悼之际，俄见一僧一道远远而来，生得骨格不凡，丰神迥别，说说笑笑，来至峰 下，坐于石边，高谈快论：先是说些云山雾海、神仙玄幻之事，后便说到红尘中荣华富贵。此 石听了，不觉打动凡心，也想要到人间去享一享这荣华富贵，但自恨粗蠢，不得已，便口吐人 言，向那僧道说道：“大师，弟子蠢物，不能见礼了！适闻二位谈那人世间荣耀繁华，心切慕 之。弟子质虽粗蠢，性却稍通，况见二师仙形道体，定非凡品，必有补天济世之材，利物济人 之德。如蒙发一点慈心，携带弟子得入红尘，在那富贵场中，温柔乡里受享几年，自当永佩洪 恩，万劫不忘也！”二仙师听毕，齐憨笑道：“善哉，善哉！那红尘中有却有些乐事，但不能 永远依恃；况又有‘美中不足，好事多磨’八个字紧相连属，瞬息间则又乐极悲生，人非物 换，究竟是到头一梦，万境归空，倒不如不去的好。”这石凡心己炽，那里听得进这话去，乃 复苦求再四。二仙知不可强制，乃叹道：“此亦静极思动，无中生有之数也！既如此，我们便 携你去受享受享，只是到不得意时，切莫后悔！”石道：“自然，自然。”那僧又道：“若说 你性灵，却又如此质蠢，并更无奇贵之处。如此也只好踮脚而已。也罢！我如今大施佛法，助 你助，待劫终之日，复还本质，以了此案。你道好否？”石头听了，感谢不尽。那僧便念咒书 符，大展幻术，将一块大石登时变成一块鲜明莹洁的美玉，且又缩成扇坠大小的可佩可拿。那 僧托于掌上，笑道：“形体倒也是个宝物了！还只没有实在的好处，须得再镌上数字，使人一 见便知是奇物方妙。然后好携你到那昌明隆盛之邦、诗礼簪缨之族、花柳繁华地、温柔富贵乡 去安身乐业。”石头听了，喜不能禁，乃问：“不知赐了弟子那哪几件奇处？又不知携了弟子 到何地方？望乞明示，使弟子不惑。”那僧笑道：“你且莫问，日后自然明白的。”说着，便 袖了这石，同那道人飘然而去，竟不知投奔何方何舍。
后来，不知过了几世几劫，因有个空空道人访道求仙，从这大荒山无稽崖青埂峰下经过，忽见 一大块石上字迹分明，编述历历。空空道人乃从头一看，原来就是无材补天，幻形入世，蒙茫 茫大士、渺渺真人携入红尘，历尽离合悲欢、炎凉世态的一段故事。后面又有一首偈云：
无材可去补苍天，枉入红尘若许年。此系身前身后事，倩谁记去作奇传？
诗后便是此石坠落之乡，投胎之处，亲自经历的一段陈迹故事。其中家庭闺阁琐事，以及闲情 诗词倒还全备，或可适趣解闷；然朝代年纪、地舆邦国却反失落无考。
空空道人遂向石头说道：“石兄，你这一段故事，据你自己说有些趣味，故编写在此，意欲问 世传奇。据我看来：第一件，无朝代年纪可考；第二件，并无大贤大忠理朝廷、治风俗的善 政，其中只不过几个异样女子，或情或痴，或小才微善，亦无班姑、蔡女之德能。我纵抄去， 恐世人不爱看呢！”石头笑答道：“我师何太痴耶！若云无朝代可考，今我师竞借汉、唐等年 纪添缀，又有何难？但我想，历来野史，皆蹈一辙，莫如我这不借此套者，反倒新奇别致。不 过只取其事体情理罢了，又何必拘拘于朝代年纪哉！再者，市井俗人喜看理治之书者甚少，爱 适趣闲文者特多。历来野史，或讪谤君相，或贬人妻女，奸淫凶恶，不可胜数。更有一种风月