▬▬ Papers / Resources ▬▬▬
LoRA Paper: [ Ссылка ]
QLoRA Paper: [ Ссылка ]
Huggingface 8bit intro: [ Ссылка ]
PEFT / LoRA Tutorial: [ Ссылка ]
Adapter Layers: [ Ссылка ]
Prefix Tuning: [ Ссылка ]
▬▬ Support me if you like 🌟
►Link to this channel: [ Ссылка ]
►Support me on Patreon: [ Ссылка ]
►Buy me a coffee on Ko-Fi: [ Ссылка ]
►E-Mail: deepfindr@gmail.com
▬▬ Used Music ▬▬▬▬▬▬▬▬▬▬▬
Music from #Uppbeat (free for Creators!):
[ Ссылка ]
License code: M4FRIPCTVNOO4S8F
▬▬ Used Icons ▬▬▬▬▬▬▬▬▬▬
All Icons are from flaticon: [ Ссылка ]
▬▬ Timestamps ▬▬▬▬▬▬▬▬▬▬▬
00:00 Introduction
00:20 Model scaling vs. fine-tuning
00:58 Precision & Quantization
01:30 Representation of floating point numbers
02:15 Model size
02:57 16 bit networks
03:15 Quantization
04:20 FLOPS
05:23 Parameter-efficient fine tuning
07:18 LoRA
08:10 Intrinsic Dimension
09:20 Rank decomposition
11:24 LoRA forward pass
11:49 Scaling factor alpha
13:40 Optimal rank
14:16 Benefits of LoRA
15:20 Implementation
16:25 QLoRA
▬▬ My equipment 💻
- Microphone: [ Ссылка ]
- Microphone mount: [ Ссылка ]
- Monitors: [ Ссылка ]
- Monitor mount: [ Ссылка ]
- Height-adjustable table: [ Ссылка ]
- Ergonomic chair: [ Ссылка ]
- PC case: [ Ссылка ]
- GPU: [ Ссылка ]
- Keyboard: [ Ссылка ]
- Bluelight filter glasses: [ Ссылка ]
