A dzisiaj zastanawiamy się, jakie będą dalsze skutki wyczerpywania się bazy tekstów do szkolenia dużych modeli językowych.
Artykuł o kończących się danych: Villalobos, P., Sevilla, J., Heim, L., Besiroglu, T., Hobbhahn, M., & Ho, A. (2022). Will we run out of data? an analysis of the limits of scaling datasets in machine learning. arXiv preprint arXiv:2211.04325. [ Ссылка ]
00:00 Intro
01:00 Koniec danych treningowych dla AI
02:14 Języki bardziej obce
04:40 Zasoby graficzne
06:49 Cross-domain learning
12:30 Uniwersalne uczenie maszynowe
Ещё видео!