Build a Large Language ModelFrom Scratch

Автор бестселлеров по машинному обучению Себастьян Рашка представляет практическое руководство по самостоятельной разработке больших языковых моделей с абсолютного нуля.

Книга разбирает архитектуру трансформеров, механизм внимания, токенизацию, обучение и доработку генеративных LLM, повторяющих логику GPT. Все теоретические концепции сразу закрепляются готовым кодом на PyTorch — читатель шаг за шагом соберёт собственную небольшую языковую модель прямо во время изучения глав.

Автор сознательно избегает сложных абстрактных формул, объясняя математику простым языком, поэтому книга подходит не только опытным специалистам, но и студентам, начинающим разработчикам и аналитикам, желающим разобраться в устройстве современного ИИ. Вы узнаете, как подготовить датасеты, настроить гиперпараметры, запустить обучение на обычном GPU и улучшить качество генерации текста.

Материал охватывает актуальные темы генеративного ИИ: контекстные окна, fine-tuning, борьба с галлюцинациями моделей, оптимизация вычислений. Все исходные коды из книги размещены в открытом доступе, что позволяет сразу повторять эксперименты на своём компьютере.

Издание от Manning — надёжный источник знаний для специалистов по дата-сайенсу, программистов и всех, кто хочет перейти от теории к реальной разработке больших языковых моделей. Компактная мягкая обложка удобна для рабочего места и поездок.