Итак, появилась модель которая превосходит GPT 3.5 в переводе с японского на английский.
Вполне себе шустро работает, нужно как минимум 8 гигабайт видеопамяти, чтобы полностью уместить 5 или 6 квант данной модели в памяти.
За сим, сделал небольшой интерфейс для удобства, работает в паре с kobold.cpp и textractor. То есть берет японский текст из буффера обмена который предоставляет textractor и через апи кобольда переводит его.
kobold.cpp - Releases · LostRuins/koboldcpp · GitHub
Модель - https://huggingface.co/lmg-anon/vntl-llama3-8b-gguf
Сам textractor - Releases · Artikash/Textractor (github.com)
Кому интересно - https://drive.google.com/file/d/1fYMY0PaO2aOsassFwA_WvJ8eOD-1HDf9/view?usp=sharing сам фронт.
Исходники (Дисклеймер: я не прогромист/веб разработчик лучше не смотреть можно получить инфаркт) - https://drive.google.com/file/d/1fYMY0PaO2aOsassFwA_WvJ8eOD-1HDf9/view?usp=sharing
Видео фрагмент с использованием другой модели.
