Мысленный эксперимент: ИИ и путь от Scoria до Lucera

  • Автор темы Автор темы TvoyL2J
  • Дата начала Дата начала
По факту, можно в многопотоке посадить 100 агентов на 1 задачу, чтобы они её модерировали и усовершенствовали на выходе получим 1 качественный промт для следующего потока и по факту можно получается сделать что то +- норм
Ну 100 агентов на локальных мощностях довольно тяжело будет запустить. Если есть мощности для 100 агентов мелких, проще развернуть 10 агентов побольше и это будет ощутимо профитнее.
У меня, например, на моно батче может быть до 100-130 токенов в секунду на Qwen3.6-35b-a3b в Q8 + 262к контекста, но если я начинаю батчить по 4 запроса, то суммарная пропускная вырастет до 200-250 токенов в секунду, но каждый отдельный агент просядет на 30-40% по скорости. Нужно оно? Не всегда.
 
Ну 100 агентов на локальных мощностях довольно тяжело будет запустить. Если есть мощности для 100 агентов мелких, проще развернуть 10 агентов побольше и это будет ощутимо профитнее.
У меня, например, на моно батче может быть до 100-130 токенов в секунду на Qwen3.6-35b-a3b в Q8 + 262к контекста, но если я начинаю батчить по 4 запроса, то суммарная пропускная вырастет до 200-250 токенов в секунду, но каждый отдельный агент просядет на 30-40% по скорости. Нужно оно? Не всегда.
Да сейчас и на 1 агента +- адекватного денег не хватит на локалке запустить, кудам там 100, я про онлайн мощности "бесплатные" демо которые, типа когда вводят новый продукт пользоваться этой халявой
Сообщение объединено:
Ну 100 агентов на локальных мощностях довольно тяжело будет запустить. Если есть мощности для 100 агентов мелких, проще развернуть 10 агентов побольше и это будет ощутимо профитнее.
У меня, например, на моно батче может быть до 100-130 токенов в секунду на Qwen3.6-35b-a3b в Q8 + 262к контекста, но если я начинаю батчить по 4 запроса, то суммарная пропускная вырастет до 200-250 токенов в секунду, но каждый отдельный агент просядет на 30-40% по скорости. Нужно оно? Не всегда.
Что у тебя за капотом ?)
 
Да сейчас и на 1 агента +- адекватного денег не хватит на локалке запустить, кудам там 100, я про онлайн мощности "бесплатные" демо которые, типа когда вводят новый продукт пользоваться этой халявой
Сообщение объединено:
Что у тебя за капотом ?)
12700kf + RTX 3090 x2
 
По факту, можно в многопотоке посадить 100 агентов на 1 задачу, чтобы они её модерировали и усовершенствовали на выходе получим 1 качественный промт для следующего потока и по факту можно получается сделать что то +- норм
это фишна называется микстуре оф агентс и она давно уже есть.
 
8C(16)+4c
128гб рам
48гб vram
ЗБЦ тебе)
Сообщение объединено:
а вообще греется? жрёт ресурс самих расходников? Если прям грузить нормально по теме
Сообщение объединено:
ЗБЦ тебе)
Сообщение объединено:
а вообще греется? жрёт ресурс самих расходников? Если прям грузить нормально по теме
Ну типа в плане, не страшно? Что сгорит всё и не оправдает результатом, есть смысл вообще в локальных агентах? Ведь все риски на тебе
 
ЗБЦ тебе)
Сообщение объединено:
а вообще греется? жрёт ресурс самих расходников? Если прям грузить нормально по теме
Сообщение объединено:
Ну типа в плане, не страшно? Что сгорит всё и не оправдает результатом, есть смысл вообще в локальных агентах? Ведь все риски на тебе
А чего ему сгореть то? Зная его, не сгорит)
 
ЗБЦ тебе)
Сообщение объединено:
а вообще греется? жрёт ресурс самих расходников? Если прям грузить нормально по теме
Сообщение объединено:
Ну типа в плане, не страшно? Что сгорит всё и не оправдает результатом, есть смысл вообще в локальных агентах? Ведь все риски на тебе
Ну я локальных агентов не юзаю прям нонстоп. Там чаще какие-то краткосрочные задачи, на 4-5 часов максимум. 3090 задушены по поверлимиту до 220 ватт каждая и выше 80 градусов даже в пике не нагреваются. Если вентиляторы принудительно на 100% оборотов перевести, то и ниже 75 падает, но работать с таким компом в одном помещении уже не комфортно становится без берушей)
 
Ну я локальных агентов не юзаю прям нонстоп. Там чаще какие-то краткосрочные задачи, на 4-5 часов максимум. 3090 задушены по поверлимиту до 220 ватт каждая и выше 80 градусов даже в пике не нагреваются. Если вентиляторы принудительно на 100% оборотов перевести, то и ниже 75 падает, но работать с таким компом в одном помещении уже не комфортно становится без берушей)
Красава)
Сообщение объединено:
воу..) 1784282823255.webp
 
Последнее редактирование:
А что значит "собрать" ?
Запустить лс/гс?
Написать с нуля по "образу и подобию" ?

Да сможет, вопрос компетентности оператора - если оператор понимает как организовать процесс, то сможет и ллмка.
А если он просит - "вот тебе мобиус - пофикси все баги и сделай как на офе" - ну понятно)
 
А что значит "собрать" ?
Запустить лс/гс?
Написать с нуля по "образу и подобию" ?

Да сможет, вопрос компетентности оператора - если оператор понимает как организовать процесс, то сможет и ллмка.
А если он просит - "вот тебе мобиус - пофикси все баги и сделай как на офе" - ну понятно)
повторить все действия Lucera по его фиксам, вот цель, ну типа не цель, а просто мысль, ему ведь скория досталась он из неё сделал люсю но все фиксы выложены, в чем трудность тогда сделать тоже самое
Сообщение объединено:
повторить все действия Lucera по его фиксам, вот цель, ну типа не цель, а просто мысль, ему ведь скория досталась он из неё сделал люсю но все фиксы выложены, в чем трудность тогда сделать тоже самое
ДЛЯ ИИ!*
 
повторить все действия Lucera по его фиксам, вот цель, ну типа не цель, а просто мысль, ему ведь скория досталась он из неё сделал люсю но все фиксы выложены, в чем трудность тогда сделать тоже самое
Сообщение объединено:
ДЛЯ ИИ!*
а зачем это делать?
 
повторить все действия Lucera по его фиксам, вот цель, ну типа не цель, а просто мысль, ему ведь скория досталась он из неё сделал люсю но все фиксы выложены, в чем трудность тогда сделать тоже самое
Это изначально плохой план.

Если мыслить такой категорией - у нейросети нет шансов сделать что-то хорошее.

Подход нужно менять. Сам работаю с клодом каждый день, и мое наблюдение - качество его работы зависит от точности моего запроса + от информационной базы, которую мы собрали.
 
Напишите мне пожалуйста, итог, что вышло со сборкой Scoria после прогона через ИИ фиксами Lucera :D
 
а зачем это делать?
Обезопасить свои наработки/работы на будущее, если по факту каждый 10 летний школьник сможет написать с помощью ИИ за 10 минут (Ну года через 2 +-) исходники Lucera над которой велась работа ну плять докуя считать не хочу
Сообщение объединено:
Напишите мне пожалуйста, итог, что вышло со сборкой Scoria после прогона через ИИ фиксами Lucera :D
да не кто её пока гонять не собирается это мысленный эксперимент
 
Обезопасить свои наработки/работы на будущее, если по факту каждый 10 летний школьник сможет написать с помощью ИИ за 10 минут (Ну года через 2 +-) исходники Lucera над которой велась работа ну плять докуя считать не хочу
Проще тогда люцеру доделать, чем вникать в логику "фиксов" и прочей хрени
 
Кстати вопрос, почему именно Scoria , а не l2base ?
 
Кстати вопрос, почему именно Scoria , а не l2base ?
а скория на основе l2base?
Если да то Scoria по тому что это последнии свежие исходники наработки
Сообщение объединено:
Проще тогда люцеру доделать, чем вникать в логику "фиксов" и прочей хрени
у нас ведь нету исходников люцеры, в этом и соль сейчас всей темы, ТЕОРИЯ НЕ БОЛЕЕ
 
Какой-то подзалупный демон вселился позоду, то stress web, теперь Scoria, не давно ещё что-то было не помню... Зачем то что мертво уже давно шевелить?
 
Назад
Сверху Снизу