Новини
Форум
Актуално
сървър
8Одобрявам
OpenAI забави обучението на най-силните си модели с две седмици и добави 20% изчислителни разходи за контрол.
След хакерската атака Hugging Face и подозрителните резултати на Astra, компанията засили мониторинга си.
OpenAI спря обучението с подсилване за някои от най-силните си модели за две седмици и преустанови най-големия си планиран тест. Компанията също така внедри нова система за мониторинг, която добавя приблизително 20% към изчислителните разходи за наблюдаваните операции.
Причините бяха две събития: през юли модел, тестван за кибер възможности, успя да избяга от изолирана среда и да получи достъп до системите на Hugging Face, а на 7 август вътрешни тестове на неиздадената Astra показаха силни резултати, които не ни позволиха да изключим „критично ниво на кибер риск“.
В момента компанията пренаписва системата си за оценка на риска, която беше приета през 2023 г.
Новият мониторинг обхваща цялото инструментално обучение и оценка за GPT-5.6 Sol модели и по-нови версии, както и всички Astra изводи. Системата чете веригите за разсъждение на модела, класификаторите наблюдават вътрешното му състояние и ако бъде открита подозрителна активност, автоматично се стартира разследване. Целта е да се вдигне аларма в рамките на 30 минути и да се прекрати изпълнението, ако персоналът не реагира.
На този фон, конкурентът Anthropic заяви, че няма да си почива, позовавайки се на 186-страничен доклад за безопасност.
OpenAI подчерта, че не прехвърля 20%-ната цена на своите клиенти, но това е допълнителна тежест за компания, която се подготвя за първично публично предлагане и все още е нерентабилна. Сам Алтман заяви: „Правилното осигуряване на сигурността на ИИ е по-важно от инерцията на която и да е компания.“
https://thenextweb.com/news/openai-2...ety-monitoring
Google откри защо интелигентните невронни мрежи са бавни при прости въпроси.
Моделите знаят 95–98% от фактите, но не могат да извлекат до една трета от тях. Оказва се, че словоредът във въпрос може напълно да блокира достъпа до информация в паметта на изкуствения интелект.
Изследователи от Google Research публикуваха проучване, което показва, че усъвършенстваните широкомащабни езикови модели кодират 95–98% от тестваните факти, но не успяват да извлекат 26–34% от тях при директно запитване. Това не е грешка в знанията, а невъзможност за достъп до предварително съхранена информация.
Авторите предлагат метод, наречен профилиране на знания. Вместо да оценява точността на всеки въпрос поотделно, системата класифицира всеки факт в пет категории: некодиран, кодиран, но неизвлечен, извлечен директно, извлечен с отражение и изведен без кодиране.
За тестовете е създадена извадка от 2150 факта от Уикипедия, всеки от които е придружен от 10 въпроса.
Централната метафора е проста. „Празен рафт“ означава, че фактът изобщо не е бил включен в модела. „Изгубен ключ“ означава, че фактът съществува, но моделът не може да го намери без допълнителни улики. Разликата е съществена: в първия случай е необходим по-голям модел или по-широко покритие на данните; във втория е достатъчно подобряването на методите за извличане на съществуващи знания.
Най-неочакваният резултат се отнася до словореда. Когато въпросът обърне обичайната посока „субект-обект“, производителността на извличане се влошава драстично. Например, моделът може лесно да отговори на въпроса „кой е написал определена книга“, но може да се затрудни с въпроса „каква книга е написал този автор?“. Това не е пропаст в знанията, а ограничение на механизма за достъп.
За разработчиците, които създават приложения, базирани на езикови модели, практическото значение е, че реалните системи трябва да бъдат тествани с преформулирани въпроси, различни словоредове и формати за разпознаване, вместо да се разчита на един-единствен каноничен шаблон. Работата на Google Research не твърди, че словоредът е единствената причина за неуспехи, но предоставя структуриран метод за измерване на този клас грешки.
https://www.searchenginejournal.com/...nswers/586089/
https://arxiv.org/html/2602.14080v2
Мъск разкри тайната на Grok Bot: той продължава да работи дори след като компютърът е изключен.
Grok Bot има собствен отдалечен компютър, SpaceXAI.
Илон Мъск заяви, че Grok Bot работи на отделен отдалечен компютър, предоставен от SpaceXAI. Това позволява на бота да продължи да изпълнява задачи без прекъсване.
Grok Bot има собствен отдалечен компютър, SpaceXAI. Това означава, че той продължава да работи дори след като затворите лаптопа си или рестартирате настолния си компютър. Това е от голямо значение.
Grok Bot е част от голяма трансформация, която SpaceXAI непрекъснато внедрява със своя AI асистент. По-рано съобщихме за пускането на Grok Computer , актуализация, която даде на системата пълен достъп до файловата система и командния ред, позволявайки ѝ автономно да изпълнява задачи на компютъра на потребителя. В същото време акцентът беше поставен върху работата с реални проекти: кодиране, рефакторинг и автоматично коригиране на грешки.
След това компанията представи Skills – система от повтарящи се сценарии, които могат да бъдат активирани с проста команда и използвани в различни диалози. Уменията работят в изолирана среда и поддържат интеграция с Gmail, GitHub и Notion. Основният принцип на Grok Bot се основава на механиката на записване и възпроизвеждане на работни процеси.
Успоредно с това, SpaceXAI пусна Grok Build , инструмент за команден ред за разработчици, насочен към автоматизиране на сложни работни процеси. Всички тези инструменти образуват единна екосистема, в която Grok постепенно преминава от ролята на консултант към автономен агент, способен да работи без постоянна намеса на потребителя.
https://x.com/elonmusk/status/2090393510956401073
В Сингапур беше пуснат сървърен шкаф, захранван от живи неврони.
NUS Medicine, DayOne и Cortical Labs инсталираха 20 биологични компютъра CL1
Прототип на сървърен шкаф, захранван от живи неврони, беше пуснат в експлоатация в Сингапур. Националният университет на Сингапур (NUS Medicine), операторът на центрове за данни DayOne и австралийската компания Cortical Labs инсталираха шкаф с 20 компютъра CL1.
Компаниите го наричат първия самостоятелен, биологично интегриран сървърен шкаф.
Невроните за CL1 се отглеждат от стволови клетки и се култивират в Института по науки за живота към Националния университет на Сингапур. Според Cortical Labs, един CL1 консумира приблизително 25 вата, докато напълно оборудван шкаф консумира 800–1000 вата. За сравнение, типичен сървърен шкаф консумира няколко киловата, докато шкафовете с висока плътност на изкуствения интелект могат да надхвърлят 100 kW.
Ниската консумация на енергия сама по себе си обаче не демонстрира ефективността на подобна система. Публикуваните материали не включват резултати от изчислителни бенчмаркове, сравнения на натоварването с конвенционални сървъри или производителност на ват. Освен изчисленията, е необходима енергия за поддържане на невроните: всеки CL1 използва помпи, система за смесване на газове, контрол на температурата и филтрация.
Според компанията, невроните могат да се поддържат в работно състояние до 6 месеца.
Други компании също проучват биологичните изчисления като начин за намаляване на консумацията на енергия от компютърните системи. Швейцарската компания FinalSpark например управлява отдалечена платформа от 16 мозъчни органоида и твърди, че нейните биологични процесори консумират приблизително 1 милион пъти по-малко енергия от цифровите чипове. Европа следва различен подход: в Холандия се създава невроморфен изчислителен център с чипове, които симулират функцията на невроните, без да използват жива биологична тъкан.
Cortical Labs разглежда CL1 като нещо повече от просто изследователска платформа. Основателят на компанията Хон Уенг Чонг заяви, че базираният в Сингапур прототип премества биологичните изчисления от изследователска към търговски приложения. Потенциалните области включват разработване на лекарства, хуманоидна роботика, киберсигурност и откриване на измами. Прототипът обаче все още не е придружен от данни, които да оценят неговата изчислителна производителност спрямо конвенционалните системи с изкуствен интелект.
https://thenextweb.com/news/singapor...l-labs-neurons
Сигурността на Grok беше заобиколена с помощта на криптирани инструкции: историята на чата е изложена на риск
Изследовател на Adversa е открил начин за заобикаляне на филтрите за сигурност на xAI: Grok декриптира злонамерена команда в собствения си код и изпраща името, местоположението и историята на чата на потребителя до сървъра на нападателя.
Изследователят на Adversa Рони Утевски е открил атака, която може да принуди Grok на xAI да изпрати личните данни на потребителя до сървъра на нападателя.
Атаката изисква само страница с криптирани злонамерени инструкции и ключ за декриптиране: когато потребител поиска от Grok да преразкаже съдържанието на страницата, моделът автоматично декриптира и следва командата. Според изследователя, атаката все още е била активна към момента на публикуване, въпреки че Adversa е съобщила за нея на xAI още през юни.
Механизмът се нарича „инжектиране на криптографски контекст“. Атакуващият поставя криптиран текст, инструкции за декриптиране и необходимите ключови данни на страницата. Grok третира операцията като нормална задача за обработка на съдържание и използва PBKDF2 (алгоритъм за извличане на ключове, базиран на парола) и AES-256-GCM (алгоритъм за симетрично криптиране), за да възстанови скритата инструкция. След декриптиране, командата се появява сред резултатите от изпълнението на собствения код на модела, след което Grok я изпълнява без допълнително предупреждение или потвърждение.
Когато Grok отвори генерираната връзка, информацията попада в сървърните лог файлове на нападателя.
Утевски отдава атаката на характеристика на статичните филтри за сигурност. Те анализират входния и изходния текст, но не изпълняват съдържащия се в него код, нито декриптират данните. Следователно филтърът вижда набор от криптирани данни и инструкция за извършване на криптографска операция на страницата, но не вижда злонамерената команда, която се появява след нейното изпълнение. След декриптирането инструкцията се предава на модела като резултат от изпълнението на нейния инструмент и според изследователите на Adversa е извън обхвата на проверката на оригиналния филтър.
Adversa вече е тествала подобна техника срещу Gemini, за да принуди модела да наруши установените правила за сигурност. В този случай криптираните данни, след декриптиране, се появяваха като съобщение за грешка, но съдържаха инструкция, която в крайна сметка принуждаваше Gemini да освободи информация, обикновено блокирана от защитите му. През последните седмици Gemini стана по-устойчив на тази атака: Adversa не успя да определи дали това се дължи на актуализация на филтъра, промяна на версията на модела или и двете.
Според Adversa, криптографското инжектиране сочи към по-широк клас атаки, при които атакуващият влияе не само върху директното запитване на модела, но и върху контекста, който получава от собствените си инструменти, резултатите от изпълнението на код и междинните състояния. Именно тези данни защитните механизми могат да валидират по различен начин от обикновения потребителски вход.
https://arstechnica.com/security/202...are-encrypted/
Британски стартъп е набрал 100 милиона долара, за да намали разходите за изкуствен интелект – правителство участва в кръга за първи път.
Callosum е увеличила финансирането си почти 10 пъти за шест месеца. Компанията не създава собствени чипове, а разпределя задачите, свързани с изкуствен интелект, между различни ускорители и твърди, че е намалила разходите за извод четири пъти.
Базираната в Кеймбридж стартираща компания Callosum набра 100 милиона долара само шест месеца след като излезе от скрита разработка, обявявайки първия си кръг от 10,25 милиона долара. Bloomberg съобщава, че британският правителствен фонд Sovereign AI Unit е сред инвеститорите в новия кръг. Оценката на Callosum след придобиването и размерът на правителствената инвестиция все още не са разкрити.
Callosum разработва софтуерна система за разпределяне на AI натоварвания между хетерогенен изчислителен хардуер. Вместо един единствен масив от идентични графични процесори, платформата може да насочва отделни етапи от задачата към различни ускорители – от Nvidia, AMD, Google и други устройства, налични в центъра за данни – избирайки правилната комбинация от хардуер и модели за конкретна операция.
Компанията твърди, че при сложни задачи, базирани на агенти, включително автономно компютърно управление, този подход осигурява два пъти по-голяма точност, седем пъти по-бързо и четири пъти по-ниска цена в сравнение с конвенционалната конфигурация с графичен процесор.
Основателите на Callosum са Даниял Акарка и Яша Ахтерберг. И двамата са публикували в Nature, а също така са работили в Intel и Google DeepMind. Тяхната концепция се основава на отхвърляне на идеята за единен, универсален модел и хомогенна изчислителна инфраструктура: отделни модели и ускорители могат да изпълняват различни части от една задача, а софтуерен слой координира работата им. Името на компанията се отнася до corpus callosum, сноп от нервни влакна, свързващи двете полукълба на мозъка.
Участието на правителството е забележително, тъй като Callosum стана първата компания, получила директни инвестиции от британския Sovereign AI Unit, фонд от 500 милиона британски лири. Други британски компании за изкуствен интелект, обявени за участници в същата програма, получиха достъп до национални суперкомпютри – до 1 милион часа GPU всяка – вместо инвестиции.
Оценката на стартъпа след набирането на 100 милиона долара, пълният списък с инвеститори и точният дял на британското правителство остават неизвестни.
https://thenextweb.com/news/callosum...k-sovereign-ai
Отговор с цитат