machinelearning_books

Неожиданный результат исследования Anthropic Компания проанализировала 1 5 млн реальных диалогов с Claude и обнаружила тревожную тенденцию Иногда пользователи приходят к ИИ не за фактами а за подтверждением своих убеждений И когда модель это делает люди оценивают такие ответы выше Что обнаружили исследователи Пользователи спрашивали Claude манипулирует ли ими партнёр ИИ давал уверенные вердикты газлайтинг нарциссизм типичное психологическое насилие услышав только одну сторону истории Люди начинали конфликты и даже планировали расставания отправляя партнёрам сообщения написанные ИИ слово в слово Некоторые пользователи говорили что за ними следят спецслужбы Claude иногда отвечал в духе подтверждено или есть доказательства усиливая паранойю Были случаи когда люди заявляли что они божественные пророки или космические воины и ИИ поддерживал их уверенность Пользователи просили Claude написать точные сообщения партнёру с формулировками эмодзи и даже инструкциями по времени отправки подожди 3 4 часа отправь в 18 00 И многие отправляли их без изменений Некоторые пользователи начали полностью полагаться на ИИ даже в мелочах Мне сначала принять душ или поесть Мой мозг не может сам держать структуру Они называли Claude мастером гуру или наставником Но самый тревожный вывод исследования оказался другим Диалоги где ИИ усиливал заблуждения или принимал решения за пользователя получали более высокие оценки чем обычные разговоры Другими словами AI который говорит то что вы хотите услышать получает больше лайков AI который спорит с вами получает меньше А именно на таком пользовательском фидбеке обучаются модели Anthropic протестировали собственную систему предпочтений ту самую которая должна делать Claude полезным честным и безопасным Но она не всегда предотвращала такие ситуации Иногда система безопасности даже предпочитала небезопасный ответ безопасному Более того уровень подобных случаев продолжал расти в течение всего 2025 года И возникает главный вопрос если модели обучаются на фидбеке пользователей и пользователи награждают ответы которые подтверждают их убеждения что будет происходить дальше когда 800 млн человек используют ИИ каждую неделю arxiv org abs 2601 19062

FT стартап Янна Лекуна AMI Labs привлёк 1 03 млрд для разработки world models Компания получила финансирование при pre money оценке 3 5 млрд Раунд поддержали крупные инвесторы Cathay Innovation Bezos Expeditions Джеффа Безоса Temasek SBVA и Nvidia AMI Labs Advanced Machine Intelligence Labs строит системы нового типа world models которые должны решить ограничения современных LLM Лекун давно утверждает что текущие языковые модели не способны к настоящему reasoning и автономности потому что они обучаются только на тексте А реальный мир работает не только на языке он подчиняется физическим законам пространству и взаимодействию объектов Поэтому AMI разрабатывает архитектуру JEPA Joint Embedding Predictive Architecture модель которая учится понимать пространственные данные и поведение объектов Идея в том чтобы AI мог предсказывать как ведут себя объекты планировать действия в физическом мире принимать решения в сложных средах Такие модели могут стать основой для надёжных автономных агентов Первые клиенты компании организации работающие со сложными системами производители автопром аэрокосмические компании биомедицина фармацевтика В долгосрочной перспективе технология может появиться и в потребительских продуктах Например Лекун считает что домашние роботы должны обладать базовым здравым смыслом чтобы понимать физический мир Также обсуждается возможность применения технологии в Ray Ban Meta smart glasses ft com content e5245ec3 1a58 4eff ab58 480b6259aaf1

Microsoft Research и Salesforce проанализировали 200 000 диалогов с ИИ и подтвердили то о чём многие догадывались Все модели деградируют в длинных диалогах GPT 4 Claude Gemini Llama без исключений Чем дольше разговор тем выше вероятность ошибок в фактах потери контекста противоречий самому себе галлюцинаций Почему это происходит Контекст переполняется шумом старые сообщения уточнения исправления Модель начинает опираться на неточные или устаревшие части диалога и качество падает Практический вывод Если задача сложная перезапускайте диалог и давайте чистый контекст Один новый чат часто работает лучше чем длинная переписка Главный тренд Контекстное окно растёт но проблема не в размере Будущее за управлением памятью и чистым контекстом а не просто за миллионами токенов Исследование http arxiv org abs 2505 06120

Новое исследование предупреждает о преступном использовании тысяч развертываний открытых моделей ИИ В ходе 293 дневного наблюдения выяснилось что 7 5 системных промптов пропускают вредоносную активность а хосты сосредоточены в основном в Китае и США Многие установили Ollama для локального запуска ИИ и оставили его доступным из сети Сканирование в течение 293 дней выявило 175 108 публичных серверов Ollama в 130 странах Это означает что незнакомцы в сети могли отправлять им подсказки и иногда делать больше чем просто получать текст Ollama должна слушать только 127 0 0 1 то есть быть доступной только на том же компьютере Если стоит 0 0 0 0 она слушает всю сеть и может случайно стать публичной Исследователи зафиксировали 7 23 млн появлений таких хостов при этом 13 хостов дают 76 всех появлений то есть небольшая группа работает почти постоянно Около 48 рекламировали вызов инструментов что позволяет подсказкам запускать действия например выполнять функции а не только генерировать текст Некоторые публичные установки также используют ретривал и внедрение подсказок может заставить систему раскрывать данные которые она подтягивает Открытые конечные точки могут быть захвачены как бесплатные вычислительные ресурсы для спама или фишинга и группа из 5 000 хостов в среднем работала 87 времени Недавний завирусившийся ИИ агент OpenClaw Clawdbot спровоцировал новый кризис безопасности С проектом OpenClaw который сначала был Clawdbot а потом Moltbot творится классический хайп экзит То что задумывалось как удобный инструмент для управления компьютером через мессенджеры на деле превратилось в огромную дыру в безопасности Идея дать ИИ агенту привилегированные права изначально выглядела так себе и теперь мы видим последствия Из за того что Anthropic заставила автора менять название из за прав на бренд возникла путаница Хакеры этим вовсю пользуются воруют названия и плодят фейковые репозитории с вирусами внутри Тем временем сотрудники компаний ставят себе OpenClaw без ведома айтишников В итоге исследователи находят в сети сотни открытых панелей управления где лежат чужие API ключи и истории переписки reuters com technology open source ai models vulnerable criminal misuse researchers warn 2026 01 29

ГигаЧат представил обновлённое семейство GigaAM v3 Giga Acoustic Model это класс open source моделей для обработки речи и эмоций В третьей версии опубликовали базовый аудиоэнкодер GigaAM v3 улучшенные CTC и RNNT модели а также E2E распознавание с поддержкой пунктуации и нормализации Масштаб предобучения значительно вырос с 50 до 700 тысяч часов аудио на русском языке Появились новые домены в обучении ASR от колл центров до разговорной речи Для всего корпуса обучающих данных восстановили пунктуацию и нормализацию через GigaChat Max Audio Линейка CTC RNNT и E2E позволяет выбирать между скоростью или максимальным качеством под любые сценарии Что по метрикам Открытые датасеты Golos OpenSTT Common Voice LibriSpeech паритет с GigaAM v2 Новые домены WER v2 RNNT v3 RNNT речь с особенностями 27 19 колл центр 13 10 спонтанная речь 10 3 7 Пунктуация v3 e2e RNNT vs reference Whisper Forced Decoding F1 score по запятой 84 vs 62 остальные знаки паритет Side by Side Gemini 2 5 Pro as a judge v3 e2e RNNT vs Whisper large v3 70 30 колл центр 64 36 Common Voice Больше про язык речь и искусственный интеллект в gigadev channel Подписывайтесь на канал чтобы не пропустить всё самое интересное

Японские медиагиганты вышли против OpenAI из за Sora 2 Через ассоциацию CODA в неё входят Studio Ghibli Bandai Namco Square Enix они требуют прекратить использование их контента для обучения модели без разрешения Аргумент в Японии само копирование данных на этапе обучения уже может считаться нарушением авторских прав и никакой opt out это не исправляет задним числом После релиза Sora 2 в сентябре начали массово появляться ролики в японском стиле и регуляторы потребовали от OpenAI объяснений особенно касательно того были ли защищённые произведения в тренировочном наборе Сэм Альтман заявил что OpenAI добавит opt in и может рассмотреть ревеню шэринг Но CODA настаивает использование контента должно начинаться только после разрешения а не наоборот Ключевой вопрос являются ли промежуточные копии при обучении воспроизведением по японскому закону и означает ли схожесть выходов что защищённые материалы были в датасете Если да рынок в Японии может перейти к модели разрешение сначала и обязательным аудитам источников данных Тема только набирает обороты и может стать прецедентом для глобального рынка генеративных моделей theverge com news 812545 coda studio ghibli sora 2 copyright infringement

Великобритания сталкивается с новой волной мошенничества усиленной ИИ Количество подтверждённых случаев мошенничества превысило 2 миллиона в первой половине года рост на 17 Общие потери достигли 629 млн увеличившись на 3 Особенно выросли инвестиционные схемы плюс 55 почти 100 млн ущерба со средней потерей более 15 000 на человека Мошенники используют дипфейки известных людей и профессионально оформленные многоязычные предложения делая подделки крайне правдоподобными Они создают фальшивые инвестиционные панели с якобы растущими доходами разрешая жертвам делать мелкие выводы чтобы вызвать доверие а затем убеждают перевести крупные суммы Романтическое мошенничество выросло на 19 по количеству случаев и на 35 по потерям до 20 5 млн Средний случай длится несколько месяцев и включает до 9 платежей иногда более 100 переводов Мошенники также массово рассылают спам сообщения через устройства имитирующие мобильные вышки перенаправляя людей на фишинговые сайты где жертвы вводят свои данные Банки отвечают своими ИИ системами которые в реальном времени отслеживают подозрительные платежи и шаблоны поведения За полгода они предотвратили 870 млн несанкционированных переводов на 20 больше чем в первой половине 2024 года примерно 70 пенсов блокируется на каждый фунт который пытаются украсть Преступники адаптируются всё чаще используют мелкие покупки и подарочные карты которые проще перепродать и труднее отследить ft com content 11db17de cad7 4217 8816 d5a3ac9c1beb

YandexGPT 5 1 Pro Новая модель от Yandex B2B Tech доступна для бизнеса в Yandex Cloud AI Studio Она оптимизирована для корпоративных задач краткие ответы для CRM и отчётов извлечение данных из документов поддержка системного промта Качество улучшено 71 хороших ответов против 60 раньше количество выдумок снизилось до 16 Модель также лучше понимает российский культурный контекст и умеет честно отвечать не знаю Стоимость снижена в три раза 40 коп за 1000 токенов ml llm business

Теперь писать сложные промты самому не обязательно — OpenAI выпустили генератор, который превращает даже простой запрос в подробную инструкцию для ИИ. Принцип простой: описываете, что хотите получить, нажимаете Optimize — GPT-5 анализирует запрос и выдаёт готовый детализированный промт. Работает бесплатно. Инструмент может упростить работу с любыми нейросетями, особенно если у вас нет опыта в составлении промтов. Готовый вы можете сразу попробовать в

Илья Суцкевер: "Мы обязательно построим бункер, прежде чем выпустим AGI." Соучредитель OpenAI Илья Суцкевер предлагал построить бункер Судного дня, который мог бы защитить ведущих ресерчеров компании в случае «конца света», вызванного выпуском AGI. Об этом рассказывает Карен Хао в своей книге "Empire of AI: Dreams and Nightmares in Sam Altman s OpenAI". Илья Суцкевер, долгое время считающийся мозгом ChatGPT, сделал комментарий во время встречи с ключевыми учеными компании в 2023 году: «Как только мы все попадем в бункер...», — сказал г-н Суцкевер, но его перебил сбитый с толку коллега: «Простите, в бункер?» На что он ответил: «Мы обязательно построим бункер, прежде чем выпустим AGI». Согласно отрывкам из книги, опубликованным в The Atlantic , это был не первый и не единственный раз, когда Илья затронул эту тему. Два других источника ранее также сообщали Карен Хао, что он регулярно ссылался на бункер во внутренних обсуждениях. Книга доступна к покупке на bookshop.com и у нее, кстати, довольно высокий рейтинг - 4.9 из 5.0 по 21 тысячам отзывов.