Популярность имеет свои минусы. Чем популярней язык программирования, тем выше его распространённость, а значит найдутся те кто поспешит воспользоваться этим.
С ростом популярности Python всё больше на PyPi появляется вредоносных пакетов. Трояны, стиллеры и доставщики более опасных вредоносов.
Команда PyPi постоянно мониторит подобные случаи но и их возможности достигли предела. В результате сервис временно закрывает возможность заливки новых пакетов и регистрации юзеров.
PyPI new user and new project registrations temporarily suspended
Возможно одной из причин большого наплыва вредоносов является резко возросшая доступность их создания. Сегодня любой, даже не программист, может попросить у ChatGPT написать необходимый код и все инструкции для атаки.
Основной тип атаки - рассчёт на опечатку в названии пакета. Если невнимательный программист случайно установит pilow или djangoo, считай что вредонос уже в системе.
Чтобы избежать подобных факапов я рекомендую:
▫️ Всегда работайте в виртуальном окружении, неизвестные проекты устанавливайте внутри контейнеров.
▫️ Используйте файл requirements.txt вместо ручной установки пакетов
▫️ Очень внимательно пишите названия пакетов, а после написания проверьте еще раз. Сверьте с названием из документации.
▫️ После успешных тестов всегда фиксируйте версию пакета. Бывали случаи когда опасный код добавляли в новые версии. К тому же и без этой опасности не рекомендуется ставить по умолчанию последнюю версию.
▫️ Используйте вспомогательные инструменты для проверки безопасности, например https://pyup.io/safety или https://github.com/PyCQA/bandit. Они помогут не только найти опасный код в чужих пакетах, но и ваш код проверит на уязвимости.
Будем надеяться что PyPi переосмыслит методы борьбы с вредоносами, например внедрит ИИ для проверки как симметричный шаг.
#offtop
🇨🇦Canadian Tribunal Rejects Fabricated Case Law
In Canada a family couple relied on Microsoft Copilot to generate legal precedents in a condo dispute—only to discover that nine out of ten cited rulings didn’t exist. The Civil Resolution Tribunal found the cases to be AI “hallucinations,” raising serious concerns about the reliability of AI-generated legal research.
While AI can streamline legal work, this case underscores a fundamental risk: without proper verification, reliance on AI-generated case law can undermine legal arguments and credibility. .
#AI#LegalTech#AIEthics#Hallucinations
🇿🇦South Africa Withdraws AI Policy Over Hallucinated Sources
South Africa has withdrawn its draft national AI policy after discovering that at least 6 of its 67 academic citations were AI-generated and referred to non-existent journal articles. Communications Minister Solly Malatsi stated that the most plausible explanation is the inclusion of unverified AI-generated references, calling the lapse a failure that “compromised the integrity and credibility” of the policy.
The draft policy had proposed establishing a national AI commission, an AI ethics board, and a regulatory authority, alongside incentives such as tax breaks and grants to support AI infrastructure. The issue was identified after News24 found fabricated citations, later confirmed by journal editors. The policy will be revised before being reissued, and the minister indicated there would be consequences for those responsible.
The case highlights risks of using generative AI in policy drafting without verification. A Nature study cited in the report found that over 2.5% of academic papers in 2025 contained at least one potentially hallucinated reference, up from 0.3% in 2024, amounting to more than 110,000 papers.
#AIRegulation#AIethics#Hallucinations#PublicPolicy#AIGovernance
People who eat the mushroom Lanmaoa asiatica raw or undercooked have reported seeing tiny human-like figures moving around them.
These are called lilliputian hallucinations.
Reports from people across different cultures and backgrounds describe similar details, including small figures walking on floors and furniture.
The effects can begin 12–24 hours after eating and may last 1–3 days.
Some cases are serious and require hospital care.
Don't try this yourself..
🍄😵💫🧚♀🦄🍄🟫
[Read more 1]
[Read more 2]
[Read more 3]
@googlefactss
#Mushrooms#ScienceFacts#Hallucinations#Nature#DidYouKnow
If you have ideas or feedback contact us:
@Googlefactss_Feedback_bot
🔥WFGY 2.0 — Semantic Reasoning Engine for LLMs (MIT)
Это движок с открытым исходным кодом, цель которого — уменьшить галлюцинации и логические сбои в системах типа RAG / LLM, особенно когда:
- источники OCR-текста плохо распознаются,
- происходит «semantic drift» (когда ответ уходит от вопроса),
- «ghost matches», когда извлечённый фрагмент кажется релевантным, но на самом деле нет.
Обычно ошибки ловят уже в готовом сгенерированном тексте, из-за чего они часто повторяются.
В Semantic Reasoning Engine всё наоборот: если система видит, что рассуждения «кривые» или сбились с курса, она останавливается, сбрасывается или ищет другой путь и отвечает только когда состояние стабильно.
🛡Авторы называют это semantic firewall - семантический «файрвол».
Проверки встроены прямо в процесс мышления модели, а не поверх ответа с фильтрами или регексами. Это помогает избегать ошибок до того, как они попадут в вывод.
📌 Проект включает карту из 16 типичных ошибок LLM:
- неверный поиск данных,
- сбившаяся логика,
- «провалы памяти»,
- путаница ролей агентов и другие.
Для каждой есть простое текстовое исправление. Никаких SDK — достаточно вставить инструкции прямо в промпт.
🟢Как модель решает, правильные ли ответ генерируется:
- ΔS (drift) - не уходит ли смысл слишком далеко от шага к шагу
- λ (convergence) - сходится ли рассуждение к решению или крутится в цикле
- Coverage — достаточно ли фактов и аргументов учтено
Если все три условия выполнены, ответ считается «качественным».
🟢В тестах стабильность вывода выросла до 90–95% против обычных 70–85% у традиционных подходов.
▪Github: https://github.com/onestardao/WFGY
@ai_machinelearning_big_data
#ai#llm#opensource#reasoning#hallucinations#promptengineering