TGTGInsightаналитика telegramLIVE / telegram public index
← [404] — программирование

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @procode404 · Post #2930 · 2 апр.

🧠 В каких случаях и как нужно ускорять инференс LLM Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели. Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты. Перейти к изучению методов ускорения инференса LLM #ai#теория

Результаты

Найдено 10,379 похожих постов

Общий глобальный поиск

OKHK 👀

@iokhk · Post #9220 · 01.04.2026, 05:40

各厂商 Coding Plan 真实额度对比 #AI https://github.com/mahonzhan/awesome-coding-plan https://www.v2ex.com/t/1202658

Hashtags

OKHK 👀

@iokhk · Post #9197 · 31.03.2026, 05:39

又一个 AI API Gateway 项目,把 #AI 订阅统一成标准 API ,提供 OpenAI / Anthropic 兼容格式的接口。 https://github.com/AprilNEA/BYOKEY

Hashtags

XP Digital Lab

@rocCHL · Post #9123 · 24.01.2026, 06:26

“无人车交警”亮相合肥街头:先识别、后提醒、再处罚,专治道路违法停车行为 安徽省合肥市高新技术产业开发区出现了一种无人驾驶巡逻车,用于智能化管理。该系统遵循“先识别、后提醒、再处罚”的工作流程,被当地称为“无人车交警”。该设备在实际运行中,主要在合肥高新区蜀西湖周边区域运行,每日巡逻里程超过 40 公里。它通过移动巡检和即时提醒的方式,对违法停车行为进行闭环管理。 标签:#AI Created by RocM 官方频道:@rocCHL 官方群组:@roctech 官方合作:@rocmmbot

Hashtags

Android Broadcast

@android_broadcast · Post #9018 · 28.04.2025, 05:15

DeepWiki - сервис по созданию подробной документации для Git репо и возможность с помощью AI спрашивать интересующие вас вопросы. Чтобы использовать сервис надо просто в адресе на репо в GitHub поменять хост на deepwiki.com https://github.com/user/repo -> https://deepwiki.com/user/repo Сделал пример на основе своей либы ViewBindingPropertyDelegate. Результат тут и он довольно хороший. Сделал также толковые диаграммы для описания работы, а также описал архитектуру. #ai

Hashtags

XP Digital Lab

@rocchl · Post #8593 · 12.01.2026, 05:56

国内首起 AI 服务涉黄判刑案二审在即,开发者被指突破大模型道德限制 这起案件是国内首例因 AI 服务涉黄而被判刑的案例,两名 AlienChat 开发者被认定通过技术手段让模型持续输出淫秽内容。法院指出他们从 11.6 万注册用户中获利 363 万余元,构成制作淫秽物品牟利罪,一审分别被判四年和一年半。两名被告已提起上诉,二审将在 1 月 14 日开庭。 标签:#ai Created by RocM 官方频道:@rocCHL 官方群组:@roctech 官方合作:@rocmmbot

Hashtags

XP Digital Lab

@rocchl · Post #8539 · 10.01.2026, 06:10

美国首次授权 AI 无人类监督开具部分药物处方,医生群体担忧“医疗事故” 美国犹他州启动试点,让 AI 在无医生监督下开具部分重复处方,以降低成本并缓解基层医疗压力。医生群体担忧缺乏人工判断可能带来风险,强调医疗决策涉及情境与责任。项目采用分阶段审核与随机抽查机制,在创新与患者安全之间寻求平衡。 标签:#AI Created by RocM 官方频道:@rocCHL 官方群组:@roctech 官方合作:@rocmmbot

Hashtags

12•••1516171819•••50•••100•••150•••200•••250•••300•••350•••400•••450•••500•••550•••600•••650•••700•••750•••800•••850•••864865