TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #239 · 3 мај

Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML. Из плюсов такого подхода стоит отметить вот что: 🔸 готовый, повсеместно используемый и поддерживаемый формат 🔸 простой и понятный файл, удобочитаемый для человека 🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек Но есть и минусы 🔹 затраты времени при записи файла (кодирование данных в нужный формат строки) 🔹 затраты времени при чтении файла (декодирование данных в Python объекты) 🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...) 🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда) 🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи. Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳. 🔸 очень быстрая запись 🔸 чтение значительно быстрей чем JSON, YAML итд 🔸 размер файла значительно меньше, так как нет разметки 🔸 можно записывать данные по мере поступления не загружая всё в память 🔸 можно извлечь любую часть данных независимо Из минусов 🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата) 🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию. 🔹 не так-то просто создать такой файл без специальной библиотеки В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии. (Это не означает что нельзя записать данные разного типа, просто это будет не так удобно) Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого f15d cd29 a564 4578 ... 09e2 9bc4 a696 1253 ... 84e9 4de1 3b23 c24a ... 2534 5161 28e0 709d ... ... Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла. К чему это я? Читайте в следующем посте... #tricks#basic

Резултати

Пронајдени 4 слични објави

Пребарај: #trainingdata

当前筛选 #trainingdata清除筛选
AI & Law

@ai_and_law · Post #750 · 26.01.2026 г., 08:04

🇺🇸TRAIN Act: U.S. Congress Moves Toward Mandatory AI Training Transparency Bipartisan lawmakers have introduced the Transparency and Responsibility for Artificial Intelligence Networks (TRAIN) Act in the U.S. House, aiming to give copyright holders access to AI training records to determine whether their works were used to train generative AI models without consent or compensation. The bill, led by Rep. Madeleine Dean (PA-04) and Rep. Nathaniel Moran (TX-01), follows a Senate version reintroduced by Senators Peter Welch, Marsha Blackburn, Adam Schiff, and Josh Hawley. This is the first time the TRAIN Act has been introduced in the House. The proposal is modeled on enforcement mechanisms used in online piracy cases and responds to the current lack of any clear process for creators to verify whether their content was ingested into training datasets. The bill has support from major creator and rights-holder organizations, including the Recording Industry Association of America (RIAA) and SAG-AFTRA, alongside groups representing musicians, publishers, and copyright licensing. If enacted, the TRAIN Act would shift AI copyright disputes from speculation to evidence by establishing a legal path to training-data disclosure. It would also add pressure on AI companies that do not currently reveal how their models are trained. #AIandLaw#Copyright#TrainingData#Transparency

AI & Law

@ai_and_law · Post #785 · 16.03.2026 г., 07:04

🇪🇺📖Study Finds Limited Availability of AI Training Data Disclosures Under EU AI Act Researchers from Trinity College Dublin report that information about AI training data required under the AI Act is often missing and difficult to locate. The law requires developers to publish summaries explaining how their models were trained, using a disclosure template designed to help copyright holders enforce their rights regarding the use of copyrighted material in AI training. A pre-print study funded by Mozilla found that only a small number of such summaries could be identified. The researchers also found structural issues in accessing the disclosures. The AI Act does not specify where companies must publish the summaries, leaving the decision to developers. As a result, no common publication mechanism exists and practices vary widely. The template created by the European Commission AI Office has led to heterogeneous implementations, making it difficult to determine whether the available documents meet EU transparency requirements. Most of the identified disclosures were produced by smaller organizations, including documentation for Switzerland’s Apertus national model. A document published by Microsoft for one of its open-source models was also reviewed, but the study found that it lacked several required details. Researchers recommend creating a centralized portal for publishing transparency summaries to improve accessibility and support enforcement once the AI Act obligations become applicable in August. #AIAct#AITransparency#TrainingData#Copyright#AIGovernance#AIRegulation#EULaw

Venture Village Wall 🦄

@venturevillagewall · Post #3551 · 20.12.2024 г., 09:32

Fraction AI Raises $6M Fraction AI successfully secured $6M in funding for its groundbreaking project aimed at democratizing access to high-quality training data for artificial intelligence using Web3 technology. The funding round concluded on December 18, 2024. #FractionAI#Funding#AI#Web3#TrainingData#TechInvestment#Innovation#DataDemocratization

AI & Law

@ai_and_law · Post #783 · 12.03.2026 г., 07:04

🇺🇸Court Allows Enforcement of California AI Training Data Disclosure Law A US federal court has denied a request by Elon Musk’s AI company xAI to block enforcement of California Assembly Bill 2013. The law requires AI developers whose models are accessible in California to publicly disclose key information about training datasets, including dataset sources, collection timelines, whether collection is ongoing, and whether datasets contain copyrighted, trademarked, patented, or personal data. Companies must also indicate whether training data was licensed or purchased and the extent of synthetic data used. xAI argued the law would force disclosure of trade secrets, including dataset sources, dataset sizes, and data-cleaning methods. According to the company, such transparency could allow competitors to infer what datasets it uses and replicate its approach. The company warned that compliance could be “economically devastating” and reduce the value of its proprietary data practices. However, US District Judge Jesus Bernal ruled that xAI failed to demonstrate that the law requires disclosure of protected trade secrets. The court found the company’s claims too general and based largely on hypotheticals. The motion for a preliminary injunction was denied, allowing the law—which took effect in January—to remain in force while the lawsuit continues. #AIRegulation#AITransparency#TrainingData#TradeSecrets#AIAct#AIGovernance#TechLaw