http://www.blopig.com/blog/2016/08/processing-large-files-using-python/
Oxford Protein Informatics Group (OPIG)
Processing large files using python
In the last year or so, and with my increased focus on ribo-seq data, I have come to fully appreciate what the term #big_data means. The ribo-seq studies in their raw forms can easily reach into hundreds of GBs, which means that processing them in both a timely and efficient manner requires some thought. In this blog post, and hopefully those following, I want to detail some of the methods I have come up (read: pieced together from multiple stack exchange posts), that help me take on data of this magnitude. Specifically I will be detailing methods for #python and R, though some of the methods are transferrable to other languages.
https://goo.gl/ucbkhT
#Data_Science for #Big_Data with #Anaconda Enterprise
Getting Python and R’s most popular data science libraries to work on a computational cluster can be a major challenge. And in a Big Data world, surmounting this challenge is key to leveraging data science within your organization to make smart, data-driven decisions.
http://jwork.org/dmelt/
#DataMelt, or #DMelt, is a software for #numeric_computation, statistics, analysis of large data volumes ("#big_data") and scientific visualization. The program can be used in many areas, such as natural sciences, engineering, modeling and analysis of financial markets.
DMelt is a #computational_platform. It can be used with different programming languages on different operating systems. Unlike other statistical programs, it is not limited by a single programming language. DMelt can be used with several scripting languages, such as Python/Jython, BeanShell, Groovy, Ruby, as well as with Java.
#rust#artificial_intelligence#big_data#data_engineering#distributed_computing#machine_learning#multimodal#python#rust
Daft is a powerful, easy-to-use data engine that lets you process large-scale data using Python or SQL with high speed and efficiency. It supports complex data types like images and tensors, works well interactively for quick data exploration, and can scale to huge cloud clusters using Ray. Daft integrates smoothly with cloud storage and data catalogs, making it ideal for data engineering, analytics, and machine learning workflows. By using Daft, you can handle big, multimodal datasets faster and more flexibly, improving your ability to analyze and prepare data for AI models without complex setup or slowdowns.
https://github.com/Eventual-Inc/Daft
Сегодня в рубрике #чтопотрендам рассказываю про Китайскийумный матрас, который управляет сном
🇨🇳 Производитель технологичных товаров для сна из Поднебесной с псевдоитальянским названием De Rucci выпустил умный матрас, который мгновенно адаптируется к потребностям человека и предназначен для «эффективного сна».
🛌 Модель T11 Pro оснащена 23 датчиками, которые в режиме реального времени отслеживают отклонения положения и измененя температуры тела, частоту сердечных сокращений и ещё десяток параметров.
💤 Алгоритм ИИ De Rucci создан на базе больших данных (источник - 1,08 млрд фрагментов записанных «состояний сна человека») и потому матрас умеет адаптироваться к разным положениям спины, снимая излишнее напряжение, а это, по уверениям компании, «приводит к заметным улучшениям здоровья позвоночника».
💞Кстати, функция работает двух пользователей матраса и подходит для пар, спящих вместе. У каждого будет своя система поддержки спины и климат-контроль.
⚙️ Матрас подключается к любым умным бытовым приборам в доме и может включить или выключить термостат, убавить кондиционер, добавить ароматерапию, запустить очиститель воздух, приглушить свет и даже поставить «засыпательную» музыку или другой контент для медитации или расслабления.
FYI
У компании, основанной в 2004 году, 4200 точек продаж
«умной матрасной продукции» в Китае.
В 2022 году фирма оказалась в центре скандала, когда выяснилось, что De Rucci договорились с неким человеком европейской внешности, чтоб он стал «лицом марки» в обмен на серию пластических операций. Мужчина и сам хотел их сделать, ну и по мнению компании они бы ему не помешали, чтобы в полной мере соответствовать «не китайским корням» бренда.
Дело в том, что в сегменте товаров для дома жители КНР гораздо меньше доверяют отечественным товарам, чем иностранным.
В общем, у них там тоже есть свои «карлы пазолини»!
Тренды: #экономика_сна#AI_в_дом#IoT#big_data#derucci#china