Find similar content

#S3https://aws.amazon.com/cn/blogs/aws/launching-s3-files-making-s3-buckets-accessible-as-file-systems/

​​Постоянно пользуюсь утилитой rclone для загрузки данных в S3 хранилище. Вспомнил, что ни разу не писал про неё отдельно. Решил исправить. Думаю, многие знают про неё, так как программа старая, удобная, популярная. Она есть под все известные ОС: Windows, macOS, Linux, FreeBSD, NetBSD, OpenBSD, Plan9, Solaris. Я использую её исключительно в консоли Linux. Она есть в базовых репозиториях, так что ставится стандартно: # apt install rclone # dnf install rclone Самую свежую версию можно поставить вот так: # curl https://rclone.org/install.sh | bash Далее рисуем простой конфиг в файле ~/.config/rclone/rclone.conf: [selectel] type = swift user = 79167_username key = uO6GdPZ97 auth = https://api.selcdn.ru/v3 tenant = 79167_username auth_version = 3 endpoint_type = public Это пример для S3 хранилища от Selectel. Все учётные данные получите в ЛК. Я давно им пользуюсь. Когда выбирал, он был самым дешёвым. Сейчас не знаю как, не сравнивал. Для объёмов до 100 Гб там цены небольшие. За этот объём заплатите рублей 300 примерно (стандартное хранилище, холодное ещё дешевле), так что не критично. Рекомендую дублировать бэкапы сайтов, магазинов в S3. У меня это всегда второе, холодное хранилище, куда уезжают полные архивы с определённой периодичностью. Бэкап директории /mnt/backup/day делается следующим образом: # /usr/bin/rclone copy /mnt/backup/day selectel:websrv-day Я обычно делаю 3 контейнера: day, week, month с настройкой хранения копий 7, 30 дней и бессрочно. Контейнер с месячными архивами чищу вручную время от времени, либо вообще не чищу. А первые два очищаются самостоятельно в соответствии со своими настройками. Следить самому за этим не надо. Если у вас это будет единственное хранилище, то очистку лучше настроить не по времени, а по количеству файлов в контейнере. Иначе если не уследите за бэкапами и они по какой-то причине не будут выполняться, через какое-то время все старые будут удалены, а новые не приедут. В S3 от Selectel данные заходят очень быстро. Скорость до Гигабита в секунду. Скачивать редко приходится, так что не знаю, какая там реальная скорость, но проблем никогда не было. Думаю тоже что-то в районе гигабита, обычно сам интернет медленнее, куда грузить будете. Можно через панель управления зайти и открыть веб доступ к какому-нибудь файлу, сделать одноразовую ссылку. Также доступ к файлам есть через личный кабинет напрямую в браузере, либо по FTP. Я для визуального контроля и загрузки файлов обычно по FTP захожу. Сайт - https://rclone.org #backup#s3

[免费开源][2.2M]做了一个 macOS 原生的 Cloudflare R2 / S3 桌面客户端： R2Desk 主要是自用，网页端太逆天了，没想到 ai 直接 6 个对话给我完成了 ———————— 小工具：R2Desk ，一个 macOS 原生的 S3 兼容对象存储客户端，主要是为了更方便地管理 Cloudflare R2 里的文件。 Swift 原生、很小、很轻 项目地址： <https://github.com/macaitools/r2-client-lite> 下载地址： <https://github.com/macaitools/r2-client-lite/releases/latest> 几张截图： 目前主要功能有： ⦁ 支持 Cloudflare R2 ... via V2EX 分享创造 标签: #macOS#S3#R2 ⚡️探索号频道 ⚡️探索者频道 ⚡️探索者交流群 ⚡️ Youtube 频道：科技探索者 每天推荐有趣内容，欢迎订阅、转发。

Regatta Storage Raises $500K Regatta Storage has successfully completed a funding round of $500K on December 4, 2024. The project allows users to mount S3 buckets as a high-performance local file system. #Funding#Storage#S3#CloudComputing

#404系列#S3#战争#共青团 啊？（这么离谱的吗

#analysis#AWS#Databases#ETL#MongoDB#pipelines#RDS#S3#Scala#Spark#SQL ⚙️ 50 HOURS OF BIG DATA, PYSPARK, AWS, SCALA, AND SCRAPING (2022) 🌐 Inglés ⚖️17.03GB 🔗Link ----- Canal principal:@repo_science Cupones: @freecoupons_reposcience -----

#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an

#rust#bigdata#cloud_native#distributed_systems#filesystem#minio#object_storage#oss#rust#s3 RustFS is a fast and safe distributed object storage system built with Rust, offering high performance and scalability for large data needs like AI and big data. It is compatible with S3, easy to use, and open source under the business-friendly Apache 2.0 license. Compared to others like MinIO, RustFS provides better memory safety, no risky data logging, and supports local cloud providers. You can quickly install it via a script or Docker, manage storage through a simple web console, and benefit from a strong community and detailed documentation. This makes RustFS a reliable, cost-effective choice for secure, scalable storage. https://github.com/rustfs/rustfs

#java#ai#apache_kafka#aws#azure#cloud#cloud_first#cloud_native#ebs#gcp#kafka#llm#messaging#minio#s3#serverless#spot#streaming AutoMQ provides a cloud-native alternative to Apache Kafka that runs on S3 storage, cutting costs by up to 90% while enabling instant scaling and eliminating cross-zone traffic fees. It offers high reliability, serverless operation, and full Kafka compatibility, making it easier and cheaper to manage large-scale data streaming without sacrificing performance or features. https://github.com/AutoMQ/automq

#typescript#anki#chatgpt#deepseek#electron#evernote#knowledge_base#local_first#markdown#note_taking#notes_app#notion#obsidian#ocr#ollama#openai#pdf#s3#self_hosted#webdav SiYuan is a privacy-first personal knowledge management tool. It allows you to organize your thoughts and notes in a secure way, even offline. You can use features like block-level references, Markdown editing, and mathematical formulas. It also supports AI tools and has apps for Android, iOS, and HarmonyOS. SiYuan is open source and free for most features, making it a great choice for managing your personal knowledge securely. https://github.com/siyuan-note/siyuan

#go#blob_storage#cloud_drive#distributed_file_system#distributed_storage#distributed_systems#erasure_coding#fuse#hadoop_hdfs#hdfs#kubernetes#object_storage#posix#replication#s3#s3_storage#seaweedfs#tiered_file_system SeaweedFS is a fast, simple, and highly scalable distributed file system designed to store billions of files and serve them quickly, especially small files. It uses a master server to manage volumes on volume servers, which handle file data and metadata, enabling very fast file access with minimal disk reads. It supports features like replication, erasure coding, cloud integration for elastic storage, and compatibility with many metadata stores and APIs including Amazon S3. This means you get efficient, cost-effective storage with fast access, easy scaling, and flexible deployment options for large-scale file storage needs. https://github.com/seaweedfs/seaweedfs

【S3 更新總覽】 道具 GP 變更為團體賽、增加車輛類型區分、增加「無輪胎」系列車輛、搶旗賽新道具「地雷」登場和更多 👇 🎯 詳細更新內容：https://kinf.cc/pGn4O ▶️ 追蹤 Google 新聞：https://kinf.cc/gn ▶️ 立即加入 Discord：https://kinf.cc/dc #跑跑卡丁車#KartRider#跑跑飄移#KartDrift#S3#CatchMeIfYouCan#更新內容#季票#GP#道具#團體#世界#冰河#新賽道#夏威夷#威尼斯#舊金山#邁阿密#英雄#等級#挑戰#新角色#無限加速器戰#搶旗賽#地雷#快速聊天#表情符號#商城#優化