當前位置:首頁 >  IDC >  云計算 >  正文

青云QingCloud 非結構化數(shù)據(jù)存儲 U10000 在海量小文件場景的應用

 2023-08-30 18:01  來源: 互聯(lián)網(wǎng)   我來投稿 撤稿糾錯

  域名預訂/競價,好“米”不錯過

青云科技(qingcloud.com)QingStor U10000作為一款分布式存儲,在支持線性擴展上表現(xiàn)不俗。U10000最低3節(jié)點起步,隨著節(jié)點數(shù)量的增長,存儲容量和存儲集群的性能都會線性增長。

U10000的存儲效率比較高。通過可靈活配置的EC糾刪碼,能讓整個集群的物理磁盤可用空間達到90%以上,存儲效率對于U10000這種超大容量存儲來說,經(jīng)濟意義特別大。

U10000在支持線性擴展和EC糾刪碼技術的基礎上,能為海量小文件提供高性能讀寫,單桶單目錄能支持百億級小文件存儲,并且能做到性能不衰減。

海量小文件的性能表現(xiàn)受到越來越多關注,比如,在機器學習場景中,就需要大量小文件,一些訓練需要幾億甚至十幾億的文件,存儲性能問題會嚴重影響訓練效率。U10000基于Rust語言編寫,在性能和安全性上有較大提升。

在數(shù)據(jù)安全性機制方面,數(shù)據(jù)層面采用的是多副本技術,而元數(shù)據(jù)則進行了強一致性處理,元數(shù)據(jù)和存儲數(shù)據(jù)進行了分層設計。此外,U10000還有多重訪問安全機制、智能預警機制。

在運維管理方面,提供了友好的可視化管理界面,可以更好地對存儲集群進行各種配置、操作和監(jiān)控。

U10000 其實已經(jīng)在非結構數(shù)據(jù)存儲場景上有不少創(chuàng)新實踐。

慈銘體檢醫(yī)療集團的體檢服務從預約階段到報告獲取都轉到了線上,體檢報告除了可以查看體檢數(shù)據(jù),還可以查看健康態(tài)勢,背后依靠的是一套數(shù)據(jù)分析平臺。

青云幫助該醫(yī)療集團構建了業(yè)務承載平臺,使用了青云云易捷超融合平臺,存儲部分則是將數(shù)據(jù)與U10000對象存儲做對接后,實現(xiàn)了對PACS系統(tǒng)的影像數(shù)據(jù)進行實時調取和長期存儲,其中就用到了U10000協(xié)議互通的特性,實現(xiàn)了對象和文件互通,為AI醫(yī)療相關的創(chuàng)新應用提供了便利。

某智能駕駛科技公司,其自動駕駛研究業(yè)務的開展離不開高精度地圖,高精度地圖需要采集大量圖片和視頻數(shù)據(jù),采集而來的數(shù)據(jù)需要經(jīng)過多重處理,需要與各種數(shù)據(jù)分析和數(shù)據(jù)存儲平臺交互,在這種場景下,U10000協(xié)議互通的優(yōu)勢也能得到充分發(fā)揮。

在早期,其所有業(yè)務都運行在公有云上,處于安全方面的考慮,開始構建私有化的集群,由于該公司的規(guī)模比較大,對于服務提供商的能力要求也很高,青云的方案基本解決其高精度地圖從數(shù)據(jù)采集、生產、訓練整個生命周期的存儲和算力需求。

蘇州華興源創(chuàng)是一家工業(yè)自動測試設備與整線系統(tǒng)解決方案提供商,主要測試產品用于LCD、柔性OLED、半導體、新能源汽車電子等行業(yè)的生產廠家,以及為行業(yè)提供定制化的數(shù)據(jù)融合軟件平臺。

華興源創(chuàng)的數(shù)據(jù)挑戰(zhàn)來自自有數(shù)據(jù)中心的中臺、上層工廠流程再造、供應鏈優(yōu)化以及安全保障四個方面,涉及到上百套業(yè)務系統(tǒng),有各種各樣類型的數(shù)據(jù),業(yè)務平臺對存儲的需求也各不相同。

比如,關鍵業(yè)務數(shù)據(jù)需要有更多副本的存儲,對性能要求高的應用需要全閃存的存儲配置,數(shù)據(jù)增長快的應用需要擴展能力更強的存儲,而這些需求,絕大部分都由QingStor U10000來滿足,其余需求由NeonSAN塊存儲系統(tǒng)來滿足。

清華大學天津電子信息研究院是清華大學電子信息學科的 “產學研一體化”的成果轉化基地,其中的高端光電子芯片創(chuàng)新中心,從事芯片設計和開發(fā)方面工作,有許多EDA(電子設計自動化)設計需求,需要反復運算、驗證,所以,他們對于數(shù)據(jù)存儲系統(tǒng)的要求也很高。

EDA的前端設計階段會出現(xiàn)大量的隨機讀寫操作,后端設計階段需要大量順序讀寫操作,這對存儲系統(tǒng)的綜合能力要求很高,非??简灧植际酱鎯軜嫷脑O計能力,實際上,U10000也能很好地滿足其需求。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關文章

  • 青云QingCloud “很能存”的非結構化存儲 U10000

    IDC此前的數(shù)據(jù)顯示,2018年,全球數(shù)據(jù)量為33ZB,而在2025年,全球數(shù)據(jù)量將達到175ZB,這其中有80%都是非結構化數(shù)據(jù)。宏觀的數(shù)據(jù)趨勢令人驚嘆,存儲廠商的反應更真實。這從青云科技(qingcloud.com)存儲QingStor的產品線調整,也可見一斑。青云在成立之初主要提供公有云服務,

  • 上海攝影展新品發(fā)布,lexar雷克沙開創(chuàng)高端存儲新篇章

    8月10日,第24屆上海國際攝影器材和數(shù)碼影像展覽會(以下簡稱P&IShanghai)在上海新國際博覽中心隆重開幕。在此次展會上,Lexar雷克沙不僅帶來了全新升級的影像存儲產品系列,還啟動了記憶之城·2023影像創(chuàng)作大賽,并在現(xiàn)場舉辦了《上海記憶》視覺文獻展和多場攝影講座。旗艦品質引領創(chuàng)新P&IS

  • 鵬云網(wǎng)絡分布式塊存儲社區(qū)版問世,首發(fā)開源存儲解決方案

    2023年1月,南京鵬云網(wǎng)絡科技有限公司(簡稱:鵬云網(wǎng)絡)正式宣布開源ZettaStorDBS分布式塊存儲系統(tǒng),開放了自研10余年的分布式塊存儲技術,自此踏上了“自研”與“開源”一體并行的生態(tài)閉環(huán)之路。研發(fā)十年,挑戰(zhàn)塊存技術上限成本、效率、高可用,一直都是企業(yè)IT系統(tǒng)建設所追求的重要關鍵點,這三點在

  • “效能再進化,數(shù)據(jù)更安全”威聯(lián)通舉行QTS 5.1.0及次世代NAS發(fā)布會

    2023年5月9日,以“效能再進化,數(shù)據(jù)更安全”為主題,威聯(lián)通2023年新品發(fā)布會在上海隆重舉行,多家媒體、合作伙伴及威聯(lián)通愛好者蒞臨現(xiàn)場,共同見證NAS網(wǎng)絡存儲行業(yè)朝向更高品質、更強性能、更好安全性的再次啟航。威聯(lián)通QTS5.1.0系統(tǒng)發(fā)布時下,網(wǎng)絡存儲行業(yè)已從萌芽時代步入增速發(fā)展關鍵期,用戶對數(shù)

  • 面向海量非結構化數(shù)據(jù)存儲,QingStor U10000幫助企業(yè)解鎖數(shù)據(jù)價值

    隨著經(jīng)濟社會數(shù)字化轉型的加速,各行各業(yè)產生的非結構化數(shù)據(jù)持續(xù)呈現(xiàn)井噴增長態(tài)勢。而為了科學高效地利用這些非結構化數(shù)據(jù),為企業(yè)加速數(shù)字化轉型打牢基礎,在實現(xiàn)數(shù)據(jù)穩(wěn)定、專業(yè)的存儲的前提下,推動數(shù)據(jù)的合理流動是關鍵。作為業(yè)內技術領先的企業(yè)級云服務商與數(shù)字化解決方案提供商,青云科技(qingcloud.com

熱門排行

信息推薦