現在位置首頁 > 博碩士論文 > 詳目
  • 同意授權
論文中文名稱:分散式配置非關聯性資料庫模型 [以論文名稱查詢館藏系統]
論文英文名稱:Distributed Deployments Non Relational Database Model [以論文名稱查詢館藏系統]
院校名稱:臺北科技大學
學院名稱:管理學院
系所名稱:資訊與財金管理系碩士班
畢業學年度:103
畢業學期:第二學期
中文姓名:張譽中
英文姓名:Chang,Yu-Chung
研究生學號:102938006
學位類別:碩士
語文別:中文
口試日期:2015/06/12
指導教授中文名:王貞淑
口試委員中文名:丁一賢;蕭文龍
中文關鍵詞:MongoDB非關聯性資料庫NoSQL
英文關鍵詞:MongoDBNon Relational DatabaseNoSQL
論文中文摘要:近年來由於社群網站的盛行,社交的互動會造成大量寫入資料訊息的需求,造成資料儲存需求成長快速,資料庫所處理的資料量日漸龐大。因此,非關聯性資料庫系統(NoSQL)成為新趨勢。
NoSQL中的MongoDB有提供資料自動切割(Auto Sharding)及資料分配平衡的功能(Balancer),Auto Sharding在做分散式配置時,卻有資料分配不平均的情況發生。Balancer的功能就是讓分片(Shard)之間保持資料量平衡,然而執行Balancer存在著耗能與耗時的問題。本研究提出模型改善資料分散不平均所造成的問題。
為了滿足使用者新興的存取需求,在不重新規劃資料庫系統的情況下,必需新增欄位屬性,才能夠使資料庫完整記錄使用者的資料。但是新增的屬性欄位後會有兩個問題發生,新增資料與舊有資料的重複性發生及新增的欄位與舊有的欄位有重複性發生。本研究所提出的模型,可以針對資料庫中的欄位間找出有重複性的欄位或資料,移動並刪除資料庫的重複欄位或資料,減少資料庫儲存重複性的資料。
綜合以上問題,本研究模型為了解決資料庫的欄位重複性及分配資料量平衡,本研究設計八項實驗,實驗驗證結果證實本研究模型可以找出具有重複性的資料或屬性欄位,達到Shard間的資料平衡並減少儲存時間,降低使用Balancer次數,並且提高資料庫儲存效率,有效使用資料庫效能。
論文英文摘要:In recent years, Due to the launch of social network, mass data writing in database demand on social interaction. Database store demand is growing rapidly because the database processing more and more data. Therefore, NoSQL become new trend. MongoDB of NoSQL provide auto Sharding and balancer function. Auto Sharding have the problem of uneven distribution of data. Balancer will redistribute data on each shard node. But balancer has waste of time and energy problem. In this study, model is proposed in order to solve the problem that uneven distribution of data.
Don't redesign Database system to satisfy to the clients' fledgling storage needs. It has to additional attributes for complete storage clients' data. But these additional attributes have two problem. But these additional attributes have two problem that new data and old data are repeat or new attributes and old attributes are repeat. In this study, model find repeated what the data in the databases. For the reduce storage data in the database that the database's data are move and delete.
Based on the above those problem. In this study, model proposed in order to solve these problem that repeat data and uneven distribution of data. In this study have eight experiments. Through experiments to test its feasibility. Model can find repeat data and to reach the balance between the Shard and reduce of the storage time effectively. Reduce use the number of Balancer to efficient use the performance of the database.
論文目次:摘要 i
ABSTRACT iii
誌謝 iv
目錄 v
表目錄 vii
圖目錄 viii
第一章 緒論 1
1.1 研究背景 1
1.2 研究動機 4
1.3 研究目的 7
1.4 研究步驟與方法 9
第二章 文獻探討 11
2.1分散式資料庫管理系統 11
2.2 非關聯式資料庫 12
2.3 MongoDB 介紹 15
2.3.1 MongoDB架構 16
2.3.2 MongoDB Data Model 19
2.3.3 MongoDB Auto Sharding與Balancer 19
第三章 研究模型與方法 23
3.1 研究模型-資料重複性 24
3.1.1欄位重複性演算法 27
3.1.2資料重複性演算法 28
3.2 研究模型-資料庫分散式配置 31
第四章 實驗設計與分析 33
4.1環境設定 33
4.2模型驗證 35
4.2.1實驗一 35
4.2.2實驗二 38
4.2.3實驗三 39
4.2.4實驗四 41
4.2.5實驗五 44
4.2.6實驗六 46
4.2.7實驗七 47
4.2.8實驗八 49
第五章 結論與未來展望 52
5.1. 結論 52
5.2. 未來研究方向 53
参考文獻 54
論文參考文獻:[1]陸嘉恆,挑戰大數據,Facebook、Google、Amazon怎麼處理Big Data?:用NOSQL搞定每年100億顆硬碟資料,佳魁資訊,2013。
[2]吳曜撰,搞懂NoSQL的15堂課,碁峰出版社,2013。
[3]鄧志飛,應良佳,王軍威,「基於IODA算法MongoDB負載均衡的改進」,現代電信科技,2013。
[4]何杭鋒,「基於FODO算法MongoDB自動分片的改進」,計算機技術與發展,2013。
[5]黃嘉祥,「在重複資料刪除備份中對不同檔案類型的效能評估」,碩士論文,大同大學資訊經營學系,台北,2013。
[6]范國拯,「動態重複資料刪除在Hadoop分散式檔案系統上」,碩士論文,國立東華大學資訊工程學系,花蓮,2012。
[7]梁海,「MongoDB 數據庫中 Sharding 技術應用研究」,計算機技術與發展ISTIC,2014。
[8]張俊、周新、于素華、高燕,「NoSQL數據管理技術」,科研信息化技術與應用,2013,第3-11頁。
[9]道格,NoSQL憑什麼成功?,網路資訊雜誌,Vol.265,No.12,2013。
[10]施威銘研究室,Microsoft SQL Server 2008 設計實務,旗標出版社,2008。
[11]林允溥,AWS雲端企業實戰聖經:Amazon Web Services改造企業IT體質,PCuSER電腦人文化出版社,2011。
[12]曾守正,「資料庫系統的回顧與未來研究發展」,中華民國資訊學會會刊 (The Institute of Information and Computing Machinery, IICM),第一卷,第一期,第9-31頁,1996。
[13] Codd, Edgar F. "A relational model of data for large shared data banks."Communications of the ACM 13.6 (1970): 377-387.
[14] Lith, Adam, and Jakob Mattsson. "Investigating storage solutions for large data." Chalmers University of Technology,2010,1-70.
[15] Chodorow, Kristina, and Michael Dirolf. "MongoDB 权威指南.", 2010.
[16] Brewer, Eric A. "Towards robust distributed systems."PODC. 2000.
[17] Gilbert, Seth, and Nancy Lynch. "Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services." ACM SIGACT News 33.2 (2002): 51-59.
[18]Stonebraker, "SQL databases v. NoSQL databases", Commun. ACM, vol.53, 2010, pp.10-11.
[19] Shalom, "No to SQL? Anti-database movement gains steam – My Take" , July, 2009.
[20] DECANDIA, Giuseppe, et al, "Dynamo: amazon's highly available key-value store.", IACM SIGOPS Operating Systems Review. Vol. 41, No. 6, pp. 205-220.
[21] Han, Haihong , Le. "Survey on NoSQL Database.", In IEEE Congress on Pervasive Computing and Applications (ICPCA), pages 363–366, 2011.
[22] Evans, "Domain Driven Design.", 2002.
[23] Amazon, "Amazon DynamoDB Data Model.", Nov. 2013.
[24]iThome,http://www.ithome.com.tw/article/87190.
[25]IDC,http://www.emc.com/collateral/analyst-reports/emc-digital-universe-china-brief.pdf
[26]JSON, http://www.json.org/
[27]MongoDB, http://docs.mongodb.org/manual/sharding/
[28]數位時代, http://www.bnext.com.tw/article/view/id/30470
[29]DRUVA, http://www.druva.com/blog/understanding-data-deduplication
[30]iThome, http://www.ithome.com.tw/tech/87418
[31]NoSQL數據庫筆談,http://sebug.net/paper/databases/nosql/Nosql. Html.
[32]iThome,http://online.ithome.com.tw/itadm/article.php?c=63360&s=5
[33]MongoDB, http://www.mongodb.org/
[34]BSON, http://bsonspec.org/
[35]演算法筆記, http://www.csie.ntnu.edu.tw/~u91029/StringMatching. html.
論文全文使用權限:同意授權於2016-07-08起公開