HBASE CCSHB考照的一點心得 


有點久的事了

我大概在2012年底通過了CCSHB的認證(CCB-400)

但由於HBASE的資源在台灣還很不足

網路上的題庫也很少

因此想說把經驗分享出來

幫助其他對Cloudera Certified Specialist in Apache HBase (CCSHB)考試有興趣的人



由於CLOUDERA的考試很嚴謹 考題也很活躍

(我重考一次 兩次題目幾乎不同)



下面的資料是建立在幾個前提之下

1. 了解HADOOP是甚麼東西

2. 你必須知道HADOOP ECO System是甚麼東西

3. 安裝、並使用過HBASE





下面整理一些考試必問的題目與方向



I.為何要使用HBASE?




    

  1. 降低ＨＤＦＳ資料存取的困難度（ＨＤＦＳ不支援及時的刪除修改）
    2. 

  2. 為提升ＨＤＦＳ資料的存取／查詢速度
    3. 

  3. 為使用者提供資料分散／安全的機制
    4. 

  4. 提供許多程式的資料接口
    5. 

  5. 提供半及時（略慢於ＲＭＤＢＳ）的資料查詢
    6. 

  6. 可儲存非結構化資料（可允許欄位空白，同時資料欄可儲存時建立create on fly）
    7. 

  7. 可儲存非常大而且任意格式的欄位資料（所有資料在HBase中都是存Byte形式）
    8. 

  8. 能儲存非常多筆的Row Key
    9. 

  9. 能提供幾乎無限長度的Column（欄位）長度
    10. 






II.設計重點






    

  1. Row Key的設計非常重要
    2. 

  2. 因為一但Row Key新增下去 就無法修改（只能刪除）
    3. 

  3. Hbase中所有資料都會以字典排序 因此資料的分散程度跟Row Key有直接的關係
    4. 

  4. Row Key同時也決定了查詢的效能
    5. 

  5. Row Key的長度會影響記憶體使用
    6. 

  6. Row Key包含較多的資訊會消耗較多的記憶體，但依靠較多的Row Key資料可以較直接的查詢到資料進而降低IO次數。
    7. 

  7. Row Key包含較少的資訊可以節省記憶體，但較少的Row key資料代表Row key隱含了較少的資訊，適合循序的查詢（一次調出多筆資料）
    8. 








III. 設計心得






    

  1. HBase不是RMDBS 勿以關聯試資料庫的角度去設計以及操作他
    2. 

  2. Hbase專設計來儲存大量資料（意思是如果沒有大量資料就一點好處都沒有）
    3. 

  3. 務必清楚需求(有哪些資料，要進行哪些查詢) 再根據這些需求進行資料表設計，先透過小規模的實驗，確定資料分布沒有群聚問題（夠份散）。
    4. 

  4. 一旦服務開始跑 就不要進行大規模的設計變動（Hbase無法修改Row Key，且Table的變動彈性很有限 資料的刪除亦不是及時進行的）大量的資料修改或搬移會產生許多的資料碎片。
    5. 

  5. 不要在Hbase Node上跑任何額外的服務，Hbase會消耗大量的記憶體，且每天會需要進行Major compaction處理時間依資料量而不同，一旦節點過於忙碌則有可能發生骨牌效應。
    6. 








IV.考試心得





    Cloudera certified Specialist in Apache Hbase(CCSHB) 考試代碼 CCB-400(ＣＨＤ４)



考試主要含蓋六部分




    

  1. Core HBASE Concepts   
    2. 

  2. Data Model 
    3. 

  3. Architecture
    4. 

  4. Schema Design
    5. 

  5. HBASE API  
    6. 

  6. HBASE Administration
    7. 








由於考題活化，並不會出死題目 EX:名詞解釋或指令用途



因此務必清楚Hbase所扮演的角色以及處理能力以及天生上的優缺點，Performance turning很常考，ＥＸ：亂數的資料要插入Hbase要用哪種設定？最佳查詢需要用哪種設定？循序寫入最佳化需要用哪種設定？網路上有非常多的資料，但如有原廠講義則讀講義足矣，另外ＡＰＩ需要熟練，會考很深入的ＡＰＩ務必要實際演練過一段時間才可。ＣＣＢ－４００以後觀念題增加，由於考完試並不會顯示正確答案。因此並不會知道錯誤在哪裡，基礎務必要紮實，並清楚資料上的結構，勿心存僥倖。





幾個重點

1.可先到官網查看考試資訊 下面有一些題目可以參考

http://www.cloudera.com/content/cloudera/en/training/certification/ccshb.html

2.Oreilly的這本HBASE幾乎是聖經 網路上可以找到電子檔

http://shop.oreilly.com/product/0636920014348.do

3.由於有許多指令的考題 因此一定要安裝HBASE並實機演練 熟悉如何建立TABLE、Row，分散的資料碎片要怎麼合併跟預防 也是很常考的重點












































留言
















Tronic寫道…




靠！！超強的考試！！比神馬 Adobe 的那個還難！！高手






4月 16, 2014
























fenderyao寫道…




沒那麼誇張

但是沒有題庫 
準備比較辛苦就是了






5月 23, 2014




















張貼留言













這個網誌中的熱門文章









Office 2021 離線安裝封裝與KMS啟動步驟




















圖片







1.到Office 365 Customization Tool   https://config.office.com/deploymentsettings  選擇建立新的配置 Office來源套件選擇Office LTSC 標準版2021大量授權 OR 其他你想要的版本   剩下根據你的安裝配置進行設定 在安裝選項 改成本機來源 (這邊選擇安裝環境的安裝檔案路徑 可以設定網路磁碟如 \\192.168.0.1\office2021) 完成後匯出設定檔案 會得到一個XML檔案  這就是你office 的安裝組態檔案  這邊命名為office.xml 我的組態檔案像這樣 <Configuration ID="4b609851-a8f8-4cce-bf99-22096f57e715">   <Add OfficeClientEdition="64" Channel="PerpetualVL2021" SourcePath="C:\PROPLUS" AllowCdnFallback="TRUE">     <Product ID="ProPlus2021Volume" PIDKEY="FXYTK-NJJ8C-GB6DW-3DYQT-6F7TH">       <Language ID="zh-tw" />       <ExcludeApp ID="Lync" />       <ExcludeApp ID="OneDrive" />     </Product>   </Add>   <Property Name="SharedComputerLicensing" Value="0" />   <Property Name="SCLCacheOverride" Value="0" />   <Property Name="AUTOACTIVATE" ...








閱讀完整內容










Ollama使用心得與模型導入教學





















# 前言 隨著大語言模型的普及，在本地運行AI模型已成為許多開發者和研究者的需求。Ollama作為一款開源的本地AI模型運行平台，為我們提供了便捷的解決方案。經過一段時間的使用，我想分享一些心得與實戰經驗。 # 一、Ollama的主要功能與定位 Ollama是一個專為本地運行而設計的大語言模型平台，主要特色包括： **核心功能：** - 支援多種開源模型（LLaMA、Mistral、CodeLlama等） - 提供簡潔的命令列介面 - 支援模型量化，減少記憶體使用 - 內建API伺服器，方便整合到應用程式中 **定位優勢：** - 完全離線運行，保護隱私 - 不依賴雲端服務，降低使用成本 - 適合開發測試環境 - 支援自定義模型導入 # 二、安裝與Cuda加速設定 ## 2.1 基本安裝 **Windows系統：** ```bash # 下載並安裝Ollama winget install Ollama.Ollama ``` **Linux系統：** ```bash curl -fsSL https://ollama.com/install.sh | sh ``` ## 2.2 Cuda加速設定 要充分利用GPU加速，需要確保系統已安裝NVIDIA驅動和CUDA toolkit： **檢查Cuda狀態：** ```bash # 檢視GPU使用情況 nvidia-smi -l 1 ``` **確認Cuda版本：** ```bash nvcc --version ``` **Ollama會自動偵測Cuda環境**，如果安裝正確，啟動時會顯示GPU加速已啟用。 # 三、模型取得與匯入方式 ## 3.1 官方模型下載 ```bash # 下載熱門模型 ollama pull llama2 ollama pull mistral ollama pull codellama ``` ## 3.2 自定義模型導入 ### 從Hugging Face下載GGUF檔案 1. **找到適合的模型：**    - 前往 huggingface.co    - 搜尋支援GGUF格式的模型    - 下載.gguf檔案 2. **創建Modelfile：** ```bash # 創建Modelfile echo 'FROM ./you...








閱讀完整內容










ARC下NSMutableDictionary 無法使用retainCount





















 今天用到 NSMutableDictionary 在alloc之後 很自然的就補了release 想要觀察有沒有放乾淨 所以使用了retainCount卻發生了錯誤     NSMutableDictionary* jsonObject = [[NSMutableDictionary alloc] init] ;     [jsonObject setObject:account forKey:@"username"];     [jsonObject setObject:password forKey:@"password"];     [jsonObject setObject:@"2" forKey:@"source"];     NSString *jsonInput = [jsonObject JSONRepresentation];         NSLog(@"jsonObject RetanCount:%@", [jsonObject retainCount]); //Bad_Access Here        爬了一下文，原來arc在建立NSMutableDictionary這類的物件時。便已經會自動使用autorelease 因此不支援retainCount 值得注意的是 當NSMutableDictionary裡面每增加一個物件(KEY)時 該NSMutableDictionary的retain便會自動加一 不過在新的arc功能下 已經不用那麼在意retain值了。        You shouldn't use -retainCount to figure out what is going on. The Apple docs specifically state:       Important: This method is typically of no value in debugging memory management issues. Because any number of framework objects may have retained an object in order to hold refer...








閱讀完整內容