三秒架好 Hadoop service -Azure HDInsight

稍微玩了一下HDInsight

透過HDInsight 我們可以快速建立HADOOP 服務

在建立時 便可以決定節點數量跟性能

image

透過已經建立好的HADOOP SERVICE

我們可以快速的開始部屬服務或是進行練習

image

 

在HDinsight的組態裡面 我們可以建立一組遠端連線帳號

image

建立好我們便可以透過RDP連入主機

連進來便可以看到 這台Windows Server已經裝好Hadoop服務了

 

桌面上已經建好一些連結

我們可以看到機器工作的狀況

image

由於機群裡面只有一台機器

所以包辦所有的角色

image

我們用命令提示字元來用看看HADOOP

image

 

我們可以看一下Hadoop 檔案系統裡面的東西

image

可以看到 一些預設的資料夾

 

嘗試放個檔案進Hadoop File System

image

可以看到HADOOP服務 放入一個檔案在example目錄下

 

個人用戶使用HDinsight 要注意一件事

因為HDInsight的機器需要很好的效能(16 core)

所以他很貴

image

 

其實所謂的HDInsight

就是安裝好了Hadoop跟HIVE的Windows server

比較特別的地方是在於

一旦你建立機器在HDinsight群組裡面

你可以很容易的建立Hadoop cluster

他的價值在哪裡

如果你有玩過BigData的東西 就會知道

架設Hadoop跟Performance Turning是十分消耗開發人員精力的事情

因此才會有Etu、CloudEra這些廠商

協助客戶導入hadoop應用

 

而巨量資料須要配合彈性的機房建設

架構必須要隨著資料的成長而增減

這些都是一般用戶使用Hadoop的痛

 

我覺得

Azure HDinsight可以降低這些過程浪費的時間

至少我們可以利用它來進行初期驗證

驗證您的Hadoop服務架構是否正確

至於要不要在Azure上面跑 那就要看貴公司的荷包深不深摟~

留言

張貼留言

這個網誌中的熱門文章

Office 2021 離線安裝封裝與KMS啟動步驟

圖片
1.到Office 365 Customization Tool   https://config.office.com/deploymentsettings  選擇建立新的配置 Office來源套件選擇Office LTSC 標準版2021大量授權 OR 其他你想要的版本   剩下根據你的安裝配置進行設定 在安裝選項 改成本機來源 (這邊選擇安裝環境的安裝檔案路徑 可以設定網路磁碟如 \\192.168.0.1\office2021) 完成後匯出設定檔案 會得到一個XML檔案  這就是你office 的安裝組態檔案  這邊命名為office.xml 我的組態檔案像這樣 <Configuration ID="4b609851-a8f8-4cce-bf99-22096f57e715">   <Add OfficeClientEdition="64" Channel="PerpetualVL2021" SourcePath="C:\PROPLUS" AllowCdnFallback="TRUE">     <Product ID="ProPlus2021Volume" PIDKEY="FXYTK-NJJ8C-GB6DW-3DYQT-6F7TH">       <Language ID="zh-tw" />       <ExcludeApp ID="Lync" />       <ExcludeApp ID="OneDrive" />     </Product>   </Add>   <Property Name="SharedComputerLicensing" Value="0" />   <Property Name="SCLCacheOverride" Value="0" />   <Property Name="AUTOACTIVATE" ...
閱讀完整內容

Ollama使用心得與模型導入教學

# 前言 隨著大語言模型的普及，在本地運行AI模型已成為許多開發者和研究者的需求。Ollama作為一款開源的本地AI模型運行平台，為我們提供了便捷的解決方案。經過一段時間的使用，我想分享一些心得與實戰經驗。 # 一、Ollama的主要功能與定位 Ollama是一個專為本地運行而設計的大語言模型平台，主要特色包括： **核心功能：** - 支援多種開源模型（LLaMA、Mistral、CodeLlama等） - 提供簡潔的命令列介面 - 支援模型量化，減少記憶體使用 - 內建API伺服器，方便整合到應用程式中 **定位優勢：** - 完全離線運行，保護隱私 - 不依賴雲端服務，降低使用成本 - 適合開發測試環境 - 支援自定義模型導入 # 二、安裝與Cuda加速設定 ## 2.1 基本安裝 **Windows系統：** ```bash # 下載並安裝Ollama winget install Ollama.Ollama ``` **Linux系統：** ```bash curl -fsSL https://ollama.com/install.sh | sh ``` ## 2.2 Cuda加速設定 要充分利用GPU加速，需要確保系統已安裝NVIDIA驅動和CUDA toolkit： **檢查Cuda狀態：** ```bash # 檢視GPU使用情況 nvidia-smi -l 1 ``` **確認Cuda版本：** ```bash nvcc --version ``` **Ollama會自動偵測Cuda環境**，如果安裝正確，啟動時會顯示GPU加速已啟用。 # 三、模型取得與匯入方式 ## 3.1 官方模型下載 ```bash # 下載熱門模型 ollama pull llama2 ollama pull mistral ollama pull codellama ``` ## 3.2 自定義模型導入 ### 從Hugging Face下載GGUF檔案 1. **找到適合的模型：**    - 前往 huggingface.co    - 搜尋支援GGUF格式的模型    - 下載.gguf檔案 2. **創建Modelfile：** ```bash # 創建Modelfile echo 'FROM ./you...
閱讀完整內容

ARC下NSMutableDictionary 無法使用retainCount

今天用到 NSMutableDictionary 在alloc之後 很自然的就補了release 想要觀察有沒有放乾淨 所以使用了retainCount卻發生了錯誤 NSMutableDictionary* jsonObject = [[NSMutableDictionary alloc] init] ; [jsonObject setObject:account forKey:@"username"]; [jsonObject setObject:password forKey:@"password"]; [jsonObject setObject:@"2" forKey:@"source"]; NSString *jsonInput = [jsonObject JSONRepresentation]; NSLog(@"jsonObject RetanCount:%@", [jsonObject retainCount]); //Bad_Access Here 爬了一下文，原來arc在建立NSMutableDictionary這類的物件時。便已經會自動使用autorelease 因此不支援retainCount 值得注意的是 當NSMutableDictionary裡面每增加一個物件(KEY)時 該NSMutableDictionary的retain便會自動加一 不過在新的arc功能下 已經不用那麼在意retain值了。     You shouldn't use -retainCount to figure out what is going on. The Apple docs specifically state:     Important: This method is typically of no value in debugging memory management issues. Because any number of framework objects may have retained an object in order to hold refer...
閱讀完整內容