發表文章

目前顯示的是 5月, 2014的文章

三秒架好 Hadoop service -Azure HDInsight

圖片
稍微玩了一下HDInsight 透過HDInsight 我們可以快速建立HADOOP 服務 在建立時 便可以決定節點數量跟性能 透過已經建立好的HADOOP SERVICE 我們可以快速的開始部屬服務或是進行練習   在HDinsight的組態裡面 我們可以建立一組遠端連線帳號 建立好我們便可以透過RDP連入主機 連進來便可以看到 這台Windows Server已經裝好Hadoop服務了   桌面上已經建好一些連結 我們可以看到機器工作的狀況 由於機群裡面只有一台機器 所以包辦所有的角色 我們用命令提示字元來用看看HADOOP   我們可以看一下Hadoop 檔案系統裡面的東西 可以看到 一些預設的資料夾   嘗試放個檔案進Hadoop File System 可以看到HADOOP服務 放入一個檔案在example目錄下   個人用戶使用HDinsight 要注意一件事 因為HDInsight的機器需要很好的效能(16 core) 所以他很貴   其實所謂的HDInsight 就是安裝好了Hadoop跟HIVE的Windows server 比較特別的地方是在於 一旦你建立機器在HDinsight群組裡面 你可以很容易的建立Hadoop cluster 他的價值在哪裡 如果你有玩過BigData的東西 就會知道 架設Hadoop跟Performance Turning是十分消耗開發人員精力的事情 因此才會有Etu、CloudEra這些廠商 協助客戶導入hadoop應用   而巨量資料須要配合彈性的機房建設 架構必須要隨著資料的成長而增減 這些都是一般用戶使用Hadoop的痛   我覺得 Azure HDinsight可以降低這些過程浪費的時間 至少我們可以利用它來進行初期驗證 驗證您的Hadoop服務架構是否正確 至於要不要在Azure上面跑 那就要看貴公司的荷包深不深摟~

微軟認證考試 Exam 70-583 Pro: Designing and Developing Microsoft Azure Applications 考試心得

Exam 70-583 Pro: Designing and Developing Microsoft Azure Applications 目標 能設計及規劃Windows Azure App的能力 考試感想 雖然考試抬頭打著Designing and Developing Microsoft Azure Applications 但其實很多地方在考CDN跟儲存體的應用 基本上可分為三類 計算設計 (Worker load / web load)的腳色應用 網路設計 (VPN, CDN) EX:甚麼時候要用VPN?甚麼時候要用CDN? 儲存體的腳色差異  EX:Blob跟local storage的差異? 幾個常出的問題 1.甚麼時候適合使用CDN? 需要彈性調整資料部屬地點 資料的response time有要求 2.AZURE的儲存體又分 PAGE BLOB 差異在PAGE由於每頁的大小有其限制 但優點在於允許大量I/O 頻繁的存取 BLOB則是可以存放很大的資料 但如果需要用到平行存取 則Azure SQL /TABLE更適合 3.VM機器的SPEC EX: 有一機器 至少需要記憶體768MB 請問哪個機器最合適? A : T1 (Extra small ) 不考API指令,但你可能需要知道AZURE提供那些API的能力 譬如有一題就問 Q: Azure SQL裡面有多個表格 請問表格之間可透過哪種聯絡方式同步資料 A: Azure SQL data sync 以上是簡單的心得 如果有要準備的同學 提供給你準備的方向 See also : http://www.microsoft.com/learning/en-us/exam-70-583.aspx

簡單好用 Azure 媒體服務

圖片
有時候網站會需要放一些影片或音樂 youtube嵌入影片 youtube會插入廣告及浮水印 讓人家覺得不太"官方"   或是你想要搭建一個讓用戶自行上傳影片的平台 這時候就可以考慮使用AZURE媒體服務 他提供即時編碼/串流/預載的技術 且不用擔心頻寬會塞爆   讓我們來看看 他怎麼用吧   首先我們從新增>應用程式服務>媒體服務 建立一個AZURE 媒體服務 建立完 會長這個樣子 如果要用程式來上傳或是控制線上資源 可在雲的標籤裡找到CODE SAMPLE   如果不用程式控制 只是想要讓大家觀看線上影片 可點到 [內容] 點選下面的[上傳] 我們現在可以嘗試上傳一段影片 上傳完畢 便可以看到影片旁邊有一段網址 此即為影片網址 複製後 便可傳給其他人觀看 同時可以變更編碼 提供影片給其他裝置觀看 EX:行動裝置 此時AZURE會在後台幫你轉檔 轉完後會產生新的檔案       Azure 媒體服務支援以下的編碼格式 Video Codecs H.264 (Baseline, Main, and High Profiles) MPEG-1 MPEG-2 (Simple and Main Profile) MPEG-4 v2 (Simple Visual Profile and Advanced Simple Profile) VC-1 (Simple, Main, and Advanced Profiles) Windows Media Video (Simple, Main, and Advanced Profiles) DV (DVC, DVHD, DVSD, DVSL) Audio Codecs AC-3 (Dolby Digital audio) AAC (AAC-LC, HE-AAC v1 with AAC-LC core, and HE-AAC v2 with AAC-LC core) MP3 Windows M...

DroboFS 系統異常 修復辦法

自己亂玩系統 把系統搞掛了也是常有的 最恐怖的還是看到 磁碟異常找的到機器但找不到資料的狀況 通常Drobo會亮紅燈 告訴你出問題了 下面介紹幾個還原的方法 *再進行前 請記得先拔出你所有的硬碟  不然有可能會抹除硬碟裡面的資料 1.有時是應用服務導致系統異常 這時可以嘗試關閉DroboApps 並重開機器 2.系統Reset 通常用在資料異常時,可以透過Drobo Dashboard的Reset 還原所有設定 3,Repair 當系統出現異常時 repair便會出現 但這邊有個微妙的地方  中文版的"修復" 是沒有用的    要把Drobo Dashboard切換成英文 才會有效 而Drobo DashBoard的語言是認OS的語系 因此你必 需要先解掉Drobo DashBoard並把OS語言改成英文 重新安裝DashBoard 才能使用Repair 4.最後一招 如果以上都無效 最後一招 去官網下載Firmwave 並手動更新    如此會將系統的ROM重新設定 See also : Why does my Drobo storage device no longer mount?

Drobo FS 修改權限密碼

買來的第一件事情就是裝SSH與改密碼啦 使用passwd指令修改密碼 系統會在重開機時 恢復 因為Drobo會在重開機、使用者變更(新增 刪除) 時還原系統設定 解決的方法是 修改/etc/passwd 另外手動修改 /etc/.passwd 這個隱藏檔 但是由於/etc/.passwd 是系統默認的還原檔案 一旦修改了他 有可能會造成系統運作的不正常 一旦你想要重設你的DROBO 系統會因為密碼非預設的 而造成系統異常 正確的做法是 新增 一個root_passwd腳本 在系統開機時 才進行修改密碼指令 如此便不會造成系統還原後的異常 See also : http://drobo.jhah.net/guides/drobofs_shell_faq

AZURE: 設定Site to Site VPN 教學

圖片
AZURE要建立混合雲 通常會需要與內部網路進行連通 AZURE有兩種方式 Site to Site VPN , Point to Site VPN 影片是S2S VPN的教學 See also : Windows Azure Virtual Machines 之 Virtual Network 設定 Configure a Site-to-Site VPN in the Management Portal