蒐尋本站(Google AJAX Search)

2013年11月23日

R 研討會心得

紀錄一下參加研討會後的心得

目前R Project在統計領域的確是很火熱,很多的期刊也都接受

而最新的統計演算法也被期刊要求一定要提供程式碼以供檢驗

這也說明了為什麼R的package會如此的豐富與及時了,據稱目前已經有超過5000套以上的package可以讓人選擇安裝了

不過我想 R 最主要被疑問的一點,應該還是在於學習曲線過高

畢竟凡事就是如此,取捨而已

R強大的優點有那些??

  • 編寫程式語言
  • GUI客製程度
  • OUTPUT輸出客製化
  • 繪圖能力客製化
  • 連結其他語言/平台的能力(例:C、JAVA、SAS、SPSS、MINITAB、STATA)

以上這幾點,其實說穿了就是強調你可以自行打造出你所想要的,但是反過來就是可能會有無窮無盡的東西需要你先行瞭解 XD

不過如此今天想要玩BIG DATA,要繞開R可能不是一件簡單的事

畢竟上面有提供蠻多最新的解決方案

先來談一下BIG DATA在實務上要考量的點有那些??

  • 儲存方式 --使用資料庫軟體進行管理?
  • 戴入記憶體--在BIG DATA的狀況下,一般電腦的DRAM絕對會被幹爆
  • 計算方法(演算法)
  • 計算速度

可以想見當你的資料量愈大的時候,遇到的問題就會愈多

如果是計算方法上的問題時,可能就需要重新改寫。改寫的程度,目前被定義如下:

  • 不需改寫→
  • 部份改寫(例:循序切割 CYUNKING)→
  • 大幅改寫(例:MLE估計量)→
  • 大幅改寫+多核心→
  • 全面改寫(例:Streaming Data)

當然依情況而定,可以略分為2種,一種就是使用全部資料進行運算,一種就是使用抽樣方式

如果是使用全部資料時,可以想像將資料進行切片,然後再依序進行處理

如果系統有支援多核處理時,就可以想像將蛋糕切片後,同時分給8個人處理(8核處理器)

如果系統有支援多台電腦平行處理時,就可以想象想蛋糕分給一大群軍隊,各自帶開進行處理

而使用抽樣方式當然會比較不需要如此,但是抽樣的技術就會變得很重要

略分成2種,一種當然就是單一隨機抽樣,先概略分群後再進行抽樣

另一種就是多個隨機抽樣,抽取多次後再加以平均 or投票 (隨機森林決策樹)

當然抽樣的方式最大的挑戰就是要夠隨機,所以這真的需要很深厚的統計功力與對商業智慧流程的瞭解

而目前雖然DRAM的價格已經低價化,不過進行BIG DATA分析時,記憶體不夠才是顯示出你進行的是了不起的大案子…所以底下就整理一下研討會中所提到的套件

  • BigMemory
  • Ff
  • DataBEL 具備將大型矩陣
  • PdbBase 這個找不到套件,有可能是我抄錯了 不過那暫時不是我目前的重點,這提供了一個MPI平行處理介面,等有時間再找

另外R也提供了很多與資料庫相關的套件

  • RMySQL:MySQL
  • RPostareSQL:PostareSQL
  • RODBC:IBM DB2、Oracle、MS SQL
  • Tsdbi
  • MonetDB.R 新型開放資料庫 內建多核平行運算 內建基本統計
  • Revolution R 算是IBM所強化過後的R商業版,和免費的R的差異應該就是它提供了不一樣的儲存方式,並搭配更優化過後的資料庫

再列幾個講者所介紹的 R+Hadoop套件

  • Hire
  • rHadoop Client
  • Hadoop Streaming
  • RHIPE
  • Rhadoop

最後講者的建議是因為資料庫軟體有對一些基礎統計像是排序之類的計算進行優化

如果是相對簡單的統計功能,如果能由資料庫內建功能中執行取得(例:SQL)就直接處理

另外當然就是使用64位元的作業系統,因為這樣可以解除4Gb Dram的限制

並且搭配使用Unix-Base的作業系統,因為多核、平行運算的能力相對於windows體系是強悍很多的

2013年10月22日

購入了wp8手機

大約使用了要2個星期,來寫一下購入心得

現在大家都知道有三大家的智慧手機生態聚落

apple google 微軟

會選擇WP8主要就是看中,單買手機比較便宜這一點

因為能夠用不到一萬元就能買到年初的旗鑑機種,這個只有市佔率低到可憐的微軟系統才辦得到啊

事實上在購入後也慢慢的解決了我的一些疑問點,也可以當成後續購入其他平板與筆電的參考

1.一個月1 Gb的流量夠用嗎?

因為身邊的很多朋友採用的是吃到飽的解決方案,我知道有的公司是因為有搭團購服務所以折數大概可以拿到7-8折

不過很多東西還是用大畫面來得方便

我自己是採用了遠傳預付卡的方案,先買張300元的預付卡,然後1個月再交180元即可

想要知道自己用了多少流量 ? 對不起哦,WP8的系統的流量程式還蠻爛的 不過還好遠傳有替代方案

你只要傳簡訊給 「1311」,然後簡訊內容只要隨便打後寄出,過不久就會有你還剩下多少流量的簡訊回覆了

因為我之前沒有使用智慧型手機,現在我知道了 wifi 與 3g 訊號的切換是很多軟體設定的重點

像是手機拍完的相片如果想要備份到 skydrive 的話,可以勾選 wifi 選項,這項就不會在你使用3g 時偷偷的浪費你的流量,而可以在流量充足時在上傳即可

2.WP8的手寫輸入夠好用

不過說真的因為我手邊的這台機子,雖然已經接近5吋了

但是我還是不是很喜歡在 智慧型手機上面打字

再加上手機上面的導航軟體似乎都只不支援機車,所以之前擔心的無蝦米無法快速輸入似乎不是什麼大問題

不過這個和 WP8 沒有支援藍芽鍵盤也有關係,希望後續也把這個加進去

畢竟如果在有桌子的狀況下,有個外接能力的話也是很不錯啊

因為我看無蝦米官方都推出了支援 win8市集的無蝦米輸入法,這樣以後買微軟平板時才不用擔心一堆有的沒有的

3.Onenote夠用,我想我就不再特別使用 Evernote

建議在主機(PC)先設定好筆計本,然後把筆記本記得要設定在 skydrive 上

就算你是後期才申請的,相信寫個筆記本要超過1Gb應該不是一件很簡單的事情

Onetone 操作邏輯很特別,筆計本有階層概念又像資料庫理論由的資科庫 資料表 資料 對應到筆計本 節 頁面

如果沒有用過資料庫的人一定會覺得很奇怪為什麼不需要存檔

不過事實在資料庫軟體中,本來就沒有存檔的指令了,這個沒有使用過的人需要事先適應一下

我覺得同步的功能蠻方便的

例如:我現在要到外地玩,比較好的作法是先在家裡把資訊給蒐集整理好,然後同步到Onenote上

而大家都知道地圖的使用很吃3g的流量,我也可以先在家裡把大略的路線圖與路徑先用捉圖的方式給同步到Ontenote上

這樣即使真正出遊時,也可以減少3g流量的使用,只有在必要的時刻再開啟即可

以目前我的生活型態而言,總不可能一個月有超過一半的天數都在煩惱著要去那邊玩吧??

而evernote也是一套好軟體,不過反正性質相同,那就不在特別進行學習了,夠用就好

事實上這類的生產力軟體,多不一定是件好事,就像時間管理的書買了一堆,結果發現下班洗完澡後就只剩下睡覺時間,感覺很悲涼啊

4.WP8的Ontenote沒有畫圖功能,但是可以用 妙筆 這套軟體

這套是新上件的軟體,有蠻多筆觸的,有時候懶得寫字,可以用畫圖的方式提醒自己

再利用分享功能給丟到 onenote 的快速筆記中

反正因為畫面的關係又做大量的編輯一定是要靠PC所以這樣的流程就很不錯啦

畢竟手機在輸入文字上比較辛苦 ,當然也許未來語音輸入進步的程度可以克服這個困擾

所以目前在手機上若是使用onenote,一定是以大綱為主

這篇文章的起源就是手機上onenote的小短文生出來的啊

另外衍生的問題就是其實我覺得 WP8軟體少的問題不大,問題較大的是有版權的電子書購買較麻頭

像一些日記軟體雖然很炫很棒,但是一想到資料缺乏可再利用性,就覺得沒有必要再特別學習

onenote也可以用來寫日記啊,雖然長得不像文青風的日記本

但是可以同步到電腦上,要插入圖片或是 excel表格甚至要輸出成pdf檔都很簡單啊

另外就是要善加利用雲端備份的功能

後續有很多的軟體都要支援備份至 skydrive 之類的功能,可以好好注意一下

這才是真正便利的地方

目前微軟只先針對本家軟體有相關選項

新的flickr在其他的手機作業系統新改版的已經支援背景批次wifi高畫質相片上傳

 

4.下一台手機/平板的選擇策略?

因為電子書出版平台的關係? 我應該會再入手一台 iPad 只是要買最新的,或是次新的打折品 那就要看蘋果發表會的決定囉?

個人是不介意多個幾千元啦

反正重點是應用啊…這個時代還在搞破解真的很懶又很累啊 

破解之類的大事,就交給學生族群去玩吧

下波的購買目標:

iPad

Surface 或是 Nokia Lumia 2520

以前本來想 windows RT 這麼鳥的東西賣得掉嗎? 後來發現有很多東西,你根本不會想要在手機上做啊

煩惱那些東西做什麼呢??

XD

2013年9月22日

解決Kanvus繪圖板在解決Kanvus繪圖板在windows 8下異常的狀況windows 8下異常的狀況

前幾年趁著 PCHOME 大特價的時候,購入了原價要破5000元的繪圖板

這陣子想到要拿到 windows 8 底下玩玩,但是因為原廠附的 drvier 最新發佈是在 2009年針對windows 7發布的版本

安裝之後,發現自定義按鍵的功能完全無法支援

這樣就冏了

因為這麼大一塊的繪圖板,少了自定義按鍵的功能,實在很浪費

我購買的型號是 kanvus artist 127

上網一查,原來國外也有人有類似的問題,也剛好有能人異士解決了

http://answers.microsoft.com/en-us/windows/forum/windows_8-hardware/after-upgrade-to-windows-8-kanvus-life-106/cfb38975-c835-43a1-8dab-78d27b6ce920?msgId=d5679772-dd92-43f8-9f0f-ebd2693960ed

 

SytheZN replied on January 23, 2013See post history

I've just got the Kanvus Artist 127 and I was having the same problem.

After a bit of diagnostics and a little more googling I managed to solve the problem by installing the Genius drivers.

  • In device manager, view by connection and find the USB device.
  • Right click and select properties
  • Under details, select Hardware ID's from the Property drop-down.
  • Search for the first part of the ID (right click and copy). Mine is USB\VID_172F&PID_0500
  • You should find a device that matches.
  • I've found most of the Kanvus devices are also manufactured by Genius.
  • You can try going directly to http://www.geniusnet.com/wSite/lp?ctNode=174&CtUnit=156&BaseDSD=10&mp=1 and look around. The devices look pretty similar, just different colours.
  • Most of the devices have Windows 8 drivers produced by Genius and they worked just fine for me. All of the features are supported, as well as a few that Kanvus' didn't have.
My device is the G-Pen M712X equivalent. The device ID's match so the drivers install without any problems.

Just remember to uninstall the existing drivers. I'd suggest disconnecting your tablet once the drivers are uninstalled and showing hidden devices in Device Manager, then removing any remnants.

Once you're done, install the genius drivers as usual by first installing and then connecting the tablet.

If all goes well, you should be up and running.

The drivers work fine for everything I've tried so far, including Photoshop and GIMP.

Hope it helps

簡單說來,就是 Kanvus 的繪圖板應該是交由 Genius 代工的

而Genius的網頁中就有提供 windows 8專屬的 driver 提供下載

而且因為我所購買的型號與剛好就是這位能人異士提供的相同都是 “G-Pen M712X “

http://www.geniusnet.com/wSite/ct?xItem=16837&ctNode=174&mp=1

所以我就捉了 windows 8 最新的driver程式,果然後續在 windows 8 底下繪圖板又重新活過來了

這個故事給我們很多啟示:

(1)windows 7 升級到 windows 8,driver 就不能延用了,微軟你好狠

(2)繪圖板這種很吃 driver 的配件,還是有選擇有後續維修保固的品牌購買才好;所以貴死人的 wacom 一直有市場,我想大家就是吃定了他應該不會突然倒掉。就算是windows一直升級,我想wacom應該也會一直有相對應的升級軟體

(3)Genius果然是老牌子的國內廠商,感恩啊…還好你還有繼續出 windows 8的driver

 

後續我就把網頁中相關的driver都捉一捉,然後給丟往 微軟的 skydrive 做儲存囉…

附帶一提:windows 8 的自定義按鍵功能與 windosw 7的自定義按鍵功能的軟體介面完全不一樣啊   不知道是不是因為工程師有轉化或是微軟對於windows 8介面有什麼龜毛的要求呢???

2013年4月24日

測試結果-Youtube 轉 MP3-知性慢跑訓練

 

承接前一篇文章

測試的結果良好

我下載 Youtube 的工具是用

這公司提供的免費軟體 http://www.dvdvideosoft.com/cht/products/

Free YouTube Download -- 下載Youtube 檔

Free YouTube to MP3 Converter --將Youtube檔轉成 MP3

因為我的需求是想要在慢跑時,有個可以聽的教育課程

所以我的需求是批次下載與批次轉檔

這樣的需求,我想一些線上轉檔的工具是不適合我的

下載的時候,記得畫質不用選太高的

轉檔成MP3的時候,音質也不用選太好的,我是選最低音質單音的那個

轉檔後,一個小時左右的課程,檔案大小約是16MB上下

我想現在隨便一個隨身MP3都可以裝得下吧 XD

對了,因為這是免費軟體,所以他希望可以從廣告獲得收益

安裝時記得把不需要的選項給取消啊 … 這2個程式的技術水準不會很高啦

但我已經懶得為了這種簡單的需求搞個10幾套軟體在那邊比較了

總之「it just Work!」

 

另外說明一下今天的測試心得

因為台大電機的葉老師本身就是一個簡報高手

所以我大概知道為什麼他的統計教學課程是一個人對著鏡頭演戲了

如果這是課堂上的側錄的話,我想同學的笑聲可能就會佔了30%的時間了

到時候MP3就會如下述的情形:

老師:「所以呢,條件機率也稱事後機率」「例如:….」

學生:「哈哈哈~~」「哈科科~~」「科科科~~」之類的三部合唱團

 

對一個已經學過統計學的人來說

這套課程實在很適合複習

我在葉老師的課程中知道了相對比較直覺的條件機率的定義

要知道在現在這個時代,貝氏定理之類的公式,Google 一下就出來了

要印得漂亮的話,只要花得起錢買雷射噴墨印表機

立馬就是一份很專業的公式大全集了

但是那又如何???

電腦可以告訴你100萬個數字的算術平均數、標準準

所以呢? 這些數字的意義是什麼??? 你能看出什麼意義?

所以我很欣賞葉老師那種慢慢教,一步一步來的推導風格

事實上最難的永遠是一開始從直觀推向抽向時的那個步驟

公式再複雜,交給電腦,只要最終的結果是個數字

終究是會算得出來的呀

 

總之,以上是我的自我教育法

如果之後我的英文聽力能有大幅的進步的話,還真想把一些英文課程也轉成MP3啊

當然人要一步一步來,目前就先多找找一些國立大學有志將課程上傳的老師的課程吧

 

感恩啊! 葉老師…

===

對了,今天跑了10公里多吧   1小時15分。

我個人稱之為   -->  夏夜涼風知性統計學跑法

2013年4月23日

網路課程-台大電機 葉丙成老師「機率與統計」-超棒的喲~

 

雖然現在 Facebook 很好用

但是 Facebook 是以時間、人際網絡 做為主要的資料連結方式

對於主題式的學習還是很麻煩的

我可以在 Facebook 上面加入很多統計軟體公司的粉絲頁、Excel 學習組織,但是事後要找到我想要的資料還是很麻煩的

所以我還是需要部格落這種工具來幫助我整理

最近在複習統計學,台大老師很有心的上傳了影音檔到 Youtube 也承諾以後會再更新

台大電機 葉丙成老師「機率與統計」YouTube 線上教學

他教得很簡單,但愈是簡單,背後備課的時間花的更多

我以前大學的統計老師

「幹,真的只有爛而已」

我的統計學可以說是自修而來的,後來在補習班遇到的統計學老師其實也不太行

他們都很會把難的東西,講得更複雜

那我自己自己就好啦

所以我研究所時候準備時,是請另外一位同學在另外一家補習班

用祕錄機錄音的方式幫我將課程給錄起來

我事後再用聽力的方式學到一個相對完整的架構

 

我今天已經把 葉老師的第一部影片在跑步機上面看完了

因為我最愛的還是都市夜跑,所以我之後想要把其他的影片給直接轉成 MP3

葉老師一集大約是1小時的內容

所以如果跑個20K的話,就可以聽完2集了

當然這是因為我已經具備有統計學的基礎了

我需要的只是複習,與更完整的架構

還沒有學過統計學的朋友,就還是耐著性子好好的把每部影片看完吧

 

===

測試後的結果,我以後再更新吧 ^ ^

2013年4月5日

筆記-程式語言的教學資源

 

雖然google很方便,但是還是將一些教學資源給筆記一下

方便自己個人使用

== 第一次更新 2013/4/5

 

目前主要常用的就是 .NET 的報表開發、Excel VBA、Python(捉網頁)、SQL、統計軟體 這些範圍

 

Python 教學資源 / 相關網頁:

Python-快快樂樂寫程式

Python 學習筆記 (範例是以 3版為主)

程式語言教學誌-Python (範例是以 3版為主)

Victor’s Python中文教程 / Victor's 易記學 程式設計教學(範例是以 2版為主)  以下是同個作者在部落格與Python 相關的內容

              這篇 瞭解Unicode 寫得很不錯,算是之前沒有學到的觀念

                       這邊有另外一篇有提到類似的觀念:每個軟體開發者都絕對一定要會的Unicode及字元集必備知識

              抓取網頁的最佳語言 : Python 會對Python有興趣是作者的這篇文章所啟發的

              抓網頁的程式庫 : WebChuan

              一些有用的Python函式庫列表

              用Python幫你進行代數運算 : Sympy

Python 教學及程式範例大全

Toomore Blog 這個作者是財金系的學生,興趣是寫程式,以下是一些與Python相關的文章

             不!我真的很懶惰,還是交給 python 抓成交量吧!

             grs Online! (台灣股票資料線上擷取,提供一個跨平台的瀏覽介面)

             台灣上市股票價格擷取(Fetch TWSE stock data)

             ghosthitswall (問程式問題的地方)

Python 教學文件 (2000年的網站時就修訂了 應該算台灣很早期的Python資源了吧 好熱血)

用Python做科學運算 (簡體資源)

Python 程序设计快速入门教学

咬一口 Python 程式語言

如何利用「Google 應用服務引擎」開發並部署簡單的 Python 專案

深入 Python :Dive Into Python 中文版

英文資源:

Learn Python The Hard Way 

A Byte of Python 

Think Python 

Excel資源

 

 

 

學寫程式:

http://www.codecademy.com/

隨機推薦

Powered by Stuff-a-Blog
/*以下是google分析的程式碼 /*以上是google分析的程式碼