ISGC 2009, BOINC Workshop ISGC 2009, Symposium Day2
4月 22

iRods是Reagon Moore帶隊開發的DataGrid中介軟體,他是SRB的下一代。這個Workshop介紹了很多iRods的觀念,並且包含一些實作。

http://event.twgrid.org/isgc2009/irods/

09:00 Introduction to iRODS technology (discussion of basic capabilities) (Reagon Moore, University Of North Carolina At Chapel Hill, US)

Reagon把主題基本上都放在與SRB的差異與功能增加上,他甚至提到了將source公開後,他們希望可以接受廣大社群的意見。另一個重點是RuleEngine,之所以需要這個東西,是因為各個不同的site有他們自己的管理方式,如果能夠將這些管理策略(包括權限,資料處理原則,跨zone原則)利用Rule的方式描述並且執行,那會省去很多事情。

iRods在這一版還有另一個重點就是擴充性,核心的許多元件都是模組化,可以讓更多第三方團體開發他們自己想要的模組。他提到他們在Renci DataGrid及NARA所做的成功案例,其中還有資料每傳遞經過一個DataGrid就備份一次的方式,這些例子都是以前SRB做不到的。

Q: 我認為你的軟體好像不是很穩定,究竟SRB發生啥事了呢?那現在你們做了啥來改進?

A: 目前Mike Wan與Raja正主要負責開發,Mike開發了很多不同的技巧來在不穩定的網路中能夠傳輸,而我們也期望社群給我們一些鼓勵與支持。其實從SRB這樣一路過來,我們也學習了很多。

Q: 你在投影片中提到你們可以有10多個iCAT Server進行Federation,但在台灣的例子可能有50~100個不同的單位需要互相整合,這可以做到嗎?

A: 我認為能不能做到並不是在軟體上的問題,而是當這樣多的DataGrid整合在一起,他們就需要制定更完整的Rule來讓這些site之間可以合作,這個答案之前也提過,就是資料處理原則以及認證原則。

Q: 我很好奇執行這些Rule是否有很多的overhead,畢竟有很多檔案,又有很多Rule,那一定也需要很多cpu去跑,而這個機制也無法叢集化,那檔案增加時要怎麼辦呢?

A: 目前我們所附的rule沒有這樣多,所以不可能有太大的overhead。

Q: 我該怎樣才能將SRB的資料搬移到iRods上?

A: 最簡單的方式是將所有資料倒出來然後再匯入,而我們有一些script來檢查metadata的一致性,如此不管是怎樣的資料都可以利用這種方式遷移。

大家覺得他有正面回答到問題嗎?我覺得沒有,更何況有些問題是我私下問的(例如第一個問題)。

10:00 Open discussion with workshop participants on their data management needs (Reagon Moore, University Of North Carolina At Chapel Hill, US)

10:30 ASGC presentation (Wei-Long Ueng, ASGC, TW)

維瓏介紹了有關我們在Carbon Flux上打算使用iRods(其實是尚未使用),以及之前數位典藏使用SRB的狀況,但我也覺得我們並沒有任何一個計畫真正用到iRods吧。

11:00 Installation of iRODS clients on participant systems (Windows, Mac, Linux) (Reagon Moore, University Of North Carolina At Chapel Hill, US)

我發現他們將安裝的script寫得非常完整,但安裝iCAT還是得乖乖配合他們的postgresql版本。

課程快要結束的時候我們發現yellow這台server掛了,但問題不是出在網路斷線或什麼其他問題,這台server的irods port還是開啟的,應該是irods內部的thread或icat被我們玩壞了。

12:00 Initial demonstration of iRODS client access (Reagon Moore, University Of North Carolina At Chapel Hill, US)

Q: 看起來你提到的parallel I/O並不是真正的平行化IO,這個是multistream。你有打算要加入這個功能嗎?

A: 你可以自己撰寫micro-service,那不管是怎樣的IO你都可以達成。但我認為Resource斷線的時候,該怎樣去偵測,是比較困難的問題。

Q: Resource的剩餘空間可以偵測嗎?

A: 這個我們還在進行

Q: 你有加密的功能嗎?Resource的管理員有權限可以看到本機的檔案,那我該怎樣防止他看?

A: 有一個團隊正在實驗通訊上的加密,透過這個方式就可以減少資料被竊取的機會。(他或許誤會意思了)

14:00 Introduction to iRODS rules and micro-services (Reagon Moore, University Of North Carolina At Chapel Hill, US)

透過簡單的指令可以將zone加入自己的zone,不過本機也要建立與對方的zone相同的帳號,如此對方才能使用我們自己的resource來存檔案。也可以改寫rule讓建立新的zone的時候就將帳號建立。

15:00 Demonstration of federation of data grids (Reagon Moore, University Of North Carolina At Chapel Hill, US)

16:00 Demonstration of WebDav interface to iRODS (Shunde Zhang, Australian Research Collaboration Service (ARCS), AU)

http://projects.arcs.org.au/trac/davis/wiki

Davis是一個iRods的WebDAV Gateway,在很多平台都有WebDAV的client,他也展示了從iPhone上連接iRods並且下載投影片。

ARCS提供了一些檔案服務,所以他們希望使用iRODS作為其平台。

http://projects.arcs.org.au/trac/systems/wiki/DataServices/iRODS

這裡也提到一些資訊,有關如何使用PgPool當做iCAT的備援機制。

16:30 Discussion of KEK use and evaluation of iRODS (Yoshimi Iida, KEK, JP)

這個講者就像日本的小機器人講著不流利的英文一樣,一個字一個字講,但可以看出他的努力。

KEK是日本的大學共同利用機關法人,看起來他們似乎也想整合各個site的儲存資源。

不過目前看起來他們的實作還在調查階段,他們應該沒有太多的資料整合與儲存經驗。他說他們之前是打算用EGEE的GridFtp來做,但似乎失敗了(本來就不適合)。他的老闆還說這個人是他們那邊最聰明的人,看起來他是很努力的樣子。

這邊記錄了兩個問題,不過是講者對Reagon提出的。

Q: 我不是很清楚為啥iget,scp和kerberos-ftp會有這樣的傳輸差距(10MB/s),你可以解釋一下嗎?

A: iget並沒有作家密,所以比較快。

Q: 為啥collection增加越來越多,效能就越來越慢呢?

A: 這個問題目前沒有任何官方的答案,不過似乎林務所的人也有同樣的問題,看起來當collection或檔案的數量增多,SRB或iRods都會出現這種現象。
但我們還需要更多實驗來驗證並解決。

17:00 Open discussion of iRODS applications (Reagon Moore, University Of North Carolina At Chapel Hill, US)

written by Kiwi


Leave a Reply