今天給各位分享san框架的知識(shí),其中也會(huì)對(duì)三框架網(wǎng)頁的名稱分別為進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!,本文目錄一覽:,1、,存儲(chǔ)技術(shù)是純屬系統(tǒng)的框架里面的么,2、,hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu),3、,如何在Solaris下進(jìn)行SAN存儲(chǔ)配置,4、,基于SAN存儲(chǔ)的國家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設(shè),什么是存儲(chǔ)?
今天給各位分享san框架的知識(shí),其中也會(huì)對(duì)三框架網(wǎng)頁的名稱分別為進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!
本文目錄一覽:
- 1、存儲(chǔ)技術(shù)是純屬系統(tǒng)的框架里面的么
- 2、hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu)
- 3、如何在Solaris下進(jìn)行SAN存儲(chǔ)配置
- 4、基于SAN存儲(chǔ)的國家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設(shè)
存儲(chǔ)技術(shù)是純屬系統(tǒng)的框架里面的么
什么是存儲(chǔ)?
用于存放數(shù)據(jù)信息的設(shè)備或者系統(tǒng)
等同與計(jì)算機(jī)系統(tǒng)中的外部存儲(chǔ)
存儲(chǔ)是一個(gè)系統(tǒng)
是計(jì)算機(jī)技術(shù)發(fā)展的結(jié)果
在計(jì)算機(jī)系統(tǒng)中存儲(chǔ)分為外部存儲(chǔ)和內(nèi)部存儲(chǔ),這里我們談存儲(chǔ)主要指計(jì)算機(jī)系統(tǒng)中的外部存儲(chǔ)。
如果再把概念收縮一下,一般來講我們談存儲(chǔ)是指存儲(chǔ)系統(tǒng),并不是簡單的談?dòng)脖P、軟盤等。
存儲(chǔ)系統(tǒng)是信息技術(shù)發(fā)展的結(jié)果。
為什么要了解存儲(chǔ)技術(shù)
很簡單的原因,存儲(chǔ)變得越來越重要了,我們必須要了解存儲(chǔ)技術(shù),了解存儲(chǔ)技術(shù)的發(fā)展方向!
存儲(chǔ)系統(tǒng)中到底使用了什么技術(shù)?
SCSI/ATA
FC/iSCSI
RAID/JBOD
DAS/NAS/SAN
SCSI/ATA是存儲(chǔ)系統(tǒng)中最基本的技術(shù),其中SCSI是最重要的.
在存儲(chǔ)設(shè)備上,使用的SCSI/ATA/FC的硬盤,做成RAID或者JBOD,通過DAS、NAS、SAN的形式,中間使用SCSI、FC或者TCP/IP技術(shù)連接主機(jī)。存儲(chǔ)技術(shù)其實(shí)就是是計(jì)算機(jī)技術(shù)與通信技術(shù)的結(jié)合。iSCSI是將來的存儲(chǔ)形式,這里不做討論
存儲(chǔ)系統(tǒng)架構(gòu)—三種架構(gòu)介紹
DAS ( Direct Attached Storage)直接掛接存儲(chǔ)
SAN ( Storage Area Network )存儲(chǔ)區(qū)域網(wǎng)絡(luò)
NAS ( Network Attached Storage )網(wǎng)絡(luò)掛接存儲(chǔ)
存儲(chǔ)系統(tǒng)架構(gòu)—DAS
DAS-Direct Attached Storag-存儲(chǔ)設(shè)備(通常為磁盤或磁帶)通過電纜直接與計(jì)算機(jī)相連;
系統(tǒng)存取訪問I/O請(qǐng)求(又稱為協(xié)議或命令)直接在計(jì)算機(jī)和存儲(chǔ)設(shè)備間進(jìn)行.
存儲(chǔ)設(shè)備(通常為磁盤或磁帶)通過電纜直接與計(jì)算機(jī)相連,系統(tǒng)存取訪問I/O請(qǐng)求(又稱為協(xié)議或命令)直接在計(jì)算機(jī)和存儲(chǔ)設(shè)備間進(jìn)行。這是一種總線方式的存儲(chǔ),傳輸距離短,連接方式差。當(dāng)服務(wù)器在地理上比較分散,很難通過遠(yuǎn)程連接進(jìn)行互連時(shí),直接連接存儲(chǔ)是比較好的解決方案,甚至是唯一的解決方案。
存儲(chǔ)系統(tǒng)架構(gòu)—SAN
SAN- Storage Area Network
主要目的用于在計(jì)算機(jī)和存儲(chǔ)設(shè)備之間傳輸數(shù)據(jù)
IP-SAN,F(xiàn)C-SAN
SAN(Storage Area Network存儲(chǔ)區(qū)域網(wǎng)):是為連接服務(wù)器、磁盤陣列、帶庫等存儲(chǔ)設(shè)備專門而建立的高性能網(wǎng)絡(luò)。SAN技術(shù)中最具深遠(yuǎn)意義的并給SAN技術(shù)帶來最大好處的,即它由從前采用面向總線的存儲(chǔ)結(jié)構(gòu),轉(zhuǎn)而采用現(xiàn)在的面向網(wǎng)絡(luò)的存儲(chǔ)結(jié)構(gòu)。
存儲(chǔ)系統(tǒng)架構(gòu)—NAS
NAS-Network Attached Storage
一種直連到網(wǎng)絡(luò)(LAN or WAN)里的特殊用途的存儲(chǔ)設(shè)備
突出的文件服務(wù)性能
向異構(gòu)客戶端平臺(tái)提供高可用的數(shù)據(jù)共享
存儲(chǔ)產(chǎn)品
磁盤陣列柜
RAID技術(shù)
FC技術(shù)
SAS技術(shù)
iSCSI技術(shù)
IB技術(shù)
存儲(chǔ)服務(wù)器
服務(wù)器技術(shù)
RAID技術(shù)
…
hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu)
hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu)
It may take a whils to crawl a site ...
set_time_limit(10000);
Inculde the phpcrawl-mainclass
include("libs/PHPCrawler.class.php");
Extend the class and override the handleDocumentInfo()-method
class MyCrawler extends PHPCrawler
{
資料區(qū)域性性(data locality):這是Hadoop的主要特性,指的是直接在儲(chǔ)存資料的節(jié)點(diǎn)上做CPU密集型計(jì)算。顯然,SAN/NAS不適用于任何形式的CPU密集型計(jì)算。
RAID:SAN/NAS采用RAID磁碟陣列進(jìn)行儲(chǔ)存,而Hadoop框架通過復(fù)本來確保資料的可靠性和容錯(cuò)性。
DAS采用JBOD磁碟陣列進(jìn)行儲(chǔ)存,如果Hadoop節(jié)點(diǎn)的內(nèi)建儲(chǔ)存容量較小,可以采用DAS做擴(kuò)充套件。如果只是想通過Hadoop做資料歸檔,沒有計(jì)算,好吧,SAN/NAS是個(gè)選擇。
hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu),適宜采用哪些raid
配置資訊在gridmix_config.xml檔案中。gridmix中,每種作業(yè)有大中小三種類型:小作業(yè)只有3個(gè)輸入檔案(即3個(gè)map);
中作業(yè)的輸入檔案是與正則表示式{part-0000,part-0001,part-000*2}匹配的檔案;
大作業(yè)會(huì)處理處有資料。
分析hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu),適宜采用哪些ra
Hadoop提供非常方便的方式來獲取一個(gè)任務(wù)的統(tǒng)計(jì)資訊,使用以下命令即可作到:
$ hadoop job -history all job output directory
這個(gè)命令會(huì)分析任務(wù)的兩個(gè)歷史檔案(這兩個(gè)檔案儲(chǔ)存在job output directory/_logs/history目錄中)并計(jì)算任務(wù)的統(tǒng)計(jì)資訊。
NAS,DAS和SAN三種儲(chǔ)存架構(gòu)的區(qū)別
NAS儲(chǔ)存特點(diǎn)(網(wǎng)路直連儲(chǔ)存) DAS儲(chǔ)存特點(diǎn)(直連儲(chǔ)存)SAN儲(chǔ)存(光纖儲(chǔ)存)
svn叢集使用什么樣的儲(chǔ)存架構(gòu)
Svn命令
1、將檔案checkout到本地目錄
svn checkout path(path是伺服器上的目錄)
例如:svn checkout svn:192.168.1.1/pro/domain
簡寫:svn co
2、往版本庫中新增新的檔案
svn add file
amazon云端儲(chǔ)存采用什么架構(gòu)
這個(gè)具體還是要根據(jù)儲(chǔ)存的資料型別和資料量的大小來決定的!有很多型別的云端儲(chǔ)存軟體。比如:云創(chuàng)儲(chǔ)存的Minicloud迷你云,這是一款適合中小企業(yè)的云端儲(chǔ)存系統(tǒng),是一個(gè)超安全的私有云計(jì)算資料中心,采用高可靠的云端儲(chǔ)存技術(shù),檔案資料塊始終以雙副本方式在不同節(jié)點(diǎn)上存放,絕不丟失資料。同時(shí),迷你云海量儲(chǔ)存空間支援靈活使用,既可作為應(yīng)用軟體(如郵箱、視訊監(jiān)控)的海量儲(chǔ)存空間,又可作為員工的私密儲(chǔ)存空間,還可以作為資料共享空間,為了確保資料安全,公室內(nèi)部共享資料與通過網(wǎng)際網(wǎng)路共享資料采用完全隔離的兩套系統(tǒng)。在公室內(nèi)部,可通過逗我的電腦地直接訪問自己的私有資料空間,在公室外部,可通過PCWeb介面和移動(dòng)終端(安卓手機(jī)、iPhone以及iPad)等訪問minicloud,實(shí)現(xiàn)移動(dòng)公。同時(shí),還提供豐富多彩的應(yīng)用系統(tǒng),系統(tǒng)自帶企業(yè)郵箱、內(nèi)部虛擬磁碟、網(wǎng)路云盤*、FTP等應(yīng)用,使用者還可按需安裝配置其它應(yīng)用;可選配超強(qiáng)的桌面虛擬化系統(tǒng):單伺服器支援100多個(gè)瘦終端流暢共享各類應(yīng)用軟體和上網(wǎng)。
網(wǎng)路儲(chǔ)存架構(gòu)是什么呀?
網(wǎng)路儲(chǔ)存有兩大要件,一者為儲(chǔ)存裝置,一者為網(wǎng)通裝置。企業(yè)的網(wǎng)路儲(chǔ)存已行之有年,大致分為兩種架構(gòu):儲(chǔ)存區(qū)域網(wǎng)絡(luò)(SAN, Storage Area Neork)和網(wǎng)路附加儲(chǔ)存(NAS, Neork Attach Storage)。前者為支援伺服器和儲(chǔ)存裝置的直接高速資料傳輸?shù)膬?chǔ)存網(wǎng)路架構(gòu),后者為直接聯(lián)機(jī)至區(qū)域網(wǎng)絡(luò) (LAN) 或廣域網(wǎng)路 (WAN),以方便由多臺(tái)伺服器存取資料的儲(chǔ)存架構(gòu)。
請(qǐng)教低成本型Hadoop叢集的網(wǎng)路架構(gòu)與華為網(wǎng)路裝置選型
云端計(jì)算和Hadoop中網(wǎng)路是討論得相對(duì)比較少的領(lǐng)域。本文原文由Dell企業(yè)技術(shù)專家Brad Hedlund撰寫,他曾在思科工作多年,專長是資料中心、云網(wǎng)絡(luò)等。文章素材基于作者自己的研究、實(shí)驗(yàn)和Cloudera的培訓(xùn)資料。
如何在Solaris下進(jìn)行SAN存儲(chǔ)配置
Oracle Solaris 10 和 Oracle Solaris 11 自帶了一個(gè)光纖通道發(fā)起方系統(tǒng),您可以對(duì)它進(jìn)行配置以便將 Sun ZFS
存儲(chǔ)設(shè)備提供的光纖通道 (FC) LUN 集成到 Oracle Solaris 環(huán)境中。本文介紹如何配置 Oracle Solaris 光纖通道系統(tǒng)以及如何配置
Sun ZFS 存儲(chǔ)設(shè)備來配置供 Oracle Solaris 服務(wù)器訪問的 FC LUN??梢允褂脼g覽器用戶界面 (BUI) 完成這些配置。
本文做出以下假設(shè):
已知 Sun ZFS 存儲(chǔ)設(shè)備的 root 帳戶口令。
已知 Sun ZFS 存儲(chǔ)設(shè)備的 IP 地址或主機(jī)名。
已配置好 Sun ZFS 存儲(chǔ)設(shè)備使用的網(wǎng)絡(luò)。
Sun ZFS 存儲(chǔ)設(shè)備已配置有具有足夠可用空閑空間的存儲(chǔ)資源池。
已知 Oracle Solaris 服務(wù)器的 root 帳戶口令。
Sun ZFS 存儲(chǔ)設(shè)備已經(jīng)連接到光纖通道交換機(jī)。
已在 FC 交換機(jī)上配置了相應(yīng)的區(qū)域,允許 Oracle Solaris 主機(jī)訪問 Sun ZFS 存儲(chǔ)設(shè)備。
配置 Oracle Solaris FC 系統(tǒng)
為了讓 Sun ZFS 存儲(chǔ)設(shè)備和 Oracle Solaris 服務(wù)器彼此標(biāo)識(shí),每個(gè)設(shè)備的 FC 全球編號(hào) (WWN)
必須在另一個(gè)設(shè)備中注冊(cè)。您必須確定在 FC 交換機(jī)上實(shí)現(xiàn)的某些形式 FC 區(qū)域的 WWN。
主機(jī)的 FC WWN 用于向 Sun ZFS 存儲(chǔ)設(shè)備標(biāo)識(shí)主機(jī),并且需要它來完成本文中的配置過程。
WWN 來自在 Oracle Solaris 主機(jī)和 Sun ZFS 存儲(chǔ)設(shè)備中安裝的 FC 主機(jī)總線適配器 (HBA)。
為了配置 Oracle Solaris FC 系統(tǒng),您需要知道 Sun ZFS 存儲(chǔ)設(shè)備的 WWN。在傳統(tǒng)的雙結(jié)構(gòu)存儲(chǔ)區(qū)域網(wǎng)絡(luò) (SAN) 中,Sun
ZFS 存儲(chǔ)設(shè)備至少有一個(gè) FC 端口連接到每個(gè)結(jié)構(gòu)。因此,您必須至少確定兩個(gè) FC WWN。
標(biāo)識(shí) Sun ZFS 存儲(chǔ)設(shè)備 FC WWN
首先,您需要建立一個(gè)到 Sun ZFS 存儲(chǔ)設(shè)備的管理會(huì)話。
在 Web 瀏覽器的地址欄中輸入一個(gè)包含 Sun ZFS 存儲(chǔ)設(shè)備的 IP 地址或主機(jī)名的地址,如以下 URL 所示:
;ip-address or host name:215
將顯示登錄對(duì)話框。
輸入用戶名和口令,然后單擊 LOGIN。
成功登錄到 BUI 之后,您可以通過 Configuration 選項(xiàng)卡標(biāo)識(shí) WWN。
單擊 Configuration SAN Fibre Channel
Ports。
將顯示安裝在 Sun ZFS 存儲(chǔ)設(shè)備中的 FC 端口。由于每個(gè) HBA 通道只有一個(gè)已發(fā)現(xiàn)的端口,因此這必須是 HBA 通道本身。
在前面的示例中,端口 1 具有 WWN 21:00:00:e0:8b:92:a1:cf,端口 2 具有 WWN
21:01:00:e0:8b:b2:a1:cf。
在每個(gè) FC 端口框右側(cè)的列表框中,應(yīng)該將 FC 通道端口設(shè)置為 Target。如果情況并非如此,則 FC
端口可能用于其他用途。在調(diào)查原因之前,請(qǐng)不要更改設(shè)置。(一種可能的原因是可能用于了 NDMP 備份。)
標(biāo)識(shí) Oracle Solaris 主機(jī) HBA WWN
如果 Oracle Solaris 主機(jī)已經(jīng)通過相應(yīng)的電纜連接到 FC 交換機(jī),則使用以下命令來標(biāo)識(shí) WWN。
要獲得主機(jī)的 WWN,輸入以下命令:
root@solaris:~# cfgadm -al -o show_FCP_dev
root@solaris:~#
在該輸出中,您需要的控制器號(hào)為 c8 和 c9。當(dāng)端口類型為
fc-fabric 時(shí),您還可以看到兩個(gè)端口都連接到一臺(tái) FC 交換機(jī)。接下來,查詢這些控制器來確定發(fā)現(xiàn)的 WWN。
如果 HBA 端口未用于訪問任何其他連接 FC 的設(shè)備,則可使用以下命令來確定 WWN。
root@solaris:~# prtconf -vp | grep port-wwn
port-wwn: 210000e0.8b89bf8e
port-wwn: 210100e0.8ba9bf8e
root@solaris:~#
如果正在訪問 FC 設(shè)備,則以下命令將顯示 FC HBA WWN。
root@solaris:~# luxadm -e dump_map /dev/cfg/c8
root@solaris:~#
顯示為類型 0x1f 的最后一個(gè)條目 (Unknown type, Host Bus Adapter)
在端口 WWN 條目下提供了相應(yīng)的 WWN。重復(fù)此命令,使用在第 1 步中標(biāo)識(shí)的其他控制器替換
/dev/cfg/c8。
從輸出中,您可以看到 c8 具有 WWN
21:00:00:00:e0:8b:89:bf:8e,c9 具有 WWN
21:01:00:e0:8b:a9:bf:8e。
然后,可以使用 Sun ZFS 存儲(chǔ)設(shè)備 HBA 和 Oracle Solaris 主機(jī) HBA WWN 來配置任何 FC 交換機(jī)區(qū)域。
完成此操作之后,您可以運(yùn)行以下命令來驗(yàn)證正確的區(qū)域:
root@solaris:~# cfgadm -al -o show_FCP_dev c8 c9
root@solaris:~#
現(xiàn)在,您可以看到可由 Oracle Solaris 主機(jī)訪問的 Sun ZFS 存儲(chǔ)設(shè)備提供的 WWN。
使用瀏覽器用戶界面配置 Sun ZFS 存儲(chǔ)設(shè)備
作為一個(gè)統(tǒng)一的存儲(chǔ)平臺(tái),Sun ZFS 存儲(chǔ)設(shè)備既支持通過 iSCSI 協(xié)議訪問數(shù)據(jù)塊協(xié)議
LUN,又支持通過光纖通道協(xié)議進(jìn)行同樣的訪問。這一節(jié)講述如何使用 Sun ZFS 存儲(chǔ)設(shè)備 BUI 來配置 Sun ZFS 存儲(chǔ)設(shè)備,使其能夠識(shí)別 Oracle
Solaris 主機(jī)并向該主機(jī)提供 FC LUN。
定義 FC 目標(biāo)組
在 Sun ZFS 存儲(chǔ)設(shè)備上創(chuàng)建目標(biāo)組,以便定義 Oracle Solaris 服務(wù)器可通過哪個(gè)端口和協(xié)議訪問提供給它的 LUN。對(duì)于此示例,創(chuàng)建 FC
目標(biāo)組。
執(zhí)行以下步驟在 Sun ZFS 存儲(chǔ)設(shè)備上定義 FC 目標(biāo)組:
單擊 Configuration SAN 顯示 Storage Area Network (SAN)
屏幕
單擊右側(cè)的 Targets 選項(xiàng)卡,然后選擇左側(cè)面板頂部的 Fibre Channel
Ports
將鼠標(biāo)放置在 Fibre Channel Ports 框中,將在最左側(cè)出現(xiàn)一個(gè) Move 圖標(biāo)()
單擊 Move 圖標(biāo)并將此框拖到 Fibre Channel Target
Groups 框,如圖 4 所示。
拖動(dòng)橙色框中的條目來創(chuàng)建新的目標(biāo)組。將創(chuàng)建組,并將其自動(dòng)命名為 targets-n,其中
n 是一個(gè)整數(shù)。
將光標(biāo)移到新目標(biāo)組條目上。在 Fibre Channel Target Groups 框右側(cè)會(huì)出現(xiàn)兩個(gè)圖標(biāo)
要重命名新的目標(biāo)組 targets-0,單擊 Edit 圖標(biāo)()顯示對(duì)話框
在 Name 域中,將默認(rèn)名稱替換為新 FC 目標(biāo)組的首選名稱,單擊
OK。本例中用名稱 FC-PortGroup 替換
targets-0。在此窗口中,您還可以通過單擊所選 WWN 左側(cè)的框來添加第二個(gè) FC 目標(biāo)端口。第二個(gè)端口標(biāo)識(shí)為 PCIe 1:Port 2。
單擊 OK 保存更改。
單擊 APPLY。 Fibre Channel Target Groups
面板中顯示了如上的更改。
定義 FC 發(fā)起方
定義 FC 發(fā)起方以便允許從一臺(tái)或多臺(tái)服務(wù)器訪問特定卷。應(yīng)該配置對(duì)卷的訪問權(quán)限,以便允許最少數(shù)量的 FC
發(fā)起方訪問特定卷。如果多個(gè)主機(jī)可以同時(shí)寫入一個(gè)指定卷并且使用非共享文件系統(tǒng),則各主機(jī)上的文件系統(tǒng)緩存可能出現(xiàn)不一致,最終可能導(dǎo)致磁盤上的映像損壞。一般對(duì)于一個(gè)卷,只會(huì)賦予一個(gè)發(fā)起方對(duì)該卷的訪問權(quán)限,除非使用的是一種特殊的集群文件系統(tǒng)。
FC 發(fā)起方用于從 Sun ZFS 存儲(chǔ)設(shè)備的角度出發(fā)來定義“主機(jī)”。在傳統(tǒng)的雙結(jié)構(gòu) SAN 中,主機(jī)將至少由兩個(gè) FC 發(fā)起方來定義。FC
發(fā)起方定義包含主機(jī) WWN。為了向 Sun ZFS 存儲(chǔ)設(shè)備標(biāo)識(shí) Oracle Solaris 服務(wù)器,必須在存儲(chǔ)設(shè)備中注冊(cè) Oracle Solaris FC
發(fā)起方 WWN,為此要執(zhí)行以下步驟。
單擊 Configuration SAN 顯示 Storage Area Network (SAN)
屏幕
單擊右側(cè)的 Initiators 選項(xiàng)卡,然后選擇左側(cè)面板頂部的 Fibre Channel
Initiators
單擊 Fibre Channel Initiators 左側(cè)的 圖標(biāo)顯示 New Fibre Channel Initiator 對(duì)話框
如果已在 FC 交換機(jī)上配置了區(qū)域,則應(yīng)顯示 Oracle Solaris 主機(jī)的 WWN(假設(shè)沒有為它們指定別名)。
在對(duì)話框底部單擊一個(gè) WWN(如果顯示)預(yù)填充全球名稱,或者在 World Wide Name 框中鍵入相應(yīng)的
WWN。
在 Alias 框中輸入一個(gè)更有意義的符號(hào)名稱。
單擊 OK。
對(duì)于其他涉及 Oracle Solaris 主機(jī)的 WWN,重復(fù)前面的步驟。
定義 FC 發(fā)起方組
將一些相關(guān) FC 發(fā)起方組成邏輯組,這樣可以對(duì)多個(gè) FC 發(fā)起方執(zhí)行同一個(gè)命令,例如,可以使用一個(gè)命令對(duì)一個(gè)組中的所有 FC 發(fā)起方分配 LUN
訪問權(quán)限。對(duì)于下面的示例,F(xiàn)C 發(fā)起方組將包含兩個(gè)發(fā)起方。注意,在集群中,多個(gè)服務(wù)器被視作一個(gè)邏輯實(shí)體,因此發(fā)起方組可以包含更多發(fā)起方。
執(zhí)行以下步驟創(chuàng)建一個(gè) FC 發(fā)起方組:
選擇 Configuration SAN 顯示 Storage Area Network (SAN)
屏幕。
選擇右側(cè)的 Initiators 選項(xiàng)卡,然后單擊左側(cè)面板頂部的 Fibre Channel
Initiators。
將光標(biāo)放置在上一節(jié)中創(chuàng)建的一個(gè) FC 發(fā)起方條目上。此時(shí),在該條目左側(cè)會(huì)出現(xiàn)一個(gè) Move 圖標(biāo)()
單擊 Move 圖標(biāo)并將其拖到右側(cè)的 Fibre Channel Initiator
Groups 面板中。此時(shí),在 Fibre Channel Initiators Groups 面板底部出現(xiàn)了一個(gè)新的條目(黃色亮顯)
將光標(biāo)移到新的條目框上,然后釋放鼠標(biāo)鍵。此時(shí)會(huì)創(chuàng)建一個(gè)新的 FC 發(fā)起方組,其組名稱為
initiators-n,其中 n 是一個(gè)整數(shù),如圖 13
所示。
將光標(biāo)移到新發(fā)起方組條目上。在目標(biāo)發(fā)起方組框右側(cè)會(huì)出現(xiàn)幾個(gè)圖標(biāo)
單擊 Edit 圖標(biāo)()顯示對(duì)話框
在 Name 域中,將新發(fā)起方組的默認(rèn)名稱替換為選定名稱,單擊 OK。本例使用
sol-server 作為該發(fā)起方組名稱。
在此對(duì)話框中,您可以通過單擊 WWN 左側(cè)的復(fù)選框向組中添加其他 FC 發(fā)起方。
在 SAN 配置屏幕中單擊 APPLY 確認(rèn)所有修改,如圖 15 所示。
定義 Sun ZFS 存儲(chǔ)設(shè)備項(xiàng)目
為了對(duì)相關(guān)卷進(jìn)行分組,您可以在 Sun ZFS 存儲(chǔ)設(shè)備中定義一個(gè)項(xiàng)目。通過使用項(xiàng)目,可以繼承項(xiàng)目所提供文件系統(tǒng)和 LUN
的屬性。還可以應(yīng)用限額和保留。
執(zhí)行以下步驟創(chuàng)建一個(gè)項(xiàng)目:
選擇 Shares Projects 顯示 Projects 屏幕
單擊左側(cè)面板頂部的 Projects 左側(cè)的 圖標(biāo)顯示
Create Project 對(duì)話框
要?jiǎng)?chuàng)建一個(gè)新項(xiàng)目,輸入項(xiàng)目名稱,單擊 APPLY。在左側(cè)面板的 Projects 列表中出現(xiàn)了一個(gè)新項(xiàng)目。
選擇這個(gè)新項(xiàng)目查看其所含組件
定義 Sun ZFS 存儲(chǔ)設(shè)備 LUN
接下來,您將從一個(gè)現(xiàn)有存儲(chǔ)資源池中創(chuàng)建一個(gè) LUN,供 Oracle Solaris 服務(wù)器訪問。在下面的示例中,將創(chuàng)建一個(gè)名為
DocArchive1 的精簡供應(yīng) 64 GB LUN。
我們將使用定義 FC 目標(biāo)組一節(jié)中創(chuàng)建的 FC 目標(biāo)組
FC-PortGroup 來確保可以通過 FC 協(xié)議訪問該 LUN。將使用定義 FC
發(fā)起方組一節(jié)中定義的發(fā)起方組 sol-server 來確保只有在 sol-server
組中定義的服務(wù)器才可以訪問該 LUN。(在本例中,該發(fā)起方組只包含一個(gè)服務(wù)器。)
執(zhí)行以下步驟創(chuàng)建一個(gè) LUN:
選擇 Shares Projects 顯示 Projects 屏幕。
在左側(cè) Projects 面板中,選擇該項(xiàng)目。然后選擇右側(cè)面板頂部的 LUNs
單擊 LUNs 左側(cè)的 圖標(biāo)顯示 Create LUN
對(duì)話框,如圖 20 所示。
輸入合適的值以配置該 LUN。對(duì)于本例,將 Name 設(shè)置為
DocArchive1,Volume size 設(shè)置為 64 G,并且選中
Thin provisioned 復(fù)選框。將 Target Group 設(shè)置為 FC 目標(biāo)組
FC-PortGroup,將 Initiator Group 設(shè)置為
sol-server。將 Volume block size 設(shè)置為
32k,因?yàn)樵摼韺⒈4?Oracle Solaris ZFS 文件系統(tǒng)。
單擊 APPLY 創(chuàng)建該 LUN 使其供 Oracle Solaris 服務(wù)器使用。
配置 LUN 以供 Oracle Solaris 服務(wù)器使用
現(xiàn)在我們已準(zhǔn)備好了 LUN,可以通過 FC 發(fā)起方組使用它了。接著必須執(zhí)行以下步驟,配置 LUN 以供 Oracle Solaris 服務(wù)器使用:
發(fā)起一個(gè)連接 Sun ZFS 存儲(chǔ)設(shè)備的 Oracle Solaris FC 會(huì)話,如清單 1 所示。由于在發(fā)起該 FC 會(huì)話前已創(chuàng)建了 LUN,該
LUN 將會(huì)自動(dòng)啟用。
清單 1. 發(fā)起 Oracle Solaris FC 會(huì)話
root@solaris:~# cfgadm -al c8 c9
root@solaris:~# cfgadm -c configure c8::210100e08bb2a1cf
root@solaris:~# cfgadm -c configure c9::210000e08b92a1cf
root@solaris:~# cfgadm -al -o show_FCP_dev c8 c9
root@solaris:~#
驗(yàn)證對(duì) FC LUN 的訪問,如清單 2 所示。
清單 2. 驗(yàn)證對(duì) FC LUN 的訪問
root@solaris:~# devfsadm -c ssd
root@solaris:~# tail /var/adm/messages
[...]
[...]
在本例中,多路徑狀態(tài)最初顯示為 degraded,因?yàn)榇藭r(shí)只識(shí)別了一個(gè)路徑。進(jìn)一步,多路徑狀態(tài)更改為
optimal,因?yàn)榇嬖诙鄠€(gè)到達(dá)卷的路徑。
磁盤設(shè)備現(xiàn)在同樣可供內(nèi)部服務(wù)器磁盤使用。
格式化 LUN,如清單 3 所示。
清單 3. 格式化 LUN 格式
root@solaris:~# format
Searching for disks...done
c1t600144F0F05E906C00004ED6096D0001d0: configured with capacity of 63.93GB
AVAILABLE DISK SELECTIONS:
[...]
Specify disk (enter its number): 4
selecting c1t600144F0F05E906C00004ED6096D0001d0
[disk formatted]
Disk not labeled. Label it now? y
FORMAT MENU:
disk - select a disk
type - select (define) a disk type
partition - select (define) a partition table
current - describe the current disk
format - format and analyze the disk
repair - repair a defective sector
label - write label to the disk
analyze - surface analysis
defect - defect list management
backup - search for backup labels
verify - read and display labels
save - save new disk/partition definitions
inquiry - show vendor, product and revision
volname - set 8-character volume name
!cmd - execute cmd, then return
quit
format q
在準(zhǔn)備好的 LUN 上構(gòu)建 Oracle Solaris ZFS 文件系統(tǒng),為此創(chuàng)建一個(gè)新的 ZFS 池、將此設(shè)備添加到 ZFS 池中,并創(chuàng)建 ZFS
文件系統(tǒng),如清單 4 的示例所示。
清單 4. 構(gòu)建 Oracle Solaris ZFS 文件系統(tǒng)
root@solaris:~# zfs createzpool create docarchive1 \
c1t600144F0F05E906C00004ED6096D0001d0
root@solaris:~# zfs list
[...]
root@solaris:~# zfs create docarchive1/index
root@solaris:~# zfs create docarchive1/data
root@solaris:~# zfs create docarchive1/logs
root@solaris:~# zfs list
[...]
df(1) 命令的最后兩行輸出表明,現(xiàn)在大約有 64 GB 新空間可供使用。轉(zhuǎn)載僅供參考,版權(quán)屬于原作者。祝你愉快,滿意請(qǐng)采納哦
FC、IP網(wǎng)絡(luò)的安全性
不論是光纖通道還是IP網(wǎng)絡(luò),主要的潛在威脅來自非授權(quán)訪問,特別是管理接口。例如,一旦獲得和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)相連接服務(wù)器管理員的權(quán)限,欺詐進(jìn)入就可以得逞。這樣入侵者可以訪問任何一個(gè)和SAN連接的系統(tǒng)。因此,無論使用的是哪一種存儲(chǔ)網(wǎng)絡(luò),應(yīng)該認(rèn)識(shí)到應(yīng)用充分的權(quán)限控制、授權(quán)訪問、簽名認(rèn)證的策略對(duì)防止出現(xiàn)安全漏洞是至關(guān)重要的。
測(cè)錯(cuò)攻擊在IP網(wǎng)絡(luò)中也比在光纖通道的SAN中易于實(shí)現(xiàn)。針對(duì)這類攻擊,一般是采用更為復(fù)雜的加密算法。
盡管DoS似乎很少發(fā)生,但是這并不意味著不可能。然而如果要在光纖通道SAN上實(shí)現(xiàn)DoS攻擊,則不是一般的黑客軟件所能實(shí)現(xiàn)的,因?yàn)樗枰鼮閷I(yè)的安全知識(shí)。
實(shí)現(xiàn)SAN數(shù)據(jù)安全方法
保證SAN數(shù)據(jù)安全的兩個(gè)基本安全機(jī)制是分區(qū)制zoning和邏輯單元值(Logical Unit Number)掩碼。
分區(qū)制是一種分區(qū)方法。通過該方法,一定的存儲(chǔ)資源只對(duì)于那些通過授權(quán)的用戶和部門是可見的。一個(gè)分區(qū)可以由多個(gè)服務(wù)器、存儲(chǔ)設(shè)備、子系統(tǒng)、交換機(jī)、HBA和其它計(jì)算機(jī)組成。只有處于同一個(gè)分區(qū)的成員才可以互相通訊。
分區(qū)制往往在交換級(jí)來實(shí)現(xiàn)。根據(jù)實(shí)現(xiàn)方式,可以分為兩種模式,一為硬分區(qū),一為軟分區(qū)。硬分區(qū)是指根據(jù)交換端口來制定分區(qū)策略。所有試圖通過未授權(quán)端口進(jìn)行的通訊均是被禁止的。由于硬分區(qū)是在系統(tǒng)電路里來實(shí)現(xiàn),并在系統(tǒng)路由表中執(zhí)行,因此,較之軟分區(qū),具有更好的安全性。
在光纖通道網(wǎng)絡(luò)中,軟分區(qū)是基于廣域命名機(jī)制的(WWN)的。WWN是分配給網(wǎng)絡(luò)中光纖設(shè)備的唯一識(shí)別碼。由于軟分區(qū)是通過軟件來保證在不同的分區(qū)中不會(huì)出現(xiàn)相同的WWNs,因此,軟分區(qū)技術(shù)比硬分區(qū)具有更好的靈活性,特別是在網(wǎng)絡(luò)配置經(jīng)常變化的應(yīng)用中具有很好的可管理性。
有些交換機(jī)具有端口綁定功能,從而可以限制網(wǎng)絡(luò)設(shè)備只能和通過預(yù)定義的交換端口進(jìn)行通訊。利用這種技術(shù),可以實(shí)現(xiàn)對(duì)存儲(chǔ)池的訪問限制,從而保護(hù)SAN免受非授權(quán)用戶的訪問。
另一種被廣泛采用的技術(shù)是LUN掩碼。一個(gè)LUN就是對(duì)目標(biāo)設(shè)備(如磁帶和磁盤陣列)內(nèi)邏輯單元的SCSI識(shí)別標(biāo)志。在光纖通道領(lǐng)域,LUN是基于系統(tǒng)的WWN實(shí)現(xiàn)的。
LUN掩碼技術(shù)是將LUN分配給主機(jī)服務(wù)器,這些服務(wù)器只能看到分配給它們的LUN。如果有許多服務(wù)器試圖訪問特定的設(shè)備,那么網(wǎng)絡(luò)管理者可以設(shè)定特定的LUN或LUN組可以訪問,從而可以拒絕其它服務(wù)器的訪問,起到保護(hù)數(shù)據(jù)安全的目的。不僅在主機(jī)上,而且在HBA、存儲(chǔ)控制器、磁盤陣列、交換機(jī)上也可以實(shí)現(xiàn)各種形式的LUN屏蔽技術(shù)。
如果能夠?qū)⒎謪^(qū)制和LUN技術(shù)與其它的安全機(jī)制共同運(yùn)用到網(wǎng)絡(luò)及其設(shè)備上的話,對(duì)網(wǎng)絡(luò)安全數(shù)據(jù)安全將是非常有效的。
業(yè)界對(duì)存儲(chǔ)安全的做法
盡管目前對(duì)于在哪一級(jí)設(shè)備應(yīng)用存儲(chǔ)安全控制是最優(yōu)的還沒有一個(gè)明確的結(jié)論,例如,IPSec能夠在ASIC、VPN設(shè)備、家電和軟件上實(shí)現(xiàn),但目前已有很多商家在他們的數(shù)據(jù)存儲(chǔ)產(chǎn)品中實(shí)現(xiàn)了加密和安全認(rèn)證功能。
IPSec對(duì)于其它基于IP協(xié)議的安全問題,比如互聯(lián)網(wǎng)小型計(jì)算機(jī)接口(iSCSI)、IP上的光纖通道 (FCIP)和互聯(lián)網(wǎng)上的光線通道 (IFCP)等,也能起到一定的的作用。
通常使用的安全認(rèn)證、授權(quán)訪問和加密機(jī)制包括輕量級(jí)的路徑訪問協(xié)議Lightweight Directory Access Protocol (LDAP)、遠(yuǎn)程認(rèn)證撥入用戶服務(wù)(RADIUS), 增強(qiáng)的終端訪問控制器訪問控制系統(tǒng)(TACACS+)、Kerberos、 Triple DES、高級(jí)加密標(biāo)準(zhǔn)(AES)、安全套接層 (SSL)和安全Shell(SSH)。
盡管SAN和NAS的安全機(jī)制有諸多相似之處,其實(shí)它們之間也是有區(qū)別的。很多NAS系統(tǒng)不僅支持SSH、SSL、Kerberos、RADIUS和LDAP安全機(jī)制,同時(shí)也支持訪問控制列表(ACL)以及多級(jí)許可。這里面有一個(gè)很重要的因素是文件鎖定,有很多產(chǎn)品商家和系統(tǒng)通過不同的方式來實(shí)現(xiàn)這一技術(shù)。例如,微軟采用的為硬鎖定,而基于 Unix的系統(tǒng)采用的是相對(duì)較為松弛的建議級(jí)鎖定。由此可以看到,如果在Windows-Unix混合環(huán)境下,將會(huì)帶來一定的問題。
呼喚存儲(chǔ)安全標(biāo)準(zhǔn)化
SAN安全的實(shí)現(xiàn)基礎(chǔ)在交換機(jī)這一層。因此,存儲(chǔ)交換機(jī)的標(biāo)準(zhǔn)對(duì)網(wǎng)絡(luò)產(chǎn)品制造商的技術(shù)提供方式的影響是至關(guān)重要的。
存儲(chǔ)安全標(biāo)準(zhǔn)化進(jìn)程目前還處于萌芽階段。ANSI成立了T11光纖通信安全協(xié)議(FC-SP)工作組來設(shè)計(jì)存儲(chǔ)網(wǎng)絡(luò)基礎(chǔ)設(shè)施安全標(biāo)準(zhǔn)的框架。目前已經(jīng)提交了多個(gè)協(xié)議草案,包括FCSec協(xié)議,它實(shí)現(xiàn)了IPSec和光纖通訊的一體化;同時(shí)提交的還有針對(duì)光纖通訊的挑戰(zhàn)握手認(rèn)證協(xié)議(CHAP)的一個(gè)版本;交換聯(lián)結(jié)認(rèn)證協(xié)議(SLAP)使用了數(shù)字認(rèn)證使得多個(gè)交換機(jī)能夠互相認(rèn)證;光纖通信認(rèn)證協(xié)議(FCAP)是SLAP的一個(gè)擴(kuò)展協(xié)議。IEEE的存儲(chǔ)安全工作組正在準(zhǔn)備制定一個(gè)有關(guān)將加密算法和方法標(biāo)準(zhǔn)化的議案。
存儲(chǔ)網(wǎng)絡(luò)工業(yè)協(xié)會(huì)(SNIA)于2002年建立了存儲(chǔ)安全工業(yè)論壇(SSIF),但是由于不同的產(chǎn)品商支持不同的協(xié)議,因此實(shí)現(xiàn)協(xié)議間的互操作性還有很長一段路要走。
關(guān)注存儲(chǔ)交換安全
大家都已經(jīng)注意到了為了保證存儲(chǔ)安全,應(yīng)該在存儲(chǔ)交換機(jī)和企業(yè)網(wǎng)絡(luò)中的其它交換機(jī)上應(yīng)用相同的安全預(yù)警機(jī)制,因此,對(duì)于存儲(chǔ)交換機(jī)也應(yīng)有一些特殊的要求。
存儲(chǔ)交換安全最重要的一個(gè)方面是保護(hù)光纖管理接口,如果管理控制臺(tái)沒有很好的安全措施,則一個(gè)非授權(quán)用戶有可能有意或無意地入侵系統(tǒng)或改變系統(tǒng)配置。有一種分布鎖管理器可以防止這類事情發(fā)生。用戶需要輸入ID和加密密碼才能夠訪問交換機(jī)光纖的管理界面。為了將SAN設(shè)備的管理端口通過安全認(rèn)證機(jī)制保護(hù)起來,最好是將SAN配置管理工作集中化,并且對(duì)管理控制臺(tái)和交換機(jī)之間的通訊進(jìn)行加密。另外一個(gè)方面,在將交換機(jī)接入到光纖網(wǎng)絡(luò)之前,也應(yīng)該通過ACL和 PKI機(jī)制實(shí)現(xiàn)授權(quán)訪問和安全認(rèn)證。因此,交換機(jī)間鏈接應(yīng)當(dāng)建立在嚴(yán)密的安全防范措施下。
基于SAN存儲(chǔ)的國家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設(shè)
張定祥 戴建旺 李憲文 何歡樂
(中國土地勘測(cè)規(guī)劃院,北京,100035)
摘要:本文在對(duì)國家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設(shè)項(xiàng)目背景分析的基礎(chǔ)上,提出了系統(tǒng)建設(shè)的總體目標(biāo)和任務(wù),全面闡述了系統(tǒng)的總體設(shè)計(jì)、運(yùn)行模式、系統(tǒng)功能設(shè)計(jì)思想,系統(tǒng)地介紹了各子系統(tǒng)的功能模塊設(shè)計(jì),最后本文對(duì)該管理與集成系統(tǒng)的應(yīng)用進(jìn)行了展望。
關(guān)鍵詞:土地調(diào)查;數(shù)據(jù)集成;SAN (Storage Area Network);數(shù)據(jù)倉庫
1 項(xiàng)目背景
目前,隨著我國土地調(diào)查技術(shù)水平不斷提高,數(shù)據(jù)的精度和現(xiàn)勢(shì)性不斷加強(qiáng),數(shù)據(jù)資源發(fā)揮了越來越重要的作用。但是,我國土地調(diào)查數(shù)據(jù)管理方面還存在一些問題。主要表現(xiàn)在:①數(shù)據(jù)管理手段落后、數(shù)據(jù)整合集成度差。大量調(diào)查監(jiān)測(cè)與評(píng)價(jià)數(shù)據(jù)以文件光盤或紙質(zhì)方式存放,大多數(shù)沒有建立集成化的空間數(shù)據(jù)庫;土地資源調(diào)查監(jiān)測(cè)數(shù)據(jù)內(nèi)容不統(tǒng)一,不同時(shí)期數(shù)據(jù)成果的可比性差,難以形成管理和研究分析需要的區(qū)域性時(shí)間系列數(shù)據(jù);土地?cái)?shù)據(jù)庫存在多種比例尺、多種格式等問題。②數(shù)據(jù)共享應(yīng)用存在障礙,數(shù)據(jù)信息挖掘不夠。由于多方面的原因,土地調(diào)查數(shù)據(jù)共享渠道還不夠通暢,大量數(shù)據(jù)資源還未納入管理,數(shù)據(jù)應(yīng)用潛力遠(yuǎn)沒有開發(fā)。
當(dāng)前,建立國家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)的意義在于:①有效整合、集成土地資源調(diào)查工程數(shù)據(jù)成果,為工程提供系列化、標(biāo)準(zhǔn)化的展示成果;②為“金土工程”和“全國土地資源二次詳查”等新項(xiàng)目提供標(biāo)準(zhǔn)化、集成化數(shù)據(jù)產(chǎn)品;③加強(qiáng)數(shù)據(jù)基礎(chǔ)建設(shè),并進(jìn)行數(shù)據(jù)信息挖掘,形成土地管理科學(xué)決策的數(shù)據(jù)基礎(chǔ),提高土地科技創(chuàng)新能力和土地資源參與國民經(jīng)濟(jì)宏觀調(diào)控的科學(xué)性;④挽救土地資源調(diào)查歷史數(shù)據(jù),加快數(shù)據(jù)共享應(yīng)用,保護(hù)國家在土地調(diào)查多年巨額投資成果。鑒于以上考慮,“土地?cái)?shù)據(jù)存儲(chǔ)管理系統(tǒng)”采用現(xiàn)代數(shù)據(jù)倉庫數(shù)據(jù)集成技術(shù)思路,以三個(gè)數(shù)據(jù)庫(土地資料庫、土地成果庫、土地應(yīng)用庫)、數(shù)據(jù)整合集成工具包、數(shù)據(jù)分發(fā)和對(duì)內(nèi)對(duì)外發(fā)布等開發(fā)為主要內(nèi)容,將為國土資源大調(diào)查——土地調(diào)查原始數(shù)據(jù)管理、成果數(shù)據(jù)集成、應(yīng)用數(shù)據(jù)產(chǎn)品開發(fā)、數(shù)據(jù)分發(fā)服務(wù)一體化提供集成的網(wǎng)絡(luò)化管理與共享平臺(tái)。該系統(tǒng)的建設(shè)將大大提高土地調(diào)查數(shù)據(jù)管理和集成信息化水平。
2 系統(tǒng)建設(shè)目標(biāo)
本系統(tǒng)建設(shè)目標(biāo)為:在對(duì)國家級(jí)土地?cái)?shù)據(jù)現(xiàn)狀和預(yù)測(cè)分析基礎(chǔ)上,設(shè)計(jì)并建立基于SAN (Storage Area Network)存域網(wǎng)的土地?cái)?shù)據(jù)管理與集成系統(tǒng),實(shí)現(xiàn)客戶端、數(shù)據(jù)存儲(chǔ)中心和業(yè)務(wù)系統(tǒng)有機(jī)銜接,滿足海量土地?cái)?shù)據(jù)的動(dòng)態(tài)存儲(chǔ)、管理維護(hù)、更新、整合處理、查詢檢索等功能,實(shí)現(xiàn)土地?cái)?shù)據(jù)的分布式共享和應(yīng)用;能夠?qū)崿F(xiàn)對(duì)國家級(jí)土地調(diào)查、評(píng)價(jià)、規(guī)劃等數(shù)據(jù)進(jìn)行整合、編目、集成形成多層次專題數(shù)據(jù)建庫,并加入數(shù)據(jù)管理系統(tǒng);在此基礎(chǔ)上,構(gòu)建土地分中心對(duì)外服務(wù)共享平臺(tái),通過專題數(shù)據(jù)庫整合、集成、網(wǎng)上發(fā)布,實(shí)現(xiàn)土地調(diào)查數(shù)據(jù)社會(huì)化共享。
3 總體設(shè)計(jì)
3.1 系統(tǒng)總體框架設(shè)計(jì)
基于SAN存儲(chǔ)的國家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)由基礎(chǔ)設(shè)施、數(shù)據(jù)和業(yè)務(wù)應(yīng)用三層技術(shù)體系,安全和整合集成兩個(gè)技術(shù)保障構(gòu)成,具體的土地?cái)?shù)據(jù)分中心總體設(shè)計(jì)架構(gòu)如圖1所示。
圖1 土地?cái)?shù)據(jù)分中心總體設(shè)計(jì)架構(gòu)
3.1.1 基礎(chǔ)設(shè)施層
基礎(chǔ)設(shè)施層是系統(tǒng)建立及日常運(yùn)行的基本軟硬件環(huán)境,其中硬件環(huán)境構(gòu)成了分中心的網(wǎng)絡(luò)環(huán)境、存儲(chǔ)環(huán)境及安全環(huán)境,軟件環(huán)境則包括操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、GIS軟件環(huán)境等。
3.1.2 數(shù)據(jù)層
數(shù)據(jù)層是系統(tǒng)建設(shè)的核心部分,該層構(gòu)成了分中心的數(shù)據(jù)基礎(chǔ)設(shè)施。全部數(shù)據(jù)通過建立統(tǒng)一的土地資料元數(shù)據(jù)實(shí)現(xiàn)集中管理與維護(hù)。數(shù)據(jù)層主要由土地資料數(shù)據(jù)庫、土地成果數(shù)據(jù)庫和土地應(yīng)用數(shù)據(jù)庫組成,數(shù)據(jù)庫內(nèi)所有土地資料信息在元數(shù)據(jù)庫中管理維護(hù)。
3.1.3 業(yè)務(wù)應(yīng)用層
業(yè)務(wù)應(yīng)用層是分中心的運(yùn)行層,所有具體的業(yè)務(wù)人員都在這個(gè)基礎(chǔ)上實(shí)現(xiàn)土地?cái)?shù)據(jù)分中心的應(yīng)用。根據(jù)應(yīng)用內(nèi)容的不同,應(yīng)用系統(tǒng)包括:土地?cái)?shù)據(jù)庫管理與維護(hù);土地?cái)?shù)據(jù)庫信息檢索與查詢;土地?cái)?shù)據(jù)的加工處理與整合;各種土地業(yè)務(wù)管理應(yīng)用;國土資源輔助決策支持;科學(xué)數(shù)據(jù)共享服務(wù)網(wǎng)站六部分職能。
3.2 運(yùn)行模式
國家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)日常運(yùn)行模式有三種,即分中心內(nèi)部運(yùn)行模式、院內(nèi)部運(yùn)行模式以及院外部運(yùn)行模式。分中心內(nèi)部運(yùn)行模式的核心是土地資料數(shù)據(jù)的匯交、存儲(chǔ)、管理、元數(shù)據(jù)庫維護(hù)、數(shù)據(jù)整合與整理等。院內(nèi)部運(yùn)行模式主要為非專業(yè)應(yīng)用系統(tǒng)的普通土地?cái)?shù)據(jù)用戶則可以通過元數(shù)據(jù)的檢索查詢完成土地?cái)?shù)據(jù)的信息瀏覽、數(shù)據(jù)下載、數(shù)據(jù)轉(zhuǎn)換及數(shù)據(jù)應(yīng)用工作;此外院內(nèi)運(yùn)行的各類土地專業(yè)應(yīng)用系統(tǒng)通過計(jì)算機(jī)網(wǎng)絡(luò),通過訪問、檢索元數(shù)據(jù)庫實(shí)現(xiàn)土地?cái)?shù)據(jù)倉庫的信息共享,從而達(dá)到不同格式的土地?cái)?shù)據(jù)在不同部門和業(yè)務(wù)系統(tǒng)間的流通、交換和共享利用的目標(biāo)。
規(guī)劃院外運(yùn)行模式涉及國務(wù)院各部委機(jī)關(guān)、國土資源部機(jī)關(guān)、相關(guān)數(shù)據(jù)中心及信息中心、各級(jí)省級(jí)國土資源數(shù)據(jù)中心、省級(jí)規(guī)劃院系統(tǒng)等不同層次和需求用戶。
3.3 系統(tǒng)功能設(shè)計(jì)
3.3.1 采用基于高性能的 SAN 的網(wǎng)絡(luò)結(jié)構(gòu)
SAN (Storage Area Network)是當(dāng)前最先進(jìn)的網(wǎng)絡(luò)存儲(chǔ)方式,本系統(tǒng)數(shù)據(jù)存儲(chǔ)采用光纖布線的方式為用戶提高數(shù)據(jù)傳輸?shù)膸捄涂煽啃詳?shù)據(jù)。系統(tǒng)硬件設(shè)備主要包括P650小型機(jī)、H16 SAN光纖交換機(jī)、FastT600光纖磁盤陣列、3583光纖磁帶庫、IBM EXP400陣列、IBM X365服務(wù)器及IBM X445服務(wù)器等IBM的設(shè)備、SUN的Blade2500圖形工作站及Cisco的網(wǎng)絡(luò)交換機(jī)(數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)見圖2)。
圖2 數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)圖
3.3.2 高可擴(kuò)展性存儲(chǔ)設(shè)計(jì)
從存儲(chǔ)容量來看,目前IBM FastT600磁盤陣列可以提供2 T的存儲(chǔ)空間,最大可以擴(kuò)展到16 T的存儲(chǔ)容量。IBM 3583-L36光纖磁帶庫內(nèi)有36個(gè)磁帶的艙位,配置了4個(gè)磁帶驅(qū)動(dòng)器和40盤200 GB的磁帶,正常情況下可以存儲(chǔ)8 TB的數(shù)據(jù),壓縮的狀態(tài)下可存儲(chǔ)16 TB的數(shù)據(jù)。3583磁帶庫驅(qū)動(dòng)器可以再增加2個(gè),磁帶的艙位可以增加到72個(gè)。離線磁帶的數(shù)量理論上是沒有限制的,只需更換新的磁帶就可以了。
3.3.3 基于數(shù)據(jù)倉庫設(shè)計(jì)思想的數(shù)據(jù)存儲(chǔ)管理系統(tǒng)
針對(duì)國家級(jí)土地調(diào)查數(shù)據(jù)多源異構(gòu)情況復(fù)雜而應(yīng)用目標(biāo)不十分明確的矛盾,借鑒數(shù)據(jù)倉庫技術(shù)思想,設(shè)計(jì)了數(shù)據(jù)存儲(chǔ)管理系統(tǒng)中土地?cái)?shù)據(jù)整合集成技術(shù)流程。其核心思想在于國家級(jí)土地?cái)?shù)據(jù)通過數(shù)據(jù)集成工具逐步形成土地資料庫、土地成果庫、專題產(chǎn)品庫等系列產(chǎn)品。系統(tǒng)土地?cái)?shù)據(jù)整合集成技術(shù)體系在以下方面:①外部歷史數(shù)據(jù)進(jìn)入資料庫的元數(shù)據(jù)錄入和數(shù)據(jù)入庫規(guī)范,主要由人工處理和系統(tǒng)自動(dòng)完成;②數(shù)據(jù)從資料庫進(jìn)入成果庫之前的數(shù)據(jù)轉(zhuǎn)換、抽取、重組、建模、綜合和集成過程,主要由系統(tǒng)提供工具軟件或數(shù)據(jù)接口人工操作完成;③成果數(shù)據(jù)進(jìn)入應(yīng)用庫之前的數(shù)據(jù)裁減、融合、接邊、格式轉(zhuǎn)換等數(shù)據(jù)集成過程,以及數(shù)據(jù)成果庫數(shù)據(jù)挖掘、決策分析功能,此部分主要通過Arc/Engine開發(fā)工具的模塊和利用Oracle相應(yīng)的數(shù)據(jù)挖掘功能實(shí)現(xiàn)。
4 功能模塊設(shè)計(jì)
4.1 資料庫管理子系統(tǒng)
土地資料庫系統(tǒng)通過建立數(shù)據(jù)的管理元數(shù)據(jù)、數(shù)據(jù)命名、數(shù)據(jù)目錄規(guī)范入庫、構(gòu)建資料庫,實(shí)現(xiàn)基于元數(shù)據(jù)的檢索、數(shù)據(jù)查詢、數(shù)據(jù)預(yù)覽等功能。土地?cái)?shù)據(jù)資料進(jìn)入資料庫系統(tǒng)是數(shù)據(jù)資料的初步整合過程,紙質(zhì)資料和電子數(shù)據(jù)進(jìn)行分類管理,紙質(zhì)資料只錄入編目系統(tǒng),資料本身不進(jìn)入數(shù)據(jù)目錄管理系統(tǒng)。電子數(shù)據(jù)納入文件目錄管理范疇,需要進(jìn)行元數(shù)據(jù)錄入和文件重命名和數(shù)據(jù)入庫等過程。數(shù)據(jù)資料整合管理過程主要包括:數(shù)據(jù)內(nèi)容選擇、元數(shù)據(jù)錄入、文件進(jìn)入資料庫文件目錄系統(tǒng)(目錄資料不入庫)、文件的規(guī)范命名、元數(shù)據(jù)檢查修改、元數(shù)據(jù)查詢?yōu)g覽、數(shù)據(jù)分發(fā)和發(fā)布等過程。
土地資料庫管理子系統(tǒng)由數(shù)據(jù)庫、管理和維護(hù)應(yīng)用系統(tǒng)、土地?cái)?shù)據(jù)對(duì)外服務(wù)系統(tǒng)構(gòu)成。具體包括:①數(shù)據(jù)庫。根據(jù)數(shù)據(jù)層次的不同,土地資料庫管理子系統(tǒng)中含有經(jīng)過重新目錄組織和文件命名的土地資料數(shù)據(jù)和體現(xiàn)數(shù)據(jù)目錄信息及其他內(nèi)容的元數(shù)據(jù)。②數(shù)據(jù)管理維護(hù)系統(tǒng)。針對(duì)土地資料數(shù)據(jù)庫、元數(shù)據(jù)庫分別由土地資料管理維護(hù)系統(tǒng)、元數(shù)據(jù)管理維護(hù)系統(tǒng)提供相應(yīng)數(shù)據(jù)內(nèi)容的入庫、檢索、利用、存取控制、備份、恢復(fù)等。③土地?cái)?shù)據(jù)對(duì)外服務(wù)與數(shù)據(jù)分發(fā)系統(tǒng)。土地?cái)?shù)據(jù)對(duì)外服務(wù)系統(tǒng)基于互聯(lián)網(wǎng),向社會(huì)公眾提供元數(shù)據(jù)、土地資料數(shù)據(jù)的瀏覽、查詢、下載等土地?cái)?shù)據(jù)服務(wù)。
4.2 成果庫管理子系統(tǒng)
在數(shù)據(jù)庫結(jié)構(gòu)預(yù)先構(gòu)建前提下,在經(jīng)過數(shù)據(jù)整合和成果提取過程之后,成果數(shù)據(jù)存儲(chǔ)在Oracle Spatial中,數(shù)據(jù)管理工作包括空間數(shù)據(jù)本地瀏覽、數(shù)據(jù)內(nèi)容維護(hù)和數(shù)據(jù)庫結(jié)構(gòu)維護(hù)。具體包括以下幾個(gè)方面。
4.2.1 成果數(shù)據(jù)管理
成果最小的組織單位是縣,然后確定一個(gè)縣的土地專題,如縣級(jí)土地利用、縣級(jí)動(dòng)態(tài)監(jiān)測(cè)等,系統(tǒng)建庫標(biāo)準(zhǔn)參考相關(guān)國家建庫標(biāo)準(zhǔn)。成果數(shù)據(jù)的體現(xiàn)按照樹型來組織,第一級(jí)是成果主題,然后根據(jù)成果組織的類型分為分幅和行政區(qū)兩種方式。分幅方式主要是根據(jù)標(biāo)準(zhǔn)比例尺將全國區(qū)域分為相應(yīng)數(shù)量的邏輯尺寸,數(shù)據(jù)的組織采用這兩種方式相結(jié)合,主要是因?yàn)槟壳坝泻芏嘁延型恋財(cái)?shù)據(jù)成果,本身就是采用分幅來匯交數(shù)據(jù),在不改變?cè)袛?shù)據(jù)的數(shù)據(jù)范圍下就可以完成數(shù)據(jù)的拼接。另一方面,一般顯示數(shù)據(jù)采用行政區(qū)省—市—縣逐級(jí)索引的,便于數(shù)據(jù)檢索。
(1)成果分幅管理 標(biāo)準(zhǔn)百萬分幅、標(biāo)準(zhǔn)50 萬分幅、標(biāo)準(zhǔn)25 萬分幅、標(biāo)準(zhǔn)10 萬分幅、標(biāo)準(zhǔn)5萬分幅、標(biāo)準(zhǔn)2.5萬分幅、標(biāo)準(zhǔn)1萬分幅。
(2)成果行政區(qū)管理 省級(jí)索引圖、市級(jí)索引圖、縣級(jí)實(shí)際成果數(shù)據(jù) (圖3)。
圖3a 百萬分幅索引圖
圖3b 全國省界索引圖
圖3c 廣東省界索引圖
圖3d 縣級(jí)土地利用專題數(shù)據(jù)
4.2.2 成果空間數(shù)據(jù)瀏覽
此功能模塊主要用來實(shí)現(xiàn)對(duì)存儲(chǔ)在Oracle Spatial中的成果數(shù)據(jù)進(jìn)行預(yù)覽,主要包括如下空間圖形操作功能。放大、縮小、漫游、全圖、查閱屬性數(shù)據(jù)、查閱元數(shù)據(jù)。
4.2.3 成果整合管理
成果庫的建立是通過整合工具將目標(biāo)數(shù)據(jù)整合而成。成果的整合管理主要是指將數(shù)據(jù)整合到成果庫的過程管理,系統(tǒng)提供整合入庫向?qū)лo助完成這個(gè)整合過程。整合過程包括如下步驟:①選擇成果目標(biāo)庫;②查詢選擇整合數(shù)據(jù)源;③確定數(shù)據(jù)源與目標(biāo)庫(數(shù)據(jù)表)的對(duì)應(yīng)關(guān)系,系統(tǒng)支持多種格式的數(shù)據(jù)源,包括Arcgis shape,Arcgis coverage,Map-gis,VCT 多種國內(nèi)外主流 GIS 平臺(tái)數(shù)據(jù)格式;④確定數(shù)據(jù)源屬性表與成果庫數(shù)據(jù)字段的對(duì)應(yīng)關(guān)系;⑤確定數(shù)據(jù)源元數(shù)據(jù)與成果庫元數(shù)據(jù)的對(duì)應(yīng)關(guān)系;⑥調(diào)用數(shù)據(jù)整合工具完成目標(biāo)數(shù)據(jù)源向成果庫的整合。
4.2.4 成果建庫管理
成果庫包括兩個(gè)部分,一個(gè)是核心庫,包括分幅信息、行政區(qū)索引信息、成果元數(shù)據(jù)、縣級(jí)標(biāo)準(zhǔn)主題庫;另一個(gè)部分是成果擴(kuò)展庫,主要為了實(shí)現(xiàn)系統(tǒng)的兼容性和用戶自定義。
由于成果核心數(shù)據(jù)庫結(jié)構(gòu)是預(yù)先生成,在系統(tǒng)正常運(yùn)行階段不提供用戶接口進(jìn)行調(diào)整,可提供根據(jù)預(yù)先生成的數(shù)據(jù)庫腳本重新創(chuàng)建數(shù)據(jù)庫框架;在不影響資料庫數(shù)據(jù)整合入庫和數(shù)據(jù)發(fā)布的情況下,通過和開發(fā)人員共同合作實(shí)現(xiàn)對(duì)數(shù)據(jù)庫的調(diào)整。對(duì)于成果擴(kuò)展庫,系統(tǒng)提供建庫向?qū)лo助用戶完成自定義擴(kuò)展。擴(kuò)建庫建立向?qū)е饕瓿扇缦鹿δ埽孩俣x擴(kuò)展數(shù)據(jù)庫、數(shù)據(jù)表結(jié)構(gòu);②確定擴(kuò)展數(shù)據(jù)庫、數(shù)據(jù)表與核心庫關(guān)系;③定義數(shù)據(jù)獲取與更新機(jī)制。
4.3 應(yīng)用庫管理子系統(tǒng)
數(shù)據(jù)的最終目的很大程度上是為了應(yīng)用于專題中作為數(shù)據(jù)存儲(chǔ)系統(tǒng)的重要功能,要求實(shí)現(xiàn)根據(jù)專題用戶輸入應(yīng)用要求,實(shí)現(xiàn)數(shù)據(jù)提取。完成專題產(chǎn)品的來源可以來自于資料庫和成果庫,由于各種專題的要求并不一致,因此需要具有通用性且功能強(qiáng)大的通用工具,以便實(shí)現(xiàn)專題數(shù)據(jù)產(chǎn)品的生成。
4.4 數(shù)據(jù)發(fā)布管理子系統(tǒng)
土地?cái)?shù)據(jù)管理模式采用土地?cái)?shù)據(jù)存域網(wǎng)和土地?cái)?shù)據(jù)中心對(duì)外發(fā)布平臺(tái)的有機(jī)集成管理模式。中國土地勘測(cè)規(guī)劃院內(nèi)部土地?cái)?shù)據(jù)管理由對(duì)內(nèi)發(fā)布服務(wù)系統(tǒng)實(shí)現(xiàn),社會(huì)共享數(shù)據(jù)和信息管理通過土地?cái)?shù)據(jù)中心對(duì)外發(fā)布平臺(tái)實(shí)現(xiàn)。土地?cái)?shù)據(jù)資源要求可以被授權(quán)用戶使用,使用方式將改變以前通過文件復(fù)制的方式,而采用更加方便而且安全有效的方式,即通過信息發(fā)布——用戶下載的方式來實(shí)現(xiàn)。具體功能包括:①數(shù)據(jù)查詢;②數(shù)據(jù)分發(fā)申請(qǐng)登記;③數(shù)據(jù)分發(fā)申請(qǐng)審核;④數(shù)據(jù)分發(fā)授權(quán);⑤數(shù)據(jù)下載服務(wù);⑥數(shù)據(jù)下載備案。
圖4 數(shù)據(jù)產(chǎn)品下載申請(qǐng)登記
圖5 數(shù)據(jù)分發(fā)審核管理
4.5 數(shù)據(jù)整合環(huán)境與集成工具包
數(shù)據(jù)整合處理環(huán)境由多個(gè)數(shù)據(jù)提取工具構(gòu)成。利用數(shù)據(jù)模型構(gòu)建工具,面向土地專題應(yīng)用,構(gòu)建相應(yīng)的數(shù)據(jù)倉庫框架,逐步擴(kuò)充土地專題業(yè)務(wù)應(yīng)用數(shù)據(jù)庫所涵蓋的土地分析專題;通過開發(fā)面向特定土地成果數(shù)據(jù)庫或土地專題應(yīng)用的整合特定數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)提取工具,逐步充實(shí)數(shù)據(jù)整合處理環(huán)境的數(shù)據(jù)提取工具;通過運(yùn)行數(shù)據(jù)提取工具,逐步充實(shí)土地成果數(shù)據(jù)庫和土地專題數(shù)據(jù)倉庫的內(nèi)容。編寫數(shù)據(jù)提取工具,從各土地資料數(shù)據(jù)庫抽取數(shù)據(jù)到土地成果數(shù)據(jù)庫中,由土地成果數(shù)據(jù)抽取數(shù)據(jù)到土地專題應(yīng)用數(shù)據(jù)庫中。
基于 ESRI Arc/Engine 組件工具,開發(fā)服務(wù)于“土地?cái)?shù)據(jù)整合處理”的各種通用 GIS工具組件備用,同時(shí)開發(fā)具有友好圖形用戶界面,實(shí)現(xiàn)基于“土地資料庫”或“土地成果數(shù)據(jù)庫”及其元數(shù)據(jù)庫提取特定專題應(yīng)用產(chǎn)品數(shù)據(jù)庫的流程管理的專題產(chǎn)品數(shù)據(jù)庫提取與維護(hù)管理系統(tǒng)??紤]到數(shù)據(jù)產(chǎn)品數(shù)據(jù)庫創(chuàng)建的復(fù)雜性,在系統(tǒng)實(shí)現(xiàn)過程中,只實(shí)現(xiàn)可自動(dòng)化進(jìn)行的流程的管理,對(duì)于無法自動(dòng)化的過程,系統(tǒng)給出信息提示,實(shí)施手工處理。
圖6a 數(shù)據(jù)整合處理環(huán)境提取工具
圖6b 通用集成 GIS 工具組件
5 應(yīng)用展望
當(dāng)前,加快土地調(diào)查評(píng)價(jià)數(shù)據(jù)集成既是深化大調(diào)查成果的需要,也是國家土地管理新形勢(shì)對(duì)土地資源調(diào)查監(jiān)測(cè)數(shù)據(jù)集成提出的新要求。充分發(fā)揮土地調(diào)查評(píng)價(jià)數(shù)據(jù)的基礎(chǔ)性作用,促進(jìn)國家科技數(shù)據(jù)資源共享也必須對(duì)土地?cái)?shù)據(jù)進(jìn)行整合集成。如何對(duì)多年來取得的國家級(jí)土地調(diào)查評(píng)價(jià)數(shù)據(jù),特別是大調(diào)查數(shù)據(jù)進(jìn)行有效集成和管理,并為國家土地管理宏觀決策提供快速、準(zhǔn)確的信息服務(wù)是國家級(jí)土地調(diào)查評(píng)價(jià)數(shù)據(jù)集成面臨的首要問題?;?SAN 存儲(chǔ)的國家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng),首次將土地?cái)?shù)據(jù)倉庫技術(shù)思想應(yīng)用于土地?cái)?shù)據(jù)管理系統(tǒng)建設(shè)中,提出資料庫、成品庫、應(yīng)用庫三庫一體的數(shù)據(jù)倉庫解決方案,對(duì)不同處理級(jí)別數(shù)據(jù)分級(jí)存儲(chǔ),為土地?cái)?shù)據(jù)挖掘提供可能,也為不同應(yīng)用目的數(shù)據(jù)集成提供實(shí)現(xiàn)有效途徑。通過該系統(tǒng)建設(shè)將能夠?qū)崿F(xiàn)土地?cái)?shù)據(jù)管理、土地?cái)?shù)據(jù)處理和信息發(fā)布網(wǎng)絡(luò)化,大大提高信息化建設(shè)水平。目前本系統(tǒng)已經(jīng)初步建成,并處于試運(yùn)行階段,正利用本數(shù)據(jù)管理集成系統(tǒng)平臺(tái)進(jìn)行全國城市土地利用動(dòng)態(tài)遙感監(jiān)測(cè)數(shù)據(jù)、1∶1 萬土地利用建庫、土地詳查1∶5 萬縣級(jí)土地利用柵格數(shù)據(jù)等土地調(diào)查監(jiān)測(cè)數(shù)據(jù)的整合集成工作。目前已經(jīng)完成2004年度全國土地利用動(dòng)態(tài)遙感監(jiān)測(cè)成果數(shù)據(jù)、“數(shù)字國土”工程1∶1 萬土地利用建庫200 多個(gè)縣區(qū)、土地詳查1∶5 萬縣級(jí)土地利用柵格數(shù)據(jù)全部數(shù)據(jù)(2000 多個(gè)縣)的整合入庫和元數(shù)據(jù)錄入,并可實(shí)現(xiàn)對(duì)元數(shù)據(jù)和數(shù)據(jù)的管理。系統(tǒng)建設(shè)已經(jīng)初見成效,實(shí)現(xiàn)了土地調(diào)查數(shù)據(jù)科學(xué)有效管理、避免重復(fù)投資,為國家寶貴的數(shù)據(jù)資源科學(xué)管理、有效集成和共享應(yīng)用打下了堅(jiān)實(shí)基礎(chǔ)??梢灶A(yù)見,本系統(tǒng)平臺(tái)將在國土資源大調(diào)查——土地資源調(diào)查數(shù)據(jù)整合集成發(fā)揮重要作用。當(dāng)然由于受人員、時(shí)間,特別是水平等各方面條件的限制,本系統(tǒng)還需要在國家級(jí)土地調(diào)查監(jiān)測(cè)的數(shù)據(jù)整合集成實(shí)踐中不斷地完善、提高。
san框架的介紹就聊到這里吧,感謝你花時(shí)間閱讀本站內(nèi)容,更多關(guān)于三框架網(wǎng)頁的名稱分別為、san框架的信息別忘了在本站進(jìn)行查找喔。