HDF5 - 変更履歴

Tacyas: /* ファイルの作り方 */

2022-03-24T07:35:56Z

‎ファイルの作り方

Tacyas: /* Chunkingと拡張可能なデータセット　 */

2022-03-24T01:49:40Z

‎Chunkingと拡張可能なデータセット　

Tacyas: /* Chunkingと拡張可能なデータセット　 */

2022-03-24T01:28:50Z

‎Chunkingと拡張可能なデータセット　

差分を表示

Tacyas: /* Chunkingと拡張可能なデータセット　 */

2022-03-24T01:21:32Z

‎Chunkingと拡張可能なデータセット　

Tacyas: /* Chunkingと拡張可能なデータセット　 */

2022-03-24T01:18:31Z

‎Chunkingと拡張可能なデータセット　

Tacyas: /* ファイルの作り方 */

2022-03-24T01:16:40Z

‎ファイルの作り方

Tacyas: /* HDF5 */

2022-03-22T20:05:33Z

‎HDF5

Tacyas: /* HDF5 */

2022-03-22T20:05:10Z

‎HDF5

2022年1月4日 (火) 22:08にTacyasによる

2022-01-04T22:08:30Z

2022年1月4日 (火) 22:08にTacyasによる

2022-01-04T22:08:13Z

@@ 行19: / 行19: @@
 アクセスモード
-　 H5F_ACC_TRUNC　ファイルがあったら，新しくつくりなおす
+ H5F_ACC_TRUNC　 ファイルがあったら，新しくつくりなおす
-  H5F_ACC_EXCL　ファイルがあったら失敗する
+ H5F_ACC_EXCL　  ファイルがあったら失敗する
-  H5F_ACC_RDONLY  読みとりのみ
+ H5F_ACC_RDONLY  読みとりのみ
-  H5F_ACC_RDWR　　読み書き
+ H5F_ACC_RDWR　　読み書き
 File Creation Property List
@@ 行39: / 行39: @@
+                                  |
                                  +----compound
 === Chunkingと拡張可能なデータセット　===

@@ 行116: / 行116: @@
      /* Create the data space with unlimited dimensions. */
-     dataspace = H5Screate_simple (RANK, dims, maxdims);
+     dataspace = H5Screate_simple (RANK, dims, maxdims); // データ空間(H5S)の作成:maxdims[2] = {H5S_UNLIMITED, H5S_UNLIMITED};
      /* Create a new file. If file exists its contents will be overwritten. */
-     file = H5Fcreate (FILE, H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT);
+     file = H5Fcreate (FILE, H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT); // ファイル(H5F)の作成：
      /* Modify dataset creation properties, i.e. enable chunking  */
-     cparms = H5Pcreate (H5P_DATASET_CREATE);
+     cparms = H5Pcreate (H5P_DATASET_CREATE); // パラメータ用データセット(H5P)の作成
-     status = H5Pset_chunk ( cparms, RANK, chunk_dims);
+     status = H5Pset_chunk ( cparms, RANK, chunk_dims); // chunkパラメータの設定
      /* Create a new dataset within the file using cparms
         creation properties.  */
      dataset = H5Dcreate (file, DATASETNAME, H5T_NATIVE_INT, dataspace,
-                          cparms);
+                          cparms);　// データ(H5D)の作成
      /* Extend the dataset. This call assures that dataset is 3 x 3.*/
      size[0]   = 3;
      size[1]   = 3;
-     status = H5Dextend (dataset, size);
+     status = H5Dextend (dataset, size); // データ(H5D)の拡張（元々がUNLIMITEDで設定されている）
      /* Select a hyperslab  */
-     filespace = H5Dget_space (dataset);
+     filespace = H5Dget_space (dataset); // データ(H5D)の空間の設定
      offset[0] = 0;
      offset[1] = 0;
      status = H5Sselect_hyperslab (filespace, H5S_SELECT_SET, offset, NULL,
-                                   dims1, NULL);
+                                   dims1, NULL); // データ空間(H5S)の選択
      /* Write the data to the hyperslab  */
      status = H5Dwrite (dataset, H5T_NATIVE_INT, dataspace, filespace,
-                        H5P_DEFAULT, data1);
+                        H5P_DEFAULT, data1); // データ(H5D)の書き出し
      /* Extend the dataset. Dataset becomes 10 x 3  */
@@ 行150: / 行150: @@
      size[0]   = dims[0];
      size[1]   = dims[1];
-     status = H5Dextend (dataset, size);
+     status = H5Dextend (dataset, size); // データ(H5D)の拡張
      /* Select a hyperslab  */
-     filespace = H5Dget_space (dataset);
+     filespace = H5Dget_space (dataset); // データ(H5D)の空間選択
      offset[0] = 3;
      offset[1] = 0;
      status = H5Sselect_hyperslab (filespace, H5S_SELECT_SET, offset, NULL,
-                                   dims2, NULL);
+                                   dims2, NULL);  // データ空間（H5S)の選択
      /* Define memory space */
-     dataspace = H5Screate_simple (RANK, dims2, NULL);
+     dataspace = H5Screate_simple (RANK, dims2, NULL); // データ空間（H5S)の作成
      /* Write the data to the hyperslab  */
      status = H5Dwrite (dataset, H5T_NATIVE_INT, dataspace, filespace,
-                        H5P_DEFAULT, data2);
+                        H5P_DEFAULT, data2); // データ(H5D)の書き出し
      /* Close resources */
@@ 行175: / 行175: @@
      Read the data back
   ***************************************************************/
-    file = H5Fopen (FILE, H5F_ACC_RDONLY, H5P_DEFAULT);
+     cparms = H5Dget_create_plist (dataset);                        // cparams
-    dataset = H5Dopen (file, DATASETNAME);
+     if (H5D_CHUNKED == H5Pget_layout (cparms))                     //  layout
-    filespace = H5Dget_space (dataset);
-    rank = H5Sget_simple_extent_ndims (filespace);
-    status_n = H5Sget_simple_extent_dims (filespace, dimsr, NULL);
-−
      cparms = H5Dget_create_plist (dataset);
      if (H5D_CHUNKED == H5Pget_layout (cparms))
+     {
-        rank_chunk = H5Pget_chunk (cparms, 2, chunk_dimsr);
+        rank_chunk = H5Pget_chunk (cparms, 2, chunk_dimsr);         //  rank_chunk, chuk_dimsr
+     }
-     memspace = H5Screate_simple (rank,dimsr,NULL);
+     memspace = H5Screate_simple (rank,dimsr,NULL);                 // H5S memspace <- create <- rank, dimsr
      status = H5Dread (dataset, H5T_NATIVE_INT, memspace, filespace,
-                       H5P_DEFAULT, data_out);
+                       H5P_DEFAULT, data_out);                      // H5D data_out <- memspace, filespace, dataset
      printf("\n");
      printf("Dataset: \n");
@@ 行207: / 行207: @@
+}
 </pre>
 [FORTRAN の例 ] - chunk.f90

@@ 行85: / 行85: @@
 |FORTRAN
 |-
-|h5p_file_create
+|H5P_FILE_CREATE
-h5p_file_access
+H5P_FILE_ACCESS
 H5P_DATASET_CREATE
@@ 行106: / 行106: @@
-C言語では、成功した場合はプロパティリストの識別子が返され、失敗した場合は負の値が返される。FORTRANでは、プロパティリストの識別子をprp_idで、呼び出しの戻り値をhdferrで返します。
+ C言語では、成功した場合はプロパティリストの識別子が返され、失敗した場合は負の値が返されます。FORTRANでは、プロパティリストの識別子をprp_idで、呼び出しの戻り値をhdferrで返します。
-ルーチンH5Pset_chunk / h5pset_chunk_fは、チャンクされたレイアウトデータセットを格納するために使用されるチャンクのサイズを設定します。このルーチンのシグネチャは次のとおりです。
 C:
+     herr_t H5Pset_chunk (hid_t prp_id, int ndims,
-    herr_t H5Pset_chunk (hid_t prp_id, int ndims,
                           const hsize_t * dims)
 FORTRAN:
+     H5PSET_CHUNK_F (PRP_ID, NDIMS, DIMS, HDFERR)
-    H5PSET_CHUNK_F (PRP_ID, NDIMS, DIMS, HDFERR)
              prp_id IN: INTEGER(HID_T)

@@ 行86: / 行86: @@
 |-
 |h5p_file_create
 h5p_file_access
 H5P_DATASET_CREATE
 H5P_DATASET_XFER
 H5P_MOUNT
 |H5P_FILE_CREATE_F
 H5P_FILE_ACCESS_F
 H5P_DATASET_CREATE_F
 H5P_DATASET_XFER_F
 H5P_MOUNT_F
 |}

←前の版		2022年3月24日 (木) 01:16時点における版
行39:		行39:
	\|		\|
	+----compound		+----compound
		+
		+
		+	=== Chunkingと拡張可能なデータセット　===
		+	[[https://www.asc.ohio-state.edu/wilkins.5/computing/HDF/hdf5tutorial/extend.html https://www.asc.ohio-state.edu/wilkins.5/computing/HDF/hdf5tutorial/extend.html]]を参照
		+
		+	==== 拡張可能なデータセットの作成 ====
		+
		+	拡張可能なデータセットとは、次元を拡張することができるデータセットのことです。HDF5では、あるデータセットをある初期次元で定義し、その後その初期次元のいずれかのサイズを大きくすることができます。
		+
		+	HDF5では、拡張可能なデータセットを定義するためにチャンキングを使用する必要があります。これにより、ストレージを必要以上に再配置することなく、データセットを効率的に拡張することができます。
		+
		+	拡張可能なデータセットを記述するためには、以下の操作が必要です。
		+
		+	１．データセットのデータ空間を、最終的に拡張される可能性のあるすべての次元に対して無制限であると宣言しておく。
		+	２．データセット作成のプロパティを設定し、チャンキングを可能にする。
		+	３．データセットを作成する。
		+	４．データセットのサイズを拡張する。
		+
		+
		+	プログラミングの例
		+	'''説明'''
		+
		+	この例では、3×3の拡張可能なデータセットを作成し、そのデータセットに書き込み、データセットを10×3に拡張し、再びそのデータセットに書き込む方法を示しています。
		+
		+	[C 言語の例 ] - h5_extend.c
		+	[FORTRAN の例 ] - chunk.f90
		+
		+	注：Makefileを含むサンプルのtarファイルをダウンロードするには、参考文献のページを参照してください。
		+
		+	備考
		+	ルーチンH5Pcreate / h5pcreate_fは、プロパティリストのインスタンスとして新しいプロパティを作成します。シグネチャは以下の通りです。
		+
		+	C:
		+	hid_t H5Pcreate (H5P_class_t classtype)
		+	FORTRAN
		+	H5PCREATE_F (CLASSTYPE, PRP_ID, HDFERR)
		+	classtype IN: INTEGER
		+	prp_id OUT: INTEGER(HID_T)
		+	hdferr OUT: INTEGER
		+
		+	パラメータ classtype は、作成するプロパティリストのタイプである。有効なクラスタイプは以下の通りです。
		+
		+	{\|
		+	\|C
		+	\|FORTRAN
		+	\|-
		+	\|h5p_file_create
		+	h5p_file_access
		+	H5P_DATASET_CREATE
		+	H5P_DATASET_XFER
		+	H5P_MOUNT
		+	\|H5P_FILE_CREATE_F
		+	H5P_FILE_ACCESS_F
		+	H5P_DATASET_CREATE_F
		+	H5P_DATASET_XFER_F
		+	H5P_MOUNT_F
		+	\|}
		+
		+
		+	C言語では、成功した場合はプロパティリストの識別子が返され、失敗した場合は負の値が返される。FORTRANでは、プロパティリストの識別子をprp_idで、呼び出しの戻り値をhdferrで返します。
		+	ルーチンH5Pset_chunk / h5pset_chunk_fは、チャンクされたレイアウトデータセットを格納するために使用されるチャンクのサイズを設定します。このルーチンのシグネチャは次のとおりです。
		+	C:
		+
		+	herr_t H5Pset_chunk (hid_t prp_id, int ndims,
		+	const hsize_t * dims)
		+	FORTRAN:
		+
		+	H5PSET_CHUNK_F (PRP_ID, NDIMS, DIMS, HDFERR)
		+
		+	prp_id IN: INTEGER(HID_T)
		+	ndims IN: INTEGER
		+	dims IN: INTEGER(HSIZE_T), DIMENSION(ndims)
		+	hdferr OUT: INTEGER
		+
		+	prp_idパラメータは、問い合わせるプロパティリストの識別子である。
		+	ndimsパラメータは各チャンクの次元数である。
		+	dims パラメータは各チャンクのサイズを含む配列です。
		+	C言語では，成功すれば非負の値が，失敗すれば負の値が返されます．FORTRANでは、戻り値はhdferrで返されます：成功した場合は0、それ以外の場合は-1です。
		+	H5Dextend / h5dextend_f ルーチンは無制限の次元を持つデータセットを拡張します。シグネチャは次の通りである。
		+	C:
		+
		+	herr_t H5Dextend (hid_t dset_id, const hsize_t * size)
		+	FORTRAN
		+
		+	H5DEXTEND_F (Dset_ID、Size、HDERR)
		+
		+	dset_id IN: INTEGER(HID_T)
		+	サイズ IN: 整数(hsize_t), 次元(*)
		+	hdferr OUT: INTEGER
		+
		+	dset_id パラメータはデータセット識別子である．
		+	size パラメータは、各次元の新しい大きさを含む配列である。
		+	C言語では、この関数は成功すれば非負の値を、そうでなければ負の値を返す。FORTRANでは、戻り値はhdferrで返される：成功すれば0、そうでなければ-1。
		+	H5Dget_create_plist / h5dget_create_plist_f ルーチンは、データセットに対するデータセット作成プロパティリストのコピーの識別子を返します。
		+	C関数H5Pget_layoutは、データセットの生データのレイアウトを返します。有効な型はH5D_CONTIGUOUSとH5D_CHUNKEDです。H5Pget_layoutのFORTRANルーチンはまだ存在しません。
		+	H5Pget_chunk / h5pget_chunk_fルーチンは、チャンクされたレイアウトデータセットの生データのチャンクの大きさを取得します。シグネチャは以下の通りです。
		+	C:
		+
		+	int H5Pget_chunk (hid_t prp_id, int ndims, hsize_t * dims)
		+	FORTRAN:
		+
		+	H5PGET_CHUNK_F (PRP_ID, NDIMS, DIMS, HDFERR)
		+
		+	prp_id IN: INTEGER(HID_T)
		+	ndims IN: INTEGER
		+	dims OUT: INTEGER(HSIZE_T), DIMENSION(ndims)
		+	hdferr OUT: INTEGER
		+	prp_id パラメータは、問い合わせるプロパティリストの識別子である。
		+	ndims パラメータは dims 配列のサイズである。
		+	dimsパラメータは、チャンクの寸法を格納する配列です。
		+	C では、この関数は成功すればチャンクの次元を返し、そうでなければ負の値を返します。FORTRANでは、戻り値はhdferrに返されます：成功した場合はチャンクのランク、そうでない場合は-1です。
		+	H5Pclose / h5pclose_fルーチンは、プロパティリストへのアクセスを終了させます。シグネチャは次の通りです。
		+	C:
		+
		+	Herr_t H5Pclose (hid_t prp_id)
		+	FORTRAN
		+
		+	H5PCLOSE_F (PRP_ID, HDFERR)
		+
		+	prp_id IN: INTEGER(HID_T)
		+	hdferr OUT: INTEGER
		+	prp_id パラメータは、アクセスを終了させるプロパティリストの識別子である。

←前の版		2022年3月22日 (火) 20:05時点における版
行3:		行3:
	[[HDFView]]を使って，その構造を見ることができます。		[[HDFView]]を使って，その構造を見ることができます。

−	~~Imarisが利用するファイルフォーマットもHDF5フォーマットですが，特別なタグが必要です。~~	+	[[Imaris]]が利用するファイルフォーマットもHDF5フォーマットですが，特別なタグが必要です。

←前の版		2022年3月22日 (火) 20:05時点における版
行2:		行2:
	HDF5[https://www.hdfgroup.org/ HDF5 group] (Hierarchical Data Format 5)は、階層的な科学データ(3D, 4Dなど）を保存するためのファイルフォーマットおよびライブラリです。		HDF5[https://www.hdfgroup.org/ HDF5 group] (Hierarchical Data Format 5)は、階層的な科学データ(3D, 4Dなど）を保存するためのファイルフォーマットおよびライブラリです。
	[[HDFView]]を使って，その構造を見ることができます。		[[HDFView]]を使って，その構造を見ることができます。
		+
		+	Imarisが利用するファイルフォーマットもHDF5フォーマットですが，特別なタグが必要です。

@@ 行1: / 行1: @@
 == HDF5 ==
 　HDF5[https://www.hdfgroup.org/ HDF5 group] (Hierarchical Data Format 5)は、階層的な科学データ(3D, 4Dなど）を保存するためのファイルフォーマットおよびライブラリです。
-[[HDFViewを]]使って，その構造を見ることができます。
+[[HDFView]]を使って，その構造を見ることができます。

HDF5 - 変更履歴

Tacyas: /* ファイルの作り方 */

Tacyas: /* Chunkingと拡張可能なデータセット */

Tacyas: /* Chunkingと拡張可能なデータセット */

Tacyas: /* Chunkingと拡張可能なデータセット */

Tacyas: /* Chunkingと拡張可能なデータセット */

Tacyas: /* ファイルの作り方 */

Tacyas: /* HDF5 */

Tacyas: /* HDF5 */

2022年1月4日 (火) 22:08にTacyasによる

2022年1月4日 (火) 22:08にTacyasによる

Tacyas: /* Chunkingと拡張可能なデータセット　 */

Tacyas: /* Chunkingと拡張可能なデータセット　 */

Tacyas: /* Chunkingと拡張可能なデータセット　 */

Tacyas: /* Chunkingと拡張可能なデータセット　 */