Data をテンプレートにして作成

開始行:
*データ DATA ~ データ（Data）とは、一般に情報伝達、解釈、処理を目的とし... 　直面している問題の解決や、意思決定に役立つか否かという... -ISO/IEC 2382-1 A reinterpretable representation of information in a formalized manner suitable for communication, interpretation, or processing. -日本工業規格：X0001 情報処理用語-基本用語 情報の表現であって、伝達、解釈または処理に適するように形... 再度情報として解釈できるもの ~ ***CONTENTS #contents2_1 ~ **人類とデータ 人類は情報（データ）を交換・共有・蓄積することにより、独... |数万年前|言葉の発生|情報の交換・リアルタイムコミュニケー... |BC4千年紀|文字の発明|情報の蓄積・非同期コミュニケーション| |105年|紙の発明|情報のモバイル化| |1440年頃|活版印刷|情報の拡散| |1945年|コンピュータ|情報処理の自動化| |1989年|WWW|情報共有のグローバル化| ~ ~ **データファイルの形式 コンピュータで扱うデータの形式として、代表的な以下の３つ... ~ ***データファイルの基本構造 #image(Data/TableElements.png,right,30%) データファイルは一般に２次元の表形式で与えられます。以下... -''テーブル / Table''（表）：通常１つのファイル -''レコード / Row''（行）：１件分のデータセット -''フィールド / Column''（列）：特定項目に関するデータセ... #clear ''表の先頭行にはフィールド名（項目見出し）が並ぶ''のが一... &scale(75){出典：https://commons.wikimedia.org/wiki/File:... なお、一般的な統計表やクロス集計表では、表の左と上にカテ... ~ ***CSV CSV（Comma-Separated Values）とは、表形式のデータ等でフィ... データ交換用の標準として、多くのスプレッドシート（表計算... ちなみに、タブで区切られたものをTSV（Tab-Separated Values... ~ ***JSON JSONは、データを key とvalue の組み合わせで記述する連想配... -ページを独立させました ＞ __[[JSON]]__ ~ ***YAML YAML（YAML Ain’t Markup Language） とは、構造化されたデー... YAML は次のような用途に向いています。 -各種設定ファイル -データ保存用 (シリアライゼーション) -データ交換用フォーマット -ログファイル YAML には以下のような利点があります。 -読みやすい：インデントを使ってデータの階層構造を表します。 -書きやすい：XML のような終了タグが必要なく書きやすい。 -わかりやすい：データを「配列」「ハッシュ」「スカラー (数... YAML はあくまで「仕様」なので、それを処理するライブラリの... C/C++ Java JavaScript Perl Python PHP Ruby ・・ ~ ***XML XML（Extensible Markup Language）とは、基本的な構文規則を... ~ ***付記：データとメタデータ 画像データを例にとると、画素のRGB値が実際のデータですが、... ~ ~ **データと尺度 [[統計的な処理>Statistics]]では、一般にデータを以下のよう... ~ ***質的データ（定性的データ, カテゴリーデータ ) -''名義尺度''（nominal scale）同一性 対象を分類するために番号を割り当てたもので、等しいか否か... ''例）''血液型（Ａ型：1，Ｂ型：2，･･･，O型：4） -''順序尺度''（ordinal scale）同一性・順序性 順序には意味があるが、その間隔には意味がない数値を割り当... ''例）''ミネラルウォーターの売上BEST10（商品を順に１位、... ~ ***量的データ ( 定量的データ, 離散データ / 連続データ) -''間隔尺度''（interval scale）同一性・順序性・加法性 測定対象の差を等間隔の目盛りで評価するもので、その和や差... ''例）''知能指数、摂氏の温度、満足度（非常によい：4，よい... -''比率尺度''（ratio scale）同一性・順序性・加法性・等比性 原点（０）が定まっていて、間隔にも比率にも意味があるもの... ''例）''身長、体重、金額、絶対温度など ~ ~ **データサイエンス [[データサイエンス（Data Science）>DataScience]]とは、デ... 前提となるのはデータベースの存在、そしてそれを扱う、統計... -詳細：[[DataScience]] ~ ***データサイエンスの領域に必要な技術・ツール -大量のデータの収集、フォーマット変換 -統計処理 -ビジュアライゼーション（グラフの作成等、データの視覚化） -機械学習（ディープ・ラーニングを含む） -パターン認識、データマイニング（パターン、データに潜む秩... -R、Python等、プログラミング言語を用いた分析 -ビジネスの課題解決 付記：データ × デザイン を考えたとき、最も重要なのは、ビ... ~ ~ **ビッグデータ ビッグデータ（big data）とは、人間の能力で把握するのが困... -ビッグデータの活用で効率化が期待できること --業務フローの最適化によるコストの削減 --資源の最適化による売り上げの最大化 --現状が抱える問題の特定 --新たな可能性の発見 -ビッグデータが注目されるようになった理由 --コンピュータの処理能力、蓄積能力・規模の向上 --ネットワークの充実 --インターネット検索履歴から個人情報の大規模収集が可能に... --スマートフォンアプリから個人情報の大規模収集が可能にな... -[[Google:ビッグデータ 活用事例]] ~ ~ **データマイニング（DM） [[データマイニング（Data mining）>DataMining]]とは、統計... 　歴史的には、1980年代にリレーショナル型データベース（昨... 　1990年代以降、データ量の爆発的増大に伴って、ビッグデー... 　テキストを対象としたテキストマイニングや、ウェブサイト... ~ ***データマイニングの分類 -目的志向型のデータマイニング（仮説の検証） --分類、抽出（質的変数） --推定、把握（量的変数） --将来予測 -探索志向型のデータマイニング（知識の発見） --クラスタリング --アソシエーションルールの策定 -上記ともに関係するデータマイニング --プロファイリング（ 特徴の推測） ~ ~ **[[データの見えざる手>Google:データの見えざる手]] >「やや速い身体の動き（定量的には2Hz〜3Hz）が継続し、また... >「身体を継続的にやや速く動かせる状況をつくることにより、... >矢野和男｜2014 温度計という計測機器がこの世に登場したとき、科学者たちは... 同様に、ウエアラブルセンサーから得られたビッグデータの統... かつての賢者は「手を動かしなさい」とよく言っていました。... //　逆に、うつ病患者が増えている原因についても、ひょっと... ~ ~ **APPENDIX ***関連ページ -[[DataScience]] -[[ArtificialIntelligence]] -[[ArtificialIntelligence/Links]] -[[Data]] -[[Statistics]] -[[DataVisualization]] -[[MachineLearning]] --[[DecisionTree]] --[[k-means]] --[[LinearRegression]] --[[LogisticRegression]] --[[NeuralNetwork]] --[[PrincipalComponentAnalysis>Statistics/PCA]] --[[MultipleCorrespondenceAnalysis>Statistics/MCA]] --[[RandomForest]] --[[SupportVectorMachine]] -[[DataMining]] -[[Python]] --[[Pandas]] --[[scikit-learn]] -[[GoogleColaboratory]] -[[Orange]] -[[OpenData]] ~ ~ ~

終了行:
*データ DATA ~ データ（Data）とは、一般に情報伝達、解釈、処理を目的とし... 　直面している問題の解決や、意思決定に役立つか否かという... -ISO/IEC 2382-1 A reinterpretable representation of information in a formalized manner suitable for communication, interpretation, or processing. -日本工業規格：X0001 情報処理用語-基本用語 情報の表現であって、伝達、解釈または処理に適するように形... 再度情報として解釈できるもの ~ ***CONTENTS #contents2_1 ~ **人類とデータ 人類は情報（データ）を交換・共有・蓄積することにより、独... |数万年前|言葉の発生|情報の交換・リアルタイムコミュニケー... |BC4千年紀|文字の発明|情報の蓄積・非同期コミュニケーション| |105年|紙の発明|情報のモバイル化| |1440年頃|活版印刷|情報の拡散| |1945年|コンピュータ|情報処理の自動化| |1989年|WWW|情報共有のグローバル化| ~ ~ **データファイルの形式 コンピュータで扱うデータの形式として、代表的な以下の３つ... ~ ***データファイルの基本構造 #image(Data/TableElements.png,right,30%) データファイルは一般に２次元の表形式で与えられます。以下... -''テーブル / Table''（表）：通常１つのファイル -''レコード / Row''（行）：１件分のデータセット -''フィールド / Column''（列）：特定項目に関するデータセ... #clear ''表の先頭行にはフィールド名（項目見出し）が並ぶ''のが一... &scale(75){出典：https://commons.wikimedia.org/wiki/File:... なお、一般的な統計表やクロス集計表では、表の左と上にカテ... ~ ***CSV CSV（Comma-Separated Values）とは、表形式のデータ等でフィ... データ交換用の標準として、多くのスプレッドシート（表計算... ちなみに、タブで区切られたものをTSV（Tab-Separated Values... ~ ***JSON JSONは、データを key とvalue の組み合わせで記述する連想配... -ページを独立させました ＞ __[[JSON]]__ ~ ***YAML YAML（YAML Ain’t Markup Language） とは、構造化されたデー... YAML は次のような用途に向いています。 -各種設定ファイル -データ保存用 (シリアライゼーション) -データ交換用フォーマット -ログファイル YAML には以下のような利点があります。 -読みやすい：インデントを使ってデータの階層構造を表します。 -書きやすい：XML のような終了タグが必要なく書きやすい。 -わかりやすい：データを「配列」「ハッシュ」「スカラー (数... YAML はあくまで「仕様」なので、それを処理するライブラリの... C/C++ Java JavaScript Perl Python PHP Ruby ・・ ~ ***XML XML（Extensible Markup Language）とは、基本的な構文規則を... ~ ***付記：データとメタデータ 画像データを例にとると、画素のRGB値が実際のデータですが、... ~ ~ **データと尺度 [[統計的な処理>Statistics]]では、一般にデータを以下のよう... ~ ***質的データ（定性的データ, カテゴリーデータ ) -''名義尺度''（nominal scale）同一性 対象を分類するために番号を割り当てたもので、等しいか否か... ''例）''血液型（Ａ型：1，Ｂ型：2，･･･，O型：4） -''順序尺度''（ordinal scale）同一性・順序性 順序には意味があるが、その間隔には意味がない数値を割り当... ''例）''ミネラルウォーターの売上BEST10（商品を順に１位、... ~ ***量的データ ( 定量的データ, 離散データ / 連続データ) -''間隔尺度''（interval scale）同一性・順序性・加法性 測定対象の差を等間隔の目盛りで評価するもので、その和や差... ''例）''知能指数、摂氏の温度、満足度（非常によい：4，よい... -''比率尺度''（ratio scale）同一性・順序性・加法性・等比性 原点（０）が定まっていて、間隔にも比率にも意味があるもの... ''例）''身長、体重、金額、絶対温度など ~ ~ **データサイエンス [[データサイエンス（Data Science）>DataScience]]とは、デ... 前提となるのはデータベースの存在、そしてそれを扱う、統計... -詳細：[[DataScience]] ~ ***データサイエンスの領域に必要な技術・ツール -大量のデータの収集、フォーマット変換 -統計処理 -ビジュアライゼーション（グラフの作成等、データの視覚化） -機械学習（ディープ・ラーニングを含む） -パターン認識、データマイニング（パターン、データに潜む秩... -R、Python等、プログラミング言語を用いた分析 -ビジネスの課題解決 付記：データ × デザイン を考えたとき、最も重要なのは、ビ... ~ ~ **ビッグデータ ビッグデータ（big data）とは、人間の能力で把握するのが困... -ビッグデータの活用で効率化が期待できること --業務フローの最適化によるコストの削減 --資源の最適化による売り上げの最大化 --現状が抱える問題の特定 --新たな可能性の発見 -ビッグデータが注目されるようになった理由 --コンピュータの処理能力、蓄積能力・規模の向上 --ネットワークの充実 --インターネット検索履歴から個人情報の大規模収集が可能に... --スマートフォンアプリから個人情報の大規模収集が可能にな... -[[Google:ビッグデータ 活用事例]] ~ ~ **データマイニング（DM） [[データマイニング（Data mining）>DataMining]]とは、統計... 　歴史的には、1980年代にリレーショナル型データベース（昨... 　1990年代以降、データ量の爆発的増大に伴って、ビッグデー... 　テキストを対象としたテキストマイニングや、ウェブサイト... ~ ***データマイニングの分類 -目的志向型のデータマイニング（仮説の検証） --分類、抽出（質的変数） --推定、把握（量的変数） --将来予測 -探索志向型のデータマイニング（知識の発見） --クラスタリング --アソシエーションルールの策定 -上記ともに関係するデータマイニング --プロファイリング（ 特徴の推測） ~ ~ **[[データの見えざる手>Google:データの見えざる手]] >「やや速い身体の動き（定量的には2Hz〜3Hz）が継続し、また... >「身体を継続的にやや速く動かせる状況をつくることにより、... >矢野和男｜2014 温度計という計測機器がこの世に登場したとき、科学者たちは... 同様に、ウエアラブルセンサーから得られたビッグデータの統... かつての賢者は「手を動かしなさい」とよく言っていました。... //　逆に、うつ病患者が増えている原因についても、ひょっと... ~ ~ **APPENDIX ***関連ページ -[[DataScience]] -[[ArtificialIntelligence]] -[[ArtificialIntelligence/Links]] -[[Data]] -[[Statistics]] -[[DataVisualization]] -[[MachineLearning]] --[[DecisionTree]] --[[k-means]] --[[LinearRegression]] --[[LogisticRegression]] --[[NeuralNetwork]] --[[PrincipalComponentAnalysis>Statistics/PCA]] --[[MultipleCorrespondenceAnalysis>Statistics/MCA]] --[[RandomForest]] --[[SupportVectorMachine]] -[[DataMining]] -[[Python]] --[[Pandas]] --[[scikit-learn]] -[[GoogleColaboratory]] -[[Orange]] -[[OpenData]] ~ ~ ~

ページ名: