でたぁっ 感動と失敗の備忘録

データ解析を担当することになったサラリーマンの備忘録

PostgreSQLのcopyではまった

PostgreSQLのcopyではまったのでメモしておく。環境はWindows7 64bit/32bit、PostgreSQLは9.4.4。下記のような商品マスターっぽいtsvデータをcopyすると id_item name_item 111111 hogehoge ¥200 222222 fugafuga ¥300 copy table_item from 'item.tsv' enco…

networkD3

RStudioから出たhtmlwidgets for Rって可視化のデパートっぽいな。 dygraphs(時系列) dygraphsサイコォォォォオオオオオオオオオオオオオ!!! - My Life as a Mock Quant RPubs - RFinanceJパッケージで振り返る日本の金融マーケット2014 ※記事の真ん中ぐ…

cyREST API で R と Cytoscape の連携を試す

cyREST APIを使うと、RとCytoscapeを連携させることが出来る。 Cytoscapeは機能を拡張することが出来るアプリ(プラグイン)が数多く提供されており、cyRESTもその中の1つ。 今回試した環境 OS:Windows7 64bit Cytoscape 3.2.0 R 3.1.2 1.CytoscapeにcyRESTを…

Ruby Geocoderを使う

Tableauをちょいちょい使うことがあり地図表示用に緯度経度データを準備することにした。(Tableauは県名などから緯度経度情報に変換してくれる機能があるが、保有しているデータの市町村名だと結構厳しい場合がある ○船橋 ×船橋市)RubyでGeocoderってのが…

shinyIncubatorパッケージで計算中にメッセージ表示

R

shinyIncubatorパッケージはShinyで処理中にメッセージを表示することができる。Shinyで処理に時間がかかる場合って不安になるからね。 これはShiny - GalleryのShiny - Progress exampleで紹介されている。shinyIncubatorパッケージは正式にサポートされて…

Shinyでもd3.jsを容易に使えるd3Networkパッケージを試した

R

最近、Rのd3Networkパッケージを使っている記事をいくつか目にした。d3Networkパッケージは、Rからd3.jsのnetwork、tree、dendogram、Sankeyを容易に描画することが出来るパッケージのようだ。great!!! そして開発者のページを見てみると「d3Network in Shin…

Levenberg-Marquardtアルゴリズムで非線形回帰分析

R

Rでminpack.lmパッケージのnls.lm関数を使うとLevenberg-Marquardt法で非線形回帰分析を行うことができる。言いかたはマルカート法、マーカート法?、フランスの方のようなのでマーカール法とも言われているようだ。私はマルカートで覚えていた。Levenberg-M…

ShinyServerで引数をURLから与える

R

ShinyServerはクライアントにR環境がなくてもRプログラムをWEBアプリ化することができる。分析などに条件が必要な場合は一般的にui.Rに記述するが、URLに引数として与えることも出来るので他のWEBアプリとの連携も可能みたいだ。このようにGETパラメータ的な…

複数verのRuby環境構築のメモ

UNIX系の場合はRVM(Ruby Version Manager)を使うと複数のRuby環境を構築することが出来るが私のPCはWin7。Win環境の場合はpikで簡単に構築することが出来る。 pikのインストール gem install pik pik_install "C:\ruby\pik" インストールしたpikのバージョン…

プロキシ環境でRを使うときのメモ

R

職場でRを使っているとパッケージのインストールなどプロキシ環境に悩まされることがある。 企業に多そうなWin7 32bit/64bit環境の話。Macは持っていないので分かりません。 パッケージのインストール 一般的にはコンソールで下記コマンドを実行する。 Sys.s…

Tableauハンズオンセミナーに参加してきた

Tableau.Japan社主催のハンズオンセミナーに参加してきた。参加したのは入門編とR連携速習コースの2つ。会場はTableau.Japan社がある帝国ホテル東京の15階。両セミナーとも実質2時間ないので、さわれるレベルになる内容。なので紹介できる内容もたいしたこと…

NodeXLを使ったお手軽ネットワーク分析メモ

NodeXLはExcelで行うことができるネットワーク分析用のオープンソースのテンプレート。Excelワークシートにエッジリストを入力したりコピペすることで簡単にネットワーク図を描くことができる。また、ノードの形状の選択には画像を選択することができ、画像…

Ruby + Mechanize でネット上の画像を保存する

業務でインターネット上にある画像ファイルを収集する必要があったので、Ruby + Mechanize を使い保存しまくった際のメモ。Mechanize はサーバにアクセスするための「Web ブラウザ」を表現するクラス。このクラスのオブジェクトを操作してウェブにアクセスで…

第32回R勉強会@東京で発表

7月20日(土)に開催された第32回R勉強会@東京で発表してきました。タイトルは「実践で学ぶネットワーク分析」、発表に使用した公開資料はこちら。記憶に残っているうちにメモ。 発表の経緯 Rは2009年ぐらいから書籍などを参考に少しづつ使用。統計のバックグ…

TwitterAPI v1.1 に対応

Ruby+TwitterAPIを使用して日本やインドネシアのトレンド(ホットワード)を取得して関係者に配信していたが、6/12の朝、使用していたAPIのバージョンv1のサービスがついに終了してしまった。前から知っていたことではあるのだが... 使っていたサービスはトレ…

マルコフ連鎖とPageRank (追加メモ)

先日【Rメモ】マルコフ連鎖とPageRankといったメモを書いた。マルコフ連鎖の収束値とPageRankの値が一致するといった点についてふれたが、一致するのはdanmping=1の場合。danmping factorの違いによるPageRankの値を確認したのでちょっとだけ追加メモ。 wiki…

【Rメモ】マルコフ連鎖とPageRank

マーケティングではSTP戦略という手法がよく使われます。マーケティングの第一人者フィリップ・コトラー氏が提唱した代表的な手法。効果的に市場を開拓する為に 1.市場を顧客のニーズごとにセグメント化 2.参入すべきセグメントを選定しターゲットを明確にす…

R changepoint パッケージちょっと試した

よく見ている R-bloggers で R で changepoint パッケージを使ったコードが掲載されていた。(実際のサイトはこちら)変化点検出は、これまでもいくつか書籍やブログ、R勉強会のTokyoRなどで紹介されている。・データマイニングによる異常検知 ChangeFinder…

ネットワーク分析をもうちょっと勉強(実践編)

前回は 竹本先生の資料 や WEBページ を拝見し R で行うネットワーク分析について新たに知ることができた関数、分析手法についてまとめてみた。さっそく Non-overlapping 手法を実務で実践したが早くも壁にぶちあたってしまった。実務で取り扱うデータを分析…

ファイル出力でちょっとハマった

データフレームをファイルに出力する際にちょっとだけハマってしまった。 今までは前に作ったRコードをコピペしていたので無意識に、write.csv 関数を使っていた。それに気づかず、write.table 関数を書いていた。結果を見るとどうもおかしい。コンソールか…

ネットワーク分析をもうちょっと勉強

マーケティング施策や商品開発の糸口を発見する為に購買履歴データでネットワーク分析を行っているのだが、今年に入りノードやエッジの数が多い隣接行列を取り扱うようになってきた。といってもまだまだビッグデータとはいいがたいが。。。cytoscapeにくわせ…

ブログデザインを変えてみた

WEB

いい年になってはてブを始めたのはいいが、書き方などまだまだ分からないことだらけ。 コードなどを残しておきたいと思っていたのでデフォルトのデザインだと横幅がちと狭いぞ~。そこでグーグル先生にお尋ねし、はてブの先輩方を参考にしながらスタイルをカ…

TokyoR#30に参加してきた

R

以前から参加してみたかったTokyoRに参加してきたので個人的な感想をメモメモ。φ(..) ツートまとめはこちら 第30回R勉強会@東京 #TokyoR - Togetter @bob3bob3 さんがまとめてくれています。 1.はじめてのR(@aad34210さん) demo()関数でdemoが見れる。ex)de…

ブログをかこう

背景 メーカーに入社して20年以上すぎた。入社からの10数年はシステム開発部門で生産・販売・物流・会計・人事のシステム開発を行っていた。当時はメインフレームのCOBOLとDBを使っていた。システム開発部門の最期のお仕事はマーケティング、広告宣伝と販売…