3月 2017
25
Wikipediaを、Deep Learningの学習データとして準備するNo Comments
振り返り 前回、日本語を品詞分解するためにmecabを導入しました。 今回は、学習データとしてwikipediaの日本語データを対象にして、機械学習用のデータを準備しましょう。 ruby環境の準備 wiki...
2月 2017
23
CentOS７上でmecabを使い、日本語の品詞分解するmecabを使いたい やっぱりtwitterを分析対象として扱っているからには、ゆくゆくは日本語を対象に分析したい。 で、日本語を分析するなら、品詞分解が必要となりますね。 英語とかと違い、日本語はどこで単...
2月 2017
18
ElasticSearch ver5で形態素解析した結果がaggrigationできない。実現したいこと 悩みはタイトル通りなのですが、これまでkibana4やElasticSearch4.xで実現できていたことが、ver5でできずに困っていました。 具体的には kibanaのvisualize...
2月 2017
18
麺活監視システム、米国で権威ある音楽チャートBillboardの動きをキャッチ謎に拡散されているURL 2017/02/18、日本は今日も平和です。 平和なので、リアルタイム麵活監視システムを起動します。 んん・・・(。´・ω・)？ ...
2月 2017
18
麺活監視システムにおける、フィリピンの超美人スターの割合フィリピンの美人スターの割合はすごい 先日、フィリピンの超美人スターが来日してラーメンを食べたせいで、麺活監視システムが悲鳴を上げるという事象が発生しました。その追証として、もう一つグラフを描い...
2月 2017
12
フィリピンの超美人スター、麺活監視システムに挑むそれは突然の出来事だった。通常の約10倍のtraffic量。 2017年2月12日の日曜日。 それは冬の、よく晴れた冬のある日の昼前の出来事だった。 リアルタイム麺活監視システムからアラートが飛んできた。 その理由は、通...
2月 2017
04
今週、世界でもっともRTされた麺活のつぶやきRT分析をしてみよう タイトルのままなのですが、、、、、 ご存じ、twitterは一人一人のつぶやきも重要な情報となりますが、 影響力という意味では、誰かのつぶやきのつぶやき、（RT:re-tweet）が、その指標の一つ...
1月 2017
31
リアルタイム麺活監視システムを構築してみたリアルタイム麺活監視システムとは？ 全世界のtwitterのつぶやきをリアルタイムで監視し、その傾向を分析するためのシステムです。 とあるサーバ上で稼働していますが、アカウント制御ができなかったり、操作権限を絞れなかった...
1月 2017
30
elasticsearchのshardとreplicaelasticsearchのパフォーマンス elasticsearchのパフォーマンスが悪く、なんでかなー・・・といろいろ調べていたら、 shardとreplicaがいい感じに設定されていなかったのが一つの原因であった。...
1月 2017
28
Deep Learningで東京電力管内の電力需要を予測する。概要 やっていること 気象庁で公開されている天候情報から、東京電力の電力需要を再現する。 電力需要のデータソース 気象庁のデータソース 横浜の観測情報を使いました。 データの使い方について 上記の2つの情報で、2016/...