updated

沈斌

2018-01-24 be5e76a4e01b9ec36768c880fcc0e5d9b3795c05

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
var mysql = require('mysql');
var moment = require('moment');
var config = require('./config');
 
var pool = mysql.createPool(config.mysql);
 
var start_date = moment().add(-1, 'days').format('YYYY-MM-DD');//'2017-11-11';
var end_date   = moment().add(-1, 'days').format('YYYY-MM-DD');//'2018-01-07';
 
console.log(moment().format('YYYY-MM-DD HH:mm:ss') + " => sync minutely data from " + start_date + " to " + end_date);
 
var days = moment(end_date).diff(moment(start_date), 'days');
for (var i = 0; i <= days; i++) {
    var date_day = moment(start_date).add(i, "days");
    for(var j = 0; j < 24; j++) {
        var date_hour = moment(date_day).add(j, "hours").format("YYYY-MM-DD HH:00:00");
        for(var k = 0; k < 60; k++) {
            var start = moment(date_hour).add(k, 'minutes').format("YYYY-MM-DD HH:mm:00");
            var end = moment(date_hour).add(k+1, 'minutes').format("YYYY-MM-DD HH:mm:00");
 
            fetchDeviceMinutelyData(start, end, days, (i+1)*(j+1)*(k+1));
        }
    }
 
 
function fetchDeviceMinutelyData(start, end, d, t) {
    pool.getConnection(function (err, conn) {
        var devices = {};
        var sql = "SELECT mac, mac_key, avg(mac_value) as avg_val, min(mac_value) as min_val, max(mac_value) as max_val FROM history WHERE time >= '" + start + "' AND time < '" + end + "' GROUP BY mac, mac_key ORDER BY mac";
        //console.log(sql);
        conn.query(sql, function (error, results, fields) {
            if (error) {
                console.log("error1: " + error.message);
                return;
            }
 
            //console.log(start + " : " + end);
 
            results.forEach(function(data) {
                var mac = data.mac;
                var key = data.mac_key;
                var val = data.avg_val;
                if(devices[mac] == null) {
                    devices[mac] = {
                        mac: mac,
                        time: moment(start).format('YYYY-MM-DD HH:mm:00')
                    };
                }
                devices[mac][key] = [val.toFixed(3), data.min_val, data.max_val]
            });
 
            var device_data = [];
            for(var mac in devices) {
                device_data.push(devices[mac]);
            }
 
            if(device_data.length > 0) {
                insertDeviceData(device_data);
            }
 
            conn.release();
 
            if(t == (d+1)*24*60) {
                pool.end();
            }
        });
    });
}
 
function insertDeviceData(docs) {
    var data = [];
    docs.forEach(function(doc) {
        var mac = doc.mac;
        var time = doc.time;
        delete doc.mac;
        delete doc.time;
        data.push([mac, time, JSON.stringify(doc)]);
    });
 
    var connection = mysql.createConnection(config.mysql);
    connection.query("INSERT INTO data (mac, time, json) VALUES ?", [data], function (error, results, fields) {
        if (error) {
            console.log("error2: " + error.message);
            return;
        }
 
        connection.destroy();
    });
}