updated

沈斌

2018-01-08 faee6ac6ffe07e430dcd40d6a2127c17b8295f1b

 create_data.js

@@ -2,11 +2,10 @@
var moment = require('moment');
var config = require('./config');

var pool = mysql.createPool(config.mysql);

var mysqlClient = mysql.createConnection(config.mysql);

var start_date = moment().add(-1, 'days').format('YYYY-MM-DD');//'2017-11-11';
var end_date   = moment().add(-1, 'days').format('YYYY-MM-DD');//'2018-01-03';
var end_date   = moment().add(-1, 'days').format('YYYY-MM-DD');//'2018-01-07';

console.log(moment().format('YYYY-MM-DD HH:mm:ss') + " => sync minutely data from " + start_date + " to " + end_date);

@@ -24,57 +23,61 @@
    }
}

mysqlClient.end();

function fetchDeviceMinutelyData(start, end) {
    pool.getConnection(function (err, connection) {
        var devices = {};
        var sql = "SELECT mac, mac_key, avg(mac_value) as avg_val, min(mac_value) as min_val, max(mac_value) as max_val FROM history WHERE time >= '" + start + "' AND time < '" + end + "' GROUP BY mac, mac_key ORDER BY mac";
        //console.log(sql);
        connection.query(sql, function (error, results, fields) {
            if (error) throw error;
    var devices = {};
    var sql = "SELECT mac, mac_key, avg(mac_value) as avg_val, min(mac_value) as min_val, max(mac_value) as max_val FROM history WHERE time >= '" + start + "' AND time < '" + end + "' GROUP BY mac, mac_key ORDER BY mac";
    //console.log(sql);
    mysqlClient.query(sql, function (error, results, fields) {
        if (error) {
            console.log("error1: " + error.message);
            return;
        }

            //console.log(start + " : " + end);
        //console.log(start + " : " + end);

            results.forEach(function(data) {
                var mac = data.mac;
                var key = data.mac_key;
                var val = data.avg_val;
                if(devices[mac] == null) {
                    devices[mac] = {
                        mac: mac,
                        time: moment(start).format('YYYY-MM-DD HH:mm:00')
                    };
                }
                devices[mac][key] = [val.toFixed(3), data.min_val, data.max_val]
            });

            var device_data = [];
            for(var mac in devices) {
                device_data.push(devices[mac]);
        results.forEach(function(data) {
            var mac = data.mac;
            var key = data.mac_key;
            var val = data.avg_val;
            if(devices[mac] == null) {
                devices[mac] = {
                    mac: mac,
                    time: moment(start).format('YYYY-MM-DD HH:mm:00')
                };
            }

            // console.log(JSON.stringify(device_data));
            if(device_data.length > 0) {
                insertDeviceData(device_data, connection);
            }
            devices[mac][key] = [val.toFixed(3), data.min_val, data.max_val]
        });

        var device_data = [];
        for(var mac in devices) {
            device_data.push(devices[mac]);
        }

        if(device_data.length > 0) {
            insertDeviceData(device_data);
        }
    });
}

function insertDeviceData(docs, connection) {
    var sql = "INSERT INTO data (mac, time, json) VALUES ";

function insertDeviceData(docs) {
    var data = [];
    docs.forEach(function(doc) {
        var mac = doc.mac;
        var time = doc.time;
        delete doc.mac;
        delete doc.time;
        sql += "('" + mac + "', '" + time + "', '" + JSON.stringify(doc) + "'),";
        data.push([mac, time, JSON.stringify(doc)]);
    });
    sql = sql.substr(0, sql.length -1);

    connection.query(sql, function (error, results, fields) {
        if (error) throw error;
    var connection = mysql.createConnection(config.mysql);
    connection.query("INSERT INTO data (mac, time, json) VALUES ?", [data], function (error, results, fields) {
        if (error) {
            console.log("error2: " + error.message);
            return;
        }

        connection.release();
        connection.destroy();
    });
}