来自与京东的省市县数据扩展包-内置爬虫可自行更新-Composer 安装

6月9号高考结束后更新

  1. 加入了乡镇街道
  2. 可以将本地的资源插入数据库,不需要爬虫抓取。开箱即用
  3. 优化了一下命令行的显示和插入速度

php artisan pca:refreshData
您选择从本地文件中载入省市县数据
如果您要强制从京东获取,请执行php artisan pca:refreshData -d jd
已从本地加载数据完毕,共48054条
数据最后更新时间:2019-06-08 22:50:30
正在插入数据库
48054/48054 [▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓] 100%
数据已更新完成
共插入:48054条数据,其中省级行政区:34,城市:457,区县:5171,乡镇街道:42392

每次做新东西,涉及到地址的时候都要写一遍,或者找一个更新的省市县数据包
试过了很多数据来源(国家统计局、网上其他开发者提供的json等)
发现还是会有小部分省市有遗漏。
于是自己做了个,数据是来自于京东,毕竟做电商的,相对来说会更准确、详尽一些。

来自与京东的省市县数据扩展包-内置爬虫可自行更新-composer安装

哈哈哈,发现京东把钓鱼岛也写入进去了。真棒

可以通过composer安装,

安装好了以后,执行一下爬虫,就能获取到京东那边的数据了。

内部自带京东省市县数据爬虫,用户可以自行运行爬取最新的省市县数据

项目地址

https://github.com/aoxiang594/laravel-prov...

安装

composer require aoxiang/province-city-area

添加provider

Aoxiang\Pca\ProvinceCityAreaServiceProvider::class复制到config.phpproviders数组内

生成数据库迁移文件:

php artisan vendor:publish --provider="Aoxiang\Pca\ProvinceCityAreaServiceProvider" --tag="migrations"

执行数据库迁移

php artisan migrate

从京东获取新的省市县数据

php artisan pca:refreshData

来自与京东的省市县数据扩展包-内置爬虫可自行更新-Composer 安装

来自与京东的省市县数据扩展包-内置爬虫可自行更新-Composer 安装

Demo

<?php

namespace App\Http\Controllers;

use Aoxiang\Pca\ProvinceCityArea;
use Illuminate\Routing\Controller as BaseController;

class Controller  extends BaseController{
    public function getProvinceList()
    {
        return response()->json(ProvinceCityArea::getProvinceList());
    }

    public function getCityList()
    {
        ProvinceCityArea::getCityList(1);
    }

    public function test()
    {
        echo ProvinceCityArea::getName(21, 1827, 40847);
        //echo "江西南昌市红谷滩新区";
    }
}

第一次发帖,第一次写轮子,翻迎拍砖~

本帖已被设为精华帖!
本帖由系统于 3年前 自动加精
《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 14

已经star 并且fork,优化了两个地方,提了merge request。 :yum:感谢分享

4年前 评论

@丁海军 感谢大佬优化,当时写的时候,就一直在想能不能truncate来着。还有其他写的不好的地方,大佬随时指正。感谢.

4年前 评论

已 star , 感觉不错. :+1:

4年前 评论

这个 有国外的地址吗?

4年前 评论
aoxiang594 (楼主) 4年前
gyp719 (作者) 4年前

搭车安利一份来自淘宝菜鸟物流的扩展包:wi1dcard/china-divisions,同样带爬虫,支持省市区县街道最大五级数据。

4年前 评论
aoxiang594 (楼主) 4年前
Wi1dcard (作者) 4年前

@gyp719 全球地址可参考来自 Google 的数据:https://github.com/google/libaddressinput/...(英文文档),测试过十分详细。

4年前 评论

我在使用php artisan pca:refreshData -d jd命令时发生一个错误:

  • 我的依赖版本是

    "aoxiang/province-city-area": "^1.2"
  • 错误详情

    https://fts.jd.com/area/get?fid=2667&callback=getAreaList_callbackF&sceneval=2
    解析数据失败.
    
      ErrorException  : Invalid argument supplied for foreach()
    
     at \vendor\aoxiang\province-city-area\src\Commands\RefreshData.php:130
       126|                                         'street_list' => [],
       127|                                     ];
       128|                                     $streetList = $this->getStreet($area['id']);
       129|                                     if ($streetList !== false) {
     > 130|                                         foreach ($streetList as &$street) {
       131|                                             $street['type'] = 'street';
       132|                                             $street['parent_id'] = $area['id'];
       133|                                             $this->line('获取数据成功:'.$province.$city['name'].$area['name'].$street['name']);
       134|                                             unset($street['areaCode']);
    
     Exception trace:
    
     1   Illuminate\Foundation\Bootstrap\HandleExceptions::handleError("Invalid argument supplied for foreach()", \vendor\aoxiang\province-city-area\src\Commands\RefreshData.php")
         \vendor\aoxiang\province-city-area\src\Commands\RefreshData.php:130
    
     2   Aoxiang\Pca\Commands\RefreshData::handle()
         \vendor\laravel\framework\src\Illuminate\Container\BoundMethod.php:29
    
     Please use the argument -v to see more details.
  • 错误原因:id为60398的记录 name 中出现了空格(类似的资源应该有很多加了空格)

    [{"id":52693,"name":"\u57CE\u533A"},{"id":14854,"name":"\u62C9\u65AF\u594E\u9547"},{"id":14855,"name":"\u8096\u5C14\u5DF4\u683C\u4E61"},{"id":14853,"name":"\u7389\u9F99\u5580\u4EC0\u9547"},{"areaCode":"","id":60459,"name":"\u53E4\u6C5F\u5DF4\u683C\u8857\u9053"},{"areaCode":"","id":60583,"name":"\u5410\u6C99\u62C9\u4E61"},{"areaCode":"","id":60642,"name":"\u7EB3\u5C14\u5DF4\u683C\u8857\u9053"},{"areaCode":"","id":60692,"name":"\u4F0A\u91CC\u5176\u4E61"},{"areaCode":"","id":60435,"name":"\u5317\u4EAC\u5DE5\u4E1A\u56ED\u533A"},{"areaCode":"","id":60398,"name":"\ \u5409\u4E9A\u4E61"},{"areaCode":"","id":60352,"name":"\u5974\u5C14\u5DF4\u683C\u8857\u9053"},{"id":60324,"name":"\u53E4\u52D2\u5DF4\u683C\u8857\u9053"},{"areaCode":"","id":60727,"name":"\u53E4\u6C5F\u5DF4\u683C\u4E61"}]
  • 解决方案:过滤字符串中的空格

      public function parseJson($data = '')
      {
          $data = preg_replace('/^getAreaList_callback(\w)\(/', '', $data);
          $data = preg_replace('/\)$/', '', $data);
          $data = preg_replace('/[(\xc2\xa0)|\s]+/','', $data);
    
          $data = json_decode($data, true);
          if (is_array($data)) {
              return $data;
          } else {
              return false;
          }
      }

有点粗暴,但是问题解决了

3年前 评论
aoxiang594 (楼主) 3年前
Liuzhipeng_laravel (作者) 3年前
Liuzhipeng_laravel (作者) 3年前
aoxiang594 (楼主) 3年前
Liuzhipeng_laravel (作者) 3年前

@Liuzhipeng_laravel 我也是 这个报错,你写在了 src 包RefreshData.php 文件下,希望作者能合并呢

3年前 评论
aoxiang594 (楼主) 3年前
Liuzhipeng_laravel 3年前
aoxiang594 (楼主) 3年前

这个 composer 包确实很强大,但是 有个确定,我将这个包用到 laravel-admin ,在编辑查看的时候,很慢很慢,安装了 composer require genealabs/laravel-model-caching 和 composer require spatie/laravel-responsecache:^5.0 ,进行缓存查询SQL 和响应,依旧还是很慢。这个 有什么办法解决吗?

file

3年前 评论
aoxiang594 (楼主) 3年前

6.x 版本已经不支持了哦,6.x 版本的 guzzlehttp/guzzle 现在给我默认安装的是 ^7.0 版本

Problem 1
    - Conclusion: don't install aoxiang/province-city-area 1.2.1
    - Conclusion: remove guzzlehttp/guzzle 7.0.1
    - Installation request for aoxiang/province-city-area ^1.2 -> satisfiable by aoxiang/province-city-area[1.2.0, 1.2.1].
    - Conclusion: don't install guzzlehttp/guzzle 7.0.1
    - aoxiang/province-city-area 1.2.0 requires guzzlehttp/guzzle ~6.0 -> satisfiable by guzzlehttp/guzzle[6.0.0, 6.0.1, 6.0.2, 6.1.0, 6.1.1, 6.2.0, 6.2.1, 6.2.2, 6.2.3, 6.3.0, 6.3.1, 6.3.2, 6.3.3, 6.4.0, 6.4.1, 6.5.0, 6.5.1, 6.5.2, 6.5.3, 6.5.4, 6.5.5, 6.5.x-dev].

然后手动换了 guzzlehttp/guzzle ^6.3:hankey:

3年前 评论
aoxiang594 (楼主) 2年前

安装 "aoxiang/province-city-area": "^1.2", 不能生成迁移文件

2年前 评论
aoxiang594 (楼主) 2年前

楼主,请问可以更新一下扩展吗?已无法适配最新版laravel

2年前 评论
Liuzhipeng_laravel 2年前
Liuzhipeng_laravel 2年前
aoxiang594 (楼主) 2年前

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!