楼主: 18192654262
1482 1

[CDA数据分析师学习之路] 给Python做PySpark环境配置 [推广有奖]

  • 9关注
  • 1粉丝

本科生

55%

还不是VIP/贵宾

-

威望
0
论坛币
14462 个
通用积分
10814.2226
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
605 点
帖子
85
精华
0
在线时间
43 小时
注册时间
2019-7-19
最后登录
2022-1-21

楼主
18192654262 在职认证  发表于 2022-1-11 13:39:56 |只看作者 |倒序

+2 论坛币
k人 参与回答

沙巴电竞网址送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

沙巴电竞网址联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

沙巴电竞网址送您两个论坛币!

+2 论坛币
1、pymysql 这块大家前面应该安装过,没有安装的话安装一下
pip install -i https://pypi.douban.com/simple pymysql


2、Googlechrome 安装一下


3、selenium
pip install -i https://pypi.douban.com/simple pymysql  selenium


4、安装gensim
conda install gensim
或者使用
pip install gensim


5、安装 jieba
conda install jieba

pip install -i https://pypi.douban.com/simple pymysql  jieba


6、Windows 安装 spark


-----1)安装 jdk1.8
---------1.1 双击执行默认安装
---------1.2 配置JAVA_HOME环境变量  C:\Program Files\Java\jdk1.8.0_251
---------1.3 配置path环境变量




-----2)  安装Scala2.12
---------2.1  解压缩后放置在非中文、文件名不含空格的路径下
---------2.2  配置SCALA_HOME变量  C:\Users\edz\Desktop\NLP_BigData\Program\scala-2.12.14
---------2.3  配置path环境变量


-----3)安装spark3.0.3
---------3.1  解压缩后放置在非中文、文件名不含空格的路径下


-----4)安装Hadoop Windows版
---------4.1  解压缩后放置在非中文、文件名不含空格的路径下




-----5)将pyspark 与 py4j 模块复制到 python环境中去
----------5.1将SPARK_HOME/python/lib/下的 py4j-0.10.9-src.zip与 pyspark.zip 分别解压
----------5.2解压的方式选择解压到当前路径下即可,以免造成不必要的问题(import 的时候出错)
----------5.3 将解压后的 两个文件夹放到 Anaconda3/Lib/site-packages 这个文件夹中 ,这样就可以使用pyspark的local模式了


相关安装包链接:https://pan.baidu.com/s/1FhVNq8CZ3o0wmMo7zAZwQg
提取码:tyuq


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:python Spark SPAR Park SPA

stata SPSS
沙发
三重虫 发表于 2022-1-13 13:33:50 |只看作者

使用道具

您需要登录后才可以回帖 登录 | 我要注册

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2022-1-25 15:34