跳槽
YoloV5
ACL
PORT和PID区别
nodejs
打包
论文
pthread
risc-v
软件考试
nullptr
android 各 版本
软件工程师
qemu
天线
大学生网页作业
缺陷检测
虚拟化
LIME
Publisher
scala
2024/4/25 18:18:00
Scala对象相等性判断
在scala中，如何判断两个引用变量，是否相等的，是否指向同一个对象实例？ 1、首先，我们来看下scala的AnyRef类 class AnyRef extends Any 类AnyRef是所有引用类型的根类。 具体参考：https://www.scala-lang.or…
Spark常用算子详解
Spark的算子的分类 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另…
Building REST service with Scala
http://sysgears.com/articles/building-rest-service-with-scala/转载于:https://www.cnblogs.com/fight-tao/p/5919997.html
【原创】Kakfa log包源代码分析(二)
八、Log.scala日志类，个人认为是这个包最重要的两个类之一(另一个是LogManager)。以伴生对象的方式提供。先说Log object，既然是object，就定义了一些类级别的变量，比如定义了一个日志文件的后缀名是.log; 索引文件的后缀名是.inde…
基于Spark的机器学习实践 (一) - 初识机器学习
1 导学 1.1 开源大数据技术 1.2 提高竞争力必备 1.3 教程规划 1.7 预备知识 了解大数据相关基础知识熟悉Linux基本命令熟悉Scala语言的编程方法有一定的数学基础1.8 环境参数 Spark : 2.3.0JDK : 1.8IDE : IDEA2 机器学习概述 2.1 机器学习概念 2.2 机器学习发展史 2.3 机器学习…
Scala对象 转Json字符串
2019独角兽企业重金招聘Python工程师标准>>> import org.json4s.{Formats, NoTypeHints}
import org.json4s.jackson.Serialization
import org.json4s.jackson.Serialization.writeobject Json4sDemo {// 需要添加隐式转换implicit val formats: AnyRef with Forma…
利用自动化脚本下载安装scala
文章目录利用自动化脚本下载安装scala1、材料准备2、自动化脚本利用自动化脚本下载安装scala
1、材料准备
联网的linux虚拟机，且网络配置成功安装了文wget工具，如果没有安装使用yum -y install wget进行下载安装机
2、自动化脚本
yum -y remove scal…
2009 CSDN SD2.0大会系列之大会整体印象
2009年参加过几次有一定规模的技术大会，有合作伙伴的，包括百度的技术创新大会，淘宝的TOP发布会，有付费的，像QCon大会，有受邀参加的，CSDN SD2.0大会等。 性质也分两类，淘宝和百度基本…
Scala学习手记1 - 快速体验
又重新开始了scala的学习，因为中断了太长时间，所以这次还得从零开始。学习的过程就记录在这个博客上了。 这次学习的教程是《scala程序设计 java虚拟机多核编程实战》，我在多看上买了电子书。 安装好了scala运行环境以后，先在命令…
scala使用slick查询的全过程(使用cass class)
1. 首先导包 <dependency> <groupId>com.typesafe.slick</groupId> <artifactId>slick_2.10</artifactId> <version>3.1.1</version></dependency>2.配置mysql application.conf mip_common { url "jdbc:mys…
scala中的Tuple的遍历
在IDE中写代码时，发现对于Tuple类型的对象不会提示 for 或者 foreach。 那么如何遍历一个Tuple呢？ 这个方法比较奇特，所以记下一笔。 //不用写Tuple关键字，直接一个圆括号括起来，就表示这是一个tuple了。 scala> va…
Scala当中什么是Transformation和 Action，以及它们俩的区别是什么？
[学习笔记] 一个完整的RDD任务由两部分组成：Transformation和 Action。Transformation用于对RDD的创建，还可以把老的RDD通过Transformation来生成新的RDD。例如，map就 是一种transformation操作，它用于将已有RDD的每个元素传入一个…
scalac:cannot connnect to compile server(idea 编译scala)
idea编译scala报错 解决办法： File->setting->scala compile server （找到jdk填上 ok） 转载于:https://www.cnblogs.com/spicy/p/9650988.html
JavaScript的模板字符串，如何保持多行缩进且去除格式化空格？
JavaScript在ES6标准之后，支持了模板字符串，模板字符串（template string）是增强版的字符串，用反引号（）标识。它可以当作普通字符串使用，也可以用来定义多行字符串，或者在…
大数据分析你不能不懂的6个核心技术
目前，大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整…
scala运算符_Scala没有++或–运算符，如何增加或减少整数？
scala运算符The Scala programming language doesnt support unary operators ( or --). In Scala, the binary operators are used to increment and decrement an integer. Scala编程语言不支持一元运算符( 或- )。 在Scala中，二进制运算符用于递增和递减整数。 …
Java8常用新特性实践
前言： 时下Oracle开速迭代的Java社区以即将推出Java10,但尴尬的是不少小中企业仍使用JDK7甚至JDK6开发。 从上面列出的JDK8特性中我们可以发现Java8的部分特性很明显的是从Scala借鉴过来，其设计目的只要是为了让代码更精简同时使代码可读性更高。本人在实…
安装scala eclipse plugin导致pom.xml editor打开失败
一 问题描述 在本机搭建了基于Scala的Eclipse Pluginscala2.10.3的开发环境, 但打开maven项目pom.xml文件时,却报空指针异常, pom editor打开失败. 查找了网上的一些资料,发现这是scala-ide-play2的一个BUG导致的. 可以参考如下信息: scala-ide-play2 Version 0.4.0.v-2_10-201…
spark读取hdfs数据本地性异常【转】
在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。 一.问题描述 在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是…
kafka入门样例 for java
1，生产者 import java.util.Properties;import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;public class TestProducer { public static void main(String[] args) { Properties props new Pr…
【转】Spark Streaming和Kafka整合开发指南
基于Receivers的方法 这个方法使用了Receivers来接收数据。Receivers的实现使用到Kafka高层次的消费者API。对于所有的Receivers，接收到的数据将会保存在Spark executors中，然后由Spark Streaming启动的Job来处理这些数据。 然而，在默认的配置…
IDEA 2023.2.2 使用 Scala 编译报错 No scalac found to compile scala sources
一、问题 scala: No scalac found to compile scala sources
官网 Bug 链接
二、临时解决方案 Incrementality Type 先变成 IDEA 类型
Please go to Settings > Build, Execution, Deployment > Compiler > Scala Compiler and change the Incrementality type to …
scala中隐式转换之隐式类
/*** Created by root* Description :隐式类：* 1.其所带的构造参数有且只能有一个；并且构造器的参数是转换之前的对象* 2.隐式类必须被定义在类，伴生对象和包对象里* 3.隐式类不能是case class（case class在定义会自动生成伴生对象…
的确，Java存在缺陷。但是……
【编者按】本文作者为资深码农 Tim Spann，主要讲述 Java 让人无法抗拒的众多优点以及一些些缺陷。本文系国内 ITOM 管理平台 OneAPM 编译呈现，以下为正文。 早在90年代中期，笔者在E&Y工作时，就开始使用Java编程，那…
scala 数组模拟队列
package DataStruct
//使用队列实现排队（数组出现越界）
import scala.io.StdInobject QueueDemo {def main(args: Array[String]): Unit {val queue new ArrayQueue(20)var key ""while(true){println("show:表示显示队列")print…
Scala深入浅出实战经典《第89讲：Scala中使用For表达式实现内幕思考》笔记
第89讲：Scala中使用For表达式实现内幕思考Goal：for表达式实现内幕简单思考。。。。Gains：生成器：从集合中取出每个元素，for语句中可以有多个生成器过滤器： 循环满足的条件More：把实例代码跑一遍…
scala集合类详解
对scala中的集合类虽然有使用，但是一直处于一知半解的状态。尤其是与java中各种集合类的混合使用，虽然用过很多次，但是一直也没有做比较深入的了解与分析。正好趁着最近项目的需要，加上稍微有点时间，特意多花了一点时间…
Scala 类型系统编程 有点复杂 ，也是重点
package com.xing.listfile/*** Created by DengNi on 2017/2/12.** Scala类型系统编程实战：* 1，Scala的类和方法、函数都可以是泛型，在Spark源码中可以到处看到类和方法的泛型，在实际实例化的时候指定具体* 的类型ÿ…
scala 写入文件_如何在Scala中写入文件？
scala 写入文件Scala：编写文本文件 (Scala: Write text files) To write text to file in Scala, we have to use the java.io object as it relies on java object for performing some functions. 要在Scala中将文本写入文件，我们必须使用java.io对象&…
大数据系列修炼-Scala课程04
核心内容: 1、Scala数组操作实战详解 知识点: (1)静态数组使用Array进行创建、动态数组使用ArrayBuffer进行创建 (2)用户提供初始值时不要使用new (3)scala中的yield的主要作用是记住每次迭代中的有关值,并逐一存入到一个数组中. 示例程序: scala中数组的常见操作object S…
大数据系列修炼-Scala课程66
大数据系列修炼-Scala课程66 核心内容: 1、Java中的并发编程 2、Scala并发编程实战初体验 1、Java并发编程的问题1、Java中的并发编程基本上满足了事件之间相互独立，但是事件能够同时发生的场景的需要。 2、Java中的并发编程是基于共享数据和加锁的一种机制，即会有一个共享…
大数据系列修炼-Scala课程07
核心内容: 1、Scala辅助构造器实战 2、Scala主构造器实战 1、Scala辅助构造器实战(1)在Java当中,构造函数的名字和类的名字一样,但是在Scala中,构造函数的名字为this (2)任何辅助构造函数必须要调用其他的构造函数才能使用(Java不是) (3)Scala中的辅助构造函数除了以上两点…
大数据系列修炼-Scala课程08
核心内容: 1、Scala内部类实战详解 1、Scala内部类实战代码(1)在Scala中，你几乎可以在任何语法结构中内嵌任何语法结构。你可以在函数中定义函数，在类中定义类。 (2)Java中的内部类是纯属于外部类的,而Scala中的内部类是纯属于外部类对象的,而不属于类本身 (3)在内部类中,…
centos7.6 安装 rlwrap-0.45报 Requires: /usr/bin/python3
centos7
问题概述
方便翻找历史命令
问题原因
解决方案
1、安装python3 ,readline
2、下载 rlwrap-0.45.2-2.el7.x86_64.rpm
安装时报：
[root@opengauss01 ~]# yum -y install rlwrap-0.45.2-2.el7.x86_64.rpm Loaded plugins: fastestmirror Examining rlwrap-0.45.…
Scala和Python有什么区别
Scala和Python都是强大的编程语言，广泛用于各种应用程序。它们有一些相似之处，例如是高级编程语言，但它们也有一些重要的区别。
无论您是初学者还是经验丰富的开发人员，本文都将让您全面了解 Scala 和 Python 之间的主要区别&…
大数据系列修炼-Scala课程10
核心内容: 1、scala中常用语法的两个约定(方法调用与apply方法的使用) 2、class中的apply实战详解 3、object中的apply实战详解 4、apply在伴生类与伴生对象中的实战详解 1、scala中常用语法的两个约定(方法调用与apply方法的使用)Scala 是构建在 JVM 上的静态类型的脚本语…
大数据系列修炼-Scala课程16(1)
核心内容: 1、scala中包的相关概念 1、scala中包的相关概念其实我认为scala中的包与Java中的包在大致功能是相同的:包类似于操作系统中的文件夹,将具有类似功能的类或者相同功能的类放在同一个文件夹里,便于组织与管理.但是scala中的包运用的更加灵活,总结如下: 1>任何地方…
大数据系列修炼-Scala课程25
大数据系列修炼-Scala课程25 核心内容: 1、scala中的柯里化实战解析 1、scala中的柯里化实战解析1>scala中的柯里化指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程.新的函数返回一个 以原有第二个参数作为参数的函数. 2>柯里化可以理解为一个函数可…
大数据系列修炼-Scala课程27
大数据系列修炼-Scala课程27 核心内容: 1、Type模式匹配实战解析 2、Array模式匹配实战实战解析 3、List模式匹配实战解析 4、Tuple模式匹配实战解析 1、scala中模式匹配在具体类型(数组类型、List、元组)中的实际应用实例程序:
object App
{def main(args:Array[String]…
Scala 利用aggregate的简单计算
Scala 利用aggregate的简单计算
设定一个list集合 aa，集合内包含多个Array数组，求list集合的平均值，代码如下：
这里利用scala的元组，先将每个Array里面的总和 以及数值个数分区计算出来，然后再次形成一个…
Scala 数组、集合函数汇总
Scala 数组、集合函数汇总统计
Scala 语言中提供的数组是用来存储固定大小的同类型元素，数组对于每一门编辑应语言来说都是重要的数据结构之一。
声明数组变量并不是声明 number0、number1、…、number99 一个个单独的变量，而是声明一个就像 numbers 这…
spark wordcount—IDEA
2019独角兽企业重金招聘Python工程师标准>>> 1.首先在IDEA中，确认是否存在scala编译工具没有的话去官网下载http://www.scala-lang.org/,下面我们来用scala来写一个wordcount demo 在IDEA建立HelloWord项目，项目为scala项目，然后在…
Akka并发编程——第二节：Actor模型(一）
本节主要内容 定义Actor创建Actor1. 定义Actor 通过扩展akka.actor.Actor 特质并实现receive方法来定义Actor，代码示例如下 //通过扩展Actor并实现receive方法来定义Actor
class MyActor extends Actor {//获取LoggingAdapter，用于日志输出val log Logg…
scala言语基础学习三
map的操作 访问fangwemap元素 修改map元素 遍历map sortmap和linkmap map元素类型tuple 转载于:https://www.cnblogs.com/yaohaitao/p/5619679.html
4.Scala基础—Trait (特质)、模式匹配、偏函数 Collect
本文目录如下：第五章 Trait (特质)5.1 概念5.2 具体写法5.2.1.trait中带属性带方法实现第六章 模式匹配6.1 概念6.2 具体写法6.3 注意点第七章 偏函数(Collect)第五章 Trait (特质)
5.1 概念
Scala中Trait(特质)相当于Java的接口，实际上它比接口还功能…
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节(1)
2019独角兽企业重金招聘Python工程师标准>>> 函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。 1，动手实战Scala高阶函数 声明一个List集合实例： List集合所在的包已经被预定义自动导入，所以此处…
ubuntu安装 scala
1. 配置路径 sudo gedit /etc/profile 2.在文件后面加入 export PATH/home/sendi/scala-2.11.7/bin:$PATH 3.更新 source /etc/profile 4. 查看，输入scala -version sendisendi-Aspire-E1-410G:~$ scala -version
Scala code runner version 2.11.7 -- Copyright 2…
SCALA当的trait
不是特别懂，但感觉和RUBY当中的MIX-IN功能有几分相似，这又扯到了多重继承及JAVA当中的接口虚拟类了。。 package com.hengheng.scalaclass UseTrait {}
trait Logger {def log(msg : String) {println("log : " msg)}
}
trait ConsoleLogger …
Spark中WordCount示例
2019独角兽企业重金招聘Python工程师标准>>> 创建工程 在eclipse中创建一个Scala工程，名为WordCountSpark。 File -> New -> Other -> Scala Wizards -> Scala Project 点击创建 点击Finish创建 在WordCountSpark上点击右键 -> Config…
用cv::Scalar来设置opencv中图片的颜色
1 怎样使用cv::Scalar来设置opencv中的颜色 cv::Scalar的构造函数是cv::Scalar(v1, v2, v3, v4)，前面的三个参数是依次设置BGR的，和RGB相反，第四个参数设置图片的透明度。 2 使用cv::Scalar的规则 当使用opencv提供的库函数imread()、imwrite…
Spark弹性分布式数据集（Resilient Distributed Dataset）
1. 弹性分布式数据集RDD 1.1. RDD概述 1.1.1. 什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点&…
大数据系列修炼-Scala课程30
大数据系列修炼-Scala课程30 核心内容: 1、模式匹配高级实战:嵌套的case class 1、模式匹配高级实战:嵌套的case class1、在模式匹配中使用嵌套case class的原因: 1>因为我们的case class一般只能表述一个item,在我们进行模式匹配的过程中,当我们想表述某一类item的集合的…
大数据系列修炼-Scala课程32
大数据系列修炼-Scala课程32 核心内容: 1、List的基本操作实战 2、基于模式匹配的List排序算法实现 1、List的基本操作实战声明List的三种方式： 1>常见的声明方式：val data = ListInt 2>::(2个冒号)+Nil的方式：val data2 = 10::(20::30::15::Nil) 从整体结构上而…
大数据系列修炼-Scala课程38
大数据系列修炼-Scala课程38 核心内容: 1、List伴生对象操作方法代码实战 1、List伴生对象操作方法代码实战List的object(伴生对象)中常用的方法： 1>apply：构造一个List实例对象 2>range：指定一个范围是左闭右开的List对象，同时可以指定两个元素之间的步长 3>…
大数据系列修炼-Scala课程42
大数据系列修炼-Scala课程42 核心内容: 1、Scala中泛型类、泛型函数、泛型在Spark中的广泛应用 1、Scala中泛型类、泛型函数、泛型在Spark中的广泛应用1>泛型类在声明的时候无须指明具体的数据类型，只有在使用的时候才需要指明具体的数据类型 2>任何数据类型都是Any的…
大数据系列修炼-Scala课程51
大数据系列修炼-Scala课程51 核心内容: 1、Scala中链式调用风格的实现代码实战及其在Spark编程中的广泛应用 1、Scala中链式调用风格操作代码实战1>在scala当中，我们之所以能做到链式编程，是因为我们用了type(即所谓的单例类型)的方式，将一些方法调用串联起来。 2>在…
Scala - PriorityQueue 踩坑之不保序
一.引言
继承 Comparator 实现 PriorityQueue 并且添加元素后，遍历 PriorityQueue 发现元素乱序，于是开始踩坑之旅。首先初始化一个容量为 20 的 PriorityQueue 并添加元素 : val scoreQueue new PriorityQueue[(String, String, Double)](20,new Comp…
大数据系列修炼-Scala课程52
大数据系列修炼-Scala课程52 核心内容: 1、Scala中的路径依赖代码实战 1、Scala中的路径依赖操作代码实战1>内部类可以访问外部类的私有成员的原因：内部类隐含的含有外部类的实例，因为拥有外部类的实例，所有可以访问 外部类的私有成员。 2>Java中的内部类对象是属于…
大数据系列修炼-Scala课程53
大数据系列修炼-Scala课程53 核心内容: 1、Scala中的结构类型实战解析 1、Scala中的结构类型操作代码实战1>结构类型是指一组关于抽象的方法或字段或类型的规格的说明，这些抽象的方法或字段或类型是我们传进的参数或者说 要使用的对象必须具备的：即传进来的参数或对象必…
大数据系列修炼-Scala课程64
大数据系列修炼-Scala课程64 核心内容: 1、Scala中隐式对象操作代码实战 1、Scala中隐式对象操作代码实战1>所谓隐式对象，就是在object对象前面有implicit关键字 2>隐式对象可以作为隐式值进行使用 3>在Scala当中，标注类型的时候可以直接用类和特质的名字来引用其…
大数据系列修炼-Scala课程65
大数据系列修炼-Scala课程65 核心内容:Scala中的隐式转换操作规则与如何更好的使用隐式转换操作代码实战 1、Scala中的隐式转换操作规则与如何更好的使用隐式转换操作代码实战1>Scala中如何更好的使用隐式转换：通过伴生类与伴生对象机制，编译器将会自动导入隐式转换， 而…
大数据系列修炼-Scala课程77
大数据系列修炼-Scala课程77 核心内容: 1、提取器下的模式匹配操作代码实战 1、提取器下的模式匹配操作代码实战1>在模式匹配的过程中，提取器中最重要的方法是unapply方法，unapply方法用于在模式匹配的时候进行消息的提取。 2>用户可以自定义提取器，实现其中的unapp…
大数据系列修炼-Scala课程93
大数据系列修炼-Scala课程93 核心内容: 1、Akka第一个案例动手实战开发消息实体类 1、Akka第一个案例动手实战开发消息实体类
1>MapActor、ReduceActor、AggregateActor、MasterActor的相应作用： MapActor：将收到的消息进行单词切分；Re…
大数据系列修炼-Scala课程96（1）
大数据系列修炼-Scala课程96（1） 核心内容: 1、Akka第一个案例动手实战main方法实现中ActorSystem等代码详解 1、Akka第一个案例动手实战main方法实现中ActorSystem等代码详解1>ActorSystem类似于一个容器，容器里面有很多的Actor实例。 2>Akka的结构类似于一个树结构…
大数据系列修炼-Scala课程63
大数据系列修炼-Scala课程63 核心内容: 1、Scala中隐式类操作代码实战 1、Scala中隐式类操作代码实战1>所谓隐式类就是在普通类的前面加上一个implicit关键字（还要修改主构造器）,scala中的隐式类是对类功能增强的一种形式。 2>scala中的隐式类、隐式函数、隐式参数、…
大数据系列修炼-Scala课程102
大数据系列修炼-Scala课程102 核心内容: 1、通过案例解析Akka中的Actor运行机制以及Actor的生命周期 1、通过案例解析Akka中的Actor运行机制以及Actor的生命周期1、Akka的生命周期从总体上而言分为3个部分： 1>Actor自身资源的初始化工作（prestart），在prestart方法中可…
大数据编程 —— 基于scala编写的 “宽带数据清洗” 项目Demo
宽带数据清洗
1 项目简介
每个用户接入宽带基于ADSL拨号拨号开始上网，当用户输入用户名密码之后验证通过，在AAA服务器就会生成一行日志记录，记录用户当前的操作信息，当用户下线的时候，AAA服务器判断用户断开连接会继…
IntelliJ Idea使用scalatest
背景：作为测试，开发写什么，测试自然就要测什么了，so 无scala基础，人较笨，折腾了两天才把环境弄好，如下： 一 IntelliJ Idea下载安装 这个真心是最简单的了 https://www.jetbrains.c…
下载并安装Scala交互模式教程
下载并安装Scala
首先需要安装Java
Scala是基于Java开发的，如果要使用Scala，需要先安装Java，到官网下载并安装Java Standard Edition即Java SE10.0.1版本，这里下载的是window64位版本JDK，点击打开链接
设置环境变量 …
Scala - IEEE754 浮点标准与 Float / Double 转换
一.引言
上一遍文章介绍了二进制与十进制数字之间的转换，本文介绍现在应用比较广泛的浮点数标准 IEEE754。 二.IEEE754 简介
1.整体介绍
IEEE754 代表二进制浮点算数标准，一般常用的为单精确度32位以及双精确度64位，还有不常用的延伸单精度…
spark在Windows10当中部署搭建Scala的使用环境Maven
在Windows10中搭建部署Scala编写spark的使用环境
在Scala中编写spark的程序，需要安装好Java、spark、hadoop、Scala这些环境才可以，spark、hadoop都是依赖Java的，spark的开发语言是Scala，支持用Java、Scala、python这些语言来编写…
scala学习手记33 - 使用trait进行装饰
在上一节看到了scala的在实例一级的选择性混入就不得不感叹scala在语法上的扩展性。就通过这样一个特性scala简化了很多在java中的编程概念和设计模式。 比如说在java中常用的组合，以及装饰模式。下面看个书中的例子，详细说说如何使用trait进行装饰。 假…
Scala/Java - 本地执行 Unsupported major.minor version 52.0
一.引言
java -classpath xxx.jar yyy.class
在通道机部署本地任务时，执行报错 Unsupported major.minor version 52.0 : 查了其他解决方案主要结论是:
jar 包是在高版本 java 下打包，运行环境是低版本，所以解决方案一种是将打包的 jdk 版…
Scala学习笔记-8
package com.leegh.oop /** * author Guohui Li *//** * 包、类、对象、成员访问权限 * 伴生类，伴生对象访问权限 */package spark { package navigation { private[spark] class Navigator { //private限定了Navigator的可见度，所有spark下的类和对象可…
scala学习手记7 - 运算符重载
从语法上来说scala是没有运算符的。之前的一节里也曾提到过scala的运算符实际上是方法名，如1 2实际上就是1.(2)。我们可以将之视为运算符，是因为scala的一个特性：如果方法的参数小于等于1个的话，那么“.”和括号就都是可选的。 s…
Scala特性: 隐式转换
1.隐式转换特征： 1)隐式参数的用法 获取可能的预期类型 获取预期类型，并且拥有预期类型的行为 对信息进行补充说明（一般用函数做隐式参数的比较多） 2)隐式类： 3)隐式method：转载于:https://www.cnblogs.…
大数据系列修炼-Scala课程104
大数据系列修炼-Scala课程104 核心内容: 1、通过案例解析Akka中的Actor的不同类型的Constructor构造器 1、通过案例解析Akka中的Actor的不同类型的Constructor构造器Actor的构造器分为两种类型：一种是默认的构造器、一种是非默认的构造器；所谓默认的构造器指的是在我们构造具…
大数据系列修炼-Scala课程110
大数据系列修炼-Scala课程110 核心内容: 1、Akka中的Actor的Monitoring初步解析 1、Akka中的Actor的Monitoring初步解析
1>Akka本身是一个分层的消息驱动的框架，Akka中的Actor的Monitoring监控机制与Actor的Supervisor监控机制是不同的，后者更强调树…
scala 访问权限详解
private/protected [包名/类名/this] 即可指定变量的作用域。（this代表只有当前实例（即对象）可以访问） 伴生类和伴生对象中的成员可以相互访问。 class PackageOps_Advanced{import PackageOps_Advanced.power private def canMak…
以航天标准研制，饮冰携三款激光雷达上演价格战？
2019年将开启激光雷达的价格战。 “凡国内企业掌握了某种产品的核心技术，该产品的价格一定会大幅下降。前有光纤激光器、后有液晶屏幕等。” 饮冰科技创始人姜波告诉新智驾，激光雷达市场，也会重复同样的故事。 2017年7月，奥迪A…
【Scala学习】之TRAITS和抽象类
文章目录SCALA TRAITS AND ABSTRACT CLASSESUsing Scala Traits as InterfacesA simple exampleExtending a traitExtending multiple traitsUSING SCALA TRAITS LIKE ABSTRACT CLASSESA first exampleOverriding an implemented methodMixing in multiple traits that have be…
【Scala学习】函数式编程续 case类
文章目录CASE CLASSESWith apply you don’t need newNo mutator methodsAn unapply methodcopy methodequals and hashCode methodstoString methodsThe biggest advantageCASE OBJECTSCase objectsCreating enumerations with case objectsUsing case objects as messagesFUN…
Hadoop专业解决方案-第13章 Hadoop的发展趋势
一、前言： 非常感谢Hadoop专业解决方案群：313702010，兄弟们的大力支持，在此说一声辛苦了，经过两周的努力，已经有啦初步的成果，目前第13章 Hadoop的发展趋势小组已经翻译完成，在此对&…
Scala Abstract Class
2019独角兽企业重金招聘Python工程师标准>>> Scala Abstract Class 抽象类（Abstract Class） scala定义抽象类 抽象类是不能被实例化的一个含有抽象方法的类必须定义成抽象类，也就是使用abstract关键字来定义类抽象类可以有抽象类型…
19【在线日志分析】之sparkdemo.jar运行在yarn上过程
1.将之前打包的jar包上传 [rootsht-sgmhadoopnn-01 spark]# pwd /root/learnproject/app/spark[rootsht-sgmhadoopnn-01 spark]# rz rz waiting to receive. Starting zmodem transfer. Press CtrlC to cancel. Transferring sparkdemo.jar... 100% 164113 KB 421 KB/s…
sbit命令行中运行scala脚本
一般sbit编译器采成了scala运行工具。启动sbit命令行，输入console,命令行自动切换到scala编辑器面。 scala>：paste 然后手动将XXX.scala中的代码拷贝到界面中，粘贴，换行。如果代码无错误，界面显示defined module Te…
Scala中的此关键字
Scala这个关键字 (Scala this keyword) this keyword in Scala is used to refer to the object of the current class. Using this keyword you can access the members of the class like variables, methods, constructors. Scala中的this关键字用于引用当前类的对象。 使用…
idea没有scala选项_Scala中的选项
idea没有scala选项Scala选项 (Scala options) The option is a container that contains one single value which can be one of the two distinct values. 该选项是一个包含一个值的容器，该值可以是两个不同值之一。 One of the two values is none and others ca…
DT大数据 scala 单例 伴生对象
SCALA 单例对象 伴生对象 DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk4013289088#category/type0&qq-pf-topcqq.group 《Scala深入浅出实战初级入门经典视频课程》http://edu.51cto.com/lesson/id-66538.html 《Scala深…
scala初体验2——基础约定
一、你要懂得
1.规则
（1）无分号：scala中如果一行只包含一条语句，那么语句后面可以不加分号；
（2）对象的世界：在scala中，任何类型都是对象。——1.toString() // 返回字符串…
Apache Spark源码走读之16 -- spark repl实现详解
概要 之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？ 既然scala已经提供了repl，为什么spark还…
spark函数sortByKey实现二次排序
最近在项目中遇到二次排序的需求，和平常开发spark的application一样，开始查看API，编码，调试，验证结果。由于之前对spark的API使用过，知道API中的sortByKey()可以自定义排序规则，通过实现自定义的…
Scala - Redis hgetAll 优化 by hscan
一.引言
Redis 实际使用过程中，由于 redis hgetAll 数据量过于大，导致线上 redis 进程堵塞，读取缓慢影响任务执行效率，改用 hscan 优化。 二.Case分析
1.hgetAll 为什么慢
hgetAll 获取指定 key 的全部 hash 结果，时…
Scala 深入浅出实战经典 第85讲：Scala中For表达式的强大表现力实战
高阶函数 filter 源码分析package com.dt.scala.forexpressioncase class Person(name: String, isMale: Boolean, children: Person*)object For_Expressive {def main(args: Array[String]) {val lauren Person("Lauren", false)val rocky Person("Rocky&qu…
Bazel发布Beta版本，增加对Groovy、Rust和Scala语言的支持
Bazel是Googe旗下的一款构建系统工具，六个月前Google将其开源，目前取得里程碑式的进展，发布了其第一个beta版本，增加了对数种语言和技术的支持。\\Bazel是Google用来构建自己项目的内部Blaze系统，在一个巨大的工作空间…
计算机专业及软件开发推荐书籍
计算机专业推荐书籍： 吾不能有名师指导，但求能精选出最好的书籍，从最好的书中学到东西，可有些许补偿。当然，最好能主动寻找良师益友和专业人士的指导。经典的书都有一个特点： 详尽得当，通俗又不…
Node.js v0.10版本发布
Node.js研发团队发布了node.js v0.10版本，它是个基于Javascript、用于构建高性能异步服务器的平台。该版本主要更新如下：更易于使用的数据流处理模块，通过域更好地处理错误，此外还带来了性能方面的提升。该团队还宣布在v0.10之后、…
大数据技术之Spark（三）——RDD序列化
前言：
object Operator_Action {def main(args: Array[String]): Unit {val conf new SparkConf().setAppName("test").setMaster("local[2]")val sc SparkContext.getOrCreate(conf)val rdd sc.makeRDD(List(1,2,3,4))val user new User…
Scala学习笔记——内建控制结构
Scala的内建控制结构包括：if、while、for、try、match和函数调用 1.if表达式 //常见的写法var filename "name"if (!args.isEmpty)filename args(0)//比较简洁的写法var filename1 if (!args.isEmpty) args(0)else "name"//更简洁的写法&…
Flink 1.入门Demo详解
一.引言：
Apach Flink 是全新的流处理系统，在Spark Straming的基础上添加了很多特性，主要在于其提供了基于时间和窗口计算的算子，并且支持有状态的存储和 Checkpoint 的重启机制，下面假设有多个温度传感器持续传输当前温度，Flink流处理需要每一段时间提供该时间段内的传…
Spark广播变量和累加器（示例代码）
默认：Spark应用的算子函数中如果使用到Driver程序定义的变量，则该变量会进行反序列化并且拷贝每一个Task中，Task实际上对拷贝变量副本进行操作。
缺点： 1.内存式计算：拷贝多份相同外部变量，浪费计算节点内…
Scala基础学习-高阶函数
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性。 年与时驰，意与日去…
Scala中 函数的概念 与示例代码
函数是一个右特定功能的代码。
具备三要素：函数名，参数列表，函数体。
def 函数名(参数名:参数类型,....) :返回值类型 {// 函数体
}// main
def main(args:Array[String]):Unit {}// 自定义函数 sum(1,2) 3s
def sum(x:Int,y:Int):Int …
Scala 中的对象（object）和类（class）与示例代码
类（class） 类是对象的模板，主要由方法和属性构成。
声明定义
语法：
class 类名{//属性//方法
}class User{//属性var id;Int 10var name:String "xiaohei"//方法（等同于函数）def sayHi(name…
Scala中的 隐式转换 与示例代码
隐式转换函数指的是以implicit关键字声明的带有单个参数的函数。这样的函数将被自动应用，将值以一种类型转换成另一种类型。隐式转换函数通常不会由用户手动调用，而是由Sacala进行调用。如果要进行隐式转换，则需要对隐式转换函数进行导入&…
Scala 优雅的异常处理之 try 与 Try
Scala 优雅的异常处理之 try 与 Try
java将所有的错误封装为Throwable，Throwable下有两个子类：Error和Exception。scala本质上和java一样，都是运行在jvm上，同理scala也有和java类似的try catch异常处理机制，好处是sca…
Scala Set使用与性能分析
Scala 经常遇到需要去重和取交集的情况，这里对Set简单使用和性能进行分析： val a Set(1,2,3)val b Set(2,3,4)
1.交集 println(a & b)println(a intersect(b))
2.并集 println(a b)println(a | b)println(a.union(b))
3.差集
差集需要注意前后…
Scala 实现Python Arange
使用scala时有arange的需求，但是没有找到相对应函数，只找到了group，sliding函数，于是自己实现一个: 目标：
给定起点，终点和份数，得到arange结果 实现：
计算起始点长度与分类数&…
Scala - 十进制小数(Double)与二进制小数互转
一.引言
Scala 提供了 toBinaryString 的方法，使得 Int 数字可以直接转换为二进制数字，但是小数不支持，下面介绍下如何针对给定小数 (Double) 转换为二进制小数。 二.十进制转二进制
1.十进制整数转二进制
A.官方 API
引言中提到给定 int…
Scala - 日常工具组件
一.引言
开发以 scala 为主，记录一些常见工具组件，不定时持续更新... 二.日常工具组件
1.重复字符
打印标准化日志时使用，用于指定数量的字符。 def repeatString(char: String, n: Int): String List.fill(n)(char).mkString使用: print…
scala 学习笔记(03) 参数缺省值、不定个数参数、类的属性(Property)、泛型初步
继续学习，这一篇主要是通过scala来吐槽java的，同样是jvm上的语言，差距咋就这么大呢？ 作为一个有.NET开发经验的程序员，当初刚接触java时，相信很多人对java语言有以下不爽（只列了极小一部分&…
大数据系列修炼-Scala课程82
大数据系列修炼-Scala课程82 核心内容: 1、Scala中的ListBuffer高效的遍历操作代码实战 1、Scala中的ListBuffer高效的遍历操作操作代码实战1>Scala中的listBuffer可以对List中的元素进行高效的遍历操作，可以有效的解决堆栈溢出的问题和遍历效率过低问题。 场景：将集合中…
zeppelin入门使用
Display System text 默认使用scala语言输出text内容 shell html scala 输出html shell 输出html table scala shell table scala: shell: html: Manual 动态表格 使用表格模板 文本输入格式： 使用 formName模板，使用{formNamedefaultValue} 提供默…
Scala中的Actor入门笔记
核心内容: 1、Java中的并发编程思想与Scala中的并发编程思想 2、Scala中Actor的两种创建方式、Actor中的receive偏函数在进行模式匹配时与传统模式匹配的区别、receive具体的实现过程 3、Scala中的原生线程(即主线程)所在的Actor的获取方式、基于Actor的Case class的消息传递…
SparkOnYarn 调用System.exit(0)状态异常 与 scala获取当前活跃线程
一.引言：
在yarn-cluster模式下运行spark程序时，出现任务结束但是显示程序没有退出的情况，在本地和yarn上尝试System.exit(0)，本地可以正常退出但是在集群模式下无法正常退出并显示Application状态为Failed。 二.本地运行
> …
Intellij 导入play framework 项目
新建一个项目 play new helloworld IshallbeThatIshallbe:~ iamthat$ mkdir temp
IshallbeThatIshallbe:~ iamthat$ cd temp/
IshallbeThatIshallbe:temp iamthat$ ls
IshallbeThatIshallbe:temp iamthat$ play new helloworld__ __ | | __ _ _ _
| _ \| |/ _ | || |
| __/|_…
Spark2.1.0完全分布式环境搭建
1.选取三台服务器（CentOS系统64位） 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上…
Spark-Excel算子
0.写在前面
今天，我打算新开一个专栏，主要用于来总结分享Spark算子，后续内容请关注本专栏Spark算子合集 今天分享的第一篇文章就是利用Spark读取Excel数据。由于最近在做算法标签系统，由于数据打标数据采用Excel进行存储…
Scala---WordCount
一、创建Maven项目导入pom.xml文件
安装Maven仓库管理工具，版本要求是3.2版本以上。新建Maven项目，配置pom.xml。导入必要的包。
二、Spark-Scala版本的WordCount
1.val conf new SparkConf()
2.conf.setMaster("local")
3.conf.setAppNam…
Scala系列——目录
数据类型 ArrayListSeqTupleMapSet 流程控制 if语句for和foreachwhile循环try语句match表达式没有break和continue 函数类和对象 类、字段和方法单例对象 隐式转换和隐式参数等等
大数据系列修炼-Scala课程62
大数据系列修炼-Scala课程62 核心内容: 1、Scala中上下文界定内幕中的隐式参数与隐式转换的操作代码实战 1、Scala中上下文界定内幕中的隐式参数与隐式转换的操作代码实战1>T:Ordering的含义：在上下文界定中说明只要存在T：Ordering，那么就存在一个隐式值，这个隐式值就是…
Spark-Streaming DirectKafka count 案例
Spark-Streaming DirectKafka count 统计跟直接 kafka 统计类似，只不过这里使用的是 Direct 的方式，Direct方式使用的 kafka 低级API，不同的地方主要是在 createDirectStream这里。 统计代码如下 package com.hw.streamingimport kafka.seria…
hive on spark配置
1、安装java、maven、scala、hadoop、mysql、hive 略 2、编译spark ./make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-2.6,parquet-provided" 3、安装spark tar -zxvf spark-1.6.0-bin-hadoop2-without-hive.tgz -C /opt/cdh5/…
Scala中的foreach forall exists map函数及其区别
forall 对集合中的元素进行某个判断，全部为true则返回true，反之返回false。 例如： scala> var s List("hello", "world")
s: List[String] List(hello, world)scala> s.forall( f > f.contains("h"…
大数据系列修炼-Scala课程57
大数据系列修炼-Scala课程57 核心内容: 1、Scala中的依赖注入Dependency Injection操作代码实战 1、Scala中的依赖注入Dependency Injection操作代码实战1>所谓依赖，就是在写程序或者构建系统的时候，我们的程序或者系统往往是由不同的组件组装起来的，而不同的组件之间 …
大数据系列修炼-Scala课程56
大数据系列修炼-Scala课程56 核心内容: 1、Scala中Self Types(this)操作代码实战 1、Scala中Self Types操作代码实战1>每个类本身都有一个this指针，通过this指针可以引用自身的实例；在自身类型当中，self不是关键字,是this的别名， 具有更强的可读性。 2>在Scala当中…
大数据系列修炼-Scala课程58
大数据系列修炼-Scala课程58 核心内容: 1、Scala中抽象类型(Abstract Types)操作代码实战 1、Scala中抽象类型(Abstract Types)操作代码实战1>在Scala当中使用type关键字定义抽象类型，所谓抽象类型就是没有指明具体类型的类型 2>Scala中的抽象类型可以在trait(特质)、…
大数据系列修炼-Scala课程59
大数据系列修炼-Scala课程59 核心内容: 1、Scala中隐式转换初体验实战详解以及隐式转换在Spark中的应用源码解析 1、Scala中隐式转换初体验操作代码实战1>Scala中的隐式转换本质上相当于C语言中的强制类型转换以及Java中的自动装箱技术的应用扩展 2>Scala中隐式转换的由…
Scala/Java - shuffle 数组详解
一.引言
本地使用 spark paralize 数组 rdd 时需要构造一个随机数组，分别使用 java.util 和 scala.util 实现，下面记录下不同的 shuffle 方法以及踩到的坑。 二.java
1.API 错误版 ❌
java.util.collenctions 提供了 shuffle 的方法，支持将…
Spark Submit --files 添加文件
一.引言
当一个分布式任务中一个文件需要在全局使用时，最常见的方法就是使用广播的形式，在dirver端读取随后分发到excutor，这里需要的时间是
1) dirver端读取文件时间
2) 广播分发到各excutor的时间
当文件大小逐渐增加到一个阈值&#x…
记载我的spark源码阅读火花
记载我的spark源码阅读火花知识点：1、seq:列表，适合存有序重复数据，进行快速插入/删除元素等场景,Set是集合，适合存无序非重复数据，进行快速查找海量元素等场景memoryKeys Seq()2、private 声明变量为私有private val…
大数据系列修炼-Scala课程11
核心内容: 1、Scala中的继承问题 2、重写字段代码实例 3、重写方法代码实例 scala中的继承、重写问题1>scala中 extends、final关键字用法Java中相同 2>在Scala当中重写一个非抽象方法必须使用override关键字,即重写方法必须使用override 3>只有主构造器可以调用…
大数据系列修炼-Scala课程15
核心内容: 1、混入特质trait的3种方式 2、多重继承构造器执行顺序 3、基于trait的AOP代码实战 1、混入特质的3种方式以及多重继承构造器的执行顺序1、除了在类定义中混入特质以外，还可以在特质定义中混入特质以及在对象构造时混入特质 (注意:创建对象时混入特质，要重写tr…
Spark MLlib架构解析（含分类算法、回归算法、聚类算法和协同过滤）
Spark MLlib架构解析 MLlib的底层基础解析 MLlib的算法库分析 分类算法 回归算法 聚类算法 协同过滤 MLlib的实用程序分析从架构图可以看出MLlib主要包含三个部分： 底层基础：包括Spark的运行库、矩阵库和向量库； 算法库&…
大数据系列修炼-Scala课程41
大数据系列修炼-Scala课程41 核心内容: 1、List继承体系实现内幕和方法操作源码揭秘 1、List继承体系实现内幕和方法操作源码揭秘在Scala集合内部中的很多实现将涉及到Scala中非常重要的一些特性，这些特性与Java有很大的不同，具体表现为： 1>List本身是一个抽象类，而抽…
Spark 把RDD数据保存到hdfs单个文件中，而不是目录
相比于Hadoop，Spark在数据的处理方面更加灵活方便。然而在最近的使用中遇到了一点小麻烦：Spark保存文件的的函数（如saveAsTextFile）在保存数据时都需要新建一个目录，然后在这个目录下分块保存文件。如果我们想在原有的…
Scala中的s函数
为什么80%的码农都做不了架构师？>>> 刚才看到了Scala中的一个插入器函数s，觉得真好玩，写出来与大家分享。 s是StringContext类的一个简写形式，来看看StringContext的源码 case class StringContext(parts: String*) {…
在Gilt使用Scala、Docker和AWS演化微服务
在2015年Craft大会上，Adrian Trenaman分享了Gilt.com网站的架构演进。Gilt.com的架构从一个使用Ruby on Rails开发的大应用程序开始，现在已经演化成，由很多小应用程序构成的基于云的微服务平台，使用Scala、Docker和AWS来开发和部署…
kettle API - Scala 调用示例
2019独角兽企业重金招聘Python工程师标准>>> object TransDemo extends App {execTrans(args(0)) // ktr文件的全路径def execTrans(fileName: String) {KettleEnvironment.init()EnvUtil.environmentInit();val transMeta new TransMeta(fileName)val trans new…
2011年8月编程语言排行榜%D%A
2011年8月编程语言排行榜 感谢乌帮图的博客的投递 8月4日，Tiobe公布了最新的8月编程语言排行榜，和7月榜单相比，最大变动就数微软的F#了，F#首次进入TOP20 。1至10名中，PHP重返第4，C#则到了第5&#…
《深入理解Scala》——第1章，第1.3节静态类型和表达力
本节书摘来自异步社区《深入理解Scala》一书中的第1章，第1.3节静态类型和表达力，作者［美］Josh Suereth，更多章节内容可以访问云栖社区“异步社区”公众号查看 1.3 静态类型和表达力深入理解Scala开发人员中有一个误解&…
Scala之基础入门
目录 Scala 语言特点：
引入一个知识：
注释：
变量和常量：
1）基本语法
数据类型：
代码块：
比较运算符：
流程控制语句：
（1）if else (2)for…
大数据系列修炼-Scala课程50
大数据系列修炼-Scala课程50 核心内容: 1、Scala中的Variance变化点 1、Scala中可变的(Variance)、协变、逆变的相关概念1>相同的子类关系叫做协变,相反的子类关系叫做逆变 2>逆变or协变指的是A[]这种泛型的数据类型,可变还是不可变指的仍是A[]这种泛型的数据类型 3&g…
Scala 入门(第一章Scala 环境搭建、插件的安装)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 第 1 章 Scala 入门1.1 概述1.1.1 为什么学习 Scala1.1.2 Scala 发展历史1.1.3 Scala 和 Java 关系1.1.4 Scala 语言特点1.2 Scala 环境搭建1.3 Scala 插件安装1.4 HelloWorl…
消息中间件选型分析：从Kafka与RabbitMQ的对比看全局
一、前言 消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存…
Scala从入门到放弃
浏览了一遍官方的介绍性文档，整理此文以飨大家。接下来，我们将要介绍Scala的基本使用，只是介绍其基本使用。
该教程可以做为你如厕时或在地铁上打发时间来用，因为这篇文章足够短。大篇幅的文章会挫败人的学习热情，好的…
Scala型变: 不变、协变、逆变
文章目录Scala型变不变协变逆变完整代码实例对比Java总结Scala型变
Scala 语言中不变、协变、逆变是指拥有泛型的类型，在声明和赋值时的对应关系
不变：声明时泛型是什么类型，赋值时也只能是什么类型
协变：声明时泛型是父类&…
自学scala的第三天——函数式编程
什么是函数式编程？字面意思，就是用函数进行编程，解释起来简单，但是实际肯定不会这么简单，就好比我都已经写了这么久的面向对象编程，你让我写函数式编程，这根深蒂固的面向对象一时半刻还真的无法…
轻松管理项目依赖：深入了解SBT的依赖管理功能
文章首发地址 SBT（Simple Build Tool）是用于构建Scala项目的构建工具。它是Scala生态系统中最常用的构建工具之一，被广泛用于管理和构建Scala项目的编译、依赖管理和测试等方面。
以下是一些关于SBT的重要特点和使用说明：
依赖管…
关于scala macro的example
2019独角兽企业重金招聘Python工程师标准>>> http://www.bbartosz.com/blog/2016/09/24/fun-with-scalameta-examples-part1/ 转载于:https://my.oschina.net/u/2963099/blog/2876250
大数据系列修炼-Scala课程78
大数据系列修炼-Scala课程78 核心内容: 1、Type(类型)与Class操作代码实战 1、Type(类型)与Class操作代码实战1>在Scala当中可以用以下两种方式定义类型: ①定义类、特质或对象 ②直接用type关键字定义类型 在Scala当中，标注类型的时候可以直接用类和特质的名字来引用其…
大数据系列修炼-Scala课程96(2)
大数据系列修炼-Scala课程96(2) 核心内容: 1、Akka第一个案例动手实战代码总结 1、Akka第一个案例动手实战代码总结Akka案例之WordCount完整代码： import akka.actor.*;import java.util.*;/*** Created by hp on 2016/9/29.* 基于Akka框架实现WordCount案例:ActorSystem、Ma…
Scala - 翻转 Map
一.引言
构建 key-value 的 map 时有时也需要同时构建 value-key 的 map，所以需要翻转原始的 key-value map，记录一下几种方法。 val infoMap Map("1" -> "A", "2" -> "B", "3" -> "…
0101idea运行scala-基础入门-scala
1 前言
scala基于不同应用，可以以不同方式运行。本人目前从事Java开发，开发工具idea，这里就介绍idea创建工程运行scala的方式。环境如下：
软件（工具）版本描述scala2.12.11idea2022.3开发工具Javajdk1.8ma…
从.NET中委托写法的演变谈开去（中）：Lambda表达式及其优势
在上一篇文章中我们简单探讨了.NET 1.x和.NET 2.0中委托表现形式的变化，以及.NET 2.0中匿名方法的优势、目的及注意事项。那么现在我们来谈一下.NET 3.5（C# 3.0）中，委托的表现形式又演变成了什么样子，还有什么特点和作…
Clojure的recur尾递归优化探秘
Clojure由于是基于JVM，同样无法支持完全的尾递归优化（TCO)，这主要是Java的安全模型决定的，可以看看这个久远的bug描述。但是Clojure和Scala一样支持同一个函数的直接调用的尾递归优化，也就是同一个函数在函数体的最后调…
Spark - BloomFilter 推导与工业界应用
1.引言
上一篇文章 BitMap 的增删改查 介绍了如何使用 Bit 存储大规模数据以及对数据进行遍历和去重。常规数量的元素去重可以使用 HashSet ，但是受内存原因影响 HashSet 不方便对大批量数据去重，BitMap 的一个重要应用就是 BloomFilter-布隆过滤器&am…
用scala函数取Array列表元组中某元素的最大值、最小值和平均值
用scala函数取Array列表元组中某元素的最大值、最小值和平均值 val arrArray((1,“a”,123),(2,“b”,12),(3,“c”,-50))//id,name,age。需求：用函数取age最大值最小值和平均值。
scala> val arrArray((1,“a”,123),(2,“b”,12),(3,“c”,-50))
scala> a…
大数据系列修炼-Scala课程19
核心内容: 1、正则表达式代码实战 2、正则表达式与模式匹配的代码实战 1、scala中正则表达式应用实战1>正则表达式描述了一种规则,这种规则适用于很多模式的匹配,在数据清洗中很重要 2>正则表达式常用来对输入的字符串进行模式的匹配 3>通过String类的r方法可以构…
Scala挺进TIOBE前50了
source: http://www.tiobe.com/index.php/content/paperinfo/tpci/index.html
从最新5月份的编程语言排名来看，Scala终于挺进去了，不容易，前段时间听说Jams也在用它，看了它是挺适合学究派的，呵呵。
我看好它…
一文学会Scala【Scala一站式学习笔记】
文章目录 为什么要学习Scala语言什么是Scala如何快速掌握Scala语言Scala环境安装配置Scala命令行 Scala的基本使用变量数据类型操作符if 表达式语句终结符循环高级for循环 Scala的集合体系集合SetListMapArrayArrayBuffer数组常见操作Tuple总结 Scala中函数的使用函数的定义函数…
scala如何读取和写入文件内容？
[colorblack][sizelarge]直接看如下代码：[/size][/color]package fileimport java.io.RandomAccessFileimport java.nio.charset.Charsetimport scala.io.Sourceimport scala.reflect.io.{File, Path}/** * Created by qindongliang on 2015/7/17. */object FileOpe…
marathon和mesos的zookeeper数据加密和验证
2019独角兽企业重金招聘Python工程师标准>>> ###zookeeper设置用户验证访问权限 ####首先你要弄明白zookeeper的验证 先给一个例子 #zkCli.sh
create /mynode content digest:user:tpUq/4Pn5A64fVZyQ0gOJ8ZWqkY:cdrwa创建一个节点，给予内容的同时&#x…
jetbrains系列IDE的设置问题
为什么80%的码农都做不了架构师？>>> 在File->settings->editor->code completion 在case sensitive completion中选择none 无视大小写自动提示 不然你得大小写都打对他才会正确提示你代码 在auto import中把勾勾都打上 写scala和java或者py…
Scala知识点总结(上半部分)
深度解析Scala -----------语法精细篇 1.安装Scala： 1.将安装包解压 2.配置环境变量 E:\program\scala-2.11.8 系统变量中配置：变量名：SCAL_HOME 变量值：E:\program\scala-2.11.8 确定 编辑环境变量中：新建 >%SCALA…
Scala入门系列（七）：面向对象之继承
extends与Java一样，也是使用extends关键字，使用继承可以有效复用代码class Person { private var name "leo" def getName name } class Student extends Person { private var score "A" def getScore score } defined class P…
spark Intellij IDEA开发环境搭建
（1）创建Scala项目File->new->Project，如下图 选择Scala 然后next 其中Project SDK指定安装的JDK，Scala SDK指定安装的Scala（这里使用的是IDEA自带的scala SDK)，这里将项目名称命令为SparkWordCount&a…
Functional Program Language(函数式编程语言）
函数式语言(functional language)一类程序设计语言.是一种非冯诺伊曼式的程序设计语言.函数式语言主要成分是原始函数、定义函数和函数型.这种语言具有较强的组织数据结构的能力，可以把某一数据结构(如数组)作为单一值处理;可以把函数作为参数，其结果也可…
RegularExpression
目录 文章背景目录概述基本概念目的特点符号实例说明参考文章版本记录layout: default title: RegularExpression category: [Technology, Java] comments: true --- 文章背景 正则表达式针对提高效率，优化代码，提高安全性方面都有很多用处，因…
获取目标字符串在字符串中第N次出现的位置
/*** 获取目标字符串在字符串中第N次出现的位置* file name* author xiehongwei* date 2017-8-2 下午3:29:09* param source 源字符串* param target 目标字符串* param n 出现位置* return*/public static int getCharacterPosition(String source, String targ…
使用Spark实现词频统计
文章目录 一，词频统计准备工作（一）版本选择问题（二）安装Scala2.12.15（三）启动集群的HDFS与Spark（四）在HDFS上准备单词文件 二，本地模式运行Spark项目…
Scala 中 10 个超赞的集合操作函数
当我处理 Scala 集合时，我会进行两类操作：转换操作和聚合操作。第一种操作类型将集合转换为另一个集合，第二种操作类型返回某些类型的值。
本文我将集中介绍几个日常工作必备的 Scala 集合函数，如转换函数和聚合函数。文章最后&a…
Scala 简易实现jdbc
Scala 简易实现JDBC
实现方法和java类似，不考虑隐式的话，基本上和java没什么区别
package zb.kb11
import java.sql
import java.sql.DriverManager
class homework1{private var driver"com.mysql.jdbc.Driver"private var url"jdbc:m…
利用Idea创建Spark工程以及简单读取文件
文章目录Spark创建工程Spark简介安装scala插件scala sdk配置spark代码Spark创建工程
Spark简介
Spark是一个通用的分布式数据处理引擎。 上面这句话听起来或许很抽象，我们一个词一个词的来解释 **通用：**通用指的是Spark可以做很多事情。刚刚我们提到过…
大数据处理学习笔记1.6 Scala数据结构
文章目录零、本讲学习目标一、数组 (Array)（一）定长数组1、数组定义（1）定义数组时初始化数据（2）定义时指定数组长度，后赋值2、数组遍历（1）传统for循环方式（2&…
Scala主构造器参数是否升级为成员与是否有get/set
1：主构造器前面添加val/var 关键字则升级为类成员，否则只是构造器中的一个参数而已。 2：private 修饰get/set方法权限，private var/val 成员变量，则有get/set方法但是都是私有的方法。 转载于:https://www.cnblogs.com…
Scala中心基金会成立
上周，非盈利基金会Scala中心正式成立，这个基金会由许多出资者共同出资建立，以帮助Scala开发持续发展，并提供基于Scala语言的培训课程。其目标是：\\独立地引导并支持Scala社区 \\ 整合并开发使所有Scala用户受益的开源库…
groovy 简介（基于JVM的脚本语言）
groovy ，[ˈgru:vi ] ,adj. 绝妙的 流行的; groovy是一个基于JVM的脚本语言，可以与java很好地结合、混用。 很好的介绍性文章：http://www.ibm.com/developerworks/cn/education/java/j-groovy/j-groovy.html 1.JVM脚本语言三巨头 可参照&…
jedis使用管道（pipeline）对redis进行读写（使用hmset、hgetall测试）
一般情况下，Redis Client端发出一个请求后，通常会阻塞并等待Redis服务端处理，Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。这有点类似于HBase的Scan，通常是Client端获取每一条记录都是一次RPC调用服务端。在…
zio1升级到zio2踩坑和总结
并不全，记录了一些流程和注意点。新项目建议直接用zio2！ 首先，从1.0迁移到2.0，可以使用官方的scalefix规则完成一部分方法自动替换（迁移主要解决方法重命名，去掉Has）。
然后，添加依…
Scala 高阶函数（二）
一、scala自带高阶函数
概述：可以接收一个函数的函数就是高阶函数，又称为算子
1。map：
将集合中的每一个元素通过指定功能(函数)映射(转换)成新的结果集
val list1 List(1,2,3)
val list2 list1.map(v>v*2)
println(list2) //List…
Scala编程入门基础之OOP官方文档笔记
文章目录Scala类和对象构造器object类枚举模式匹配基本语法模式识别InstanceOf匿名方法Trait泛型型变协变逆变隐式Scala类和对象
类是对象的抽象，对象是类的实例，类是抽象的，不占用内存，而对象是具体的，内存放在堆里。…
判断json格式中是否含有key
1.obj["key"] ! undefined 这种有缺陷，如果这个key定义了，并且就是很2的赋值为undefined，那么这句就会出问题了。 2.if("key" in obj){} 3.obj.hasOwnProperty("key") 转载于:https://www.cnblogs.com/zmc-cha…
Scala语言入门以及基本语法
文章目录 前言1.环境搭建1) IDEA中插件下载2) SDK下载配置 2.基本使用1）var与val的区别2) .基本数据类型3).字符串的基本用法4) 控制结构1) if else2) for 循环3) while循环 5)类6) 函数 前言
scala在一种简洁的高级语言中结合了面向对象和函数式编程。Scala的静态…
Scala包，样例类，样例对象
包，样例类，样例对象 文章目录包，样例类，样例对象1. 包1.1 简介1.2 格式1.3 作用域1.4 包对象1.4.1 概述1.4.2 格式1.4.3 示例1.5 包的可见性1.6 包的引入1.6.1 概述1.6.2 注意事项1.6.3 示例2. 样例类1.1 格式1.2 示例1.3 样例类中…
关于IDEA报错 java.lang.NoSuchMethodError: scala.util.matching.Regex.＜init＞(Ljava/lang/String；Lscala
原因
开始学习Spark的时候，遇到这个问题，经过去网上了解，发现是Scala的版本不一样，与本地的版本不同导致的。
解决办法
首先了解你的Scala的版本，winr输入cmd,输入指令scala,查看Scala版本 了解到Scala的版本之后&a…
【Scala入门】Scala下载及安装（Windows）以及Idea创建第一个scala项目
目录
一、安装准备
二、Scala下载安装
三、Idea 创建Scala项目 一、安装准备 在安装之前，确保你的电脑上装有Jdk 8（Jdk 1.8），且环境变量配置正确。如果没有安装Jdk，请参照其他文章先安装Jdk 8（Jdk 1.8&a…
Scala中Array常用的方法（1）
在scala中，Array有大量的方法。定义一个数组arr后，输入arr.后按下tab，可以得到大量的方法。 合并集合，并返回一个新的数组，新数组包含左右两个集合对象的内容。
var a Array(2,1)
var b Array(3,4)
var c a b
va…
Scala - Iterator 与 Array 内存的思考
一.引言
scala 开发中常常需要遍历数组，一般有 Array 的 foreach 或者使用 Iterator 的 hasNext 和 next 方法进行遍历，小数据量情况下二者使用差别不大，foreach 更便利，但切换到大数据后，二者的性能和运行情况出现较…
idea下打jar包和可执行jar包
2019独角兽企业重金招聘Python工程师标准>>> 参考 https://blog.csdn.net/lzxlfly/article/details/80710861 我将第一个akka程序打包成可执行的jar包，在命令行中通过java -jar unnamed.jar执行时出现： D:\tmp\ideademos\out\artifacts\unnam…
Scala多线程爬虫程序的数据可视化与分析实践
一、Scala简介
Scala是一种多种类型的编程语言，结合了针对对象编程和函数式编程的功能。它运行在Java虚拟机上，具有强大的运算能力和丰富的库支持。Scala常用于大数据处理、并发编程和Web应用程序开发。其灵活性和高效性编程成为编写多线程爬虫程序的理…
大数据系列修炼-Scala课程46
大数据系列修炼-Scala课程46 核心内容: 1、scala中ClassTag、Manifest、ClassManifest、TypeTag的具体应用 1、scala中ClassTag、Manifest、ClassManifest、TypeTag的具体应用1>泛型T在编写与编译的时候不能确定出具体的数据类型，但是虚拟机在运行的时候必须要指定出T具体…
转载：浅谈 Scala 中下划线的用途
Scala 作为一门函数式编程语言，对习惯了指令式编程语言的同学来说，会不大习惯，这里除了思维方式之外，还有语法层面的，比如 underscore（下划线）就会出现在多种场合，令初学者相当疑惑&…
Scala中的case class
本文的内容源于对Scala官网关于case class的教程的翻译。
CASE CLASSES
Case classes are like regular classes with a few key differences which we will go over. Case类适合作为模式固定的数据模型。在教程的下一章，我们将会看到case类在模式匹配（…
FunDA（15）－ 示范：任务并行运算 - user task parallel execution
FunDA的并行运算施用就是对用户自定义函数的并行运算。原理上就是把一个输入流截分成多个输入流并行地输入到一个自定义函数的多个运行实例。这些函数运行实例同时在各自不同的线程里同步运算直至耗尽所有输入。并行运算的具体函数实例数是用fs2-nondeterminism的算法根据CPU内…
Scala 深入浅出实战经典 第62讲：Scala中上下文界定内幕中的隐式参数实战详解...
王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典（1-87讲）完整视频、PPT、代码下载： 百度云盘：http://pan.baidu.com/s/1c0noOt6 腾讯微云：http://url.cn/TnGbdC 360云盘：http://yunpan…
在scala中使用spark sql解决特定需求
spark sql一个强大之处就是能够嵌在编程语言内执行，比如在java或者scala，Python里面，正是因为这样的特性，使得spark sql开发变得更加有趣。 比如我们想做一个简单的交互式查询，我们可以直接在linux终端直接执行spark s…
聊聊flink Table的ScalarFunction
为什么80%的码农都做不了架构师？>>> 序 本文主要研究一下flink Table的ScalarFunction 实例 public class HashCode extends ScalarFunction {private int factor 0;Overridepublic void open(FunctionContext context) throws Exception {// access &…
Deis发布1.4版本，支持Microsoft Azure
Deis是一个开源的、轻量级PaaS，基于Docker和CoreOS构建，旨在使用户在自己的服务器上部署和管理应用程序更简单。它可以部署任何可以在Docker容器中运行的应用程序或服务。另外，它还包含针对Ruby、Python、Node.js、Java、Clojure、Scala、Pla…
Scala学习(五)---面向对象
文章目录 1.Scala面向对象的构造器1.1 主构造器和从构造器(辅助构造器)1.2 主构造器参数 2.继承2.1 抽象属性和方法2.2 匿名子类 1.Scala面向对象的构造器
1.1 主构造器和从构造器(辅助构造器)
//主构造器
class ConstructorTest(name:String) {//主构造器调用val name1:Stri…
【Idea】IntelliJ IDEA 2023版本，.java文件报 no scalac found to compile scala sources问题
maven install没问题，新版本idea中编译则报错。
原因应该是新旧版本对Scala Compiler的调用逻辑有差异。造成的，因为同样的工程，在旧版本里可以正常编译。
解决方法
Settings > Build, Execution, Deployment > Compiler > Scala…
Eclipse的下载、安装和WordCount的初步使用（本地模式和集群模式）
包括： Eclipse的下载 Eclipse的安装 Eclipse的使用 本地模式或集群模式 Scala IDE for Eclipse的下载、安装和WordCount的初步使用（本地模式和集群模式） IntelliJ IDEA的下载、安装和WordCount的初步使用（本地模式和集群模式&a…
第 7 章 集合-----Scala集合继承图
7.1.1 不可变集合继承图 7.1.2 可变集合继承图 7.2.3 不可变数组与可变数组的转换 7.7.6 复杂 WordCount 案例
1）方式一
object TestWordCount {def main(args: Array[String]): Unit {// 第一种方式（不通用）val tupleList List(("H…
第25讲: Scala中柯里化实战详解
柯里化是将原来需要多个参数的函数，转换成只需一个参数(第一个参数)，并且函数的返回值是一个函数，该函数的参数是原函数的除第一个参数以外的参数。我们来看如下例子：def mul(x : Int , y : Int) x * y定义了一个乘法运算的函数&…
讨喜的隔离可变性(十)使用Transactor
Akka transactor或事务角色为我们提供了一种将多个角色的执行过程合并到一个事务中的方法。顾名思义，transactor可以将多个角色对于托管STM Ref对象的更改变成原子操作，即仅当外围事务提交成功之后，对于那些托管对象的变更才能生效࿰…
好文转载—为程序员量身定制的12个目标
英文原文：12 resolutions for programmers 对程序员们来说挑战自我非常重要，要么不断创新，要么技术停滞不前。新年伊始，我整理了 12 个月的目标，每个目标都是对技术或个人能力的挑战，而且可以年复一年循环使…
【多线程与高并发应用】1、借助addShutdownHook和线程的join方法优雅的退出while(true)循环(Scala实现)
addShutdownHook 是jvm中的关闭钩子。当程序退出时，会执行添加的shutdownHook线程。其中shutdownHook是一个已初始化但并没有启动的线程，当jvm关闭的时候，会执行系统中已经设置的所有通过方法addShutdownHook添加的钩子，当系统执行…
Yarn Clinet模式运行spark报错问题
应用场景 安装部署完完全分布式的spark后，发现yarn-cluster模式可以运行不报错，但是yarn-client报错，无法进行计算PI的值，导致spark并不能使用，报错信息如下所示，只需要修改yarn的配置即可！ 操作…
AML与PIO整合问题
要想把PIO引擎封装成AML组件，面临如下问题（逐渐补充）： 1）版本不兼容 内容项AMLPIO选型兼容？JDK1.71.81.8是SPARK1.6.12.1.1 HADOOP2.7.32.7.3 scala2.11.82.11.82.11.8 gwt2.5.0 Elasticsearch 5.5.2 …
Scala版本的WordCount
[sizelarge]在处理搜索的同义词数据时遇到一个问题，本来是由数据人员人工整理好的数据，发我直接使用，后来发现发我的数据里面总是存在点问题，也难怪了
2000行x5列条左右的数据，让人工去比对，若不是细心的人…
Scala下划线用法总结
Scala是一门以java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。scala 单作为一门语言来看， 非常的简洁高效，在Scala中存在很多让代码更加简洁的语法，下划线“_”便是其中一…
Zookeeper 集群+kafka集群+kafka manager搭建
软件需求，软件包都上传到 /usr/local/src目录：jdk-8u101-linux-x64.tar.gzkafka.2.11-0.8.22.tar.gzzookeeper-3.4.9.tar.gzkafka-manager-1.3.0.7.zip* kafka-manager是通过scala打包获取一个编译完的项目，需要提前编译好,参考 https://gith…
30个常见的大数据面试题，让你的薪资提升一个等级。大家快来看看吧！
经历了水深火热的大数据学习，终于拨开云雾见天明了，但你离成功总是还差了一步，那就是拿到大数据工程师的Offer。 在电脑旁奋斗了无数个日夜，代码敲了无数遍，项目整改了无数遍，只为了得到一份自己满意的高薪…
Spark源码之通信环境
Spark通信通信组件RpcEndpoint，RpcEnv，RpcEndpointRef，RpcAddressTransportServer,TransportClient,Outbox,Inbox,DispatcherDriver端Executor端通信组件
为了了解spark的通信环境，我们需要了解它的主要组件。
RpcEndpoint&…
如何在jupyter notebook裡運行Spark及Scala
如何在jupyter notebook裡運行Spark及Scala前言安裝套件創建Kernel spec啟動jupyter notebook測試Scala參考連結前言
本篇譯自：How to run Scala and Spark in the Jupyter notebook，文中介紹了從安裝套件、創建Kernel spec，到啟動jupyter n…
scala内建控制结构
一、条件表达式
（一）语法格式 - if (条件) 值1 else 值2（二）执行情况
条件为真，结果是值1；条件为假，结果是值2。如果if和else的返回结果同为某种类型，那么条件表达式结果也是那种类…
Apache Spark 2.2.0 中文文档 - Spark SQL, DataFrames and Datasets Guide | ApacheCN
Spark SQL, DataFrames and Datasets Guide Overview SQLDatasets and DataFrames开始入门 起始点: SparkSession创建 DataFrames无类型的Dataset操作 (aka DataFrame 操作)Running SQL Queries Programmatically全局临时视图创建DatasetsRDD的互操作性 使用反射推断Schema以编…
Scala.js：将Scala编译为JavaScript的编译器
Scala.js是一款将Scala代码编译为JavaScript代码的编译器，该编译器支持全部Scala语言特性。借助于Scala.js，开发者能够使用Scala开发从前端到后端的Web应用，而且Scala.js还带来了在服务器和客户端之间复用代码的可能性。Scala.js值得关注的特…
使用Perl脚本编写爬虫程序的一些技术问题解答
网络爬虫是一种强大的工具，用于从互联网上收集和提取数据。Perl 作为一种功能强大的脚本语言，提供了丰富的工具和库，使得编写的爬虫程序变得简单而灵活。在使用的过程中大家会遇到一些问题，本文将通过问答方式，解答一些…
大数据系列修炼-Scala课程97
大数据系列修炼-Scala课程97 核心内容: 1、Intelli IDEA开发第一个Scala程序步骤详解 1、Intelli IDEA开发第一个Scala程序步骤详解1>将Intellgent IDEA的scala插件:scala-intellij-bin-2016.2.1.zip添加到Intellgent IDEA的plugins文件夹下，不用解压。 2>通过File–&…
搭建Eclipse+Spark开发环境
1）下载安装Eclipse
2）安装Scala IDE for Eclipse插件和Maven插件 3）验证安装是否成功 3.1）创建maven project 3.1）配置pom.xml文件，添加依赖
大数据系列修炼-Scala课程106
大数据系列修炼-Scala课程106 核心内容: 1、Akka中的消息的不同发送方式详解 1、Akka中的消息的不同发送方式详解1>在Akka中，从类型上而言，有两种消息的发送方式： 第一种方式：消息发送之后立即忘记，即给一个Actor发送消息，然后就立即返回。至于对应的Actor是否给你回…
纠错帖：Zuul Spring Cloud Gateway Linkerd性能对比
为什么80%的码农都做不了架构师？>>> 原文：http://www.itmuch.com/spring-cloud-sum/performance-zuul-and-gateway-linkerd/ ，转载请说明出处。 动机 已经不止一次看到“Spring Cloud Gateway性能比Zuul更差”的言论了࿰…
【转载】play framework 2.0 实战（5）- tomcat部署
2019独角兽企业重金招聘Python工程师标准>>> play framework 2.0 暂时不支持打包成war 。对于要部署到tomcat 还是有一定麻烦的，但是在git上还是有支持打包的方法。github.com/dlecan/play2-war-plugin 本文参考了使用指南进行了一次部署。下面是相关过…
scala做wordcount
/**
*scala 做简单的wordcount
*/val list List("bigdata han hello ", "bigdata han aaa aaa aaa ccc ddd uuu")
val result list.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(s > (s._1,s._2.size))
Scala偏函数、部分函数、模式匹配、样例类以及接口
文章目录Scala OOP偏函数部分函数模式匹配样例类样例类的方法1 apply方法2 toString方法3 equals方法4 hashCode方法5 copy方法实例接口（混入）Scala OOP
偏函数
偏函数可以提供了简洁的语法，可以简化函数的定义。配合集合的函数式编程&…
Scala if Statements and for Loop
2019独角兽企业重金招聘Python工程师标准>>> Scala if Statements and for Loop Scala if Statements scala 中的 if 和其它编程语言中不同的一点是 if 表达式的返回值。比如下面这样， val configFilePath if (configFile.exists()) {configFile.getAbs…
Spark开发之wordCount（学习笔记）
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性。 年与时驰，意与日去…
Scala基础学习-语言基础
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性。 年与时驰，意与日去…
02 Scala基础语法
一、注释
scala 注释 Java注释 (注释方式和Java中一样)
//单行注释/*
多行注释*//*** 文档注释*/两种人”最讨厌“： 1.要求让我写注释的人 2.接手别人代码，发现代码没有写注释的人 二、标识符
标识符命令规则，基本和Java中标识符规则一致…
HBase 写入数据（Scala代码）
代码如下》》 package Flink_HBase_APLimport org.apache.hadoop.hbase.{HBaseConfiguration, TableName}
import org.apache.hadoop.hbase.client.{ConnectionFactory, Put}
import org.apache.hadoop.hbase.util.Bytesobject this_one {def main(args: Array[String]): Unit…
Java 8 Optional类深度解析（转）
文章转于：https://www.cnblogs.com/xingzc/p/5778090.html 思考： 调用一个方法得到了返回值却不能直接将返回值作为参数去调用别的方法。 原来解决方案： 我们首先要判断这个返回值是否为null，只有在非空的前提下才能将其作为其他方…
使用AKKA做分布式爬虫的思路
上周公司其它小组在讨论做分布式爬虫，我也思考了一下。提了一个方案，就是使用akka分布式rpc框架来做，自己写master和worker程序，client向master提交begin任务或者其它爬虫需求,master让worker去爬网页,worker都是kafka的同一个gro…
Catalyst揭秘 Day8 Final 外部数据源和缓存系统
Catalyst揭秘 Day8 Final 外部数据源和缓存系统 今天是Catalyst部分的收官，主要讲一些杂项内容。 外部数据源处理 什么叫外部数据源，是SparkSql自己支持的一些文件格式，以及一些自己自定义格式的文件开发。 让我们从文件的读取api开始&#x…
Scala101-JupyterNoteBook环境配置win
想在JupyterNotebook中执行scala的原因是为了方便笔记和快速调试代码 找了蛮久，下面的可行
环境
环境:windows10python :Anacondaspark:spark-2.4.4-bin-hadoop2.7.tgzhadoop:hadoop-2.7.0.tarscala:scala-2.11.12
安装
本地要安装好上述环境，有问题…
Scala implicit implicit基本含义
Scala implicitimplicit基本含义在Scala中有一个关键字是implicit， 之前一直不知道这个货是干什么的，今天整理了一下。 我们先来看一个例子： def display(input:String):Unit println(input)我们可以看到，display函数的定义只是接…
Scala 关于Json 解析问题技巧
Json 格式是一种常见的格式，在NoSQL关系型数据库中比较常见，但是NoSQL与关系型数据库相比，SQL一般无法被使用，所以通常采用解析的方法。Scala中正好有这个包，如果有大规模数据，可以再Spark上部署。但是大数…
IDEA中scala广播变量 asScala报错
转载：asScala报错
解决方案：
在当前报错的类
import scala.collection.JavaConversions._
代码中的asScala就可能不标红了，如果标红，就直接去掉，我的是去掉就不报错了！！！被这个坑…
如何在Scala中打破循环？
Loops in Scala: A loop is a statement that can execute a block of code multiple times based on some condition. Scala中的循环：循环是一个语句，可以根据某些条件多次执行代码块。 In Scala, there are three types of loops, 在Scala中ÿ…
Scala学习(六)---apply方法和单例对象
文章目录 1.Apply方法2.单例模式 1.Apply方法
Scala中实例化一个类，可以不用new ， 其原因 其实就是 apply 方法 apply方法的调用约定： 用括号传递给类实例或者单例对象名一个或者多个对象的时候 scala会在对应的类或者对象中查找apply方法 且…
【知乎】Java书单
有时间主要看看格局之外的书和Java之外的那几本，Java书这么多，我肯定也看不过来，浪潮之巅正在看，挺好的.. 作者：老刘链接：https://www.zhihu.com/question/29581524/answer/684872838来源：知乎著…
Gradle介绍和配置
文章目录概述Gradle提供了什么Groovy和Java的关系安装和配置Windows环境Gradle官网 官方文档 github库 概述
Gradle是一个基于Apache Ant和Apache Maven概念的项目自动化构建开源工具。
读法： 英式音标：[ɡreɪdl] 美式音标：[ɡredl]
它使…
如何避免Java中的NullPointerException？
避免NullPointerException (Avoiding NullPointerException ) NullPointerException is when we assign a null value to an object reference. NullPointerException是当我们为对象引用分配空值时。 It may raise NullPointerException when a program attempts to use an obj…
Spring框架介绍
2019独角兽企业重金招聘Python工程师标准>>> 总结 看了几周spring相关框架的书籍和官方demo，是时候开始总结下这中间的学习感悟。 首先，最想说的是，当你要学习一套最新的技术时，官网的英文文档是学习的最佳渠道。因为网…
StructuredStreaming Sink
StructuredStreaming Sink
Output Modes append 默认追加模式, 将新的数据输出，只支持简单查询 complete 完整模式，支持聚合和排序 update 更新模式，支持聚合不支持排序，没有聚合和append一样
下面这段操作，有聚合…
Scala的数组，元组，列表，集，映射（Map），迭代器(iterator)
文章目录1. 数组1.1 概述1.2 定长数组1.2.1 特点1.2.2 语法1.2.3 示例1.3 变长数组1.3.1 特点1.3.2 语法1.3.3 示例一: 定义变长数组1.3.4 示例二: 增删改元素1.4 遍历数组1.5 数组常用算法2. 元组2.1 格式2.2 示例2.3 访问元组中的元素3. 列表3.1 不可变列表3.1.1 特点3.1.2 语…
scala字符串ip转long类型
//将ip的字符串转换为一个Longdef ip2Long(str: String): Long {val fields: Array[String] str.split("\\.")var ipNum 0Lfor (field <- fields) {//ipNum ipNum * 256 field.toLongipNum field.toLong | ipNum << 8}ipNum}
提高程序员职场价值的10大技巧(转)
开发技巧No. 1：博客 建立自己的博客，每月至少发布一篇文章。做点研究，因为只有自己亲身经历过，才能言之有物，不会听上去像吹牛皮。学会如何写文章，像以前你的老师教的那样：列大纲，描…
MAC配置 chisel3环境运行FIRRTL
1. Mac 安装 homebrew
参考：Mac os 解决brew找不到问题_简单同学的博客-CSDN博客
2. 安装 Scala
可以从 Scala 官网地址 Install | The Scala Programming Language 下载 Scala 二进制包，本教程我们将下载 2.13.0版本，如下图所示…
Scala中的If判断WhileFor循环
If 判断: 1 object TestScalaIf {2 def main(args: Array[String]): Unit {3 4 // val resutlt judge1(-100)5 // println(resutlt)6 7 val resutlt2 judge2(100)8 println(resutlt2)9 }
10 /*
11 * scala中不存在三元运算符，使…
tensorflow中的batch_normalization实现
tensorflow中实现batch_normalization的函数主要有两个： 1）tf.nn.moments 2）tf.nn.batch_normalization tf.nn.moments主要是用来计算均值mean和方差variance的值，这两个值被用在之后的tf.nn.batch_normalization中 tf.nn.moments…
Flink / Scala - 2.DataSource 之 DataSet 获取数据总结
一.引言 数据源创建初始数据集，这里主要以 DataSet 数据源为例，例如从文件或者从 collection 中创建，后续介绍 DataStreaming 的数据源获取方法。创建数据集的机制一般抽象在 InputFormat 后面，这里有点类似 spark 的 sparkContext，Flink 的 ExecutionEnvironment 也提供了…
大数据系列修炼-Scala课程20
核心内容: 1、本地函数代码实战 2、作为一等公民的函数代码实战 1、scala中的本地函数1>本地函数即内部函数,在一个函数内部定义的函数叫做本地函数,本地函数可以使用外部函数的形式参数,本地函数是外部函数的私有函数,外部其余成员不可以进行访问 def f()={def g()={}}
…
大数据系列修炼-Scala课程33
大数据系列修炼-Scala课程33 核心内容: 1、List的一阶函数操作代码实战详解 1、List的一阶函数操作代码实战详解所谓一阶函数就是函数的参数不是函数，而是普通的变量；所谓高阶函数就是函数的参数是函数，此时认为函数是高阶函数 List集合中常用的方法： 1>List中常用的…
大数据系列修炼-Scala课程47
大数据系列修炼-Scala课程47 核心内容: 1、Scala中的多重界定代码实战及其在Spark中的应用源码解析 1、Scala中的多重界定核心重点总结在Scala当中，类型变量涉及到很多内容，比如：类型变量的上下界(<:上界 >:下界)、视图界定(T<%V)、上下文界定(T:V)等，然而这些 …
大数据系列修炼-Scala课程35
大数据系列修炼-Scala课程35 核心内容: 1、scala中List的map、flatMap、foreach、filter操作代码实战 1、Scala中List的map、flatMap、foreach、filter操作代码实战1>map就是对集合中的所有元素执行一个具体的函数，将函数作用在数值上，并返回一个新的集合结果 2>flat…
第三章：lambda表达式
本文是学习Java8,参考JAVA8 IN ACTION这本书，学习整理以及自己的总结,推荐这本书； 1:Lambda 表达式 前篇文章讲到,使用匿名类来表示不同的行为并不令人满意：代码十分啰嗦，这会影响程序 员在实践中使用行为参数化的积极性。在本章中…
scala解析命令行参数
如何用scala解析命令行参数：
首先，需要在项目中添加Apache Commons CLI库的依赖。可以在build.sbt文件中添加如下行：
libraryDependencies "commons-cli" % "commons-cli" % "1.4"
import org.apache.comm…
阿里云构建Kafka单机集群环境
简介 在一台ECS阿里云服务器上构建Kafa单个集群环境需要如下的几个步骤： 服务器环境JDK的安装ZooKeeper的安装Kafka的安装1. 服务器环境 CPU： 1核内存： 2048 MB (I/O优化) 1Mbps操作系统 ubuntu14.04 64位 感觉服务器性能还是很好的ÿ…
196.Spark（三）：RDD 行动算子，序列化，依赖关系，持久化，分区器，累加器，广播变量
目录
一、RDD 行动算子
1.reduce
2.collect
3.count
4.first
5.take
6.takeOrdered
7.aggregate
8.fold
2018年Github最受欢迎机器学习语言Python稳坐冠军，numpy、scipy是最受欢迎软件包...
在 GitHub 2018 年的 Octoverse 报告中，机器学习和数据科学是 GitHub 上的热门话题。其中，tensorflow / tensorflow 是项目贡献最多的项目之一，pytorch / pytorch 是增长最快的项目之一，而 Python 是 GitHub 上第三大最受欢迎的语…
Scala：初识贷出模式（Loan Pettern）
再一次读到 Scala 中的“贷出模式（Loan Pattern）”这个术语，这才比上次稍了解一些。我的理解，此一模式大概是说，对于那些资源密集（resource-intensive）型对象的使用应该使用这一模式。 使用这一…
scala的方法体的最后一句话就是函数的返回值
def sum(args: Int*) {var result0for(arg <- args) resultargresult}sum(1,2,3)转载于:https://www.cnblogs.com/liuye-micky/p/6910479.html
大数据的一些相关知识介绍
什么是大数据 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的定义是4Vs…
以Akka为示例，介绍Actor模型
许多开发者在创建和维护多线程应用程序时经历过各种各样的问题，他们希望能在一个更高层次的抽象上进行工作，以避免直接和线程与锁打交道。为了帮助这些开发者，Arun Manivannan编写了一系列的博客帖子，在目前总共六篇帖子中&#x…
Scala学习(八)---Scala继承
Scala继承 摘要: 在本篇中，你将了解到Scala的继承与Java和C最显著的不同。要点包括： 1. extends、final关键字和Java中相同 2. 重写方法时必须用override 3. 只有主构造器可以调用超类的主构造器 4. 你可以重写字段 在本篇中，我们只探讨类继承…
Scala005--Scala中的数据结构【集合】之数组
Scala中的数据结构和Java中一样，都有数组，列表，集合，映射。在Scala中与Java不同的是数组可以有可变数组，而不是一旦定义就不可以进行更改。我们来认识数组，并使用相应的代码去查看具体的实现效果。
目录
…
【Spark分布式内存计算框架——Spark SQL】1. 快速入门
第一章 快速入门
Spark 2.0开始，应用程序入口为SparkSession，加载不同数据源的数据，封装到DataFrame/Dataset集合数据结构中，使得编程更加简单，程序运行更加快速高效。
1.1 SparkSession 应用入口
SparkSession&…
![windows本地开发Spark[不开虚拟机]](https://img-blog.csdnimg.cn/a75e70f97c4b41be9ca4e040f9bfa151.png)
windows本地开发Spark[不开虚拟机]
1. windows本地安装hadoop
hadoop 官网下载 hadoop2.9.1版本
1.1 解压缩至C:\XX\XX\hadoop-2.9.1
1.2 下载动态链接库和工具库 1.3 将文件winutils.exe放在目录C:\XX\XX\hadoop-2.9.1\bin下
1.4 将文件hadoop.dll放在目录C:\XX\XX\hadoop-2.9.1\bin下
1.5 将文件hadoop.dl…
【Spark分布式内存计算框架——Spark SQL】10. External DataSource（上）数据源与格式
第六章 External DataSource
在SparkSQL模块，提供一套完成API接口，用于方便读写外部数据源的的数据（从Spark 1.4版本提供），框架本身内置外部数据源： 在Spark 2.4版本中添加支持Image Source（图…
大数据处理学习笔记1.7 Scala类与对象
文章目录零、本节学习目标一、类（一）类的定义（二）类的实例化二、单例对象（一）单例对象概念（二）案例演示三、伴生对象（一）伴生对象概念（二…
IDEA 内用mvn编译scala文件；scala插件scala-maven-plugin
1. scala-maven-plugin
这个插件是用来让maven能够编译、测试、运行scala项目的，使用文档参考scala-maven-plugin 2. 使用插件
在pom中加入如下配置: <plugin> <!--将scala文件编译到class文件中， maven中进行开发--> …
每日问题记录20171114
spark-shell要打印一个string变量的全部怎么办？ spark-shell如果打印一个string变量，会阶段，需要使用println(xx)才能打印出全部的数值 spark-sql如何写入数据到hive中？ 先创建一个List，然后使用List来创建DataFrame&…
Flink DataStream 流处理 APi
文章目录Flink DataStream 流处理 APi一、创建执行环境1、getExecutionEnvironment2、 createLocalEnvironment3、createRemoteEnvironment二、执行模式(Execution Mode)三、触发程序执行四、源算子（Source）Flink DataStream 流处理 APi
一个 Flink 程序…
Structured Streaming简介
文章目录Structured Streaming 简介Spark Streaming vs. Structured Streaming计算模型Batch modeContinuous mode容错机制Batch mode 容错Continuous mode 容错Watermark 机制Structured Streaming 简介
Spark Streaming vs. Structured Streaming
Spark Streaming
Spark S…
Sparkstreaming读取Kafka消息再结合SparkSQL，将结果保存到HBase
亲自摸索，送给大家，原创文章，转载注明哦。 import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat
import org.apache.spark.SparkConf
import org.apache.spark.sql._
import org…
一零四八、Spark数据清洗 模块C：数据清洗与挖掘分析(4)
项目背景说明
餐饮外卖平台的核心价值体现在配送，而配送的价值则依赖于商家与客户的双向选择。外卖平台通常会通过内容激活消费者和商家两个群体的活跃度。消费者会参考平台展示的内容选择商家，商家也会以消费者评价与平台统计数据为依据调整策略&#…
Gradle入门安装
[sizemedium]
Gradle是一款非常简洁的项目构建工具，相比ant和maven的繁琐的xml配置，gradle提供了非常简洁的命令，而这正得益于它的底层语言Groovy，目前在Android的项目的中，几乎都是使用的gradle来管理项目，…
java对象转变为map
直接上代码 package com.**.**.**.common;import com.**.**.**.util.JsonUtils;
import org.springframework.beans.BeanUtils;
import org.springframework.util.ReflectionUtils;import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;public class Clas…
第4章 流程控制-if-else,Switch,For循环（循环守卫，循环步长，倒叙打印），While循环，多重循环...
第 4 章 流程控制-if-else,Switch,For循环(循环守卫，循环步长，倒叙打印)，While循环，多重循环 4.1 分支控制 if-else 让程序有选择的的执行，分支控制有三种：单分支、双分支、多分支 4.1.1 单分支 1)基本语法…
sparkStreaming的transformation和action详解
根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类TransformationsWindow OperationsJoin OperationsOutput Operations一、Transformations1、map(func)map操作需要传入一个函数当做参数…
《Java核心技术 卷1 基础知识（原书第9版）》（完整中文版）.pdf
下载地址：网盘下载 内容简介 Java领域最有影响力和价值的著作之一，拥有20多年教学与研究经验的资深Java技术专家撰写（获Jolt大奖），与《Java编程思想》齐名，10余年全球畅销不衰，广受好评。…
第2章-变量字符串输出，键盘输入
第 2 章 变量字符串输出，键盘输入 2.1 注释 Scala 注释使用和 Java 完全一样 注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来，再用代码去体现。 1)基本语法 (1)单行注释：// (2)多行注释：/* */ (3)文档…
《循序渐进学Spark》一第1章
本节书摘来自华章出版社《循序渐进学Spark》一书中的第1章，第1.1节，作者 小象学院 杨 磊 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第1章 Spark架构与集群环境 本章首先介绍Spark大数据处理框架的基本概念，然后介绍Spar…
Scala中的偏函数与部分应用函数
Scala中有PartialFunction的概念, 同时还要一个概念叫Partial Applied Function. 前者译作偏函数, 后者译作"偏应用函数"或"部分应用函数", 一字之差, 差距很大. 首先偏函数是个数学概念, 偏函数不是"函数"的一种, 而是一个跟函数平行的概念. Sc…
spark新能优化之序列化
概叙： 在任何分布式系统中，序列化都是扮演着一个重要的角色的。如果使用的序列化技术，在执行序列化操作的时候很慢，或者是序列化后的数据还是很大，那么会让分布式应用程序的性能下降很多。所以，进行Spark性…
基于Spring Boot和Spring Cloud实现微服务架构学习
总结 看了几周Spring相关框架的书籍和官方demo，是时候开始总结下这中间的学习感悟。 首先，最想说的是，当你要学习一套最新的技术时，官网的英文文档是学习的最佳渠道。因为网上流传的多数资料是官网翻译而来，很多描述的…
执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client
1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client，错误如下所示： 18/04/22 09:28:22 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Yarn application has already ended! It might hav…
Kafka+Spark Streaming+Redis实时计算整合实践
2019独角兽企业重金招聘Python工程师标准>>> 基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象…
sparksql jdbc数据源
用的本地模式,pom.xml中添加了mysql驱动包,mysql已经开启,写入的时候发现用format("jdbc").save()的方式发现会有does not allow create table as select的异常,于是去官方文档上发现了使用jdbc()的方式,测试 正常,说明下Properties是java.util.Properties java 1 pu…
【Spark】Spark学习笔记
本文意在收集整理网络上对Spark讲解比较好的博文，希望能发挥一个“Spark字典”的作用。
先列出一个比较好的入门级Spark教程：厦门大学数据库实验室的Spark教程。
厦门大学Spark入门教程（Scala版）
Scala菜鸟教程 第一部分&#…
Programming In Scala笔记-第十九章、类型参数，协变逆变，上界下界
本章主要讲Scala中的类型参数化。本章主要分成三个部分，第一部分实现一个函数式队列的数据结构，第二部分实现该结构的内部细节，最后一个部分解释其中的关键知识点。接下来的实例中将该函数式队列命名为Queue。 一、函数式队列 函数式队列是一…
Java10 新特性
Java 10 新特性 这次发布的 Java 10，新带来的特性并不多。 根据官网公开资料，共有 12 个 JEP(JDK Enhancement Proposal 特性加强提议)，带来以下加强功能： JEP286，var 局部变量类型推断。 JEP296，将原来用…
自学Scala的第四天——去leetcode上刷刷题，顺便学学基础语法
通过漫山遍野的寻找，依旧找不到学习scala的方向，突然想到了leetcode，不知道上面支不支持scala，记得最早学习java时候，是在上面一顿刷题，一顿操作，先不说别的，至少语法什么的是学到了…
Scala学习之爬豆瓣电影
简单使用Scala和Jsoup对豆瓣电影进行爬虫，技术比較简单易学。写文章不易，欢迎大家採我的文章，以及给出实用的评论，当然大家也能够关注一下我的github；多谢。 1、爬虫前期准备 找好须要抓取的链接：https://m…
spark中使用partitioner
2019独角兽企业重金招聘Python工程师标准>>> import org.apache.spark._
import SparkContext._
import org.apache.spark.SparkConf
import java.util.Date
import java.text.SimpleDateFormat
import org.apache.hadoop.io.Text
import org.apache.hadoop.mapred.…
提交任务到spark（以wordcount为例）
1、首先需要搭建好hadoopspark环境，并保证服务正常。本文以wordcount为例。 2、创建源文件，即输入源。hello.txt文件，内容如下： tom jerry
henry jim
suse lusy 注：以空格为分隔符 3、然后执行如下命令： ha…
RxJava入门指南
RxJava是 ReactiveX 在JVM上的一个实现，ReactiveX使用Observable序列组合异步和基于事件的程序。更多关于ReactiveX的资料，可以查看 ReactiveX 介绍 页面。 RxJava介绍 RxJava 是轻量级的 RxJava尽力做到非常轻巧。它仅关注Observable的抽象和与之相关的…
大数据开发语言Scala（二）——集合的基本属性和常用操作
一、集合简介1.1 集合简介1）Scala的集合有三大类：序列Seq、集Set、映射Map，所有的集合都扩展自Iterable特质。2）对于几乎所有的集合类，Scala都同时提供了可变和不可变的版本，分别位于以下两个包不可变集合…
Java中的访问修饰符
访问修饰符使用来修饰属性和方法的访问范围 访问修饰符本类同包子类其他privateYes 默认YesYes protectedYesYesYes publicYesYesYesYesjava中，允许外部类访问内部类的私有成员，这在scala中是不允许的。 转载于:https://www.cnblogs.com/langren1992/…
Scala里面如何使用break和continue
好多从Java转过来使用Scala的人会发现Scala里面竟然没有break和contine关键字，其实不是这样的，Scala里面推荐使用函数式的风格解决break和contine的功能，而不是一个关键字。 如何在Scala中实现break和continue呢？ (1)break例子
b…
Intellj IDEA +SBT + Scala + Spark Sql读取HDFS数据
[sizelarge]前提Spark集群已经搭建完毕,如果不知道怎么搭建，请参考这个链接：
[url]http://qindongliang.iteye.com/blog/2224797[/url]注意提交作业，需要使用sbt打包成一个jar，然后在主任务里面添加jar包的路径远程提交即可&#…
补充——spark RDD序列化和持久化
RDD序列化
闭包检查： 从计算的角度来看，算子以外的代码都在Driver端执行，算子里面的代码都是在Executor端执行。那么在scala函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果，如…
Flink之时间和窗口
Flink中的时间和窗口
在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一 般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的 窗口计算。所以窗口和…
scala递归与优化
目录 递归实现阶乘计算递归优化【尾递归】 递归实现阶乘计算
object Lambda {def main(args: Array[String]): Unit {def fact(n: Int): Int {if (n 0) return 1fact(n - 1) * n}}
} 这样处理虽然可以实现，但显然会出现一个问题，如我计算1024的…
Gatling的进阶一
转载：http://www.51testing.com/html/10/26810-852966.html 首先 抄袭一个Gatling的介绍 Gatling是一款基于Scala 开发的高性能服务器性能测试工具，它主要用于对服务器进行负载等测试，并分析和测量服务器的各种性能指标。Gatling主要用于测量…
Spark技术内幕：Sort Based Shuffle实现解析
在Spark 1.2.0中，Spark Core的一个重要的升级就是将默认的Hash Based Shuffle换成了Sort Based Shuffle，即spark.shuffle.manager 从hash换成了sort，对应的实现类分别是org.apache.spark.shuffle.hash.HashShuffleManager和org.apache.spark.…
ggplot2画中地图
闲着无聊，画着玩~还是实际工作中能够用到，才会更加熟悉。 还是要专注更重要的部分，这些当做消遣和游戏吧 主要参考资料： 刘万祥老师的新浪博客 R语言中文社区的知乎专栏 发现一个坑：bou2_4p.dbf、bou2_4p.shx、bou2_4p…
集群搭建之Spark配置要点解析
注意点： 安装Spark前先要配置好Scala运行环境。Spark和Scala需要在各个机器上配置。环境变量配置 在~/.bashrc中添加如下的配置信息。#scala conf
export SCALA_HOME/usr/local/src/scala-2.11.8
export PATH$PATH:$SCALA_HOME/bin#spark conf
export SPARK_HOME/us…
自学scala的第一天——先看看基础语法
背景
由于项目需要，不得不学习一下scala，对于一名程序员来说，语言根本不是问题（才怪！），当然最后用不用还是要看上面人的要求，于是就简单的学习一下吧，俗话说兵马不动粮草…
Spark——JDBC操作MySQL
文章目录JDBC操作MySQLJDBC读取数据方式JDBC读取MySQL数据JDBC操作MySQL
在实际的企业级开发环境中，如果数据规模特S别大，此时采用传统的SQL语句去处理的话一般需要分成很多批次处理，而且很容易造成数据库服务宕机，且实际的处理过…
【Scala学习】之Tuples和OOP 示例
文章目录A FEW MISCELLANEOUS ITEMSTUPLESA few more tuple detailsReturning a tuple from a methodTuples aren’t collectionsAN OOP EXAMPLEA few classesAdding behavior to PizzaAdding behavior to OrderTesting those classesExperiment with the code yourselfA FEW M…
【Scala学习】之SCALA 集合类
文章目录SCALA COLLECTIONSThe main Scala collections classesTHE ARRAYBUFFER CLASSMore ways to work with ArrayBufferTHE LIST CLASSCreating ListsAdding elements to a ListHow to remember the method namesHow to loop over listsA little bit of historyTHE VECTOR C…
Scala06 数据结构
Scala06 数据结构
6.1 数组
存储数据类型相同的元素
6.1.1 数组定义
6.1.1 不可变数组
格式：
val arrnew Array[T](数组长度)[T] : 是指顶数组所存放数组的类型，T表示泛型，如果希望存放任意数据类型，则指定Any。 案例&#…
Flink学习:WaterMark
WaterMark一、什么是水位线?二、案例分析三、如何生成水位线?(一)、在SourceFunction中直接定义Timestamps和Watermarks(二)、自定义生成Timstamps和Watermarks一、什么是水位线?
通常情况下,由于网络或系统等外部因素影响,事件数据往往不能及时传输至Flink系统中,导致数据…
Win10配置Scala环境
目录
一 配置jdk环境
二 配置scala环境
1 配置scala环境变量
2 IDEA配置scala环境
2.1 增加Scala插件 2.2 配置IDEA Scala环境 一 配置jdk环境
scala依赖于jvm,略
二 配置scala环境
1 配置scala环境变量 下载Scala，解压后放入某一位置
Scala 2.12.11 | …
大数据系列修炼-Scala课程111
大数据系列修炼-Scala课程111 核心内容: 1、Akka中的Actor中用become和unbecome动态切换receive的具体处理逻辑实战 1、Akka中的Actor中用become和unbecome动态切换receive的具体处理逻辑实战 1>Akka中的Actor在具体处理业务时有一个非常有用的特性，可以动态切换Actor的业…
大数据系列修炼-Scala课程108
大数据系列修炼-Scala课程108 核心内容: 1、Akka中的Actor消息的处理、消息的回复、消息的转发 1、Akka中的Actor消息的处理、消息的回复、消息的转发1>在Actor当中，消息的处理一般都是通过receive中的偏函数+模式匹配的方式进行处理的。 2>在Akka当中，若要回复消息给…
大数据系列修炼-Scala课程103
大数据系列修炼-Scala课程103 核心内容: 1、通过案例解析Akka中的Actor的定义和创建 1、通过案例解析Akka中的Actor的定义和创建
1>对于Actor来说，可以通过ActorSystem的方式来创建Actor，也可以通过Actor去创建其它的Actor，此时Actor之间…
大数据系列修炼-Scala课程100
大数据系列修炼-Scala课程100 核心内容: 1、使用SBT开发Akka第一个案例源码解析消息、main入口、MasterActor 1、使用SBT开发Akka第一个案例源码解析消息、main入口、MasterActor1>ActorSystem是整个Akka的监控容器体系。 2>mapActor ! message语法中消息的发送者是mai…
Scala 一文搞定
第一节：概述为什么学习Scala ?Apache Spark 是专为大规模数据快速实时处理的计算引擎/内存级大数据计算框架。Apache Spark 是由Scala 语言编写。Scala 与Java 关系总结三点:java 编译器与Scala 编译器可以相互使用。Java SDK 的类库可以被Scala使用，Sc…
Spark SQL笔记整理（一）：Spark SQL整体背景介绍
基本概述 1、Spark 1.0版本以后，Spark官方推出了Spark SQL。其实最早使用的，都是Hadoop自己的Hive查询引擎；比如MR2，我们底层都是运行的MR2模型，底层都是基于Hive的查询引擎。 2、后来Spark提供了Shark；再后…
Scala入门系列（十一）：模式匹配
引言模式匹配是Scala中非常有特色，非常强大的一种功能。类似于Java中的switch case语法，但是模式匹配的功能要比它强大得多，switch只能对值进行匹配，但是Scala的模式匹配除了可以对值进行匹配之外，还可以对类型进行匹配…
Spark Streaming（WordCount、Window、ForEachRDD练习）
Spark Streaming WordCount 使用 netcat 工具向 8888 端口不断的发送数据，通过 SparkStreaming 读取端口数据并 统计不同单词出现的次数
import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming…
【Scala---01】Scala 基础 『 变量和数据类型 | 控制语句 | 函数式编程』
文章目录 1. 变量和数据类型1.1 变量和常量1.2 字符串1.3 数据类型1.4 伴生对象与伴生类1.5 代码块1.6 Unit、null、Nothing1.7 强制转换1.8 与 equals 2. 控制语句2.1 分支语句2.2 循环语句（1）for循环（2）while/do-while循环&…
使用Scala集成开发环境
一、搭建Scala的IntelliJ IDEA开发环境
（一）启动IDEA
（二）安装Scala插件
启动IDEA，在欢迎界面中选择Configure→Plugins命令
在上方的搜索框中搜索scala关键字 单击绿色的【Install】按钮，安装完毕&am…
记录一次scala项目导入编译失败的问题
文章目录 Scala项目环境问题记录小结 Scala项目环境 Java8 scala-2.11.12 MacBook Apple m2芯片 问题记录
1、scala版本安装 我的本地环境：
➜ ~ java --version
openjdk 11.0.18 2023-01-17
OpenJDK Runtime Environment Homebrew (build 11.0.180)
OpenJDK 64-…
Intellij IDEA编写Spark应用程序的环境配置和操作步骤
本文介绍如何在win系统中使用IDEA开发spark应用程序，并将其打成jar包上传到虚拟机中的三个Ubuntu系统，然后在分布式环境中运行。
主要步骤包括：
安装Scala插件：在Intellij IDEA中安装Scala插件，并重启IDEA。创建Mave…
基于案例贯通Spark Streaming流计算框架运行源码7
2019独角兽企业重金招聘Python工程师标准>>> 先贴下案例源码 import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Durations, StreamingContext}object StreamingWordCountSelfScala {def main(args: Array[String]) {val sparkConf new Spark…
AverageMeter一个用来记录和更新变量的工具
之前使用过很多次，也没有做很好的记录，这次记录下来。AverageMeter可以记录当前的输出，累加到某个变量之中，然后根据需要可以打印出历史上的平均 这个class是一种常用的工具 该class内容如下 class AverageMeter(object):def __in…
作为大众熟知的电商应用，京东如何构建风控体系架构？
作为大众熟知的电商应用，京东是如何构建坚挺的风控体系架构？如何优化数据的计算和存储？如何基于设备做智能识别的？本文由京东技术专家王美青对以上问题进行解读。 风控技术体系介绍 风控技术架构 上图是风控技术架构图，…
《Scala机器学习》一一1.2 去除分类字段的重复值
本节书摘来自华章计算机《Scala机器学习》一书中的第1章，第1.2节,作者：[美] 亚历克斯科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.2 去除分类字段的重复值 请准备好数据集和电…
Scala大数据开发
版权声明
本文原创作者：谷哥的小弟作者博客地址：http://blog.csdn.net/lfdfhl Scala简述 在此，简要介绍 Scala 的基本信息和情况。
Scala释义
Scala 源自于英语单词scalable，表示可伸缩的、可扩展的含义。
Scala作者
Scala编…
jdk版本过高导致Cerebro无法启动
错误信息
Oops, cannot start the server.
com.google.common.util.concurrent.UncheckedExecutionException: java.lang.IllegalStateException: Unable to load cache itemat com.google.common.cache.LocalCache$Segment.get(LocalCache.java:2051)at com.google.common.ca…
【SpinalHDL快速入门】4.1、基本类型之Bool
Tips1： 由于SpinalHDL是基于Scala构建的，Scala本身自带类似变量Boolean，故在此要认准SpinalHDL中采用的是Bool而非Boolean：
Bool（大写的True和False）：True表示1，False表示0Boolean&…
RedMonk 6 月编程语言排行：Java 第二，Kotlin 未入榜
RedMonk 发布了 2017 年 6 月（Q3）的编程语言排行榜：JavaScript 依然稳居榜首，Java 紧随其后；然后是 Python、PHP 和 C＃；C 跌出前 5 降至第 6 ；Ruby 出现新低，排名第 8 &…
大数据系列修炼-Scala课程81
大数据系列修炼-Scala课程81 核心内容: 1、List类型约束中逆变、协变、下界的相关知识操作代码实战 1、List类型约束中逆变、协变、下界的相关知识
1> List集合中的 : : 方法返回的是上界的类型. 2>在Scala当中，集合分为可变集合与不可变集合. 实例程序1…
Scala的foldLeft与foldRight详解
foldLeft与foldRight是特质TraversableOnce定义的高阶函数，直译过来为向左折叠和向右折叠。具体实现如下摘出的代码所示：
trait TraversableOnce[A] extends Any with GenTraversableOnce[A] {deprecated("Use foldLeft instead of /:", &quo…
大数据系列修炼-Scala课程54
大数据系列修炼-Scala课程54 核心内容: 1、Scala中复合类型实战详解 1、Scala中复合类型操作代码实战1> A extends B with C with D 的语法含义：A类型是一个复合的数据类型，既是B又是C又是D的子类型，即要求A既具有 B、又具有C、又具有D的功能。Java中的语法解读不同于此…
《Scala in action》学习笔记
2019独角兽企业重金招聘Python工程师标准>>> 请参考我的博客 https://barudisshu.github.io 项目代码 http://git.oschina.net/Barudisshu/Scala-Tutorial 转载于:https://my.oschina.net/Barudisshu/blog/818378
大数据系列修炼-Scala课程45
大数据系列修炼-Scala课程45 核心内容: 1、Scala中Context界定代码实战及其在Spark中的应用源码解析 1、Scala中Context界定操作代码实战在视图界定中(T<%V)，T到V实际上存在着一个隐式的转换，但是这个用法看起来有点麻烦，所以我们引出上下文界定 1>[T:Ordering]的含…
Mysql 窗口函数
一, MySQl 8.0 窗口函数 窗口函数适用场景: 对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好, 注意, 是每一条!! 因为MySQL的普通聚合函数的结果(如 group by)是每一组只有一条记录!!! 可以跟Hive的对比着看: 点我, 特么的花了一晚上整理, 没想到跟Hive 的基本…
Spark---并行度和分区
Spark之并行度和分区 文章目录Spark之并行度和分区并行度和分区集合数据源分区文件数据源分区默认分区数指定分区数文件分区数量的计算方式并行度和分区
默认情况下，Spark 可以将一个作业切分多个任务后，发送给 Executor 节点并行计算，而能 …
【Scala】模式匹配
目录 模式守卫 匹配常量 匹配类型 匹配数组 匹配列表 方式1： 方式2： 匹配元组 扩展用法 for推导式模式匹配 匹配对象及样例类 样例类 for 表达式中的模式匹配 偏函数 来源： Scala 中的模式匹配类似于 Java 中的 switch 语法模式匹配语法中&a…
2016企业开发趋势：Lightbend关于JVM开发者的调查
Lightbend最近调查了2100个JVM（包括Java和Scala）开发者，进行了以下研究：\\开发趋势和IT基础设施趋势之间的相互关系。 \\ 各家公司在怎样用最新技术实现他们的应用程序。 \\ 新兴技术的实际生产使用率统计分析。\报告全文题为&…
利用akka模拟Spark的Master与Worker通信
利用akka模拟Spark的Master与Worker通信 文章目录利用akka模拟Spark的Master与Worker通信Master与Worker通信过程消息类Master实现Worker实现总结Spark是一个基于内存计算的大数据处理框架，它提供了一个独立部署模式（Standalone），…
Scala函数调用省略点号和括号
2019独角兽企业重金招聘Python工程师标准>>> Scala函数调用省略点号和括号 省略括号 如果一个方法不用接受参数，你可以无需括号就定义它。调用者也必须不加括号地调用它。如果你加上了空括号，那么调用者可以有选择地加或者不加括…
Spark1.0.0 分布式环境搭建
软件版本号例如以下： Hostname IP Hadoop版本号 Hadoop 功能 系统 master 192.168.119.128 1.1.2 namenode jdk1.6hadoopscala2.9.3spark1.0.0 centos4.9 slave1 192.168.119.129 1.1.2 datanode jdk1.6hadoopscala2.9.3spark1.0…
scala函数等号省略
例1: 此时没有写返回值,但是有等号,函数会自己推断返回值,此时的返回值是Int def add(x:Int, y:Int) { xy}例2: 此时没有写返回值,也没有等号,无论函数内部有没有返回值,返回值都是Unit def add(x:Int, y:Int){ xy}转载于:https://www.cnblogs.com/cxhfuujust/p/9894429.html
CDH5.12.1添加spark2.2.0服务
2019独角兽企业重金招聘Python工程师标准>>> 最新的CDH安装包中spark版本为1.6，不过对于勇于尝鲜的同学，官方也提供了spark2的升级包，在CDH中spark1和spark2可以共存，但是由于scala版本的兼容性问题，建议只…
Spark shell的原理深入研究
Spark shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这个工具。Spark shell使得用户可以和Spark集群交互，提交查询，这便于调试，也便于初学者使用Spar…
SparkSQL列数量比较多引发的Too many arguments in method signature in class file问题
SparkSQL列数量比较多引发的Too many arguments in method signature in class file问题 1. 问题描述2. 解决办法3. 原因简单剖析4. 其他解决方案 1. 问题描述
我在写一个Spark程序的时候，做两个表的关联，其中一个表为feature表，一共有96个特…
10 个惊艳的 Ruby 单行代码
10 个惊艳的 Ruby 单行代码 有人想出了Scala的10个单行代码例子。然后CoffeeScript版本迅速崛起，于是我想到发布一个Ruby版本的。我觉得Ruby的语法比Scala清洁点，虽然实质上（至少就这些例子来说）是比较相似的。 1.数组中的每个元素…
Github优秀java项目集合（中文版） - 涉及java所有的知识体系 -- good
Java资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-java 就是 akullpp 发起维护的 Java 资源列表，内容包括：构建工具、数据库、框架、模板、安全、代码分析、日志、第三方库、书籍、Java 站点等等。伯乐…
Maven开始逃离 XML 阵营
Maven，这个过去数十来年 Java 应用构建工具的事实标准，已经学会了处理非 XML 写成的构建文件。我们熟知的 polyglot maven，可以通过使用插件来将它的 pom.xml 构建文件的表达方式替换为另一种语言。polyglot-maven-examples 这个示例源码包含…
Scala_Trait特征
1，scala提供的“特征”可以同时拥有抽象方法和具体方法，一个类可以拥有多个特质 2，类可以通过“extends”关键字继承trait，继承trait后必须实现trait中的所有抽象方法，而不是用 override 关键字 3，scala的类…
《Scala机器学习》一一2.5 数据驱动系统的基本组件
本节书摘来自华章计算机《Scala机器学习》一书中的第2章，第2.5节,作者：[美] 亚历克斯科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.5 数据驱动系统的基本组件 简单地说…
spark Streaming和storm区别
2019独角兽企业重金招聘Python工程师标准>>> Storm风暴和Spark Streaming火花流都是分布式流处理的开源框架。这里将它们进行比较并指出它们的重要的区别。 处理模型,延迟 虽然这两个框架都提供可扩展性和容错性,它们根本的区别在于他们的处理模型。而Storm处理的是…
Spark1.0 安装
1、下载Scala wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz tar xvzf scala-2.10.3.tgz -C /usr/local 2、下载Spark wget http://www.apache.org/dist/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz tar -zxvf spark-1.0.0-bin-hadoop2.tgz 3、设置spar…
探索Scala（1）-- 运算符重载
Scala语言运算符重载全然是语法层面的小把戏，本文记录我对Scala语言运算符重载的一些理解。 方法调用语法糖 调用方法时，Scala同意省略点号和圆括号，如以下代码所看到的： 把运算符映射成单词 对于Scala来说，运算符和普…
Spark项目---- 模拟互联网网站用户行为实时分析系统（第二部分）
1）安装HBASE
https://blog.csdn.net/hailunw/article/details/119057361
2）在HBASE中创建表
[userNewBieSlave1 hbase-2.3.5]$ hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/user/hado…
Spark原理----术语
内核术语： Application：应用，就是程序员编写的spark代码。 Driver：驱动，就是用来执行main方法的JVM进程，一面会执行一些driver端的代码，如创建sparkContext，设置应用名，设…
storm trident 的介绍与使用
一.trident 的介绍 trident 的英文意思是三叉戟，在这里我的理解是因为之前我们通过之前的学习topology spout bolt 去处理数据是没有问题的，但trident 的对spout bolt 更高层次的一个抽象，其实现功能是一样的，只不过是trident做了…
方面和服务，差别大吗？
三年前，Arnon Rotem-Gal-Oz探讨了在当时看来还比较新颖的话题微服务以及它们与SOA的关系，并提出了有关Nanoservices的问题。在近日发表的一篇文章中，Arnon仍然认为，微服务可能不是某些人所认为的灵丹妙药，它可能是一种…
scala 编写wordCount
加载文件scala> var f1sc.textFile("/tmp/dataTest/followers.txt") scala> f1.flatMap(x>x.split("-")).map((_,1)).collect //每个数字以-分割，并数字为key，给每个key赋值1
res10: Array[(String, Int)] Array((2,1), (…
Dependency management
Play’s dependency management system allows you to express your application’s external dependencies in a single dependencies.yml file. A Play application can have three kinds of dependencies: The Play framework itself, since a Play application always depe…
Javaslang 3.0之路
Javaslang是一个开源的函数式库，为Java 8及以上提供了持久化的数据类型和函数式的控制结构，最近，它发布了3.0版本的路线图，这个路线图规划到了2017年的3月份：\\\\Javaslang是由软件开发者Daniel Dietrich所创立的&…
Scala--reduceLeft
reduceLeft神语法 val a Array(20, 12, 6, 15, 2, 9) 12345678scala> a.reduceLeft(_ _) // 数组求和res0: Int 64scala> a.reduceLeft(_ * _) // 数组求乘积res1: Int 388800scala> a.reduceLeft(_ min _) // 数组求最小值res2: Int 2scala> a.reduceLeft(_…
【郭林专刊】Java XML 技术专题
Page navigation XML 基础教程XML 和 Java 技术Java XML文档模型JAXP（Java API for XML Parsing）StAX（Streaming API for XML）XJ（XML Enhancements for Java）XML 验证XPathXQueryXSL 转换处理器XStream数据…
Typesafe公司正式更名为Lightbend公司
Scala编程语言的发明者：Typesafe公司，已经完成他们的更名计划，改名后成为Lightbend公司。Typesafe公司在去年五月就宣布了他们的更名计划，从那时起，他们希望可以在两个月内完成改名相关事宜。Typesafe公司邀请了社区的…
Exception in thread main java.lang.NoClassDefFoundError: 错误
学习Java经常遇见这个问题:Exception in thread "main" java.lang.NoClassDefFoundError: Hello
在java 学习材料上，抄一个小程序：
public class Hello{ public static void main(String args[]){ System.out.println("你好，…
Scala 2.11的安装配置
文章目录Windows 下 Scala 2.11的安装配置前提下载配置验证Windows 下 Scala 2.11的安装配置
前提
安装JDK1.8或JDK11
下载
下载地址 ：https://www.scala-lang.org/download/scala2.html
在下载页面找到 Other resources 配置
将下载好的压缩包 进行解压&…
Spark Sort-Based Shuffle具体实现内幕和源码详解
为什么讲解Sorted-Based shuffle？2方面的原因：一，可能有些朋友看到Sorted-Based Shuffle的时候，会有一个误解，认为Spark基于Sorted-Based Shuffle 它产出的结果是有序的。二，Sorted-Based Shuffle要排序&am…
tachyon与hdfs,以及spark整合
Tachyon 0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知，Spark 1.4.x和Tachyon 0.6.4版本兼容，而最新版的Tachyon 0.7.1和Spark 1.5.x兼容，目前所用的Spark为1.4.1，t…
【Scala学习】测试类
文章目录SBT AND SCALATESTTHE MOST USED SCALA BUILD TOOL (SBT)The sbt directory structureCreating a “Hello, world” sbt project directory structureCreating a first *build.sbt* fileA “Hello, world” programUSING SCALATEST WITH SBTCreating the project direc…
利用Spark解析Tomcat日志，并将统计结果存入Mysql数据库
本文试图实现的需求场景为：以学习Spark知识点为目的，编写Scala利用Spark解析800M的tomcat日志文件，打印一段时间内ERROR级别记录的前10行，统计每分钟的日志记录数，并将统计结果存入mysql数据库中。之前曾用JAVA写过一次…
Flink - TypeInformation
Flink 自己创建一套独立的类型系统， 参考， https://ci.apache.org/projects/flink/flink-docs-release-0.10/internals/types_serialization.html 为何要自己搞一套，而不像其他的平台一样让编程语言或serialization framework来天然做掉&…
Spark GraphX图处理编程实例
所构建的图如下： Scala程序代码如下： import org.apache.spark._
import org.apache.spark.graphx._
// To make some of the examples work we will also need RDD
import org.apache.spark.rdd.RDD
object Test {def main(args: Array[String]): Unit …
003-Lift基础
2019独角兽企业重金招聘Python工程师标准>>> Lift基础 本章讲简要Lift项目的目录结构和构建它所需要的一些基础配置 进入Lift 首先看看一个简单的Lift应用的目录结构： .
├── main
│ ├── resources
│ │ └── props
│ ├── scala
│…
计算KS值的标准代码
计算KS值的标准代码 from scipy.stats import ks_2sampget_ks lambda y_pred,y_true: ks_2samp(y_pred[y_true1], y_pred[y_true!1]).statisticget_ks(x,y)转载于:https://www.cnblogs.com/bregman/p/6279261.html
话说模式匹配(5) for表达式中的模式匹配
在for表达式中 for(x <- collection) { balabala } 直觉上以为 x 就是个用于迭代每一个元素的局部变量。 我们看一些例子： scala> for(i <- List(1,2,3) ) {println(i)}// 看看语法树
scala> tb.parse("for(i <- List(1,2,3) ) {println(i)}&…
7、scala面向对象-继承
一、继承1、extendsScala中，让子类继承父类，与Java一样，也是使用extends关键字
继承就代表，子类可以从父类继承父类的field和method；然后子类可以在自己内部放入父类所没有，
子类特有的field和method&…
scala slick mysql utf8mb4 支持
语言 scala sql包 slick 3.2.0 数据库 mysql https://stackoverflow.com/questions/36741141/scala-slick-jdbc-encoding-configuration-with-typesafe-config/50153514 简代版 https://github.com/cclient/ScalaMysqlSync 数据库同步程序报错 java.sql.SQLException: In…
为什么scala中main方法必须放在object中
为什么80%的码农都做不了架构师？>>> 今天写了第一个scala程序，如下： package org.funmo.scalaclass helloworld {def main(args:Array[String]){println("helloworld")}
} 本来打算运行的，但是“右键-run a…
自学scala的第二天——找个编辑器，开始Hello World
我问了之前有scala编程经验的同事，用什么编辑器来编写scala。
同事们说idea就可以编辑，balbalbala一堆没有重点的内容我已经忘记了。 下面我就一步一步的开始了。 第一步：安装scala
在http://www.scala-lang.org/downloads 下载对应的
因为…
Scala基础入门－3
学习Scala——映射和元组 映射和和元组，也就是Maps和Tuples。Map这东西应该都挺明白的，就是键值对的集合。而元组，tuple，这东西并不是每个语言都有（Python中是有的，不过当时学的时候没有完全分清楚…
scala中Option和Some
Option的解释: Represents optional values. Instances of Option are either an instance of scala.Some or the object None.Option[A] (sealed trait) 有两个取值:1. Some[A] 有类型A的值2. None 没有值Option一般有两种用法：1.模式匹配Option[A] optionoption m…
Spark之初体验：maven如何新建一个spark项目
Spark之初体验：maven如何新建一个spark项目
基于maven如何新建一个spark项目？ 会让你选择Java的版本，这里只要是1.8以上的就OK
然后下一步： 这里的groupid就是项目所属的哪个组下面，artifactid是指详细的哪个文件&am…
scala 实现杨辉三角 九层妖塔
学习scala ，通过一个for循环 实现 杨辉三角，代码很简单
object TestAabb {def main(args: Array[String]): Unit {for(i<- 8 to 0 by -1 ; j <- 12*(8-i) to 12*(8-i) ){println(" "* i "*"* j )}}
}
自学it18大数据笔记-第三阶段Scala-day05——会持续更新……
笔记为自学时随手记录，如有错误，欢迎指正，不胜感激！现已广州转移至上海，欢迎小伙伴们加qq或微博沟通交流（QQ，微博和博客同名） 笔记分享：自学it18大数据笔记-第三阶段Scal…
《Akka应用模式：分布式应用程序设计实践指南》读书笔记7
容错 容错绝对是分布式系统最难搞定的事儿，至少我这样认为，因为意外总是会发生。 处理故障在许多方面意味着要放弃全局一致性。Akka是基于不粗要调用方负责处理故障的想法而建立的。它主张由发生故障的actor负责处理问题，在actor不能处理的情…
scala的多种集合的使用(3)之遍历集合的方法
遍历集合的方法 1.用foreach循环遍历一个集合 foreach接收一个函数作为参数。定义的函数应该接收一个元素作为输入参数，然后不要返回任何的东西。输入的参数的类型应该匹配集合中的类型。随着foreach的执行，它每次都会把一个元素传给你的函数，…
Kafka安装（极简版）
Kafka简介 kafka是一个高吞吐量的分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力，通常用于大数据及流处理平台。消息队列里都有生产者/消费者的概念，生产者往队列里写消息，而消费者则是从队列里获取消息。一般在架…
spark2.x由浅入深深到底系列六之RDD java api调用scala api的原理
学习spark任何的技术之前，请正确理解spark，可以参考：正确理解sparkRDD java api其实底层是调用了scala的api来实现的，所以我们有必要对java api是怎么样去调用scala api，我们先自己简单的实现一个scala版本和java版本的…
Java8学习：Lambda表达式与Functional接口
Lambda表达式（也称为闭包）是整个Java 8发行版中最受期待的在Java语言层面上的改变，Lambda允许把函数作为一个方法的参数（函数作为参数传递进方法中），或者把代码看成数据：函数式程序员对这一概念…
大数据系列修炼-Scala课程87
大数据系列修炼-Scala课程87 核心内容: 1、Scala中使用For表达式做查询 1、Scala中使用For表达式做查询操作代码实战1>Scala当中的for表达式具有很强的查询能力 实例程序:
//本程序的重点是掌握Scala中使用For表达式做查询
//case class在scala当中适合模式匹配与消息传递…
Spark 体系架构
最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “spark-architecture” 这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资…
Spark（七） -- Scala快速入门
Scala作为Spark的开发语言，想要成为Spark高手，精通Scala是必须要走的一条路 然后一门语言并不是你想精通就能够精通的，更何况是Scala这种面向对象又面向函数的编程语言，个人觉得其学习的门槛会比C#，Java等面向对象语言…
Gradle、Maven、Ant的介绍
版权声明：本文为sydMobile原创文章，转载请务必注明出处！ https://blog.csdn.net/sydMobile/article/details/78458704 文章最早发布于我的微信公众号 Android_De_Home 中，欢迎大家扫描下面二维码关注微信公众获取更多知识内容。 …
scala（5）-----访问修饰符
Scala 访问修饰符基本和Java的一样，分别有：private，protected，public。 如果没有指定访问修饰符符，默认情况下，Scala对象的访问级别都是 public。 Scala 中的 private 限定符，比 Java 更严格&am…
大数据系列修炼-Scala课程99
大数据系列修炼-Scala课程99 核心内容: 1、IDEA当中手动打jar包的方式详解 1、IDEA当中手动打jar包的方式详解
问题1：为什么需要手动打jar包？ 因为很多时候我们希望将开发的工程打包成jar包在其它的机器上面运行或者让别人来运行，所以需要…
大数据系列修炼-Scala课程98
大数据系列修炼-Scala课程98 核心内容: 1、使用SBT开发时动手解决rt.jar中CharSequenceis broken等问题 1、使用SBT开发时动手解决rt.jar中CharSequenceis broken等问题
问题描述： 若用户从IDEA官方网站上将IDEA下载下来，直接安装在Windows上面&#…
大数据系列修炼-Scala课程94
大数据系列修炼-Scala课程94 核心内容: 1、Akka第一个案例动手实战MapActor、ReduceActor、AggregateActor代码详解 1、Akka第一个案例动手实战MapActor、ReduceActor、AggregateActor代码详解1>MapActor的职责在于对传进来的字符串进行单词的解析并将每个单词计数为1；Red…
大数据系列修炼-Scala课程91
大数据系列修炼-Scala课程91 核心内容: 1、Akka第一个案例动手实战架构设计 1、Akka第一个案例动手实战架构设计
1、基于Akka的分布式消息处理系统案例研究设计思路： 一共需要４个actor。首先需要一个总调度的actor,也就是master actor。这将会把传入…
大数据系列修炼-Scala课程90
大数据系列修炼-Scala课程90 核心内容: 1、基于Scala的Actor之上的分布式并发消息驱动框架Akka初体验 1、基于Scala的Actor之上的分布式并发消息驱动框架Akka初体验1>Akka是一个用Scala编写的库,用于简化编写容错的、高可伸缩性的Java和Scala的Actor模型应用。它分为开发库…
大数据系列修炼-Scala课程80
大数据系列修炼-Scala课程80 核心内容: 1、scala中List的泛型分析以及::类和Nil对象操作代码实战 1、scala中List的泛型分析以及::类和Nil对象1>List本身是抽象的，而抽象类不能定义出类的实例对象。我们用的是List的伴生对象来定义类的实例对象。
sealed abstract class …
大数据系列修炼-Scala课程76
大数据系列修炼-Scala课程76 核心内容: 1、模式匹配下的赋值语句操作代码实战 1、模式匹配下的赋值语句操作代码实战1>元组是很重要的，对于一个函数来说，有可能会返回几个值，我们常用tuple中定义的几个变量来接受 函数返回的数值。 实例程序1:
object App8
{def main(…
大数据系列修炼-Scala课程61
大数据系列修炼-Scala课程61 核心内容: 1、Scala中的隐式转换系统与类型系统的联合使用操作代码实战 1、Scala中的隐式转换系统与类型系统的联合使用操作代码实战def biggerT(implicit m:T=>Ordered[T]) = ……的含义： 1>bigger是一个泛型函数，并且是一个柯里化函数，…
大数据系列修炼-Scala课程55
大数据系列修炼-Scala课程55 核心内容: 1、Scala中Infix Type操作代码实战 1、Scala中Infix Type操作代码实战1>中值类型常用在泛型当中和中值表达式当中。 2>Infix Type就是中值类型，所谓中值类型就是带有两个参数的类型；之所以叫做中值类型，是因为类型的名称 写在…
大数据系列修炼-Scala课程49
大数据系列修炼-Scala课程49 核心内容: 1、Scala中型变(Variance)代码实战解析及其在Spark中的应用源码解析 1、Scala中型变(Variance)核心重点总结1>在Java当中,若具体类型之间有相应的子类关系,在相应的泛型当中并没有相应的子类关系；然而在Scala当中, 通过型变的语法机…
sbt笔记一 hello-sbt
2019独角兽企业重金招聘Python工程师标准>>> 1、建立sbt的目录结构 sbt奉行“约定优于配置”的原则，并且沿袭了Maven的目录结构 src/下的其他文件夹，以及隐藏文件夹将被无视。 2、Say Hello to sbt 在src/main/scala/下创建一个scala应用程序…
大数据系列修炼-Scala课程40
大数据系列修炼-Scala课程40 核心内容: 1、Set、Map、TreeSet、TreeMap操作代码实战 1、Set、Map、TreeSet、TreeMap操作代码实战1>在scala当中，对于集合而言，一般有可变集合与不可变集合。所谓可变集合就是每次操作都是作用于原有集合之上，例如当我们 向集合中追加一个…
大数据系列修炼-Scala课程37
大数据系列修炼-Scala课程37 核心内容: 1、List的foldLeft、foldRight、sort操作代码实战 1、List的foldLeft、foldRight、sort操作代码实战1>foldLeft：函数体执行两元素相加从左到右:即从1开始 foldRight:函数体执行两元素相减从右到左:即从3开始 2>scala中的sortWit…
大数据系列修炼-Scala课程36
大数据系列修炼-Scala课程36 核心内容: 1、List的partition、find、takeWhile、dropWhile、span、forall、exsists操作代码实战 1、List的partition、find、takeWhile、dropWhile、span、forall、exsists操作代码实战List中常用的方法： partition：对集合中的元素按照某种条…
大数据系列修炼-Scala课程34
大数据系列修炼-Scala课程34 核心内容: 1、scala中对List进行高效的排序 2、Scala中对List进行倒排序 1、Scala中对List进行高效的排序和倒排序代码实战1>List的排序方式有两种：通过相应的Scala API进行排序(速度慢)，通过一定的算法进行排序(如归并排序) 2>函数的定…
Java版简易计算器 PK Scala版简易计算器
Java版简易计算器:
package IT01;import java.awt.Button;
import java.awt.FlowLayout;
import java.awt.Frame;
import java.awt.Label;
import java.awt.TextField;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import java.awt.event.Wind…
大数据系列修炼-Scala课程31
大数据系列修炼-Scala课程31 核心内容: 1、Option使用内部实战 2、Option中的sealed关键字解析 1、Option使用内部实战1>在Option中有两个具体实现的子类: cass class Some:若在Option当中含有具体的数值,用Some来表示, case object None:若Option当中没有相应的数值,就…
大数据系列修炼-Scala课程28
大数据系列修炼-Scala课程28 核心内容: 1、scala中提取器Extractor实战解析 1、scala中提取器Extractor实战解析1>scala中的提取器Extractor指的是从case表达式中提取相应数值的过程 2>在match……case中,用常量可以接受到要匹配的数值,并且在=>后面可以提取出相应的…
大数据系列修炼-Scala课程26
大数据系列修炼-Scala课程26 核心内容: 1、scala中模式匹配分析 2、在模式匹配中使用守卫 3、模式匹配中的变量使用 1、scala中模式匹配与C、Java中的模式匹配的区别1>在C、Java语言中,在switch的用法当中,先找到程序的入口,一旦找到程序的入口,case将被屏蔽,整个程序将会…
大数据系列修炼-Scala课程85
大数据系列修炼-Scala课程85 核心内容: 1、Scala中for循环强大的表现力操作代码实战 1、Scala中for循环强大的表现力操作代码实战1>在Scala当中，尽量使用for循环这种语法结构,具有很强的表现力。 2>在def fun(args:Int*)中，参数args实际上是一个变长参数，代表可以传…
大数据系列修炼-Scala课程83
大数据系列修炼-Scala课程83 核心内容: 1、Scala中的List实现内幕源码揭秘操作代码实战 1、Scala中的List实现内幕源码揭秘操作代码实战1>List集合中的很多方法内部都是借助ListBuffer进行具体的实现。 2>ListBuffer中的toList方法就是将ListBuffer转换成List,不会浪费…
大数据系列修炼-Scala课程79
大数据系列修炼-Scala课程79 核心内容: 1、Scala单例深入讲解及单例背后的链式表达式操作代码实战 1、Scala单例深入讲解及单例背后的链式表达式1>在Scala当中，标注类型的时候可以直接用类和特质的名字来引用其类型，而要引用对象（Object）的类型，需要用对象的type成员来…
大数据系列修炼-Scala课程75
大数据系列修炼-Scala课程75 核心内容: 1、模式匹配下的for循环操作代码实战 1、模式匹配下的for循环操作代码实战1>在scala当中，模式匹配也常与for循环进行结合使用。 实例程序:
//在scala当中,模式匹配也常与for循环进行结合使用
object App1
{def main(args:Array[Str…
大数据系列修炼-Scala课程67
大数据系列修炼-Scala课程67 核心内容: 1、Scala并发编程匿名Actor、消息传递、偏函数实战解析操作代码实战 1、Scala中并发编程之匿名Actor的创建与实现机制1>匿名Actor的创建方式： 通过工具方法actor来创建，并通过while(true)不断循环自己的邮箱，然后用receive这个偏…
大数据系列修炼-Scala课程48
大数据系列修炼-Scala课程48 核心内容: 1、Scala类型约束代码实战及其在Spark中的应用源码解析 1、Scala类型约束的使用1>在scala中，常见的两种类型约束： A =：= B 含义：表示A类型等同于B类型 A <：< B 含义：表示A类型是B类型的子类 A <：< B从整体上可以…
大数据系列修炼-Scala课程24(1)
大数据系列修炼-Scala课程24(1) 核心内容: 1、Java中的匿名类 1、Java中匿名类的概念、访问范围1>匿名类是一种特殊的内部类 2>如果在一个方法的内部类定义了一个匿名类,则该匿名类可以访问: (1)外部类的所有成员(试用一切内部类) (2)包裹该匿名类的方法中的所有fina…
Akka源码分析-local-DeathWatch
生命周期监控，也就是死亡监控，是akka编程中常用的机制。比如我们有了某个actor的ActorRef之后，希望在该actor死亡之后收到响应的消息，此时我们就可以使用watch函数达到这一目的。 class WatchActor extends Actor {val child con…
Spark的历史与发展（目录）
对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人感到惊诧。2009年，Spark诞生于伯克利大学AMPLab，最开初属于伯克利大学的研究性项目。它于2010年正式开源，并…
Java8 十大新特性详解
2019独角兽企业重金招聘Python工程师标准>>> Java8 十大新特性详解 本教程将Java8的新特新逐一列出，并将使用简单的代码示例来指导你如何使用默认接口方法，lambda表达式，方法引用以及多重Annotation，之后你将会学到最新…
作为一名程序员老鸟学大数据应该从哪里入手？
那大数据处理技术怎么学习呢?首先我们要学习Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?只需要学习Java的标准版J…
非常酷的一门小众语言 - Scala（原创）
查看我的思维导图： https://share.mindmanager.com/#publish/NYfJPdvdJQ-YQnz2ECLGng7jHj-9ninfZXn-KsUI
Spark提交参数说明和常见优化
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer最近在搞一个价格分类模型，虽说是分类…
Scala Sublime text 3 Build 编译
使用Sublime text 3编译Scala 在sublime工具栏中【tools】->【Build System】->【new Build System】添加如下文本 {"cmd": ["scalac", "-d", "classes", "$file", "&", "scala", "$fil…
大数据系列修炼-Scala课程24(2)
大数据系列修炼-Scala课程24(2) 核心内容: 1、scala中的SAM转换机制 1、Scala中SAM的概念、SAM的执行方式1>在scala中,要某个函数做某件事时,会传一个函数参数给它。而在Java中,并不支持传送函数作为参数。通常Java的实现方式是将 动作放在一个实现某接口的类中，然后将该…
大数据系列修炼-Scala课程23
大数据系列修炼-Scala课程23 核心内容: 1、scala中高阶函数代码实例 2、高阶函数代码实战详解 1、scala中函数的相关概念1>函数是scala中的一等公民,所以函数可以保存在其它变量中,函数可以像普通的变量或者常量一样作为参数传递给我们的函数 2>在scala中,你无法直接操…
《图解Spark：核心技术与案例实战》作者经验谈
1，看您有维护博客，还利用业余时间著书，在技术输出、自我提升以及本职工作的时间利用上您有没有什么心得和大家分享？（也可以包含一些您写书的小故事。） 回答：在工作之余能够写博客、著书主要对技…
震惊小伙伴的单行代码（Python篇）
几年前，函数式编程的复兴正值巅峰，一篇介绍 Scala 中 10 个单行函数式代码的博文在网上走红。很快地，一系列使用其他语言实现这些单行代码的文章也随之出现，比如 Haskell, Ruby, Groovy, Clojure, Python, C#, F#, CoffeeScript。…
大数据系列修炼-Scala课程09
核心内容: 1、Scala单例对象详解 2、Scala伴生对象代码实战 1、Scala单例对象详解(1)Scala中没有静态方法或静态字段，但是通过object语法结构可以达到同样的目的,所谓Object对象类似于我们Java中的静态(static)类,Object对象里面的所有成员都是静态的,可以通过Object对象名的…
泛函编程（1）－泛函编程是如何实现的
泛函编程就是把函数组合起来形成一个完整的程序。可想而知，函数组合的过程可以是曲折的，形成的程序可以是复杂的。那么泛函编程又是如何保证一个复杂的函数组合程序是正确无误的呢？首先，泛函编程的函数组合（Functional…
Spark中利用Scala进行数据清洗（代码）
2019-05-07 18:56:18 1 package com.amoscloud.log.analyze2 3 import java.text.SimpleDateFormat4 import java.util.Date5 6 import org.apache.spark.rdd.RDD7 import org.apache.spark.{SparkConf, SparkContext}8 9 object LogAnalyze1 {
10 def main(args: Array[S…
使用scala时遇到到问题
一、在使用IDEAmavenscala时遇到编译问题 Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException 编译时报错： 运行时报错： 解决的办法：更改scala版本 更改前： 更改后： 转载于:https://ww…
在云计算资源池上自动部署业务应用的大数据平台组件开发实战
在云计算提供的分布式资源池构建能够自动部署业务应用的平台组件，该平台组件能够非常简易的被众多的并发终端使用，从而轻而易举的提供业务支持； 尤其是值得注意的是，如果有需要的话，我们的不同业务组件和业务本身可以发…
【现代C++】简洁的as_cast函数模板
（点击上方公众号，可快速关注）前言C17标准库加入了as_const函数模板，它可以将给定的左值引用转为常量左值引用，用法也很简单。下面的例子中，假设myValue是MyType类型的值：// C17
const MyType&am…
Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、机器学习概念 1.1 机器学习的定义 在维基百科上对机器学习提出以下几种定义： l“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，…
Java 连接Kafka报错java.nio.channels.ClosedChannelExcep
2019独角兽企业重金招聘Python工程师标准>>> Java 客户端连接Kafka报如下错误 bin/kafka-console-consumer.sh --zookeeper 255.255.255.255:2181 --topic eventbustopic
[2015-06-02 16:23:04,375] WARN Fetching topic metadata with correlation id 0 for topics…
scala第九天Class
2019独角兽企业重金招聘Python工程师标准>>> 主类： package com.learn.scala.day9/*** Created by zhuqing on 2017/2/28.*/
object Day9Class {def main(args: Array[String]): Unit {/*** 初始化类时，可以用括号也可以不用括号* var perso…
Spark-SparkSQL深入学习系列二（转自OopsOutOfMemory）
/** Spark SQL源码分析系列文章*/ Spark SQL的核心执行流程我们已经分析完毕，可以参见Spark SQL核心执行流程，下面我们来分析执行流程中各个核心组件的工作职责。 本文先从入口开始分析，即如何解析SQL文本生成逻辑计划的，主要设计…
Java PaaS云端开发:Play！部署Java应用
我们有一个好消息要宣布：Jelastic 现在支持 Play framework 了!你可以通过 Jelastic Paas 来使用这个功能。Play!是最流行的框架之一。它是用Java语言开发的，可以帮助开发者更容易的创建创建Java和Scala网页应用。 译者注：Jelastic 是一个Jav…
Azure Event Hub 技术研究系列3-Event Hub接收事件
上篇博文中，我们通过编程的方式介绍了如何将事件消息发送到Azure Event Hub： Azure Event Hub 技术研究系列2-发送事件到Event Hub 本篇文章中，我们继续：从Event Hub中接收事件。 1. 新建控制台工程 EventHubReceiver 2. 添加Nuge…
【Flink】Flink 底层RPC框架分析
1. 前言 对于Flink中各个组件（JobMaster、TaskManager、Dispatcher等），其底层RPC框架基于Akka实现，本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。 2. Akka介绍 由于Flink底层Rpc是基于Akka实现，我们先了解下…
释放Ubuntu/Linux系统cache，增加可用内存空间
某台式机Ubuntu内存共3G，但free的内存只有200M，无法满足scala的jvm需求。 注意用top命令查看才能看到真正的free内存。下面是查看真正内存使用量的另一种命令。 watch -n 1 cat /proc/meminfo 搜索发现有三种方法都可以达到释放内存的目的： w…
centos7安装Scala、Spark(伪分布式)
centos7安装spark(伪分布式) spark是由scala语言开发的，首先需要安装scala. Scala安装 下载scala-2.11.8,（与spark版本要对应） 命令：wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 解压到文件夹并配置环境…
Spark集群安装部署
2019独角兽企业重金招聘Python工程师标准>>> 1、安装前准备 a. 确保hadoop已安装完毕 b. 确保scala已安装完毕 下载scala-2.11.8.tgz cd /usr/app
tar -zxvf scala-2.11.8.tgz
mv scala-2.11.8 scala#添加环境变量
vi /etc/profile#添加内容SCALA_HOME/usr/app/scal…
scala学习手记5 - 元组与多重赋值
假定要在一个方法中返回多个值。比如需要返回一个人的名、姓和邮箱地址。在Java中最常用的方法是定义一个Person类，其中包括相对应的字段；还有些不常用的方法就是返回一个集合或数组，拿到结果后再进行循环取值。在Scala中我们又多一个选择&am…
Spark2.1.0入门：DStream转换操作
2019独角兽企业重金招聘Python工程师标准>>> Spark2.1.0入门：DStream转换操作 博客分类： spark DStream转换操作包括无状态转换和有状态转换。 无状态转换：每个批次的处理不依赖于之前批次的数据。 有状态转换：当前批次…
Scala：用传名参数实现断言机制及其特点
可见，拥有自己看待问题的想法与解决问题的思路是多么重要。而在这里显然作者也是把编程语言看成程序员解决问题的工具。但是下面我们并不讨论这些，我们看看 Scala 中的传名参数如何能够起到类似于断言（assert）的功能（其…
spark on yarn任务提交缓慢解决
1.为什么要让运行时Jar可以从yarn端访问spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在 每一次我们运行的时候，如果没有指定 spark.yarn.archive or spark.yarn.jars Spark将在安装路径下的Jar…
Spark——为数据分析处理提供更为灵活的赋能
本文来自网易云社区作者：王佳楠一、概述现如今在大规模数据处理分析的技术领域中，Hadoop及其生态内的各功能组件占据了绝对的统治地位。Hadoop原生的MapReduce计算框架由于任务抽象简单、计算流程固定、计算的中间结果写入磁盘引起大量读写开销等短板&am…
Spark一个简单案例
Spark是一个类似Map-Reduce的集群计算框架，用于快速进行数据分析。 在这个应用中，我们以统计包含"the"字符的行数为案例，.为建立这个应用，我们使用 Spark 1.0.1, Scala 2.10.4 & sbt 0.14.0. 1). 运行 mkdir Simple…
Mark : 【Scala】使用Option、Some、None，避免使用null
避免null使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人…
DataSet转换成List
方法一： //DataSet转换成List<ArticleInfo>public List<ArticleInfo> GetArticleList(DataSet ds){List<ArticleInfo> list new List<ArticleInfo>();for (int i 0; i < ds.Tables[0].Rows.Count; i){ArticleInfo model new ArticleI…
JDK1.8之Stream
为什么需要 Stream Stream 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream，也不是 Amazon Kinesis 对大数据实时处理的 Stream。Java 8 中的 Stream 是对集合&#x…
Scala/Java - break continue
一.引言
java 自带break，continue，scala 不支持，需要引入 util 实现退出循环的目的
import scala.util.control.Breaks.{break, breakable} 二.Scala
1.Break
breakable 关键字类似 synchronized 关键字一样，对一个区域生效 /…
scala笔记和akka笔记
2019独角兽企业重金招聘Python工程师标准>>> 非阻塞的程序 应该保障的一些特性 ： 等待无关性wait-free：能确保每次的调用在有限的步数之内完成，不管其他调用的步骤有多少。杀掉几个线程 锁无关性lock-free：执行这段…
4-Spark高级数据分析-第四章 用决策树算法预测森林植被
预测是非常困难的，更别提预测未来。 4.1 回归简介 随着现代机器学习和数据科学的出现，我们依旧把从“某些值”预测“另外某个值”的思想称为回归。回归是预测一个数值型数量，比如大小、收入和温度，而分类则指预测标号或类别&#…
es-09-spark集成
es和spark的集成比较简单, 直接使用内部封装的一些方法即可 版本设置说明: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/requirements.html maven依赖说明: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/install.html 1, maven配置: &…
FirstStep:搭建scala开发环境IDEA+scala插件+scala2.8
. 个人scala开发环境: IDEA10scala插件scala2.8 1新建一个空的project 2new一个module,[Create module from scratch],一路next,看到scala,勾选,找到scala安装路径,finish,完成新建scala项目 3在模块src文件夹新建包one,新建scala class 选择object 名称 Hello object Hello{ d…
Scala里的WordCount 案例
7.7.5 普通 WordCount 案例 package chapter07object TestWordCount__简单版 {def main(args: Array[String]): Unit {//单词计数：将集合中出现的相同单词计数，进行计数，取计数排名的前三的结果val stringList List("Hello Scala Hbas…
Edit Distance问题在两种编程范式下的求解
本文已授权 [Coding博客](https://blog.coding.net) 转载 前言 Edit Distance,中文叫做编辑距离，在文本处理等领域是一个重要的问题，以下是摘自于百度百科的定义 编辑距离（Edit Distance），又称Levenshtein距离…
在阿里云EMR上使用Intel Analytics Zoo进行深度学习
简介 Analytics Zoo是由Intel开源,基于Apache Spark和Inte BigDL的大数据分析和AI平台，方便用户开发基于大数据、端到端的深度学习应用。 系统要求 JDK 8Spark 集群(推荐使用EMR支持的Spark 2.x)python-2.7(python 3.5,3.6也支持), pip安装Analytics Zoo Analytics …
sublime scala,java,python配置
运行ctrlb
scala
安装
版本： https://scala-lang.org/download/all.html 2.11.12
下载地址：https://scala-lang.org/download/2.11.12.html
安装：https://blog.csdn.net/superman_xxx/article/details/51535110 环境变量 SCALA_HOME,PAT…
【Scala学习】之函数式风格编程
FUNCTIONAL PROGRAMMING https://docs.scala-lang.org/overviews/scala-book/functional-programming.html Scala 允许您以面向对象编程 (OOP) 风格、函数式编程 (FP) 风格甚至混合风格编写代码，结合使用这两种方法。本书假设您是从 Java、C 或 C# 等 OOP 语言来到 …
mongodb一般操作
MongoDB是目前工作中经常使用到的NoSQL数据库。 本博客只记录相关理论知识和技巧，涉及到实践的部分都会单开Blog来记录实践过程。 ------------------------------------------------------------------------------- 体系结构: 一般一个MongoDB Server包含一个实例…
Flink 编程接口
欢迎来 kk大数据，今天分享的是 Flink 提供了哪些编程接口可以给我们开发。 一、数据集类型现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处…
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
1.选取三台服务器（CentOS系统64位）114.55.246.88 主节点114.55.246.77 从节点114.55.246.93 从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题…
Scala 安装与使用
听说Scala融合了OOP和函数式，便起了兴趣。。。 Eclipse 配置scala开发环境（windows） 1. scala[版本号].msi 安装 2. 配置SCALA_HOME 及path路径 SCALA_HOME C:\Program Files (x86)\scala（或其他安装路径） PATH :%SCAL…
【Spark深入学习 -16】官网学习SparkSQL
----本节内容-------1.概览 1.1 Spark SQL 1.2 DatSets和DataFrame2.动手干活 2.1 契入点：SparkSession 2.2 创建DataFrames 2.3 非强类型结果集操作 2.4 程序化执行SQL查询 2.5 全局临时视图 2.6 创建Dat…
大数据系列修炼-Scala课程95
大数据系列修炼-Scala课程95 核心内容: 1、Akka第一个案例动手实战MasterActor代码详解 1、Akka第一个案例动手实战MasterActor代码详解1>MasterActor主要的两个作用： 第一：将MapActor需要处理的内容字符串信息发送给MapActor； 第二：实例化MapActor、ReduceActor、Ag…
Flink / SQL - 6.Tumble、Slide、Session、Over Window 详解
目录
一.引言
二.模拟数据表
1.数据源 DataSource
2.DataStream To Table
三.滚动窗口 Tumble
1.By EventTime
Scala 常用Sort排序
Scala 使用过程中经常要要用到排序模块，自带的方法有sorted，sortBy，sortWith，同时也提供了接口和类，例如Ordering，Ordered，Comparable，Comparator等，下面就盘一下他们的基…
Spark踩坑记：共享变量
前言 前面总结的几篇spark踩坑博文中，我总结了自己在使用spark过程当中踩过的一些坑和经验。我们知道Spark是多机器集群部署的，分为Driver/Master/Worker，Master负责资源调度，Worker是不同的运算节点，由Master统一调度…
Scala HashMap getOrElse 与 getOrElseUpdate
使用Map的过程中，发现有和 getOrElse 相似的方法 getOrElseUpdate ，大概看下具体是在做什么~ getOrElse
getOrElse经常用到，当 HashMap 获取某个不存在的key时会返回一个default默认值，从而避免出现 null point 的情况
/** Retu…
scala 方法调用_如何在Scala中调用方法N次？
scala 方法调用Calling a method in Scala: simply call the function using a method call in Scala, but, calling method N times can be done using either of the two ways: 在Scala中调用方法 ：只需在Scala中使用方法调用来调用函数，但是ÿ…
2、scala条件控制与循环
1、 if表达式 2、 句终结符、块表达式 3、 输入与输出 4、 循环 5、 高级for循环 1、 if表达式 if表达式的定义：scala中，表达式是有值的，就是if或者else中最后一行语句返回的值（和java区别）。可以将if表达式赋予…
泛函编程（21）－泛函数据类型－Monoid
Monoid是数学范畴理论（category theory）中的一个特殊范畴（category）。不过我并没有打算花时间从范畴理论的角度去介绍Monoid，而是希望从一个程序员的角度去分析Monoid以及它在泛函编程里的作用。从这个思路出发我们很自…
Scala语言简介和开发环境配置
Scala语言的简介和开发环境搭建 Scala是一门结合了面向对象特征和函数式编程特征的语言，它是一个创新的编程语言产品。Scala可以做脚本（就像shell脚本一样），可以做服务端编程语言，可以写数据处理程序等,在很多方面都适…
Spark算子：RDD基本转换操作(4)–union、intersection、subtract
2019独角兽企业重金招聘Python工程师标准>>> union def union(other: RDD[T]): RDD[T] 该函数比较简单，就是将两个RDD进行合并，不去重。 def main(args: Array[String]): Unit {//默认分区12个val sc new SparkContext(new SparkConf().set…
spark api之一：Spark官方文档 - 中文翻译
转载请注明出处：http://www.cnblogs.com/BYRans/ 1 概述(Overview)2 引入Spark(Linking with Spark)3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell)4 弹性分布式数据集(RDDs) 4.1 并行集合(Parallelized Collections)4.2 外部数据库(Exte…
hadoop知识整理（5）之kafka
一、简介 来自官网介绍： 翻译：kafka，是一个分布式的流处理平台。LinkedIn公司开发。scala语言编写。 1、支持流处理的发布订阅模式，类似一个消息队列系统； 2、多备份存储，副本冗余机制，具备高容…
Spark入门（四）--Spark的map、flatMap、mapToPair
spark的RDD操作 在上一节Spark经典的单词统计中，了解了几个RDD操作，包括flatMap，map，reduceByKey，以及后面简化的方案，countByValue。那么这一节将介绍更多常用的RDD操作，并且为每一种RDD我们分…
spark知识体系-Structured Streaming
概述 Structured Streaming （结构化流）是一种基于 Spark SQL 引擎构建的可扩展且容错的 stream processing engine （流处理引擎）。您可以以静态数据表示批量计算的方式来表达 streaming computation （流式计算…
沉淀，再出发——在Hadoop集群的基础上搭建Spark
在Hadoop集群的基础上搭建Spark 一、环境准备 在搭建Spark环境之前必须搭建Hadoop平台，尽管以前的一些博客上说在单机的环境下使用本地FS不用搭建Hadoop集群，可是在新版spark的安装之中，我们必须确定SPARK_DIST_CLASSPATH这个环境变量的值&am…
提高程序员职场价值的10大技巧
如果你已经是个很牛叉的程序员，但是依然觉得觉得还不够的话，欢迎阅读此文。本文旨在帮助各位更上一层楼。 你是不是觉得自己已经掌握了所有的编程技巧？别太自以为是了！ 会写代码的确很重要，但是要拿到更好薪水…
【Java学习笔记之三十一】详解Java8 lambda表达式
Java 8 发布日期是2014年3月18日，这次开创性的发布在Java社区引发了不少讨论，并让大家感到激动。特性之一便是随同发布的lambda表达式，它将允许我们将行为传到函数里。在Java 8之前，如果想将行为传入函数，仅有的选择就…
scala中Map和Set
scala中Set包含可变set和不可变Set，set的子类HashSet，各有一个扩展了可变和不可变的set特质。可变setimport scala.collection.mutable.Setval movieSetSet("Hitch","Poltergeist")movieSet"Shrek"println(movieSet)
// …
julia fit 函数_Julia中的符号和绝对值函数
julia fit 函数Julia| 符号和绝对值函数 (Julia | Sign and absolute value functions) The sign and absolute value functions are, 符号和绝对值函数是 FunctionDescriptionabs(val)It returns a positive (absolute) value with the magnitude of val.abs2(val)It returns…
(转)Twitter：收发一条推文的背后
本文为转载！！ 原文链接：http://www.csdn.net/article/2013-12-09/2817755-Twitter-open-source Twitter被称为“互联网的短信服务”，允许用户发布不超过140个字的微博客，该创意来自Twitter的联合创始人Jack Dorsey&…
Java DataInputStream readLong（）方法与示例
DataInputStream类readLong()方法 (DataInputStream Class readLong() method) readLong() method is available in java.io package. readLong()方法在java.io包中可用。 readLong() method is used to read 8 bytes (i.e. 64 bit) of data input and returns a long value re…
Scala基础入门，纯干货！
Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。
Scala 运行在Java虚拟机上，并兼容现有的Java程序。
Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上…
看完Scala的薪资待遇，我决定转行了！
随着 Scala 的出现，函数式编程就越来越热门，它最大的特点是可以将面向对象编程语言与函数式编程语言的特点结合起来，也因此，备受业内专家的推崇，这其中便有Java之父James Gosling和Groovy语言创始人James Strachan。 此…
大数据系列修炼-Scala课程92
大数据系列修炼-Scala课程92 核心内容: 1、Akka第一个案例动手实战开发环境的搭建 1、Akka第一个案例动手实战开发环境的搭建1> Java版本的第一个Akka程序：使用maven的方式进行创建；Scala版本的第一个Akka程序：使用SBT的方式进行创建 2>在IDEA集成开发环境中可以直接…
大数据系列修炼-Scala课程43
大数据系列修炼-Scala课程43：类型参数的广泛应用 核心内容: 1、Scala中类型变量Bounds代码实战及其在Spark中的应用源码解析 1、Scala中类型变量Bounds代码实战及其在Spark中的应用源码解析1>所谓泛型类就是在类定义的时候，在类名的后面加一个[],在[]中指定它的类型为一个…
Intellij IDEA 2017 通过scala工程运行wordcount
首先是安装scala插件，可以通过idea内置的自动安装方式进行，也可以手动下载可用的插件包之后再通过idea导入。 scala插件安装完成之后，新建scala项目，右侧使用默认的sbt 点击Next，到这一步就开始踩坑了，scal…
Scala入门 集成IDEA开发环境以及HelloWorld
2019独角兽企业重金招聘Python工程师标准>>> 下载Scala的SDK 通过scala的官网:http://www.scala-lang.org/下载SDK， 这里使用的最新版2.11.8 IDEA2016 集成Scala 通过Preferences->Plugins->Install JetBrains plugin搜索scala安装插件，…
Spark技术的总结 以及同storm，Flink技术的对比
spark总结 1.Spark的特点： 高可伸缩性高容错基于内存计算支持多种语言：java，scala，python，R高质量的算法，比MapReduce快100倍多种调度引擎：可以运行于YARN，Mesos，standal…
024 关于spark中日志分析案例
1.四个需求 需求一：求contentsize的平均值、最小值、最大值 需求二：请各个不同返回值的出现的数据 > wordCount程序 需求三：获取访问次数超过N次的IP地址 需求四：获取访问次数最多的前K个endpoint的值 > TopN 2.主程序LogAn…
为什么要使用Spark？
现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析；2）使用hive进行历史数据的分析；3）使用hbase进行实时数据的查询；4）使用storm进行实时的流处理；5）。。…
【Todo】【读书笔记】大数据Spark企业级实战版 Scala学习
目录：/Users/baidu/Documents/Data/Interview/Hadoop-Spark-Storm-Kafka 下了这本《大数据Spark企业级实战版》， 另外还有一本《Spark大数据处理：技术、应用与性能优化(全)》 先看前一篇。 根据书里的前言里面，对于阅读顺序的建议…
【Spark】SparkStreaming-输出到Kafka
SparkStreaming-输出到Kafka sparkstreaming output kafka_百度搜索SparkStreaming采用直连方式（Direct Approach）获取Kafka数据的研究心得 - Lin_wj1995的博客 - CSDN博客spark/RecoverableNetworkWordCount.scala at master apache/sparkspark strea…
基于spark实现并行化Apriori算法
详细代码我已上传到github：click me 一、 实验要求 在 Spark2.3 平台上实现 Apriori 频繁项集挖掘的并行化算法。要求程序利用 Spark 进行并行计算。 二、算法设计 2.1 设计思路 变量定义 D为数据集，设Lk是k项频繁项集，Ck是k项候选集…
SparkConf加载与SparkContext创建（源码阅读一）
即日起开始spark源码阅读之旅，这个过程是相当痛苦的，也许有大量的看不懂，但是每天一个方法，一点点看，相信总归会有极大地提高的。那么下面开始： 创建sparkConf对象，那么究竟它干了什么了类,从代…
Gilt如何将微服务部署到AWS环境，介绍ION-Roller
经过七年的发展，gilt.com已经从一个使用Ruby on Rails开发的创业公司成长为使用Scala微服务架构的主流电子商务平台。Gilt的限时抢购商业模式的基础是：在短时间内会涌入大量的客户访问，以竞买某些限量的奢侈品。通过使用微服务架构࿰…
Scala：HelloWorld
代码 1 object HelloWorld {
2 def main(args: Array[String]): Unit {
3 println("Hello world")
4 }
5 } 解说 object关键字相当于static（更确切的说法是单例模式的一种语言层面的支持），def关键字定义方法&…
探究的官方JSON与阿里的fastjson中put操作
2019独角兽企业重金招聘Python工程师标准>>> 场景 首先看两段代码 //第一段 import org.json.JSONObject; public class JSONTest { public static void main(String[] args) { JSONObject json new JSONObject();json.put("key", "123");Syst…
Scala练习题 LeetCode 13.罗马数字转整数
object TestScala {/**** param args*/def main(args: Array[String]):Unit{println("hello , scala!")println(romanToInt("VI"))println(romanToInt("IV"))println(romanToInt("MIX"))}def romanToInt(s: String): Int {//从后面看…
lua语法介绍(二)
一.语法简要 在学习任何语法之前，我们都需要知道该门语言是怎样定义的，是怎样运行的，话说白了，就是到了人家的山头得唱人家山头的歌。下面介绍lua的语法 1.变量的定义 特点： 1.变量在使用前必须声明，给…
scala中伴生对象apply和unapply方法的使用
在 Scala 中，伴生对象的 apply 和 unapply 方法是常见的用于创建和提取对象的方法。
apply 方法： 伴生对象的 apply 方法通常用于创建对象实例，而不需要使用 new 关键字。它允许我们以更简洁的方式创建对象，类似于一个工厂方法。…
scala 中导出excel
为什么80%的码农都做不了架构师？>>> 导出代码： val workbook new XSSFWorkbook
workbook.createSheet("sub Shop info",data.zipWithIndex){ case (data, _) >Seq("" -> "",)
}
workbook def sendExce…
Scala集合Map
在scala中Map分为可变长（mutable）和不可变长（immutable） /*** 不可变长map 长度一旦初始化，就不能在进行更改*/// 通过箭头的方式创建mapval map Map("name" -> "leo", "age" ->…
hadoopspark安装（下）
上一遍文章中其实最主要的就是JAVA环境变量以及hadoop环境变量的设置，这两个设置好了的话，运行hadoop基本上不会出问题。 在hadoop的基础上安装spark好简单。 安装Spark之前需要先安装Hadoop集群，因为之前已经安装了hadoop，所以我…
大数据入门：各种大数据技术介绍
转自：http://www.aboutyun.com/thread-7569-1-1.html 大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这…
Java8初体验（一）lambda表达式语法
感谢同事【天锦】的投稿。投稿请联系 tengfeiifeve.com 本文主要记录自己学习Java8的历程，方便大家一起探讨和自己的备忘。因为本人也是刚刚开始学习Java8，所以文中肯定有错误和理解偏差的地 方，希望大家帮忙指出，我会持续修改和优…
Spark Streaming之五：Window窗体相关操作
SparkStreaming之window滑动窗口应用，Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成的RDD，会作为win…
BigDecimal四舍五入与保留位
1.引言借用《Effactive Java》这本书中的话，float和double类型的主要设计目标是为了科学计算和工程计算。他们执行二进制浮点运算，这是为了在广域数值范围上提供较为精确的快速近似计算而精心设计的。然而，它们没有提供完全精确的结果&#x…
Spark / Scala - scala.collection.convert.Wrappers$MutableSetWrapper - no valid constructor
目录
一.引言
二.问题分析与定位
1.问题描述
2.代码回朔
2.1 asJava
2.2 Decorators
2.3 mutableSetAsJavaSetConverter
2.4 MutableSetWrapper
三.问题解决尝试
1.增加 constructor ❌
2.嵌套包装 Wrapper ❌
3.JavaConversions ❌
4.基础转换 java.util.Set &am…
Flink / Scala 实战 - 15.Stream 基本合流操作 - Union Connect
目录
一.引言
二.数据准备
1.Event 事件类
2.Source 数据源
三.Union
1.简介
2.union 示例
<
大数据系列修炼-Scala课程05
Scala多重继承、构造器的执行顺序、AOP实现 多重继承的trait实现：Scala中接口可以继承具体的类，trait接口可以实现多重继承，并且某个类也可以继承特定的类，在继承后面可以混入，接口的实现多重继承构造器执行顺序&#…
Spark算子讲解(二)
1：glom def glom(): RDD[Array[T]] 将原RDD的元素收集到一个数组，创建一个数组类型的RDD 2：getNumPartitions final def getNumPartitions: Int 求RDD的分区书 3：groupBy def groupBy[K](f: (T) ⇒ K)(implicit kt: ClassTag[K]):…
Spark - ReturnStatementInClosureException: Return statements aren‘t allowed in Spark closures
一.引言 Spark 使用 RDD 调用 Filter 函数时，dirver 端卡住，报错 ReturnStatementInClosureException: Return statements arent allowed in Spark closures，即闭包内无法使用 return 函数： 二.使用场景
使用 rdd.filter 方法过滤…
Scala/Java - BitMap 构建与增删改查
一.引言
BitMap 采用 bit 为单位存储数据，因此得名 BitMap；面对大规模数据去重、存储时，常见的存储方法会占用大量存储空间，这时候便需要 BitMap。Java 中一个 Int 占用4字节，一个字节等于8个比特，所以存储…
Scala Generic 泛型类详解 - T
一.引言：
正常编程时，我们的类初始化参数或者方法参数都是指定的对象，例如 def sum(arr: Array[Int]) 这样，这时如果传入 arr: Array[String] 就会提示参数不合规，这时候可以通过隐式转换implcit的方法，使…
Scala Java Random 用法
Scala Java Random 用法 mark 一下常用的 random 用法~
加载Random： import scala.util.Randomval random new Random() 常用：
随机生成 [0,n) 的整数，注意左开右闭：
random.nextInt(10)6
随机生成[m,n] 的整数，这…
Spark修炼之道（高级篇）——Spark源码阅读：第十节 Standalone运行模式解析
Spark Standalone采用的是Master/Slave架构，主要涉及到的类包括： 类：org.apache.spark.deploy.master.Master
说明：负责整个集群的资源调度及Application的管理。
消息类型：
接收Worker发送的消息
1. RegisterWorker
2…
Spark-Streaming kafka count 案例
Streaming 统计来自 kafka 的数据，这里涉及到的比较，kafka 的数据是使用从 flume 获取到的，这里相当于一个小的案例。 1. 启动 kafka Spark-Streaming hdfs count 案例2. 启动 flume flume-ng agent -c conf -f conf/kafka_test.conf -n a1 -…
scala包对象_Scala catchAll对象
scala包对象Scala being a scalable programming language has good support for all types of things. In exception handling also scala has many methods defined to do advanced things in error handling. 作为一种可扩展的编程语言，Scala对所有类型的事物都有…
spark单机环境搭建以及快速入门
1 准备 系统环境 cat /etc/centos-release
CentOS Linux release 7.3.1611 (Core) 配置jdk8 wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24http%3A%2F%2Fwww.oracle.com%2F; oraclelicenseaccept-securebackup-cookie" "http://download…
Scala_方法和函数
方法的定义 def functionName([参数列表]) : [return type] {function bodyreturn []
} 如果没有和{}包裹的方法体，那么该方法被隐式申明为抽象(abstract)方法，包含它的类就是抽象类。abstract class Test{def hi(x : Int):Intdef he(x : Int){x 1}
} …
scala递归函数_Scala中的递归函数
scala递归函数Scala中的递归函数 (Recursion function in Scala) Recursion function is a function that calls itself again and again until a specific condition becomes true. In functional programming, recursion plays a big role and being a functional programmin…
positive-unlabeled (PU) learning
PULearning的应用场景是，我们可以清晰地确定正样本，但是不能确定负样本，因为它有可能是正样本，只是我们还没有证明。 这时我们可以把这部分不确定的样本称为无标签样本U，加上正样本P来建立模型。 问题可以转化为一个有…
GBT算法在拖动滑块辨别人还是机器中的应用
1.数据源格式：（x,y,t),第一个值x是x坐标范围是1-250的整数，y是1-10的整数，t是滑块从上一个坐标到下一个坐标的时间差，ok是判断是人操作的，Fail是判断是机器操作的，数据看的出，同一个…
filterreader_Java FilterReader skip（）方法与示例
filterreaderFilterReader类skip()方法 (FilterReader Class skip() method) skip() method is available in java.io package. skip()方法在java.io包中可用。 skip() method is used to skip the given number of characters from this FilterReader. skip()方法用于从此Filt…
Java RandomAccessFile getFD（）方法与示例
RandomAccessFile类的getFD()方法 (RandomAccessFile Class getFD() method) getFD() method is available in java.io package. getFD()方法在java.io包中可用。 getFD() method is used to retrieve the file descriptor linked with this RandomAccessFile stream. getFD()方…
大数据系列之并行计算引擎Spark部署及应用
相关博文： 大数据系列之并行计算引擎Spark介绍 之前介绍过关于Spark的程序运行模式有三种： 1.Local模式； 2.standalone(独立模式） 3.Yarn/mesos模式 本文将介绍Spark安装及运行模式的第1、3两种模式。 安装包： spark-2…
大数据系列修炼-Scala课程16(2)
核心内容: 1、scala中包的创建 2、scala中包的作用域 3、scala中包对象的使用 1、scala中包的创建1>scala中不但可以定义类,还可以定义包(在Java当中不可以),而且包还可以嵌套定义
package spark.navigation
{protected abstract class Navigator {def act()}package…
Ignite 与 Spark 都很强，那如果把它们整合起来会怎样？
1.将 Ignite 与 Spark 整合整合这两种技术会为 Spark 应用带来若干明显的好处： 通过避免大量的数据移动，获得真正可扩展的内存级性能；提高 RDD、DataFrame 和 SQL 的性能；在 Spark 作业之间更方便地共享状态和数据。下图显示了如何…
大数据系列修炼-Scala课程13+14
核心内容: 1、作为接口的trait代码实战 2、在对象中混入trait代码实战 1、作为接口的trait代码实战1、scala中的trait(特质)功能很强大,Java中抽象类能做的事情，trait都可以做。Java中接口能做的事情,trait也可以做,它的长处在于可以多继承—即trait既可以当做接口来用,也可以…
大数据系列修炼-Scala课程12
核心内容: 1、scala中抽象类、抽象方法、抽象字段的概念 2、抽象方法与抽象字段的重写 1、scala中抽象类、抽象方法、抽象字段的概念1>在scala中,含有抽象方法或抽象字段的类为抽象类(在Java中:含有抽象方法的类叫做抽象类) 2>没有执行体的方法叫做抽象方法,scala当中…
Spark入门实战系列--9.Spark图计算GraphX介绍及实例
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、GraphX介绍 1.1 GraphX应用背景 Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式…
《Scala机器学习》一一第1章 探索数据分析
**第1章探索数据分析**在本书深入研究复杂的数据分析方法之前，先来关注一些基本的数据探索任务，这些任务几乎会占据数据科学家80%～90%的工作时间。据估计，每年仅仅是数据准备、清洗、转换和数据聚合就有440亿美元的产值࿰…
Hadoop监控分析工具Dr.Elephant
公司基础架构这边想提取慢作业和获悉资源浪费的情况，所以装个dr elephant看看。LinkIn开源的系统，可以对基于yarn的mr和spark作业进行性能分析和调优建议。DRE大部分基于java开发，spark监控部分使用scala开发，使用play堆栈式框架。…
闲话Scala中的Nothing与Null与Nil
Nothing和Null是位于类型系统底层的两个特殊类型， 其中**Nothing是所有其他类型的子类，而Null是所有引用类型的子类**。
Null对于大多数语言而言是熟悉的概念。 尽管这些语言通常并没有定义Null类型，仅仅定义了关键字null， 用于向…
spark demo 运行
1. 自定义数据生成查询表 package com.zz.spark.sparksqlimport org.apache.spark.sql.{DataFrame, SparkSession}/*** 自定义DataFrame注册成数据表，查询数据表*/
object Demo1 {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("D…
Scala 函数式编程
1. 函数定义
1.1 函数字面量
函数字面量可以体现函数式编程的核心理念。在函数式编程中，函数的使用方式和其他数据类型的使用方式完全一致，可以被传递和操作(可以像定义变量那样去定义一个函数)。这时，函数的“类型”和“值”成为两个分开的…
Spark2.3.1源码编译
最近捣鼓了一下Spark源码的编译，下载源码什么的网上都有，我主要研究了Spark Core和Spark on Yarn的源码，一般的步骤网上都有，就不在这里说了，我是把Spark2.3.1的源码导入到了idea中进行编译的，导入到idea中…
Spark History Server产生背景
以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后…
Spark中分布式使用HanLP（1.7.0)分词示例
HanLP分词，如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典".分享某大神的示例经验:是直接"java xf hanlp-1.6.8-sources.jar" 解压源码&…
scala+hadoop+spark环境搭建
一、JDK环境构建 在指定用户的根目录下编辑.bashrc文件,添加如下部分： # .bashrc
# Source global definitionsif [ -f /etc/bashrc ]; then. /etc/bashrcfi
# User specific aliases and functions
JAVA_HOME/data01/java/jdk1.8.0_121
PATH$JAVA_HOME/bin:$PATHex…
Scala和Java程序区别
Scala完全面向对象，故Scala去掉了Java中非面向对象的元素，如static关键字，void类型 1）static Scala无static关键字，由object实现类似静态方法的功能（类名.方法名）。 2）void 对于无返…
java.sql.SQLException: Can not issue empty query.
1、错误描述 java.sql.SQLException: Can not issue empty query.at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:996)at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:935)at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:924)at …
maven自动编译，解决你每次代码修改需要重新编译的繁琐
maven结构的项目，每次修改代码后都会需要手动编译，下面命令可以解决此问题，只要代码修改，会自动帮你编译。 进入项目目录执行：mvn -U eclipse:clean eclipse:eclipse 然后重新执行mvn clean package,启动就okÿ…
Spark笔记-DataSet，DataFrame
DataSet：面向对象的，从JVM进行构建，或从其它格式进行转化 DataFrame：面向SQL查询，从多种数据源进行构建，或从其它格式进行转化 RDD DataSet DataFrame互转 1.RDD -> Dataset
val ds rdd.toDS()2.RDD -…
Scala进阶之路-Spark底层通信小案例
Scala进阶之路-Spark底层通信小案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Spark Master和worker通信过程简介 1>.Worker会向master注册自己； 2>.Master收到worker的注册信息之后&am…
spark HA 安装配置和使用（spark1.2-cdh5.3）
安装环境如下： 操作系统：CentOs 6.6Hadoop 版本：CDH-5.3.0Spark 版本：1.2集群5个节点 node01~05 node01~03 为worker、 node04、node05为master spark HA 必须要zookeepr来做协同服务，做master主备切换，zoo…
《Scala机器学习》一一2.2 序贯试验和风险处理
本节书摘来自华章计算机《Scala机器学习》一书中的第2章，第2.2节,作者：[美] 亚历克斯科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 序贯试验和风险处理 如果风险偏好是为了多…
spark RDD功能与分类
算子的定义：RDD中定义的函数，可以对RDD中的数据进行转换和操作。下面根据算子类型的分类进行总结： 1. value型算子 从输入到输出可分为一对一（包括cache）、多对一、多对多、输出分区为输入分区自激 1)一对一&…
Spark On YARN内存分配
本文转自：http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html?utm_sourcetuicool 此文解决了Spark yarn-cluster模式运行时，内存不足的问题。 Spark yarn-cluster模式运行时，注意yarn.app.mapreduce.am.resource.mb的设置。…
Scala之隐式转换
概述 简单说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。 隐式转换有四种常见的使用场景： 将某一类型转换成预期类…
Scala : Recursion Homework-1
2019独角兽企业重金招聘Python工程师标准>>> 习题来自于这里的公开课 https://class.coursera.org/progfun-2012-001/ 1. Exercise 1: Pascal’s Triangle The following pattern of numbers is called Pascal’s triangle. 11 11 2 11 3 3 1
1 4 6 4 1... The n…
scala Map 与Json互转
scala 将Map转换成Json字符串:
import scala.util.parsing.json.JSONObject
JSONObject.apply(wordsMap).toString() JSON字符串转Map:
import collection.immutale.Map
import scala.util.parsing.json.JSON
def str2map(jsonstr:String): Map[String,Any] { val vsome …
RDD：基于内存的集群计算容错抽象(转)
原文：http://shiyanjun.cn/archives/744.html 该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行…
性能测试工具Gatling - 设置Recorder
Gatling自带的Recorder，可以大大节省我们书写scenario的时间。 用法和selenium的IDE类似，作为一个代理服务器在browser和application之间做桥梁作用，从而将操作过程直接转换为scenario。1. 运行直接执行bin目录下的recorder.bat或者recorder.…
微信小程序富文本解析wxParse Alpha0.1-支持HTML及markdown解析
本项目由微信小程序开发论坛-WeAppDev http://weappdev.com/ 会员开发 原文地址: http://weappdev.com/t/wxparse-alpha0-1-html-markdown/184 垂直微信小程序开发交流社区 wxParse(gif加载慢，等等...) 微信小程序富文本解析自定义组件，支持HTML及markdo…
java1.8 10大新特性
http://blog.csdn.net/u013598111/article/details/49720867 一、接口的默认方法 Java 8允许我们给接口添加一个非抽象的方法实现，只需要使用 default关键字即可，这个特征又叫做扩展方法，示例如下： 复制代码 代码如下: interface …
Scala和Spark的安装
文章目录Spark 安装解压文件修改环境变量配置Spark-env.sh配置slaves文件启动sparkSpark 安装
1、前置安装JDK就可以(Spark 不一定依靠Hadoop) 2、下载spark-2.4.3-bin-hadoop2.6.tgz 3、选择3个节点打通无密登录(1台做master节点 2台做worker节点) 4、 在conf下cp slaves 和 …
好程序员大数据基础教程：创建RDD的二种方式
大数据基础教程：创建RDD的二种方式1.从集合中创建RDDval conf new SparkConf().setAppName("Test").setMaster("local")val sc new SparkContext(conf)//这两个方法都有第二参数是一个默认值2 分片数量(partition的数量)//scala集合通过makeR…
Play For Scala 开发指南 - 第10章 MongoDB 开发
2019独角兽企业重金招聘Python工程师标准>>> 为什么选择 MongoDB？ 在 Reactive 越来越流行的今天，传统阻塞式的数据库驱动已经无法满足Reactive应用的需要了，为此我们将目光转向新诞生的数据库新星 MongoDB 。MongoDB 从诞生以来就…
Eclipse/Myeclipse/Scala IDEA for Eclipse里两种添加插件的方法（在线和离线）
方法1：在线安装 第一步，在eclipse菜单栏下，选中help ---->Install New Software 第二步，点击图中 add 添加软件下载地址 第三步 ，选中需要的内容，安装即可 方法 2：本地安装 本地安装即已经下…
Scala2.11.7学习笔记（一）数据类型与基本运算符
鲁春利的工作笔记，谁说程序员不能有文艺范？Scala（http://www.scala-lang.org/）是基于JVM的即可以面向对象也可以面向过程的编程语言。Scala的代码比Java简洁，但同样功能强大，http://www.scala-lang.org/doc…
scala记录（0）介绍
Scala介绍: Scala是一门多范式的编程语言，一种类似java的编程语言 [1] ，设计初衷是实现可伸缩的语言 [2] 、并集成面向对象编程和函数式编程的各种特性。 scala是基于Jvm的，完美兼容Java，是脚本类语言，但为什么说是脚…
spark（一）：spark概览及逻辑执行图
上图是spark框架概要图，spark一些重要概念先简要介绍一下： cluster manager：资源管理集群，比如standalone、yarn；application：用户编写的应用程序；Driver：application中的main函数&a…
【原创】kafka controller源代码分析(一)
Kafka集群中的一个broker会被作为controller负责管理分区和副本的状态以及执行类似于重分配分区之类的管理任务。如果当前的controller失败了，会从剩下的broker中选出新的controller。 一、PartitionLeaderSelector.scala顾名思义就是为分区选举出leader broker&…
【问答集锦】Java工程师文化布道者墨玖：Jsp运行和普通Java有什么不同？
社区将持续介绍优秀的Java专家，本期请到了被誉为工程师文化布道者墨玖，在线为开发者解决问题，向墨玖问请点击:https://yq.aliyun.com/promotion/755 墨玖，阿里影业-C端-技术专家 张涛，花名：墨玖；…
Github上的1000多本免费电子书重磅来袭！
Github上的1000多本免费电子书重磅来袭！ 以前 StackOverFlow 也给出了一个免费电子书列表，现在在Github上可以看到时刻保持更新的列表了。 瞥一眼下面的书籍分类目录，你就能知道这个免费电子书库的含金量了吧。记得一定要看几本，千…
【00】Spark环境搭建
为什么80%的码农都做不了架构师？>>> 1、win7安装虚拟机visual box 在上面安装ubuntu kylin 14.04， 原来用vmware，安装起来太大了，好几个G，系统直接卡死。还采用过easy bcd硬盘安装，结果&#x…
spark元组的列表转化为字典
好吧，元组不能转为字典。或者说直接不能转，间接可以。当然元组有格式要求的。 [(key1,value1),(key2,value2),...] 之所以把这个问题抛出来是因为，spark的zipWithIndex本来应返回字典，但却返回了上面这种格式。 当然在spark的环境…
用Scala实现集合中相邻元素间的差值
欢迎转载，转载请注明出处，徽沪一郎。 概要 代码这东西，不写肯定不行，新学Scala不久，将实际遇到的一些问题记录下来，日后也好查找。 今天讲的是如何计算同一集合中元素两两之间的差值，即求开始集…
使用Scala开发Android
需求： > Android开发环境： EclipseAndroid SDKADT> 安装Scala IDE插件： 官方网站： http://scala-ide.org/index.html Eclipse -> Help -> Install New Software... 点击Add按钮 Location： http://download…
Apache Spark源码走读（九）如何进行代码跟读使用Intellij idea调试Spark源码
<一>如何进行代码跟读 概要 今天不谈Spark中什么复杂的技术实现，只稍为聊聊如何进行代码跟读。众所周知，Spark使用scala进行开发，由于scala有众多的语法糖，很多时候代码跟着跟着就觉着线索跟丢掉了，另外Spark基于…
【Bugly 技术干货】Android开发必备知识：为什么说Kotlin值得一试
1、Hello, Kotlin Bugly 技术干货系列内容主要涉及移动开发方向，是由 Bugly 邀请腾讯内部各位技术大咖，通过日常工作经验的总结以及感悟撰写而成，内容均属原创，转载请标明出处。 1.1 Kotlin的身世 写了许久Java，有没有…
性能测试-Gatling(一)
背景说明转自 ： http://www.infoq.com/cn/articles/new-generation-server-testing-tool-gatling/ 以前Jmeter用的多，如文档中所说，实际使用后发现Jmeter多用户时很容易并发并发不均匀，导致一些数据统计不准确。 Jmeter & Gat…
spark错误记录总结
1、执行spark-submit时出错 执行任务如下： # ./spark-submit --class org.apache.spark.examples.SparkPi /hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100 报错如下： 2019-02-22 09:56:26 INFO StandaloneAppClient$ClientEndpoi…
all(iterable) any(iterable) 对可迭代对象的每个元素(分子)进行判断。
迭代元素：元组、列表结果为真：数值：非0，字符：非空，bool: True. any() 只要可迭代元素的任何一个元素为真，结果为真。迭代元素为空，结果为假。存在元素，每个元素bool结果相…
JVM与字节码——2进制流字节码解析
为什么80%的码农都做不了架构师？>>> 字节码解析 结构 本位将详细介绍字节码的2进制结构和JVM解析2进制流的规范。规范对字节码有非常严格的结构要求，其结构可以用一个JSON来描述： {magicNumber: 0xcafebabe,//魔数minorVersion: …
scala 基本语法
1. 声明值和变量
1.1 常量声明
// val 不可变，在声明时就必须初始化，之后不能再赋值
val aa "hello"
// aa: String hello
// scala 具有类型自动推断功能，可根据右边的值进行变量类型推断
1.2 变量声明
import java.lang._ …
Scala中的 模式匹配，样例类，密封类 与示例代码
模式匹配
类易于Java中的swith…case语句，但是功能比Java的强大 根据不同情况进行匹配操作，Scala模式匹配除对值匹配之外，还可以进行类型的匹配，集合，样例类等复杂匹配
基本语法
值匹配
object MathPatternExample…
IBM高级工程师，谷歌等国际知名公司工程师撰写Android开发教程合集
注意：本专题所列所有文章均是国际上知名学者教授或者是IBM 谷歌等知名公司的高级工程师所撰写。如有引用，注明来源，谢谢。 Android 是一种基于 Linux V2.6 内核的综合操作环境。最初，Android 的部署目标是移动电话领域…
scala eclipse maven环境搭建
scala eclipse maven环境搭建 下载 scala版本eclipse http://scala-ide.org/ 生成maven项目 复制下边的pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"ht…
Maven和Gradle对比(转载)
转载出处：http://www.cnblogs.com/huang0925 Java世界中主要有三大构建工具：Ant、Maven和Gradle。经过几年的发展，Ant几乎销声匿迹、Maven也日薄西山，而Gradle的发展则如日中天。笔者有幸见证了Maven的没落和Gradle的兴起。Mav…
spark的cache(),persist(),unpersist()方法及需要注意的细节
1 cache(), persist()和unpersist()
原文链接：Spark DataFrame Cache and Persist Explained
spark中DataFrame或Dataset里的cache()方法默认存储等级为MEMORY_AND_DISK，这跟RDD.cache()的存储等级MEMORY_ONLY是不一样的。理由是重新计算内存中的表的代…
Spark学习之Spark SQL（8）
Spark学习之Spark SQL（8） 1. Spark用来操作结构化和半结构化数据的接口——Spark SQL、 2. Spark SQL的三大功能 2.1 Spark SQL可以从各种结构化数据（例如JSON、Hive、Parquet等）中读取数据。
2.2 Spark SQL不仅支持在Spark程序内…
1、下载安装scala编译器（可以理解为scala的jdk），地址：http://www.scala
为什么80%的码农都做不了架构师？>>> 1、下载安装scala编译器（可以理解为scala的jdk），地址：http://www.scala-lang.org/download/ 2、在eclipse安装scala插件，地址：http://scala-ide…
Windows 和 Linux 下搭建 Scala 环境
文章目录（一）Windows 下搭建 Scala 环境1. 安装 jdk1.82. 去官网下载对应的安装文件3. 解压文件到本地目录4. 配置环境变量5.测试一下（二）Linux 下搭建 Scala 环境1. 去官网下载对应的安装文件2. 通过 Xftp6 将安装文件上传到 Lin…
挑逗 Java 程序员的那些 Scala 绝技
有个问题一直困扰着 Scala 社区，为什么一些 Java 开发者将 Scala 捧到了天上，认为它是来自上帝之吻的完美语言；而另外一些 Java 开发者却对它望而却步，认为它过于复杂而难以理解。同样是 Java 开发者，为何会出现两种截…
for循环 从10到0 做递减，打印出数组内容
1 <!DOCTYPE html>2 <html lang"en">3 <head>4 <meta charset"UTF-8">5 <title>for循环</title>6 </head>7 <body>8 9 <script>
10 for(var i0; i<10; i){ //for循环关键…
将int型数字转换成7位字符串，不足的时候，前面补0
int aa 111; string aastr aa.ToString("0000000");//或string aastr aa.ToString().PadLeft(7,0);string.Format(" {0:d7}", i);123.ToString("d7");转载于:https://www.cnblogs.com/zhangzhu/archive/2012/12/14/2817893.html
使用Scala和Sttp库编写爬虫程序
以下是一个使用Scala和Sttp库编写的视频爬虫程序，该程序使用了proxy来获取IP。请注意，这个示例需要在上找到一个具体的视频链接，然后将其传递给crawlVideo函数。
import scala.util.{Failure, Success}
import scala.concurrent.{Future, Ex…
1.Scala基础—数据类型、标准输入、类和对象、分支循环、函数、匿名函数、高阶函数
本文目录如下：第一章 Scala基础1.0 前言1.1 数据类型1.2 Hello World1.2 键盘标准输入1.3 类和对象、伴生类和伴生对象1.4 分支循环1.4.1 if else1.4.2 for,while,do...while1.5 函数1.5.1 Scala函数的定义1.5.2 包含参数默认值的函数1.5.3 可变参数个数的函数1.6 匿…
Spark Streaming笔记整理（二）：案例、SSC、数据源与自定义Receiver
实时WordCount案例 主要是监听网络端口中的数据，并实时进行wc的计算。 Java版 测试代码如下： package cn.xpleaf.bigdata.spark.java.streaming.p1;import org.apache.log4j.Level;
import org.apache.log4j.Logger;
import org.apache.spark.SparkConf;…
Spark 的Core深入（二）
Spark 的 Core 深入（二） 标签（空格分隔）： Spark的部分 一： 日志清洗的优化二：Spark RDD三：SparkContext三大功能四：Spark on YARN五： spark RDD 的 依赖一、日…
快学Scala习题解答—第四章 映射和元组
4 映射和元组4.1 设置一个映射,当中包括你想要的一些装备，以及它们的价格。然后构建还有一个映射。採用同一组键，可是价格上打9折映射的简单操作 Shell代码 scala> val map Map("book"->10,"gun"->18,"ipad"-&…
akka actor中的基本概念(学习小结)
注：本文章是看blog后的一个阶段小结，只作为个人笔记， 原文链接：http://www.iteblog.com/archives/1154官网地址贴上：http://doc.akka.io/docs/akka/snapshot/scala/actors.html 什么是akkaakka的actor模式提供了一个写…
Scala的内建控制结构
一：if表达式 Scala的if表达式和Java语言的用法一样，if,if else,if elseif else这三种结构。 object If_expression {def main(args: Array[String]): Unit {/*** Scala的if表达式和Java的一样用法*/val a readInt()if(a > 0){println(a" > …
Kafka Producer机制优化-提高发送消息可靠性
名称解释： Broker：负责消息的存储和转发，也可以叫消息中介节点 Topic：每种消息的分类叫做主题(Topic)。 Partition：每一个Topic被切分为多个Partitions。 背景 Producer构造Message对象时，传入key参数&…
Spark SQL 用户自定义函数UDF、用户自定义聚合函数UDAF 教程（Java踩坑教学版）
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等UDAF（User- Defined Aggregation Funcation），用户…
spark-聚合算子aggregatebykey
spark-聚合算子aggregatebykey Aggregate the values of each key, using given combine functions and a neutral "zero value". This function can return a different result type, U, than the type of the values in this RDD, V. Thus, we need one operation …
kafka知识体系-集群partitions/replicas默认分配解析
本系列主要讲解kafka基本设计和原理分析，分如下内容： 基本概念消息模型kafka副本同步机制kafka文件存储机制kafka数据可靠性和一致性保证kafka leader选举kafka消息传递语义Kafka集群partitions/replicas默认分配解析Kafka集群partitions/replicas默认分…
Scala语言规范----Array类
为什么80%的码农都做不了架构师？>>> Array类通用数组类定义如下。final class Array[A](len: Int) extends Seq[A] {def length: Int lendef apply(i: Int): A ...def update(i: Int, x: A): Unit ...def elements: Iterator[A] ...def subArray(fr…
Scala学习笔记（四）：从文件里读取文本行
第一个版本： import scala.io.Source
if(args.length>0){for(line<-Source.fromFile(args(0)).getLines)print(line.length" "line)
}else{Console.err.println("Please enter FileName")
} 运行该程序时抛出了异常：java.lang…
Spark基础脚本入门实践3:Pair RDD开发
Pair RDD转化操作 val rdd sc.parallelize(List((1,2),(3,4),(3,6))) //reduceByKey，通过key来做合并val r1 rdd.reduceByKey((x,y)>xy).collect()val r1 rdd.reduceByKey(__).collect()res0: Array[(Int, Int)] Array((1,2), (3,10)) val r1 rdd.reduceByK…
Scala的Actor模式 Akka框架
今天学Spark的时候，看到Scala的actor模式是一个加分点。所以搜了一下，看了。主要参考下面两篇文章，还没有实验，有些地方领会的不深刻： http://nxlhero.blog.51cto.com/962631/1666250 十分钟理解Actor模式 Actor模式是…
解决：Scala反射中Boolean等值类型 type mismatch 问题
描述问题 使用 scala 反射过程中，传入为值类型，比如Boolean时，会出现类型不匹配的情况 type mismatch;
found : Boolean(true)
required: ObjectxxxMethod.invoke(new xxx, true)解决方案 不多说，先放解决方案 package Reflectc…
Apache Zeppelin安装及使用
2019独角兽企业重金招聘Python工程师标准>>> Apache Zeppelin官网：http://zeppelin.apache.org/ Apache Zeppelin介绍：A web-based notebook that enables interactive data analytics. You can make beautiful data-driven, interactive an…
Flink原理与实现：详解Flink中的状态管理
Flink原理与实现系列文章 ： Flink 原理与实现：架构和拓扑概览Flink 原理与实现：如何生成 StreamGraphFlink 原理与实现：如何生成 JobGraphFlink原理与实现：如何生成ExecutionGraph及物理执行图Flink原理与实现…
优秀程序员(java)-利器-热部署
说说为何要热部署： 你是不是经常做项目，改动了代码，然后不得不重启服务器。 要是碰到公司足够吝啬，项目足够庞大，你会发现大量的时间浪费在这上面。 （我们一直在努力，最大效率的开发出一组组产品…
Spark学习笔记（一）：Scala基本语法
Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。 目录变量for循环函数占位符读取控制台输入读写文件异常捕获容器迭代器类抽象类特质case类匹配模式apply和update方法Op…
scala集合的partition方法使用
在Scala中，partition 方法用于将集合（例如 List、Array ，Set等）中的元素根据给定的条件分成两个部分，并返回一个元组，其中包含两个新的集合，第一个包含满足条件的元素，另一个包含不满…
6.scala辅助构造器与为构造函数提供默认值(一)
概述 本文主要说明: 辅助构造器 与 为构造函数提供默认值 的使用 辅助构造器为构造函数提供默认值
相关链接 阅读之前，可以浏览一下 scala相关文章
辅助构造器
可以通过定义名为this的方法来定义辅助Scala类构造函数。只有几个规则需要了解：
每个辅助…
gradle项目中如何支持java与scala混合使用?
之前写过一篇maven项目中java与scala如何混用，今天来看看gradle项目中如何达到同样的效果： 一、目录结构 基本上跟maven一样，tips:这一堆目录结构不用死记，后面会讲如何用gradle命令快速生成 二、build.gradle配置 1 group yjmyzz…
与Brian Goetz聊Java的数据类
\看新闻很累？看技术新闻更累？试试下载InfoQ手机客户端，每天上下班路上听新闻，有趣还有料！\\\作为Oracle的Java语言架构师，Brian Goetz一直致力于Java编程语言在生产力和性能上的日臻完美。最近，…
使用maven编译scala项目时栈溢出
使用maven对scala项目进行编译时，有时会出现StackOverflowError的错误，无法进行打包。而信息通常会有如下信息： [INFO] Compiling {个数} source files to {编译路径} at {时间戳}
[ERROR] error: java.lang.StackOverflowError
{XXX} {个数}…
深入字节码 -- 计算方法执行时间
什么是字节码？ java程序通过javac编译之后生成文件.class就是字节码集合,正是有这样一种中间码(字节码)，使得scala/groovy/clojure等函数语言只用实现一个编译器即可运行在JVM上。看看一段简单代码。 public long getExclusiveTime() {long startTime S…
第1章 Kotlin简介 《Kotlin 极简教程》
第1章 Kotlin简介 《Kotlin极简教程》正式上架： 点击这里 > 去京东商城购买阅读 点击这里 > 去天猫商城购买阅读 非常感谢您亲爱的读者，大家请多支持！！！有任何问题，欢迎随时与我交流~ 1.1 kotlin简…
如何做Spark 版本兼容
案例 在Spark 1.6 时，大部分机器学习相关的类使用的向量还是org.apache.spark.mllib.linalg.Vector 而到2.0后，已经基本都变更成org.apache.spark.ml.linalg.Vector 同理对应的Vectors object 也是。这就造成了一个比较大的困难，比如下面的代…
（5）pyspark----共享变量
如果想在节点之间共享一份变量，spark提供了两种特定的共享变量，来完成节点之间的变量共享。 （1）广播变量（2）累加器 二、广播变量 概念： 广播变量允许程序员缓存一个只读的变量在每台机器上&…
Scala IDE里的WorkSheet的使用
在Scala IDE中有一个很便捷的功能，那就是WorkSheet。 它类似于交互式命令行的代码测试，在Worksheet输入scala表达式，保存以后会立即得到程序运行的结果，有助于初学者学习scala。 步骤一： 新建一个WorkSheet 或者啊&…
Scala--基础入门
2019独角兽企业重金招聘Python工程师标准>>> 简介/安装 Scala，是一门运行在JVM上的函数式面向对象语言，可以很好的兼容java。 1、首先安装一下JDK(略) 2、安装scala，官方下载：http://www.scala-lang.org/download/2.11…
深入探讨网络抓取：如何使用 Scala 和 Dispatch 获取 LinkedIn 图片
网络抓取是一种从互联网上获取数据的技术，它可以用于各种目的，例如数据分析、信息检索、竞争情报等。网络抓取的过程通常包括以下几个步骤：
发送 HTTP 请求到目标网站解析响应的 HTML 文档提取所需的数据存储或处理数据
在本文中࿰…
scala：json4s库常用操作
API：https://static.javadoc.io/org.json4s/json4s-core_2.9.1/3.0.0/org/json4s/JsonAST$$JValue.html 替换操作replace： import org.json4s.JsonDSL._
import org.json4s.jackson.JsonMethods._
import org.json4s._
val jobj JObject(List(JField(&q…
Spark中的一些概念
最近工作用到Spark，这里记一些自己接触到的Spark基本概念和知识。 本文链接：https://www.cnblogs.com/hhelibeb/p/10288915.html 名词 RDD：在高层，每个Spark应用包含一个driver程序，它运行用户的主函数，在集…
词法分析——使用正则文法
（周游[http://www.cnblogs.com/naturemickey]版权所有，未经许可请勿转载） 在我的前一篇文章《按编译原理的思路设计的一个计算器》中，大致讲了编译器的结构及构造思路。 这次把词法分析的部分单独拿出来细讲一下。 一、什么是词法…
Scala:fold,foldLeft和foldRight区别与联系
2019独角兽企业重金招聘Python工程师标准>>> 从本质上说，fold函数将一种格式的输入数据转化成另外一种格式返回。fold, foldLeft和foldRight这三个函数除了有一点点不同外，做的事情差不多。我将在下文解释它们的共同点并解释它们的不同点。我…
Spark入门：读写Parquet(DataFrame)转
http://dblab.xmu.edu.cn/blog/1091-2/转载于:https://www.cnblogs.com/xd502djj/p/8656629.html
Scala深入浅出实战经典《第88讲：Scala中使用For表达式实现map、flatMap、filter》笔记...
简直了。。。。晚上回来突然看到了进巨的原稿，忍不住撸了幅三爷，然后什么都没做就23点了。。。 第88讲：Scala中使用For表达式实现map、flatMap、filterGoal：For表达式实现map/flatMap/filterGains：map/flatMap/filte…
scala type
scala type
1. 由来
type是Scala中的关键字，用于定义类型别名。它允许我们为现有类型创建一个新的名称，以提高代码的可读性和灵活性。
2. 示例
以下是使用type定义类型别名的简单示例：
type Name String
type Age Intval name: Name …
ActorLite：一个轻量级Actor模型实现（上）
Actor模型 Actor模型为并行而生，具Wikipedia中的描述，它原本是为大量独立的微型处理器所构建的高性能网络而设计的模型。而目前，单台机器也有了多个独立的计算单元，这就是为什么在并行程序愈演愈烈的今天，Actor模型又重…
我的备忘录scala点滴知识记录
为什么80%的码农都做不了架构师？>>> 1.String 插入引用(需要在引用的变量前增加 s 标识) val name"jiang"
val infos"i am $name"
info: String i am jiang
val age019
val str1s"i am ${age0 1} years old"
str1: Str…
如何在Scala中使用条件表达式 .
条件表达式 Scala的if/else语法结构和Java或C一样。不过，在Scala中if/else表达式有值，这个值就是跟在if或else之后的表达式的值。例如： if (x > 0) 1 else -1 上述表达式的值是1或−1，具体是哪一个取决于x的值。你可以将if/els…
DataSet学习笔记
1、在新建sql参数的时候，如果后面的值是0的话，会被认为是表示参数类型的枚举，如 new SqlParameter("ID",0)，正确的写法 new SqlParameter("ID",（object）0)。 2、在使用SqlDataAdapter的…
[置顶] Ruby，Scala和JavaScript中的函数式编程(一)
函数式编程（英语：Functional programming）或者函数程序设计，又称泛函编程，是一种编程范型，它将电脑运算视为数学上的函数计算，并且避免使用程序状态以及易变对象。函数编程语言最重要的基础是λ…
为什么每个 Java 开发者都需要了解 Scala
前面我们一起回顾了第九期 Scala & Java Meetup 中最受关注的话题 —— jdk 并发编程的终极解决方案：虚拟线程，探讨了这一新特性对包括 Scala 在内的响应式编程语言的影响。
本次 Meetup 的首位分享者 Chunsen，在加入 Tubi 成为 Scala 开…
gradle scala插件
gradle scala插件
1. 由来
Gradle是一种现代化的构建工具，Scala插件是Gradle官方提供的插件，用于支持和管理Scala项目的构建过程。
2. 常见五种示例和说明
示例1：配置源代码目录和编译选项
plugins {id scala
}sourceSets {main {scala …
基于Spring Boot和Kotlin的联合开发
版权声明：本文为博主chszs的原创文章，未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/72979648 基于Spring Boot和Kotlin的联合开发 版权声明：本文为博主chszs的原创文章，未获得博主授权均不能转载…
Linux系统下scala安装详解
由于公司业务开展的原因，需要用到多维度分析，所以打算从scala开始，以后会写一系列scala的学习笔记，做一下记录，同时给他人方便。安装scala，需先安装Java的jdk。步骤一、下载jdk安装包点击下面链接ÿ…
IDEA 编写第一个 Scala 程序
文章目录（一）IDEA 安装 Scala 插件（二）编写第一个 Scala 程序1. 新建一个 Maven 项目2. 添加 scala 目录3. 添加 Scala 框架4. 编写 Scala 程序（一）IDEA 安装 Scala 插件
依次点击 File —— Setting ——…
Scala学习(七)练习
控制结构和函数 1. 编写示例程序，展示为什么 package com.horstmann.impatient 不同于 package com package horstmann package impatient 描述: 区别是后者的上层包也可见，而串写的只有当前包范围可见 程序代码: b.scala package com{ package ho…
被 Gitee 评为最有价值的开源项目（内附秘籍）
哈喽，大家好，我是开源君，一个资深的互联网玩家，致力于为大家分享各领域优质开源项目。
最近在逛 GitHub 的时候发现一个热门的开源项目StreamX，这个大数据开源框架真的十分神奇，主要的作用就是让流处理更简…
《快学Scala》第六章 对象 第七章 包和引入
本文转自博客园xingoo的博客，原文链接：《快学Scala》第六章 对象 第七章 包和引入，如需转载请自行联系原博主。
深入理解Flink核心技术（转载）
作者：李呈祥 Flink项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大…
大数据框架：Spark vs Hadoop vs Storm
大数据时代，TB级甚至PB级数据已经超过单机尺度的数据处理，分布式处理系统应运而生。 知识预热 「专治不明觉厉」之“大数据”；大数据生态圈及其技术栈；关于大数据的四大特征（4V） 海量的数据规模（…
Spark Streaming + Kafka 基于广播变量优化
2019独角兽企业重金招聘Python工程师标准>>> 一、问题描述 主要是讨论的问题是Spark应用程序中的对象序列化和生命周期管理。经常会遇到java.io.NotSerializableException异常，这主要是因为某部分应用程序代码在Spark driver运行，而其他部分在…
一份语言选择指南带你玩数据科学，选出你心中支持的语言
更多深度文章，请关注：https://yq.aliyun.com/cloud 随着大数据时代的到来，网络每天会产生大量的数据，一些行业会对这些数据进行分析并协助企业不断地发展新业务、创建运营模式等，比如电子商务、推荐系统等。那么谁对这…
Scala初体验之：for
真的是初体验，至于for的其它功能尚未可知，但是有一点是要记住的，for中的参数是val。 for( arg <- 0 to 10){println(arg)
} 其中的arg是val参数。 转载于:https://www.cnblogs.com/voctrals/archive/2013/05/13/3076557.html
Spark算子总结及案例
spark算子大致上可分三大类算子： 1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数…
Spark Standalone 安装与测试
安装环境 Ubuntu11.10 hadoop2.2.0 Spark0.9.1Spark的Standalone安装还得很容易的，但是我看他们写的不是很详细，也可能是我太菜了，有些看不懂，然后经过自己的摸索感觉有点感觉了，写下来记录下。我下载Spark0.9.1版&…
scala 中的修饰符
1 package cn.scala_base.oop.scalaclass2 import scala.beans.BeanProperty;3 /**4 * scala中的field,类中定义的是方法,函数不依赖于类存在5 *6 */7 class Student {8 //没有修饰符的var变量,在编译时会被声明为private类型,但提供公共的get和set方法,即name,name_,但调…
Scala入门到精通——第七节：类和对象（二）
本节主要内容 单例对象伴生对象与伴生类apply方法应用程序对象抽象类单例对象 在某些应用场景下，我们可能不需要创建对象，而是想直接调用方法，但是Scala语言并不支持静态成员，Scala通过单例对象来解决该问题。单例对象的创建方式如…
Scala中的Implicit(隐式转换,隐式参数,隐式类)
文章来自：http://www.cnblogs.com/hark0623/p/4196452.html 转发请注明 代码如下： /*** 隐式转换 隐式参数 隐式类*///隐式转换
class Implicit(a: A) {def Test: Unit {println("Implicit")}
}class A {}object Implicit {//隐式转换imp…
scala 实现链表
在学习数据结构时学到了链表，因为日常工作，写java写多了，想换个语言玩下，就试着想用scala实现一个链表。哪到知道碰到很多问题， 这里记录下使用scala时，所遇到的那些坑。 java链表 首先，我们先使…
Scala（第六章 面向对象）
文章目录 6.1 Scala包 6.1.1 包的命名6.1.2 包说明（包语句）6.1.3 包对象6.1.4 导包说明 6.2 类和对象 6.2.1 定义类6.2.2 属性 6.3 封装 6.3.1 访问权限6.3.2 方法6.3.3 创建对象6.3.4 构造器6.3.5 构造器参数 6.4 继承与多态6.5 抽象类 6.5.1 抽象属性和…
最详细的大数据学习路线图
一、入门准备1、linux操作基础 Linux的介绍，Linux的安装：VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程Linux的常用命令：常用命令的介绍、常用命令的使用和练习（文件操作、用户管理与权限、免密登陆配置与网络管理&a…
Scala的一等公民和至简原则
1. Scala 中，函数是一等公民具体体现在哪里
Scala 混合了面向对象特性和函数式的特性函数可以作为值传递：函数可以作为参数传递给其他函数，也可以作为返回值返回给其他函数函数可以赋值给变量：和其他数据类型⼀样，函数…
scala编程第17章学习笔记（3）
可变（mutable）集合与不可变（immutable）集合 为了更易于完成不可变集合到可变集合的转换，或者反向转换，Scala提供了一些语法糖。纵使不可变集和映射并不支持真正的方法，Scala还是为此提供了的语法…
Kafka简介及安装配置
2019独角兽企业重金招聘Python工程师标准>>> Kafka简介及安装配置 一、简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分，目前是Apache的一个顶级项目。 Kafka是一个…
RobotRules 和UserAgent来下载文件
以下是一个使用WWW::RobotRules和LWP::UserAgent来下载文件的Perl程序：
#!/usr/bin/perl
use strict;
use warnings;
use WWW::RobotRules;
use LWP::UserAgent;
use HTTP::Request;
use HTTP::Response;
my $url http://www.people.com.cn/;
my $agent LW…
Failed to execute org.scala-tools:maven-scala-plugin:2.15.2解决
原因也不是很清楚，查看一个博主文章(net.alchim31.maven:scala-maven-plugin：maven依赖无法下载或无法编译)得到的解决方案： 在idea的terminal执行以下语句即可实现maven对scala代码的编译：
mvn clean scala:compile compile pac…
[转]异步编程与响应式框架
作者：老赵
来源：http://blog.zhaojie.me/2010/09/async-programming-and-reactive-framework.html 前言 异步操作是强大的，它是许多高伸缩性架构的基石。异步操作在许多情况下是必须的，例如在客户端保持用户界面的响应能力&#…
Scala作业（2）：控制结构和函数
1、一个数字如果为正数，则它的signum为1;如果是负数,则signum为-1;如果为0,则signum为0.编写一个函数来计算这个值
在 Scala 中，你可以编写一个函数来计算给定数字的 signum 值。以下是一个示例函数的实现：
def signum(num: Int): Int {if…
java 如何用pattern 和 Matcher 来使用正则表达式（一）
近期用到了java或者scala的正则表达式的用法，抽点时间总结一下； 转自：https://www.cnblogs.com/haodawang/p/5967219.html java的regex库 java里预留了一个regex库，方便于我们在java里操作正则表达式，或者用它来匹配字…
计时器StopWatch的几种写法
下面提供三种计时器的写法供大家参考，大家可以自行选择自己钟爱的使用。 写法一（Spring 包提供的计时器）： 1 import java.text.NumberFormat;2 import java.util.LinkedList;3 import java.util.List;4 5 /**6 * Simple stop wat…
“轻松管理你的文件库：按大小归类保存，高效整理！“
亲爱的朋友们，你是否曾经为了整理电脑中杂乱无章的文件而感到烦恼？文件大小不一，无法快速找到所需内容，实在让人感到心力交瘁。但现在，我们为你带来一种全新的解决方案，让你的文件管理更轻松，更…
Scala如何写一个通用的游戏数据爬虫程序
以前想要获取一些网站数据的时候，都是通过人工手动复制粘贴，这样的效率及其低下。数据少无所谓，如果需要采集大量数据，手动就显得乏力了。半夜睡不着，爬起来写一段有关游戏商品数据的爬虫通用模板，希望能帮…
《KAFKA官方文档》入门指南（四）
1.4生态系统 除了Kafka的主要版本之外，还有很多应用集成了Kafka工具。该生态系统页面中列出的许多工具，包括流处理系统，Hadoop的集成，监控和部署工具。 1.5从以前版本升级 从0.8.4，0.9.x，0.10.0.x或0.10.1.…
访问类本身的私有变量
2019独角兽企业重金招聘Python工程师标准>>> 一直以为私有变量就是任何地方（除了类里面访问当前对象的private字段）都访问不到的，原来在类自身里面是可以访问其他该类对象的私有变量的，有点绕，看代码吧。 …
Scala面向对象编程（高级部分）
1. 静态属性和静态方法
（1）回顾Java中的静态概念 public static 返回值类型 方法名(参数列表) {方法体} 静态属性… 说明: Java中静态方法并不是通过对象调用的，而是通过类对象调用的，所以静态操作并不是面向对象的。 ࿰…
深入Scala编程: 利用Rx平台构建简单的响应式游戏详解
第一部分: Scala与Rx平台简介
1. Scala简介
Scala是一种高级编程语言，它将面向对象编程和函数式编程结合在一起，提供了强大的表达能力和高效的性能。Scala的设计目的是让开发者能够以更简洁、更高效的方式编写代码，同时保证代码的可读性和可…
Scala作业（3）：类/包和引入
类
1、编写一个Time类，加入只读属性hours和minutes，和一个检查某一时刻是否早于另一时刻的方法before(other:Time):Boolean。Time对象应该以new Time(hrs,min)方式构建。
以下是一个示例的 Time 类的实现，包括只读属性 hours 和 minutes&am…
03-Scala算术运算符
运算符
scala运算符的使用和Java运算符的使用基本相同，只有个别细节上不同。
注意：
Scala中，没有 、-- 操作符，可以通过、-来实现通用的效果
Scala中，一般情况下， 与 equals 是一样的ÿ…
Scala作业（1）：
1、在Scala REPL(read->evaluateion->print->loop)中，计算3的平方根,然后再对该值求平方。现在，这个结果与3相差多少？
Scala REPL（Read-Evaluate-Print-Loop）是 Scala 语言提供的交互式编程环境，…
Quartz实现分布式可动态配置的定时任务
关键词： 1. 定时任务 2. 分布式 3. 可动态配置触发时间 一般通过Quartz实现定时任务很简单。如果实现分布式定时任务需要结合分布式框架选择master节点触发也可以实现。但我们有个实际需求是，页面可动态配置定时任务触发周期（比如，…
perl-basic-数据类型引用
我觉得这一系列的标题应该是：PERL，从入门到放弃 USE IT OR U WILL LOSE IT 参考资料： https://qntm.org/files/perl/perl.html 在线perl编译器： https://www.tutorialspoint.com/execute_perl_online.php use strict;
use warning…
Doris学习笔记之与其他系统集成
文章目录数据准备Spark读写Doris准备spark环境使用Spark Doris ConnectorSQL方式读写数据DataFrame方式RDD方式读取数据配置和字段类型映射Flink读写Doris准备Flink环境SQL方式读写DataStream方式读写SourceSink通用配置和字段类型映射DataX doris writer编译使用参数说明ODBC外…
flink1.15 异步维表Join 用于外部数据访问的异步 I/O scala版本
官方文档 Asynchronous I/O for External Data Access
异步 I/O | Apache Flink
核心问题
问什么有官方文档,我还要写个博客,因为scala Future这块有坑.
1 为什么我的算子显示反压100%
2 为什么我的任务不报错,也没有输出
3 Future对象我该怎么构建,有哪些注意事项. pom …
Scala 数组（Array）、列表（List）、集合（Set）、映射（Map）和元组（Tuple）
1. 数组(Array) 1.1 定长数组 在 Scala 中，如果你需要一个长度不变的数组，可以使用 Array。但需要注意以下两点： - 在 Scala 中使用 (index) 而不是 [index] 来访问数组中的元素，因为访问元素，对于 Scala 来说是方法调…
“如何对TXT文件的内容进行连续行删除？实现一键文件整理！
如果你有一个TXT文件，需要删除其中的连续行，这可能是为了整理文件、去除重复信息或清除不需要的文本。尽管手动删除每一行可能很耗时，但幸运的是，有一个简单而高效的方法可以帮助你实现这个目标。
首先，在首助编辑高手…
Scala中==,eq与equals的区别
根据官方API的定义： final def (arg0: Any): Boolean The expression x that is equivalent to if (x eq null) that eq null else x.equals(that).final def eq(arg0: AnyRef): Boolean Tests whether the argument (that) is a reference to the receiver object…
“轻松管理收支明细，随时筛选借款信息，财务清晰无忧“
作为现代人，我们每天都在与金钱打交道。无论是个人还是企业，都需要对收支情况进行详细的管理和分析。然而，繁琐的财务数据往往让人头疼。现在，我们为您推荐一款强大的财务管理工具，让您轻松管理收支明细，随…
Ubuntu下安装Scala
前言
弄了一下终于成功装上了，这里对此进行一下总结
安装虚拟机
VMware虚拟机安装Ubuntu（超详细图文教程）_vmware安装ubuntu-CSDN博客https://blog.csdn.net/qq_43374681/article/details/129248167Download Ubuntu Desktop | Download | …
Scala---介绍及安装使用
一、Scala介绍
1. 为什么学习Scala语言
Scala是基于JVM的语言，与java语言类似，Java语言是基于JVM的面向对象的语言。Scala也是基于JVM，同时支持面向对象和面向函数的编程语言。这里学习Scala语言的原因是后期我们会学习一个优秀的计算框架S…
Perl的LWP::UserAgent库爬虫程序怎么写
Perl的LWP::UserAgent库是一个用于发送HTTP请求的Perl模块。它可以用于编写Web爬虫、测试Web应用程序、自动化Web操作等。以下是一个简单的使用LWP::UserAgent库发送HTTP GET请求的Perl脚本的例子： #!/usr/bin/perluse strict;
use warnings;
use LWP::UserAgent;# …
Scala 如何调试隐式转换--隐式转换代码的显示展示
方法1
在需要隐式转换的地方，把需要的参数显示的写出。
略方法2，查看编译代码
在terminal中 利用 scalac -Xprint:typer xxx.scala方法打印添加了隐式值的代码示例。
对于复杂的工程来说，直接跑到terminal执行 scalac -Xprint:typer xxx.…
2023_Spark_实验一：Windows中基础环境安装
Ⅰ、WINDOWS中安装JDK1.8 一、下载安装包
链接：百度网盘 请输入提取码 所在文件夹：根目录或者大数据必备工具--》开发工具(前端后端)--》后端 下载文件名称：jdk-8u191-windows-x64.exe 二、安装JDK 1.现在转到下载的exe文件可用的文件夹&…
spark与scala的对应版本查看
仓库地址
https://mvnrepository.com/artifact/org.apache.spark/spark-core 总结
spark3.0 以后，不再支持 scala2.11spark3.0 以后，只能用 scala2.12以上
[spark]spark 编程教程
参考： 英文：https://spark.apache.org/docs/latest/programming-guide.html 中文：http://www.cnblogs.com/lujinhong2/p/4651025.html 1.2.1版本的 （一）快速入门 老规矩，先看一个简单示例，有个认…
Chisel Tutorial（一）——Chisel介绍
Chisel是由伯克利大学公布的一种开源硬件构建语言，建立在Scala语言之上，是Scala特定领域语言的一个应用，具有高度參数化的生成器(highly parameterized generators)，能够支持高级硬件设计。 其特点例如以下，部分特点找…
轻松实现文件按数量平均分类，高效整理并自动新建文件夹保存“
你是否曾经因为文件数量过多，整理起来繁琐而感到烦恼？是否曾经为了新建文件夹而手动一个一个进行创建，费时又费力？现在，我们的智能文件管理工具将为你解决这些问题！
首先第一步，我们要进入文件…
中缀表达式 - 栈实现综合计算器
代码：
package Algotithm.stackobject Calculator {def main(args: Array[String]): Unit {val expression "32*6-2"//创建两个栈：数栈、符号栈val numStack, operStack new ArrayStack2(10)//定义需要的相关变量var index, num1, num2, …
新手入门：Spark部署实战入门
新手入门：Spark部署实战入门Spark简介 整体认识 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 Spark在整个大数据系统中处于中间偏上层的地…
linux扩展(yum使用网络仓库)
8.3 扩展(yum使用网络仓库)
实际yum软件包管理
1.清理原有YUM配置
2.下载阿里官网配置
3.更新YUM仓库
4.执行安装
---------------------------------------------------------------------------------------------------------------------------------
1.清理…
（转）Monad in Scala
2019独角兽企业重金招聘Python工程师标准>>> Monad in Scala Scala 关于什么是Monad(单子), All about Monad里是这样介绍的: A monad is a way to structure computations in terms of values and sequences of computations using those values. Monads allow t…
MongoDB操作_数据库_集合
..........................................................................................................................................................
三、MongoDB操作
3.1 数据库操作
一个mongodb中可以建立多个数据库。
MongoDB的默认数据库为"test…
Hudi-集成Spark之spark-shell 方式
Hudi集成Spark之spark-shell 方式
启动 spark-shell
（1）启动命令
#针对Spark 3.2
spark-shell \--conf spark.serializerorg.apache.spark.serializer.KryoSerializer \--conf spark.sql.catalog.spark_catalogorg.apache.spark.sql.hudi.catalog.Hoo…
scala--面向对象（2）
package scala06object scala07_ABSClass {// 抽象属性 抽象方法
def main(args: Array[String]): Unit = {
// 抽象类用法
// 实例化子类
val student0 = new Student08
student0.sayHi("lisi")// 直接实例化抽象类(匿名子类)
//匿名子类 是多态的一种体现 （父…
Scala知识点——App类
我们在代码中一般程序都是是通过main方法进入。但是在scala中提供了一个App类，通过继承可以实现不用显式的调用main方法就能运行。 App类中实现了main方法：
scala 安装和创建项目
Scala，一种可随您扩展的编程语言：从小型脚本到大型多平台应用程序。Scala不是Java的扩展，但它完全可以与Java互操作。在编译时，Scala文件将转换为Java字节码并在JVM（Java虚拟机）上运行。Scala被设计成面向对…
【Spark分布式内存计算框架——Spark SQL】9. Dataset（下）RDD、DF与DS转换与面试题
5.3 RDD、DF与DS转换
实际项目开发中，常常需要对RDD、DataFrame及Dataset之间相互转换，其中要点就是Schema约束结构信息。 1）、RDD转换DataFrame或者Dataset
转换DataFrame时，定义Schema信息，两种方式转换为Dataset时…
spakr 提交任务
当前集群支持3中集群管理 Standalone（spak框架自身拥有能力）Apache Mesos Hadoop YARN Kubernetes 使用/spark-submit脚本提交任务，脚本后面可以接参数 ./bin/spark-submit \--class <main-class> \--master <master-url> \--de…
【IC设计】Windows下基于IDEA的Chisel环境安装教程（图文并茂）
Chisel环境安装教程 第一步 安装jdk，配置环境变量第二步 安装sbt，不用配置环境变量第三步 安装idea社区版第四步 离线安装scala的idea插件第五步 配置sbt换源1.切换目录2.创建repositories文件3.配置sbtconfig.txt文件 第六步 使用chisel-tutorial工程运…
大数据应用开发3-Scala笔记1
一、编程框架
Scala语言是在JVM上运行的，兼容Java语法 区分大小写 - Scala是大小写敏感的，这意味着标识Hello 和 hello在Scala中会有不同的含义。 类名 - 对于所有的类名的第一个字母要大写。 如果需要使用几个单词来构成一个类的名称，每个…
4 scala集合-Map
和 Java 一样，Scala 也有表示键值对（Key-Value）集合的 Map 数据结构。同样，Map 也分不可变和可变，不可变需要使用类 scala.collection.mutable.Map。
1 不可变 Map
可以使用以下语法定义不可变 Map 对象
val/var ma…
8 scala的共生对象
1 单例对象
在编写 Java 程序时，我们经常会通过编写静态方法代码，去封装常用的 Utility 类。
在 Scala 中没有静态成员这一概念，所以，如果我们要定义静态属性或方法，就需要使用 Scala 的单例对象 object。Scala 的对…
【scala】scala枚举类最佳实现及其jackson序列化方式
参考文章：
官网参考： jackson是支持scala内部的Enumeration的，但是jackson版本需要新一些，比如2.14后。 jackson github jackson-module-scala github enumeratum github
scala各个枚举类方式对比： 最好的就是&#…
使用Idea新建Play项目sbt构建失败，提示scala-xml依赖冲突
最近学习scala和paly,使用idea模板创建项目后，项目构建时就发现报错了，处理了很久，记录一下。
错误日志:
[error] (update) found version conflict(s) in library dependencies; some are suspected to be binary incompatible:
[error]
[…
Flink / Scala - 19.Side Outputs 侧输出流简介与使用
目录
一.引言
二.Side Outputs 简介
1.定义 OutputTag
2.通过 Context 输出
3.获取 Side Outputs
三.Side Outputs 实战
当Windows里运行spark程序长时间不报错也不出结果（如何将scala程序打包放在虚拟机里运行）
当Windows里运行spark程序长时间不报错也不出结果
Windows内存不足也可能导致Spark程序长时间没有报错也没有输出结果的情况。Spark在处理大规模数据时需要大量的内存，如果可用内存不足，可能会导致程序运行缓慢或无法完成任务。 要确认内存是否是问题所…
大数据处理学习笔记1.1 搭建Scala开发环境
文章目录零、本讲学习目标一、Scala简介（一）Scala概述（二）函数式编程（三）Scala特性1、一切都是对象2、一切都是函数3、一切都是表达式（四）在线运行Scala二、选择Scala版本三、Window…
【SpinalHDL快速入门】4.5、复合类型之Bundle
文章目录 1.1、描述1.2、声明1.2.1、条件信号（Conditional signals） 1.3、运算符1.3.1、比较（Comparison）1.3.2、类型转换（Type cast）1.3.3、将比特转换回 Bundle 1.4、IO元素方向1.4.1、in/out1.4.2、mast…
Scala 变量和数据类型(第二章)
第二章、变量和数据类型2.1 注释2.2 变量和常量（重点）2.3 标识符的命名规范2.4 字符串输出2.5 键盘输入2.6 数据类型（重点）回顾：Java数据类型Scala数据类型2.7 整数类型（Byte、Short、Int、Long）…
【Spark分布式内存计算框架——Spark SQL】5. DataFrame（下）
3.3 Row
DataFrame中每条数据封装在Row中，Row表示每行数据，具体哪些字段位置，获取DataFrame中第一条数据。 如何构建Row对象：要么是传递value，要么传递Seq，官方实例代码：
import org.apache.…
大数据处理学习笔记1.5 掌握Scala内建控制结构
文章目录零、本讲学习目标一、条件表达式（一）语法格式（二）执行情况（三）案例演示任务1、根据输入值的不同进行判断任务2、编写Scala程序，判断奇偶性二、块表达式（一）语法格…
Scala的变量声明
文章目录变量声明（一）简单说明（二）利用val声明变量1，声明方式2，案例演示（三）利用var声明变量1，声明方式2，案例演示（四）换行输入语句&a…
广电用户画像分析之数据基本分析与预处理
引言
数据分析在今天的数字化时代变得越来越重要，尤其是对于媒体行业来说。了解用户的收视行为和对媒体的偏好可以帮助媒体公司制定更有效的营销策略和优化内容推荐。本文将介绍如何使用Spark进行广电数据的基本分析和预处理，以便获取有关用户收视行为的…
【Spark分布式内存计算框架——离线综合实战】6. 广告投放的地域分布
3.3 广告投放的地域分布
按照产品需求，需要完成如下统计的报表： 从上面的统计报表可以看出，其中包含三个“率”计算，说明如下：
报表字段信息 针对广告投放的地域分布统计，各个指标字段信息说明如下&…
Spark Join大大表
Spark Join大大表分而治之拆分内表外表的重复扫描案例负隅顽抗数据分布均匀数据倾斜Task 数据倾斜Executor 数据倾斜两阶段 ShuffleExecutors 调优案例Join 大大表 :
Join 的两张体量较大的事实表，尺寸相差在 3 倍内，且无法广播变量用大表 Join 大表才能…
Flink / Scala - 20.Scala API Extensions 扩展
目录
一.引言
二.使用说明
三.Extensions API
1.[DataStream] map => mapWith
2.[DataStream] flatMap => flatMapWith
3.[Data
![[机器学习、Spark]Spark MLlib实现数据基本统计](https://img-blog.csdnimg.cn/49cdef29457147078e3ef718b02237c7.png)
[机器学习、Spark]Spark MLlib实现数据基本统计
👨🎓👨🎓博主：发量不足
📑📑本期更新内容：Spark MLlib基本统计
📑📑下篇文章预告：Spark MLlib的分类🔥🔥
简介&…
Flink SQL - 1.Table API Sql 入门 Demo
目录 一.引言
二.Flink Sql 依赖
1.基础依赖
2.SQL 依赖
三.入门Demo
1.Flink Table 环境创建
《Scala编程》译者序
最初接触 Scala 是在 2008 年的 9 月。当时刚刚换了公司，工作上 出现了一段“空档期”，因此非常想找一些有技术含量的事情来做。而编程语言的设计开发，或者更确切地说只是对于“银弹”的幻想，这始终是我的爱好之一。那 时总会感觉…
【Spark分布式内存计算框架——Spark Core】4. RDD函数（中）Transformation函数、Action函数
3.2 Transformation函数
在Spark中Transformation操作表示将一个RDD通过一系列操作变为另一个RDD的过程，这个操作可能是简单的加减操作，也可能是某个函数或某一系列函数。值得注意的是Transformation操作并不会触发真正的计算，只会建立RDD间…
Scala 正则表达式
Scala 正则表达式
Scala 通过 scala.util.matching 包中的 Regex 类来支持正则表达式。以下实例演示了使用正则表达式查找单词 Scala :
import scala.util.matching.Regexobject Test {def main(args: Array[String]) {val pattern "Scala".rval str "Scala…
第3章-运算符-算数运算符，关系运算符，逻辑运算符，赋值运算符，位运算符，scala运算符的本质...
第 3章-运算符 Scala 运算符的使用和 Java 运算符的使用基本相同，只有个别细节上不同。 3.1 算术运算符 1)基本语法 (1)对于除号“/”，它的整数除和小数除是有区别的：整数之间做除法时，只保留整 数部分而舍弃小数部分。 (2)对一个…
Flink第七章:状态编程
系列文章目录
Flink第一章:环境搭建 Flink第二章:基本操作. Flink第三章:基本操作(二) Flink第四章:水位线和窗口 Flink第五章:处理函数 Flink第六章:多流操作 Flink第七章:状态编程 文章目录 系列文章目录前言一、Keyed State(按键分区)1.KeyedStateTest.scala2.PeriodicPVEx…
Scala 集合（Collection）
简介
Scala 集合分为可变的和不可变的集合。
可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。
而不可变集合类，相比之下，永远不会改变。不过，你仍然可以模拟添加，…
Scala 数组(1)
使用它前我们需要使用 import Array._ 引入包。
Scala 语言中提供的数组是用来存储固定大小的同类型元素，数组对于每一门编辑应语言来说都是重要的数据结构之一。
数组的第一个元素索引为0，最后一个元素的索引为元素总数减1。
声明数组
定义
var …
【SpinalHDL快速入门】三、Scala 快速入门
SpinalHDL本质上来讲是Scala语言的一个库，所以需要先学习Scala，才能在此基础上学习SpinalHDL。 文章目录 Scala 基础Scala 数据类型（5种：Boolean、Int、Float、Double、String）Scala VariablesScala FunctionsReturnRe…
Scala 闭包（闭包是一个函数）
闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。 闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。换句话说，闭包这个函数使用了函数外的变量。 如下面这段匿名的函数：
val multiplier (i:Int) …
搭建Scala开发环境
一、Windows上安装Scala
1、到Scala官网下载Scala
Scala2.13.10下载网址：https://www.scala-lang.org/download/2.13.10.html 单击【scala-2.13.10.msi】超链接，将scala安装程序下载到本地
2、安装Scala
双击安装程序图标，进入安装向导&…
掌握Scala数据结构（2）MAP、TUPLE、SET
一、映射 (Map)
（一）不可变映射
1、创建不可变映射
创建不可变映射mp，用键->值的形式 创建不可变映射mp，用(键, 值)的形式 注意：Map是特质（Scala里的trait，相当于Java里的interface&#…
Scala break 语句
语法
// 导入以下包
import scala.util.control._// 创建 Breaks 对象
val loop new Breaks;// 在 breakable 中循环
loop.breakable{// 循环for(...){....// 循环中断loop.break;}
}
中断循环
实例
import scala.util.control._object Test {def main(args: Array[String…
Scala 循环语句
循环类型
Scala 语言提供了以下几种循环类型。点击链接查看每个类型的细节。 while
语法
while(condition)
{statement(s);
}
示例
object Test {def main(args: Array[String]) {// 局部变量var a 10;// while 循环执行while( a < 20 ){println( "Value of a: &…
Scala编程入门基础随笔
文章目录Scala常用标准库及函数数组一维数组声明与获取多维数组数组合并数组中常用的方法indices 返回rangeflatMap和filter:和: 拼接apply(int index) 根据下标获取元素clone() 深拷贝indexOf(int index)查找某个元素的下标lastIndexOf(int index)查找某个元素最后一次出现的下…
Scala if -- else 语句
if 语句
if 语句有布尔表达式及之后的语句块组成。
语法
if(布尔值）
｛
代码块//布尔值为True，就执行代码块
｝
实例
object Test6 {def main(args:Array[String]): Unit {var x 10;if (x < 20){println("x < 20&q…
Scala 访问修饰符
Scala 访问修饰符基本和 Java 的一样，分别有：private，protected，public。 如果没有指定访问修饰符符，默认情况下，Scala 对象的访问级别都是 public。 Scala 中的 private 限定符，比 Java 更严…
Scala 数据类型
Scala 与 Java有着相同的数据类型，下表列出了 Scala 支持的数据类型： 上表中列出的数据类型都是对象，也就是说 scala 没有 jav a中的原生类型。在 scala 是可以对数字等基础类型调用方法的。 Scala 基础字面量
Scala 非常简单且直观。接下来…
Scala入门【变量和数据类型】
目录 Scala基本认知
Hello Scala
方法的定义
伴生对象
Java：
Scala：
2、变量和数据类型
2.1、注释
2.2、变量和常量
Java中的变量和常量
Scala基本语法
2.3、标识符
2.4、字符串
基本语法
2.5、标准输入输出
基本语法
2.6、文件的读写
…
scala：一行代码生成随机字符串
原理：生成一个随机的BigInt，然后将它转化为36进制。BigInt可以表示任意大的整数。 BigInt(2000, scala.util.Random).toString(36)转载于:https://www.cnblogs.com/xuejianbest/p/10285101.html
从Java到Scala，Scala快速入门(1)
参考 https://www.runoob.com/scala/scala-tutorial.html 目标：对熟悉java语法的人，快速入门到scala
环境安装
安装jdk环境安装scala : http://www.scala-lang.org/downloads
运行代码
运行方式和java一样，scalac编译，scala运…
小区物业业主管理信息系统设计的设计与实现(论文+源码)_kaic
摘 要 随着互联网的发展，网络技术的发展变得极其重要，所以依靠计算机处理业务成为了一种社会普遍的现状。管理方式也自然而然的向着现代化技术方向而改变，所以纯人工管理方式在越来越完善的现代化管理技术的比较之下也就显得过于繁琐&#x…
windows安装Scala
Windows安装Scala
下载地址：https://downloads.lightbend.com/scala/2.11.11/scala-2.11.11.zip
解压完成之后 配置环境变量
合并两个有序的单链表，合并之后的链表依然有序
定义节点
class ListNode {var next: ListNode _var x: Int _def this(x: Int) {thisthis.x x}override def toString: String s"x>$x"
} 定义方法
class LinkedList {var head new ListNode(0)def getHead(): ListNode this.headdef add(listNode: Li…
Scala中的类型检查和转换，以及泛型，scala泛型的协变和逆变
Scala中的类型检查和转换，以及泛型
类型检查和转换
说明 （1） obj.isInstanceOf[T]：判断 obj 是不是T 类型。 （2） obj.asInstanceOf[T]：将 obj 强转成 T 类型。 （3） cla…
编译安装spark 1.5.x（Building Spark）
原文连接：http://spark.apache.org/docs/1.5.0/building-spark.html Building with build/mvn Building a Runnable Distribution Setting up Maven’s Memory Usage Specifying the Hadoop Version Building With Hive and JDBC Support Building for Scala…
Scala中的Actor模型
Scala中的Actor模型
概念
Actor Model是用来编写并行计算或分布式系统的高层次抽象（类似java中的Thread）让程序员不必为多线程模式下共享锁而烦恼。Actors将状态和行为封装在一个轻量的进程/线程中，但是不和其他Actors分享状态，…
perl列表创建、追加、删除
简介
perl 列表追加元素
主要是通过push和unshift函数来实现。其中，push是追加到列表尾，unshift是追加到列表头。
perl列表删除元素
主要是通过pop和shift函数来实现。其中，pop是从列表尾删除一个元素， shift是从列表头删除一…
Scala的函数式编程与高阶函数,匿名函数，偏函数，函数的闭包、柯里化，抽象控制，懒加载等
Scala的函数式编程
函数式编程 解决问题时，将问题分解成一个一个的步骤，将每个步骤进行封装（函数），通过调用这些封装好的步骤，解决问题。
例如：请求->用户名、密码->连接 JDBC->读取…
下厨房网站月度最佳栏目菜谱数据获取及分析PLus
目录
概要
源数据获取
写Python代码爬取数据
Scala介绍与数据处理
1.Sacla介绍 2.Scala数据处理流程
数据可视化
最终大屏效果
小结 概要 本文的主题是获取下厨房网站月度最佳栏目近十年数据，最终进行数据清洗、处理后生成所需的数据库表，最终进…
差分进化算法解析：Scala实现详细指南及其在优化问题中的应用
1. 差分进化算法简介
差分进化算法（Differential Evolution, DE）是一种演化计算的方法，主要用于连续空间的优化问题。与其他进化算法如遗传算法不同，DE专门设计用于处理实数编码的解，使其成为处理连续优化问题的理想选择。
该算法的基本思想是通过结合当前代的个体与他们…
c++,java,python,scala,shell三目运算总结
1.背景
实际工作场景中经常会有各种语言一起混编的情况，混编的时候经常会大脑短路把各种语法混淆，或者某种语言有一段时间没编写忘了的情况，比如三目运算。为了方便记忆查找，特此记录。
2.c与java实现三目运算
c 与 java的语法…
Scala 面向对象【中】
Scala 面向对象（中）
1、继承和多态 用法和Java基本一致。
基本语法 class 子类名 extends 父类名称 {}
案例演示
object Test07_Inherit {def main(args: Array[String]): Unit {val student new Student1("GG Bond",18)student.printIn…
Scala --- Array方法大全（一）
目录
定义
语法格式
集合操作 合并数组
: 合并数组
: 前面添加元素
: 末尾添加元素
/: 从左到右计算
:\ 从右到左计算
addString 数组添加元素
aggregate 聚合计算
apply 取索引处元素
canEqual 比较
charAt 获取索引处字符
clone 克隆
collect 并行计算&a…
Scala标识符的命名规范
目录
1 命名规则
2 使用 Scala 对各种变量、方法、函数等命名时使用的字符序列称为标识符。即：凡是自己可以起名字的地方都叫标识符。 1 命名规则 Scala 中的标识符声明，基本和 Java 是一致的，但是细节上会有所变化，有以下三种规…
Hbase之获取表的Region分布
其实就是获取上图的start key和end key 代码:
object HbaseRegions {def main(args: Array[String]): Unit {val hconf: Configuration HBaseConfiguration.create()hconf.set("hbase.zookeeper.property.clientPort", "2181")hconf.set("hbase.zo…
大数据学习，Scala快速学习的方法
大数据学习过程中，都会学习Scala，众所周知，Spark支持4门语言，分别为R、Python、Java与Scala，但真正的底层实现语言则是Scala。在我以往的实践分享中，除了Python，我还会利用Scala去实践一遍&…
spark 读取 tar.gz 文件
一、准备工作 （Window 中使用 7-zip 生成）
一个json文件 压缩 成 tar.gz t.json
[{"a": 1, "data": {"b": 1, "c": 2}}]生成 tar 包 将 tar 包 在压缩为 gz
二、使用Spark 读取 tar.gz
2.1、使用 spark.r…
随机、优先与权重（续）
随机、优先与权重（续）
写完上文《随机、优先与权重》后，我顺便写了一个 Python 版本的 pycroupier——毕竟我们这个人工智能组的主要编程语言是 Python。在测试的时候，我发现一个很糟糕的问题。 Damping 和 Invert 这两个主要算法…
Spark大数据处理讲课笔记3.2 掌握RDD算子
文章目录零、本节学习目标一、RDD的处理过程二、RDD算子（一）转换算子（二）行动算子三、准备工作（一）准备文件1、准备本地系统文件2、把文件上传到HDFS（二）启动Spark Shell1、启动HDFS…
尚硅谷大数据技术Scala教程-笔记05【模式匹配、异常、隐式转换、泛型、scala总结】
视频地址：尚硅谷大数据技术之Scala入门到精通教程（小白快速上手scala）_哔哩哔哩_bilibili 尚硅谷大数据技术Scala教程-笔记01【Scala课程简介、Scala入门、变量和数据类型、运算符、流程控制】尚硅谷大数据技术Scala教程-笔记02【函数式编程】…
More than React（一）为什么ReactJS不适合复杂交互的前端项目？
《More than React》系列的文章会一共分为五篇和一则附录。本文是第一篇，介绍用 ReactJS开发时遇到的种种问题。后面四篇文章的每一篇将会分别详细讨论其中一个问题，以及Binding.scala如何解决这个问题。附录是一则指南，指引你从头一步步创建…
scala之split()函数用法
split()函数： def split(arg0: String): Array[String]
def split(arg0: String, arg1: Int): Array[String] scala> "a-b-c-d-e".split("-",3)res0: Array[String] Array(a, b, c-d-e)scala> "a-b-c-d-e".split("-"…
04-Scala流程控制
流程控制
Scala程序代码和所有编程语言代码一样，都会有特定的执行流程顺序，默认情况下是顺序执行，上一条逻辑执行完成后才会执行下一条逻辑，执行期间也可以根据某些条件执行不同的分支逻辑代码。
分支控制
让程序有选择的的…
01-Scala环境部署
Scala简介
Scala即Scalable Language单词的缩写，表示可伸缩语言的意思。
Scala语言是基于Java开发的，所以其编译后的文件也是字节码文件，并可以运行在JVM中
Scala与Java的关系
Martin Odersky是狂热的编译器爱好者，长时间的…
scla-基础-函数-元组(0)
//元组
class Demo2 extends TestCase {def test_create_^^(){val yuana (1,true,1.2,"c","phone") val v1 yuana._1val v2 yuana _2 ;val y1 test_return_yuanzu() val k1 y1._1println(test_return_yuanzu3(3, 4, 4))test_return_yuanzu4(ma)test_…
spark stream入门案例：netcat准实时处理wordCount（scala 编程）
目录
案例需求
代码
结果
解析 案例需求： 使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数 -- 1. Spark从socket中获取数据：一行一行的获取 -- 2. Driver程序执行时，…
scala变量与变量类型
1.6 变量与类型（重点）1.6.1 变量推断1.6.2 多变量定义1.6.3 var和val的区别 1.6.3.1 是否可变 1.6.3.2 延迟加载
1.6 变量与类型（重点）
val修饰的变量，相当于Java中final修饰的变量;
// 定义常量s1，使用…
Structured API基本使用
1.创建DataFrame和Dataset 1.1 创建DataFrame Spark 中所有功能的入口点是 `SparkSession`，可以使用 `SparkSession.builder()` 创建。创建后应用程序就可以从现有 RDD，Hive 表或 Spark 数据源创建 DataFrame。示例如下： val spark = SparkSession.builder().appName("…
Scala语言用Selenium库写一个爬虫模版
首先，我将使用Scala编写一个使用Selenium库下载yuanfudao内容的下载器程序。 然后我们需要在项目的build.sbt文件中添加selenium的依赖项。以下是添加Selenium依赖项的代码：
libraryDependencies "org.openqa.selenium" % "selenium-ja…
scala学习四：方法与函数
一、 方法与函数
Scala 方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法。 Scala中val语句可以定义函数，def语句定义方法
class Test{def m(x: Int) x3val f (x:Int) > x3
}1.1 方法声明
def functio…
scala----数组操作（1）-可变与不可变
一，不可变Array package scala07object scala01_Array {def main(args: Array[String]): Unit = {
// TODO 可变不可变指的是集合的长度和集合的数据类型// 不可变数组// 声明一个不可变数组// 方式一：动态方式//val ints = new Array[Int](5) //[类型]（长度）val…
scala--数组操作（2）-set-map-list
List_Buffer package scala07import scala.collection.mutable.ListBufferobject scala05_ListBuffer {def main(args: Array[String]): Unit = {// 创建可变集合val listBuffer = new ListBuffer[Int]()// 添加数据listBuffer.append(1, 2, 3, 4, 5, 6)// 删除元素val i:…
大数据技术概述(三)——编程语言的选择
文章目录 1.6编程语言的选择1.6.1java和Scala1.6.2Python1.6.3SQL 1.6编程语言的选择
大数据编程一般会使用Java、Scala和python等编程语言，Flink目前也支持上述3种语言。
1.6.1java和Scala
Java支持多线程，其生态圈中可用的第三方库众多。Java虚拟机…
“晨曦记账本：筛选特定时间段内的借款信息，管理更轻松！“
晨曦记账本，为您的财务记录带来前所未有的便捷！现在，我们推出了一项新功能，让您能够轻松筛选特定时间段内的借款信息。这不仅让您更轻松地管理借款记录，还能确保您的财务数据一目了然。
首先，我们要打开晨…
【Scala】——函数式编程
1 面向对象编程和函数式编程
1.1 面向对象编程
解决问题，分解对象，行为，属性，然后通过对象的关系以及行为的调用来解决问题。 • 对象：用户 • 行为：登录、连接 JDBC、读取数据库 • 属性：用户…
Spark大数据分析与实战笔记（第一章 Scala语言基础-1）
文章目录 章节概要1.1 初识Scala1.1.1 Scala的概述1.1.2 Scala的下载安装1.1.3 在IDEA开发工具中下载安装Scala插件1.1.4 开发第一个Scala程序 章节概要 Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由Scala语言开发实现的，关于大数据技术…
Scala 之舞：林浩然与杨凌芸的 IDEA 冒险
Scala 之舞：林浩然与杨凌芸的 IDEA 冒险 The Dance of Scala: The IDEA Adventure of Lin Haoran and Yang Lingyun 在那个阳光明媚的日子里，林浩然如同一位英勇的探险家，踏入了 Scala 的 IntelliJ IDEA 开发环境的奇妙领域，他带着…
【Scala】——面向对象
1 Scala 包
1.1 包风格 Scala 有两种包的管理风格。
第一种 Java 的包管理风格相同，每个源文件一个包（包 名和源文件所在路径不要求必须一致），包名用“.”进行分隔以表示包的层级关系，如 com.atguigu.scala。另一种风…
2023_Spark_实验六：Scala面向对象部分演示（二）（IDEA开发）
7、Scala中的apply方法（）
遇到如下形式的表达式时，apply方法就会被调用：
Object(参数1,参数2,......,参数N)
通常，这样一个apply方法返回的是伴生类的对象；其作用是为了省略new关键字 Object的apply方法…
2023_Spark_实验七：Scala函数式编程部分演示
1、Scala中的函数
在Scala中，函数是“头等公民”，就和数字一样。可以在变量中存放函数，即：将函数作为变量的值（值函数）。
def myFun1(name:String):String"Hello " nameprintln(myFun1("…
【scala】编译build报错 “xxx is not an enclosing class“
private[sources] val creationTimeMs: Long {val session SparkSession.getActiveSession.orElse(SparkSession.getDefaultSession)require(session.isDefined)private[xxx]是访问权限控制在xxxx包的意思。 解决办法： 把[sources]删掉，或者改成和包名…
flink1.18 广播流 The Broadcast State Pattern 官方案例scala版本
对应官网
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/broadcast_state/
测试数据 * 广播流 官方案例 scala版本* 广播状态* https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance…
Scala爬虫如何实时采集天气数据？
这是一个基本的Scala爬虫程序，使用了Scala的http library来发送HTTP请求和获取网页内容。在爬取天气预报信息时，我们首先需要创建一个代理对象proxy，并将其用于发送HTTP请求。然后，我们使用http库的GET方法获取网页内容࿰…
Scala中的选项(Options )
Scala选项
选项 option 是一个包含一个值的容器，该值可以是两个不同值之一。
这两个值之一是“ none”，其他值可以是程序中有效的任何对象。
当接受从函数返回的值时可以使用Option，该函数可以在周期时间返回null，否则返回一些…
Spark Rdd 之map、flatMap、mapValues、flatMapValues、flatMapWith
文章目录map(function)flatMap(function)mapValues(function)flatMapValues(function)flatMapWith参考map(function) map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 举例：
下面例子中把原…
Scala 不可变 List
简介
Scala 集合分为可变的和不可变的集合。
可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。
而不可变集合类，相比之下，永远不会改变。不过，你仍然可以模拟添加，…
大数据Spark SparkSession的3种创建方式 Scala语言实现
1、什么是SparkSession
SparkSession是Apache Spark 2.0版本引入的一个编程接口，用于与Spark进行交互。它是Spark应用程序的入口点，提供了一种方便的方式来创建DataFrame、DataSet和SQLContext等数据结构，并且可以配置各种Spark应用程序的选…
大数据周会-本周学习内容总结010
开会时间：2023.04.16 19:00 线下会议 目录
01【scala】
02【zookeeper】
03【spark】
04【专利】
会议记录 01【scala】 尚硅谷大数据技术Scala教程-笔记01【Scala课程简介、Scala入门、变量和数据类型、运算符、流程控制】 尚硅谷大数据技术Scala教程-笔记02【…
Kafka 分布式环境搭建
Kafka 分布式环境搭建 转：http://www.open-open.com/lib/view/open1354349590601.html 这篇文章将介绍如何搭建kafka环境，我们会从单机版开始，然后逐渐往分布式扩展。单机版的搭建官网上就有，比较容易实现，这里我就简单…
搭建Spark源码研读和代码调试的开发环境
Note：环境的基本配置可以参考我这里转载的这篇文章，当然我自己尝试的时候还是会出现其它的问题，如果有，那么参考下面两篇文章的案例：http://blog.51cto.com/wangyuguo/1981837 https://www.mail-archive.com/search?l…
Spark006---coalesce和repartition
Intro
常用的重分区操作，简单记录下
coalesce
根据数据量缩减分区，用于大数据集过滤后，提高小数据集的执行效率。当 spark 程序中，存在过多的小任务的时候，可以通过 coalesce 方法，收缩合并分区…
Spark005---map、mapPartitions
Intro
map、mapPartitions的使用和差异
map
import org.apache.spark.sql.SparkSession
val spark SparkSession.builder().master("local[*]").getOrCreate()import org.apache.spark.sql.SparkSession
spark: org.apache.spark.sql.SparkSession org.apache.s…
Spark004-rdd分区逻辑
Intro
rdd是怎么做分区切分的，即怎么把数据存放到各个分区中，直接看代码。
Code
import org.apache.spark.sql.SparkSession
val spark SparkSession.builder().master("local[1]").getOrCreate()
val dataRDD spark.sparkContext.makeRD…
Scala112-scala和mysql的交互
涉及到scala读、写、改mysql的一些操作，记录代码，备查。
读
读mysql一般有两种操作：
整张表load进来通过执行sql，load部分数据进来
import java.sql.{Connection, DriverManager, PreparedStatement, Timestamp}
import org.a…
不错的大数据课程体系（感谢某机构，希望不属于侵权）
2019独角兽企业重金招聘Python工程师标准>>> 阶段一、大数据、云计算 - Hadoop大数据开发技术 课程一、大数据运维之Linux基础 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，…
Scala数组| 集合
arrays : 5尾部 头部5 : arrays TODO 声明不可变数组，不能删; 默认情况下，scala中集合的声明全都是不可变的 val arrays: Array[Int] Array(1, 2, 3, 4)
//增加 不可变使用伴生对象添加数val newArrays1: Array[Int] arrays :5 //1,2,3,4,5 // 增加…
第18章_JDK8-17新特性（下）
第18章_JDK8-17新特性（下）
讲师：尚硅谷-宋红康（江湖人称：康师傅）
官网：http://www.atguigu.com 6. 新语法结构
新的语法结构，为我们勾勒出了 Java 语法进化的一个趋势，…
【李老师云计算】实验二：Spark集群的搭建与求解最大值
索引 前言1. Spark部署1.1 下载Spark1.2 解压Spark1.3 修改环境变量1.4 修改主机Spark配置文件1.4.1 slaves.template文件配置1.4.2 spark-env.sh.template文件配置 1.5 分享主机Spark到从机1.6 启动Spark集群(★重启后的操作)1.7 通过jps查看是否启动成功1.8 通过网页查看是否…
推荐系统搭建全程图文攻略
推荐系统搭建全程图文攻略 推荐系统架构简介 整体推荐架构图：
推荐整体从数据处理开始，默认数据从关系型数据到每天增量导入到hive，在hive中通过中间表和调用python文件等一系列操作，将数据处理为算法数学建模的入口数据&#x…
Scala的高级用法
文章目录 1. 默认参数值1.1 方法默认参数1.2 类默认参数 2. 特质 (Traits)2.1 子类型2.2 扩展特征，当做接口来使用 3.元组3.1 定义与取值3.2 元组用于模式匹配3.3 用于for循环 4 高阶函数4.1 常见的高阶函数map4.2 简化涨薪策略代码 5.嵌套方法6.多参数列表…
Flink第四章:水位线和窗口
系列文章目录
Flink第一章:环境搭建 Flink第二章:基本操作. Flink第三章:基本操作(二) Flink第四章:水位线和窗口 文章目录 系列文章目录前言一、水位线二、窗口二、实际案例1.自定义聚合函数2.全窗口函数3.水位线窗口4.统计用户点击数据5.处理迟到数据 总结 前言
这次博客记…
Scala-变量、常量和懒加载
package com.mengyao.scala.function/** * Scala的变量声明和使用（可变类型和值类型） * * author mengyao */object Test0 { /** * Scala中的数据类型定义如下 * inline implicit def byteWrapper(x: Byte) new runtime.RichByte(x) * …
flink 多表join的例子
今天写了一个稍微复杂的例子， 实现了类似mysql group_concat 功能，记录一下MapToString 参考bug 那篇博客 public static void main(String[] arg) throws Exception {final ExecutionEnvironment env ExecutionEnvironment.getExecutionEnvironment()…
Kafka设计解析（三）：Kafka High Availability （下）
为什么80%的码农都做不了架构师？>>> Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。…
CentOS下安装Scala（事例为Scala2.11.6）
注：下载地址：http://downloads.typesafe.com/scala/2.11.6/scala-2.11.6.tgz?_ga1.41078626.1125902863.1429259252可采用#wget "下载地址" 方法下载到指定位置下载 scala-2.11.6.tgz 并 保存到/usr/local/src目录.1、解压#tar -zxf scala-2.…
Python比较两个excel文档内容的异同
#-*- coding: utf-8 -*-#比对两个Excel文件内容的差异#---------------------假设条件----------------#1、源表和目标表格式一致#2、不存在合并单元格#3、第2行开始比对#---------------------------------------------import xlrdimport xlwtimport osimport time; # 引入ti…
Kafka压测— 搞垮kafka的方法(转)
分布式系统故障场景梳理方法： 场景梳理逻辑关系： 单点硬件故障→单点进程故障类型→集群影响→集群故障场景第三方依赖故障→集群依赖关系→集群影响→集群故障场景业务场景→集群负载/错误影响→集群故障场景Kafka故障场景 Kafka故障的定义是什么&#…
文件改名：一键将文件名称改成跟目录名称一样
在日常工作中，我们经常会遇到需要将文件名称改成与目录名称相同的情况。这样可以让文件和目录的关联更加紧密，方便我们查找和管理。那么，如何实现一键将文件名称改成跟目录名称一样呢？下面就给大家介绍一个高效的文件管理小技巧。…
【SpinalHDL】1. Getting Started
1. Getting Started
1.1 SpinalHDL开发环境的搭建
开发环境的搭建参考SpinalHDL 开发环境搭建一步到位（图文版） - 极术社区 - 连接开发者与智能计算生态就可以了，so detail.
重点在于sbt切换为国内源，可以参考如下链接Windows上…
scala抽象类抽象字段
package com.test.scala.test/*** 抽象类学习,定义abstact关键字*/
abstract class AbstractClass {val id:Int;//抽象字段，没有带初始值var age:Intvar sex:String
}class A(val id:Int) extends AbstractClass{var age23;var sex" 男"
}object Test{def…
Python爬虫抓取微博数据及热度预测
首先我们需要安装 requests 和 BeautifulSoup 库，可以使用以下命令进行安装： pip install requests
pip install beautifulsoup4然后，我们需要导入 requests 和 BeautifulSoup 库：
import requests
from bs4 import BeautifulSou…
1+X大数据平台运维职业技能等级证书中级
hadoop： 由于我的功能限制，我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导，帮助您完成这些任务。 1. 解压JDK安装包到“/usr/local/src”路径，并配置环境变量。 - 解压JDK：tar -zxf jd…
Flink第九章:Flink CEP
系列文章目录
Flink第一章:环境搭建 Flink第二章:基本操作. Flink第三章:基本操作(二) Flink第四章:水位线和窗口 Flink第五章:处理函数 Flink第六章:多流操作 Flink第七章:状态编程 Flink第八章:FlinkSQL Flink第九章:Flink CEP 文章目录 系列文章目录前言一、简单案例1.Logi…
从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala
从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala
前言
【本文适合有一定计算机基础/半年工作经验的读者食用。立个Flg，愿天下不再有肤浅的SQL Boy】
谈到大数据开发，占据绝大多数人口的就是SQL Boy，不接受反驳，毕竟大…
Flink 中的多流转换-第八章
借鉴《尚硅谷Flink1.13版本笔记.pdf》中第七章 多流转换可分为“分流”和“合流”两大类。
目前分流操作一般是通过侧输出流（side output）来实现，而合流的算子比较丰富，根据不同的需求可调用 union()、connect()、join() 等接口进…
尚硅谷大数据技术Scala教程-笔记02【函数式编程】
视频地址：尚硅谷大数据技术之Scala入门到精通教程（小白快速上手scala）_哔哩哔哩_bilibili 尚硅谷大数据技术Scala教程-笔记01【Scala课程简介、Scala入门、变量和数据类型、运算符、流程控制】尚硅谷大数据技术Scala教程-笔记02【函数式编程】…
6 scala-面向对象编程基础
Scala 跟 Java 一样，是一门面向对象编程的语言，有类和对象的概念。
1 类与对象
与 Java 一样，Scala 也是通过关键字 class 来定义类，使用关键字 new 创建对象。
要运行我们编写的代码，同样像 Java 一样，…
Scala 的学习笔记
Scala 的学习笔记 文章目录Scala 的学习笔记1. Scala 简介1.1 Scala 特性面向对象特性函数式编程静态类型扩展性并发性1.2 Scala Web 框架2. Scala 基础语法2.1 第一个Scala程序交互式编程2.2 脚本形式2.3 基本语法2.4 标识符2.5 Scala 关键字2.6 Scala 注释2.7 空行和空格2.8 …
scala的 collect和map
Scala 中的 map 与 collect团队号 ScalaFans 作者 张逸原文链接在Scala中，当我需要对集合的元素进行转换时，自然而然会使用到map方法。而当我们在对tuple类型的集合或者针对Map进行map操作时，通常更倾向于在map方法中使用case语句，…
RDD、DataFrame和DataSet的区别
原文链接：http://www.jianshu.com/p/c0181667daa0 RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同。RDD和DataFrame RDD-DataFrame 上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以P…
RDD：基于内存的集群计算容错抽象
转载自：http://shiyanjun.cn/archives/744.html 摘要 本文提出了分布式内存抽象的概念——弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人…
Zuul Spring Cloud Gateway Linkerd性能对比
Spring Cloud从一开始最受大家质疑的就是网关性能，那是由于Spring Cloud最初选择了使用Netflix几年前开源的Zuul作为基础，而高性能版的Zuul 2在经过了多次跳票之后，对于Spring这样的整合专家可能也不愿意再继续等待，Spring Cloud …
Scala里面如何使用枚举
枚举通常用来定义已知数量的常量，比如月份，星期，季节等等，用过java的人都知道定义枚举的关键字是enum，在scala里面和java有所不同，来看一个完整的例子定义：
object EnumTest {/**** 定义一个星…
如何使用scala+spark读写hbase？
最近工作有点忙，所以文章更新频率低了点，希望大家可以谅解，好了，言归正传，下面进入今天的主题： 如何使用scalaspark读写Hbase 软件版本如下： scala2.11.8 spark2.1.0 hbase1.2.0 公司有一些实时…
Scala中的case match语法
scala中的case语法与java中的switch语法类似，但比switch更强大： 例子一正则匹配：
val Pattern"(s.*)".rval v1"spark";val rv1 match {case Pattern(v1)> "begin s*"case "1"> "1"…
kafka 2.8 如何选择启用kraft还是ZooKeeper(选择逻辑源码，不涉及到kraft的实现)
这里用kakfa 3.0版本做源码演示 首先看一下kafka-server-start.sh 中的最后一行
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$"我们知道了执行的是core/src/main/scala/kafka/Kafka.scala下的main方法
def main(args: Array[String]): Unit {tr…
从源码层面理解Either、Option、Try
差异Either代表一个结果的两个可能性，一个是 Right ，一个是 Left Option代表可选择的值，一个是 Some（代表有值），一个是 None （值为空）；常用于结果可能为 null 的情况&…
SparkConf和SparkContext
任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Scala：val conf …
大调查：2017年最流行的10款编程语言
今天小编要给大家总结出一份2017年最流行的编程语言排行榜，给大家看看，你家语言排名第几呢，跟着小编一起来看看吧，我学的排名第五是JavaScript，当然我觉得这个排名还可以更靠前，你的呢？分享之前…
A required class was missing while executing org.apache.maven.plugins:maven-war-plugin:2.1.1:war
完美解决方案: http://stackoverflow.com/questions/18442753/a-required-class-was-missing-while-executing-org-apache-maven-pluginsmaven-war this happened to me too after adding the version tag, that was missing, to the maven-war-plugin (not sure what version …
scala 中的 日期格式化
为什么80%的码农都做不了架构师？>>> 日期格式转换
val startAt LocalDate.parse("2017-02-01").atStartOfDay().toInstant(ZoneOffset.UTC)
val endAt LocalDate.parse("2017-02-03").atStartOfDay().toInstant(ZoneOffset.UTC) …
scala的构造函数
为什么80%的码农都做不了架构师？>>> 当scala类中没有显示的构造函数时： scala的类参数就是构造函数的参数，类中除属性和方法之外都是构造函数的函数体。特别注意：在构造函数调用时会初始化类中的属性，如类…
Spark-自定义排序
一、自定义排序规则-封装类 import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}/*** 实现自定义的排序*/
object MySort1 {def main(args: Array[String]): Unit {//1.spark程序的入口val conf: SparkConf new SparkConf().setAppName(&quo…
Spark环境搭建（上）——基础环境搭建
Spark摘说 Spark的环境搭建涉及三个部分，一是linux系统基础环境搭建，二是Hadoop集群安装，三是Spark集群安装。在这里，主要介绍Spark在Centos系统上的准备工作——linux系统基础环境搭建。这个主要包括： 运行环境说明&a…
Lightbend就收购OpsClarity一事与InfoQ的对话
在收购了咨询公司BoldRadius九个月后，Lightbend宣布了其收购OpsClarity的消息。OpsClarity是一家专业做交互式应用监控的公司。\\Lightbend成立于2011年，刚成立时叫TypeSafe，直到去年才改名为Lightbend。收购了BoldRadius和OpsClarity之后&am…
学习的艺术——如何学好一门技术、语言
还在继续开发Growth(Github: https://github.com/phodal/growth)的路上，很多功能似乎已经趋于完善，有些功能也让我百玩不厌——如最近添加的规则引擎。接着我开始陆陆续续地添加了这么多功能。直接今天我想我需要一篇文章放在最前面来告诉用户࿰…
Mark : Scala 文章收录
Scala入门到精通——第十八节 隐式转换与隐式参数（一）
https://blog.csdn.net/lovehuangjiaju/article/details/47264655
Scala入门到精通——第十八节 隐式转换与隐式参数（二）
https://blog.csdn.net/lovehuangjiaju/article/det…
Akka HTTP实战：为Ant Design Pro提供后端接口
2019独角兽企业重金招聘Python工程师标准>>> 实战：为Ant Design Pro提供后端接口 之前章节已经了解了Akka HTTP的路由定制、数据序列化等内容，是时候开始一个比较完整的Web应用示例了。这里我们将使用 Akka HTTP 来集成 Ant Design Pro &…
不要急于切换到Java 8的6个原因
Java 8是极好的。不过我们在尝完鲜了之后，也开始对它持怀疑的态度。所有好的东西都是有代价的，在这篇文章中，我会分享Java 8的主要的几个难点。在你放弃Java 7升级到8之前，你最好确保自己知道这些。并行流会影响性能Java 8的所承诺…
【Spark分布式内存计算框架——Spark Core】4. RDD函数（下） 重分区函数、聚合函数
重分区函数
如何对RDD中分区数目进行调整（增加分区或减少分区），在RDD函数中主要有如下三个函数。 1）、增加分区函数 函数名称：repartition，此函数使用的谨慎，会产生Shuffle。 2）、…
【Spark分布式内存计算框架——Spark Core】5. RDD 函数补充：关联函数与练习
关联函数
当两个RDD的数据类型为二元组Key/Value对时，可以依据Key进行关联Join。 首先回顾一下SQL JOIN，用Venn图表示如下： RDD中关联JOIN函数都在PairRDDFunctions中，具体截图如下： 具体看一下join（等…
spark数据清洗练习
文章目录准备工作删除缺失值 > 3 的数据删除星级、评论数、评分中任意字段为空的数据删除非法数据hotel_data.csv通过编写Spark程序清洗酒店数据里的缺失数据、非法数据、重复数据准备工作
搭建 hadoop 伪分布或 hadoop 完全分布上传 hotal_data.csv 文件到 hadoopidea 配置…
【Spark分布式内存计算框架——Spark Core】10. Spark 内核调度（中）
8.3 Spark Shuffle
首先回顾MapReduce框架中Shuffle过程，整体流程图如下 Spark在DAG调度阶段会将一个Job划分为多个Stage，上游Stage做map工作，下游Stage做reduce工作，其本质上还是MapReduce计算框架。Shuffle是连接map和reduce之…
第6章 Spark 案例实操
在之前的学习中，我们已经学习了 Spark 的基础编程方式，接下来，我们看看在实际的工作中如何使用这些 API 实现具体的需求。这些需求是电商网站的真实需求，所以在实现功能前，咱们必须先将数据准备好。上面的数据图是从数…
Doris集成Spark读写的简单示例
Doris集成Spark读写的简单示例 文章目录Doris集成Spark读写的简单示例0、写在前面1、Spark Doris Connector介绍2、基本示例2.1 提前准备表和数据2.2 新建项目2.3 使用SQL方式进行读写2.3.1 代码2.3.2 相关Error2.4 使用DataFrame方式读写数据（**batch**）…
Scala变量和常量
目录
0 回顾：Java 变量和常量语法
1 基本语法
2 案例实操 常量：在程序执行的过程中，其值不会被改变的变量
0 回顾：Java 变量和常量语法
变量类型 变量名称 初始值 int a 10
final 常量类型 常量名称 初始值…
Spark---持久化
Spark之持久化 文章目录Spark之持久化持久化RDD Cache 缓存RDD Persist 缓存RDD CheckPoint 检查点缓存和检查点区别cachepersistcheckpoint持久化
持久化的作用，供RDD的重复使用，针对计算耗时比较长，可以提高计算的效率，针对数据…
flink部署三种模式（案例操作）
文章目录一. Local模式1. 应用场景2. 操作二. Standalone 模式1. 应用场景2. 部署模式2.1 会话模式2.1.1 安装规划2.1.2 修改配置2.1.3 分发安装目录2.1.4 启动集群2.1.5 访问 Web UI2.2 单作业模式2.3 应用模式三. yarn模式（未实操）一. Local模式
1. 应…
SparkSql 动态添加一列递增序列
文章目录zipWithIndex效果：示例zipWithUniqueId效果：示例monotonically_increasing_id效果：示例小结：zipWithIndex
效果： 将此RDD与其元素索引进行Zips。排序首先基于分区索引，然后是每个分区内项目的排序…
Spark运行模式介绍
文章目录1. Local运行模式1.1 基本运行情况介绍1.2 角色划分1.3 Spark 任务提交与解释器对比2. StandAlone运行模式2.1 StandAlone介绍2.2 StandAlone架构2.3 Spark应用架构2.4 StandAlone HA 运行原理3. Spark on YARN3.1 Spark on Yarn 本质3.2 部署模式3.3 两种部署模式运行…
Scala继承和抽象，trait，样例类
继承：
实际开发中, 我们发现好多类中的内容是相似的(例如: 相似的属性和行为), 每次写很麻烦. 于是我们可以把这些相似的内容提取出来单独的放到一个类中(父类), 然后让那多个类(子类)和这个类(父类)产生一个关系, 从而实现子类可以访问父类的内容, 这个关系就叫: …
hadoop 组件之spark的安装及配置
下面给出的是spark集群搭建的环境：操作系统：最小安装的CentOS 7（下载地址）Yarn对应的hadoop版本号：Hadoop的Cloudera公司发行版Hadoop2.6.0-CDH5.4.0（下载地址）Java版本号：JDK1.8&am…
Windows下 Scala开发环境搭建
1.配置jdk：可看这里 2.下载scala，并安装 3.配置scala环境变量，把scala的安装路径加入path内 ps：验证是否安装正确：cmd-》输入scala，如果出现scala环境，则配置成功 4.下载IntelliJ IDEA,并安装 5…
【原创】Kakfa common包源代码分析
初一看common包的代码吓了一跳，这么多scala文件！后面仔细一看大部分都是Kafka自定义的Exception类，简直可以改称为kafka.exceptions包了。由于那些异常类的名称通常都定义得很直观，笔者就不在一一赘述了。现在我们说说common包中其…
应网友需求发布IKAnalyzer3.1.2GA
应网友要求，修订3.1.1对字母窜的切分策略，强化对英文单词的切分。
如：
window2000 将切分为 | window2000 | window | 2000;
readme.txt 将切分为 | readme.txt | readme | txt;
linliangyi2005gmail.com 将切分为 | linliangyi2005gmail.co…
03、操作RDD（transformation和action案例实战）
1、transformation和action介绍Spark支持两种RDD操作：transformation和action。transformation操作会针对已有的RDD创建一个新的RDD；而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并可以返回结果给Driver…
Scala Monad Design Pattern
2019独角兽企业重金招聘Python工程师标准>>> Monad的设计有几点原则： 为接口同时定义flatMap 和 map。 设计一个获取monad值的方式(模式匹配或者apply)。 符合一元法则,monadic laws。 按照说明，那么创建两个方法map和flatMap：…
Scala进阶之路-Scala中的Ordered--Ordering
Scala进阶之路-Scala中的Ordered--Ordering 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 说道对象的比较，在Java中大家最熟悉不过的就是实现类本身实现Comparable接口或者是调用者自己实现Comparato…
Java动态追踪技术探究
引子 在遥远的希艾斯星球爪哇国塞沃城中，两名年轻的程序员正在为一件事情苦恼，程序出问题了，一时看不出问题出在哪里，于是有了以下对话： “Debug一下吧。” “线上机器，没开Debug端口。” “看日志…
Akka边学边写（1）-- Hello, World!
Akka Akka是什么呢？直接引用Akka站点上面的描写叙述吧： Akka is a toolkit and runtime for building highly concurrent, distributed, and fault tolerant event-driven applications on the JVM. 反正我认为Akka是比較难上手的，并且文档对…
Ubuntu 14.04 Android 使用Maven一个 用例project
在说明书前面描述SDK通过使用Ant发展。 本文试图在此基础上使用Maven发展。在这里，我们需要使用maven-android-plugin。在本文中，参考官方文件： https://code.google.com/p/maven-android-plugin/wiki/GettingStarted首先从这里下载样例工程&…
flink运行时组件和调度原理
一、flink运行时组件、工作流程
1、flink运行时四大组件介绍 Flink运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作： 作业管理器（JobManager） 资源管理器（ResourceManager） 任务管…
死磕sparkSQL源码之TreeNode
InternalRow体系
学习TreeNode之前，我们先了解下InternalRow。
对于我们一般接触到的数据库关系表来说，我们对于数据库中的数据操作都是按照“行”为单位的。在spark sql内部实现中，InternalRow是用来表示这一行行数据的类。看下源码中的解…
scala语法(五)
隐式转换、隐式函数，隐式值
隐式转换
高精度-> 低精度 需要强制转换 隐式转换函数是以implicit关键字声明的带有单个参数的函数。这种函数将会自动应用，将值从一种类型转换为另一种类型。 使用隐式函数可以优雅的解决数据类型转换。
隐式转换函数的…
Scala操作列表List、数组Array和集合Set
1、Scala操作List
1.1 初始化List
scala> val list0 List(9, 2, 8, 3, 4, 5, 6, 7)
list0: List[Int] List(9, 2, 8, 3, 4, 5, 6, 7)1.2 List过滤筛选
// 筛选偶数
scala> list0.filter(_ % 2 0)
res0: List[Int] List(2, 8, 4, 6)list0.filter(_ % 2 0) 等价于l…
Scala程序hello world
Scala 基础语法
Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。 我们可以认为 Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。接下来我们来理解下，类，对象，方法，实例变量的…
PowerJob中的Vert.x的应用，是点睛之笔还是大材小用？我感觉有点故意炫技啊
这是一篇为了参加活动写得文章，不知道为什么，写得时候网络巨差，我是顶着闹心发上来的，最后大家女神节快乐。 最近难得忙了一下，领导让我从Vert.x和lagom中技术选型，因为lagom是scala写得，我虽然…
Spark on Yarn(client和cluster模式,spark-shell 和 spark-submit 的区别,WorldCount实现与理解)
文章目录Spark on Yarn两种模式clientclusterspark-shell 和 spark-submit 的区别的理解spark-shellspark-submitWorldCount实现IDEA本地实现On Yarn 实现WorldCount图解Spark on Yarn
spark on yarn 的两种模式是指 spark 应用程序的 driver 进程（负责控制和协调整…
“家庭记账神器 - 记录收支明细，轻松管理家庭财务“
你是否经常因为家庭开销的琐碎而感到困扰，不知道如何记录收支明细，让家庭财务更加清晰？现在，有了我们的家庭记账神器，这些烦恼全部消失！无论你是在处理日常开销、规划家庭预算还是整理财务数据，…
Scala学习(二)
文章目录 1.Scala的运算符1.1 Scala中的equals和 2.流程控制2.1 if2.2 Scala中的三目运算符2.3 for循环 3.循环中断 1.Scala的运算符
1.1 Scala中的equals和
回顾Java中的运算符 equals和,equals比较的为值， 比较的为地址
String a1new String("hi");…
12.scala下划线使用总结
目录 概述实践变量初始化导包引入方法转变为函数用户访问Tuple元素简化函数参数传递定义偏函数变长参数 结束 概述
实践
变量初始化 在Scala中，变量在声明时需要显式指定初始值。可以使用下划线为变量提供初始值，但这种语法仅限于成员变量，…
《scala 编程（第3版）》学习笔记（全）
《scala 编程（第3版）》学习笔记
持续更新中…
第2章 入门1
函数式编程的核心一，函数是一等的。P9函数式编程的核心二，程序操作应当将输入映射成输出。不要有副作用。副作用是指改变了环境量。P10。原因：函数相互不…
Spark 读excel报错，scala.MatchError
Spark3详细报错：
scala.MatchError: Map(treatemptyvaluesasnulls -> true, location -> viewfs://path.xlsx, inferschema -> false, addcolorcolumns -> true, header -> true)
(of class org.apache.spark.sql.catalyst.util.CaseInsensitiveMap)scala代码…
scalar3 idea导入源码后仍然无法显示源码问题解决
最近心血来潮想要学习scala，直接选了最新的scala3.2.2，安装过程没啥好说的但是到了看源码的时候却死活加载不进去，话不多说，先看看网上大部分人给的过程（这个过程也是导入源码必须的）
1、进入scala官网选择…
【SpinalHDL快速入门】6.2、SpinalHDL语法之When/Switch/Mux
文章目录 1.1、When1.2、Switch1.2.1、实例1.2.2、附加选项 1.3、本地声明1.4、Mux1.5、位选择1.5.1、实例 1.1、When
与VHDL和Verilog一样，当满足指定条件时可以对信号进行有条件的赋值：
when(cond1) {// Execute when cond1 is true
}.elsewhen(cond…
1 scala集合-数组
1 定长数组
定长数组，是指数组长度不可变。定义定长数组的方法有如下两种：
方法1：
var/val variable_name new Array[元素类型](数组长度) // 通过制定长度定义例如，定义一个长度为20的Int 类型数组。
scala> val a new …
Scala 中的foreach和map、flatMap方法比较
Scala中的集合对象都有foreach和map、flatMap方法，都是用来遍历当前集合，但他们都有不同点。这几个方法的共同点在于：都是用于遍历集合对象，并对每一项执行指定的方法。而他们的差异在于：foreach无返回值（准…
【Lift】Scala Web 框架——Lift（一）准备工作
Lift 官方网站：http://liftweb.net/ 下载 http://liftweb.net/download 下载.zip压缩包，解压缩 或者 终端下，运行： git clone https://github.com/lift/lift_25_sbt.git 安装 终端下，切换目录到“lift/scala_29/lift_b…
Maven和Gradle对比
2019独角兽企业重金招聘Python工程师标准>>> Java世界中主要有三大构建工具：Ant、Maven和Gradle。经过几年的发展，Ant几乎销声匿迹、Maven也日薄西山，而Gradle的发展则如日中天。笔者有幸见证了Maven的没落和Gradle的兴起。Maven的…
Scala在挖财的应用实践
编者按：本文是根据ArchSummit大会上挖财资深架构师王宏江的演讲《Scala在挖财的应用实践》整理而成。\\\\这次分享有三个方面，一是介绍一下挖财当前的开发情况和后端的架构， 二是挖财选择Scala的原因，三是挖财使用Scala相关的技术…
java8 用Optional取代null
如何处理null 怎样做才能避免不期而至的NullPointerException呢？通常，可以在需要的地方添加null的检查（过于激进的防御式检查甚至会在不太需要的地方添加检测代码），并且添加的方式往往各有不同。 null-安全的第一种尝试…
Java8 Lambda表达式
一,java8为什么会出现Lambda表达式 Lambda表达式可以理解为一种匿名函数：它没有名称，但有参数列表、函数主体、返回类型，可能还有一个可以抛出的异常的列表，可以简洁地传递代码。 •匿名——我们说匿名，是因为它不像普…
IntelliJ IDEA 新版发布：支持CPU火焰图，新增酷炫主题
JetBrain 是一家伟大的公司，一直致力于为开发者开发世界上最好用的集成开发环境 就在上周，JetBrain 公司发布了 Java 集成开发环境 IntelliJ IDEA 最新版本 2018.3 Beta，本篇文章，我将根据官方博客以及自己的理解来为大家解读一下…
大数据系列修炼-Scala课程109
大数据系列修炼-Scala课程109 核心内容: 1、Akka中的Actor异步和同步停止方式实战详解 1、Akka中的Actor异步和同步停止方式实战详解
1、停止Akka中Actor的原因？ 因为Actor在完成自己处理的消息之后，可能不在需要这个Actor后续在继续处理工作。这个时…
大数据系列修炼-Scala课程107
大数据系列修炼-Scala课程107 核心内容: 1、Akka中的第二种消息发送方式以及Future使用代码实战详解 1、Akka中的第二种消息发送方式以及Future使用代码实战详解1>this.getSender().tell(“message having received!”,this.getSelf());的具体的含义： this.getSender()返…
大数据系列修炼-Scala课程105
大数据系列修炼-Scala课程105 核心内容: 1、解析Akka中的子Actor及其代码 1、解析Akka中的子Actor及其代码1>在Akka当中，Actor是分层结构的，即任何一个Actor在Akka当中都属于具体的一个层次。 2>为什么需要使用子Actor，在什么时候需要创建子Actor？ 一般有两种情况…
大数据系列修炼-Scala课程86
大数据系列修炼-Scala课程86 核心内容: 1、Scala中for表达式的生成器、定义和过滤器 1、Scala中for表达式的生成器、定义和过滤器操作代码实战1、for(ele<-list) Scala中的生成器是为了遍历元素 2、if(person.isMan == false) Scala中的过滤器是为了筛选元素 实例程序:
b…
大数据系列修炼-Scala课程84
大数据系列修炼-Scala课程84 核心内容: 1、Scala中List和ListBuffer设计实现思考操作代码实战 1、Scala中List和ListBuffer设计实现思考1>List集合中的很多方法内部实现都是借助于ListBuffer，因为ListBuffer在处理数据时很高效 2>List集合中的::方法与:::方法使用的时…
scala 基础知识
scala如何判断类型及强制类型转换 if(p.getClass classOf[Employee]){}
if(p.isInstanceOf[Employee]){var newP listener.asInstanceOf[Employee]
}for循环 scala中没有与java一样的for循环 for(i <- 表达式)
实现i遍历 表达式里的所有元素。表达式可以是Range类对象或者…
[转载]Web项目中流行使用的几种实用框架程序
作为一名Web开发人员，我们可以借助很多可以用的开源项目，把它集成到我们的Web项目中，以便节省开发时间，或者提高程序性能。让我们看看有哪些开源项目可供免费使用。 提高数据库性能——数据库： 我们可能用得比较多的是…
Intellij IDEA创建Scala项目
一、下载Intellij IDEA插件Scala 二、安装Scala SDK
https://www.scala-lang.org/download/
建议下载*.zip文件，免安装，然后把scala目录下的bin目录添加到系统路径，这样cmd输入scala就可以启动
scala -version --> 查看版本 scala --&g…
数据结构与算法| 队列| 排序| 查找| 二叉树| 哈希表
递归(recursion)的概念 简单的说:递归就是函数/方法自己调用自己,每次调用时传入不同的变量.递归有助于编程者解决复杂的问题,同时可以让代码变得简洁。 递归快速入门 我列举两个小案例,来帮助大家理解递归，递归在讲函数时已经讲过(当时讲的相对比较简单)࿰…
Elasticsearch短语或近似匹配及召回率案例深入剖析-搜索系统线上实战
专注于大数据及容器云核心技术解密，可提供全栈的大数据云原生平台咨询方案，请持续关注本套博客。如有任何学术交流，可随时联系。更多内容请关注《数据云技术社区》公众号。 1 制作案例 POST /forum/article/_bulk
{ "update": { &q…
Scala 中下划线的用途
转载自:https://my.oschina.net/leejun2005/blog/405305 Scala 作为一门函数式编程语言，对习惯了指令式编程语言的同学来说，会不大习惯，这里除了思维方式之外，还有语法层面的，比如 underscore（下划线&#…
大数据系列修炼-Scala课程68
大数据系列修炼-Scala课程68 核心内容: 1、Scala中的原生线程Actor、基于Actor的Case class的消息传递和Actor模型认知以及相应的优化方式 1、Scala中的原生线程Actor、基于Actor的Case class的消息传递和Actor模型认知1、Scala的原生线程（即主线程）可以看做是一个Actor，当…
阿语python4-1 django框架v5.0第3.8.2节
中间件Django中的中间件是一个轻量级、底层的插件系统，可以介入Django的请求和响应处理过程，修改Django的输入或输出。中间件的设计为开发者提供了一种无侵入式的开发方式，增强了Django框架的健壮性。我们可以使用中间件，在Django…
大数据系列修炼-Scala课程44
大数据系列修炼-Scala课程44 核心内容: 1、Scala中View Bounds代码实战及其在Spark中的应用源码解析 1、Scala中View Bounds的重要应用1>在scala的类型变量限定当中,Int,Double类型本来是不是Comparable[T]的子类，但是通过视图界定<%,Int,Double类型可以隐式 的转换为…
【第2章】分析一下 Flink中的流执行模式和批执行模式
目录
1、什么是有界流、无界流
2、什么是批执行模式、流执行模式
3、怎样选择执行模式？
4、怎样配置执行模式？ 1、什么是有界流、无界流
有界流： 数据流定义了开始位置和结束位置，对一个计算任务而言，在计算前所有…
Scala Trait 详解（实例）
Trait基础
在Scala中，Trait是一种特殊概念。首先，Trait可以被作为接口来使用，此时Trait与Java的接口非常类似。同时在Trait可以定义抽象方法，其与抽象类中的抽象方法一样，不给出方法的具体实现。 注意：类…
SCala 集（set）
集是不重复元素的集合，列表得元素是按照插入得先后顺序组织的，但是集的元素并不记录插入的顺序，而是以“哈希”方法对元素的值进行组织，它允许你快速地找到某个元素。 1、不可变集 //1、集包括可变集和不可变集，缺省情…
大数据系列修炼-Scala课程70
大数据系列修炼-Scala课程70 核心内容: 1、Scala界面GUI编程操作代码实战 1、Scala界面GUI编程操作代码实战1>SimpleSwingApplication这个类里面定义了一些GUI框架运行时的一些设置，设置里包含了main方法，所以编程的时候不用在设置相应的main方法。 2>title与text与c…
大数据系列修炼-Scala课程69
大数据系列修炼-Scala课程69 核心内容: 1、Scala并发编程之react、loop的相关用法操作代码实战 1、Scala并发编程之react、loop操作代码实战1>在Java当中，所谓执行一个线程，就是执行本线程所对应的run方法，若run方法里面的代码执行完毕，这个线程就会结束，此时线程默认…
WCF后传系列（9）：深度通道编程模型Part 2—实例篇
引言 从本质上说，WCF是一个通信服务框架，它允许我们使用不同的传输协议，使用不同的消息编码形式，跟不同的WS-*系列规范交互，而所有这些细节都是由通道堆栈来处理的。在《WCF专题系列（8）…
Maven实战（六）——Gradle，构建工具的未来？
Maven面临的挑战软件行业新旧交替的速度之快往往令人咂舌，不用多少时间，你就会发现曾经大红大紫的技术已经成为了昨日黄花，当然，Maven也不会例外。虽然目前它基本上是Java构建的事实标准，但我们也能看到新兴的工具在涌…
hadoop 入门学习系列之八-----spark安装
1.安装 Scala tar -zxvf scala-2.11.8.tgz 再次修改环境变量sudo vi /etc/profile，添加以下内容： export SCALA_HOME/opt/softwares/scala-2.11.8export PATH$PATH:$SCALA_HOME/bin 同样的方法使环境变量生效，并验证 scala 是否安装成功 $ so…
first-class functions：函数是一等公民
前些阵子在读《javascript编程模式》一书时，发现了一个比较让我疑惑的说法：什么叫函数是一等“对象”？针对js这个语言，我深受“万物皆对象”这句话的影响，或许仅仅是对字面意思的理解，在js中，根…
Scala之泛型详解
泛型用于指定类或方法可以接受任意类型参数，参数在实际使用时才被确定，泛型可以有效地增强程序的适用性，使用泛型可以使得类或方法具有更强的通用性。泛型的典型应用场景是集合及集合中的方法参数，可以说同 Java 一样，…
Scala学习笔记--List、ListBuffer
ListBuffer(列表缓冲) ListBuffer类位于 scala.collection.mutable.ListBuffer val buf new ListBuffer[Int]val l1 List(1,2,3,4,5)for (x<-l1)buf x1;println(buf)val l2 buf.toListprintln(l2)结果 ListBuffer(2, 3, 4, 5, 6)
List(2, 3, 4, 5, 6) 这是一种效率很高…
java和scala互操作之不能读取嵌套object
前言 由于一些历史原因，一部分java代码还没有完全迁移至scala。因此存在了不少java和scala互操作的代码。这次又碰到一个小的问题。 举个栗子 scala代码 /*** Created by Dante on 2016/3/26.*/
object Property {val scalaConfig1 "hello this is out"o…
大数据系列修炼-Scala课程74
大数据系列修炼-Scala课程74 核心内容: 1、从Spark源码的角度思考Scala中的模式匹配 1、从Spark源码的角度思考Scala中的模式匹配1>case class 与 case object 常用于消息传递与模式匹配。 1>在声明case class的过程中，若在扩展的属性前面没有加修饰符var或者val，默认…
Tuning Spark
https://spark.apache.org/docs/1.2.1/tuning.html Data Serialization 数据序列化，对于任意分布式系统都是性能的关键点 Spark默认使用Java serialization，这个比较低效 推荐使用，Kryo serialization，会比Java序列化，…
![[译] 第三十天：Play Framework - Java开发者梦寐以求的框架 - 百花宫](http://img0.tuicool.com/yYjAve.png)
[译] 第三十天：Play Framework - Java开发者梦寐以求的框架 - 百花宫
前言 30天挑战的最后一天，我决定学习 Play Framework .我本来想写Sacla,但是研究几个小时后，我发现没法在一天内公正评价Scala,下个月花些时间来了解并分享经验。本文我们先来看看Play框架基础，再开发个程序。 什么是Play框架？ Pl…
Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException
Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException reason：JDK与Scala的版本不匹配。 转载于:https://www.cnblogs.com/fulse/p/9672860.html
【二 HTTP编程】5. Body parsers
为什么80%的码农都做不了架构师？>>> 何为Body parser？ 一个HTTP请求由请求头和请求体组成。header部分通常很小 —— 因此可以在内存中被安全的缓存，在Play中对应着RequestHeader模型。相对而言，body部分可能会非常大…
大数据系列修炼-Scala课程73
大数据系列修炼-Scala课程73 核心内容: 1、Scala界面和事件处理编程进阶实战 1、Scala界面和事件处理编程进阶实战1>Scala当中的GUI框架是对Java中Swing框架的一个封转 实例程序1:Scala的GUI结合文件选择器进行编程
object App1 extends SimpleSwingApplication
{//本程序…
map reduce filter
map 映射 Map(映射)是一种可迭代的键值对（key/value）结构。 所有的值都可以通过键来获取。 Map 中的键都是唯一的。 Map 也叫哈希表（Hash tables）。 Map 有两种类型，可变与不可变，区别在于可变对象可以修…
【Scala学习】之Scala快速入门
文章目录Scala的“味道”Overview 概述Hello, worldThe Scala REPLTwo types of variablesDeclaring variable typesControl structuresif/elsematch expressionstry/catchfor loops and expressionswhile and do/whileClassesScala methodsTraitsCollections classesPopulatin…
五分钟学习 Java 8 行为参数化
1、概览 Java8的改进比历史上任何一次改变都比较深远。Java不断改进也是编程语言生态变化的使然——诸如大数据需要在多核上面运行，而Java此前是不支持这种操作的。 在Java8之前，如果想要利用多个计算机的内核，你要使用线程，并且要…
大数据系列修炼-Scala课程72
大数据系列修炼-Scala课程72 核心内容: 1、Scala界面事件处理编程实战详解操作代码实战 1、Scala界面事件处理编程实战详解操作代码实战1、Scala中的事件模型与Java中的事件模型处理机制是相似的： 即组件在默认情况下是不会产生反应的，如果想让一个组件产生反应，必须做两件…
大数据系列修炼-Scala课程71
大数据系列修炼-Scala课程71 核心内容: 1、Scala界面Panel、Layout相关用法操作代码实战 1、Scala界面Panel、Layout相关用法操作代码实战1>界面其实是一个界面树,界面本身不应该处理事件。 2>容器内部组件的排列方式，即容器内部组件的位置和大小的设定，称为容器的布…
分别用Eclipse和IDEA搭建Scala+Spark开发环境
开发机器上安装jdk1.7.0_60和scala2.10.4，配置好相关环境变量。网上资料很多，安装过程忽略。此外，Eclipse使用Luna4.4.1，IDEA使用14.0.2版本。 1. Eclipse开发环境搭建 1.1. 安装scala插件 安装eclipse-scala-plugin插件ÿ…
Spark大数据处理学习笔记1.3 使用Scala集成开发环境
文章目录 一、学习目标二、搭建Scala的IntelliJ IDEA开发环境（一）启动IDEA（二）安装Scala插件（三）配置IDEA使用的默认JDK（四）创建Scala项目1、创建Scala项目 - ScalaDemo2、创建Scala…
掌握Scala数据结构（1）ARRAY、LIST
一、数组 (Array)
（一）定长数组
1、数组定义
（1）定义数组时初始化数据、、
数组的静态初始化自动推断数组类型 手动指定数据类型 （2）定义时指定数组长度，后赋值
先定义，后赋值&…
scala语法(一)（有java基础速学）
在拥有java基础上学习scala，注意以下几点
1. 变量声明
var | val 变量名 [: 变量类型] 变量值 val name: String "nico"
声明变量时，类型可以省略（就是叫 类型推断） val name "nico"类型确定后ÿ…
Spark 键值对RDD的操作
键值对RDD（Pair RDD）是指每个RDD元素都是（key，value）键值对类型，是一种常见的RDD类型，可以应用于很多的应用场景。
一、 键值对RDD的创建
键值对RDD的创建主要有两种方式： &#x…
深入解读 Flink 1.17
摘要：本文整理自阿里云技术专家，Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 Meetup 的分享。内容主要分为四个部分： 1. Flink 1.17 Overview 2. Flink 1.17 Overall Story 3. Fli…
Spark大数据处理学习笔记1.5 掌握Scala内建控制结构
文章目录 一、学习目标二、条件表达式（一）语法格式（二）执行情况（三）案例演示任务1、根据输入值的不同进行判断任务2、编写Scala程序，判断奇偶性 三、块表达式（一）语法格式…
spark 读写数据
SparkSQL 数据源的加载与保存
JOEL-T99
于 2021-12-22 17:57:31 发布
2191 收藏 3 分类专栏： BigData 文章标签： spark scala sparksql 版权
BigData 专栏收录该内容 58 篇文章3 订阅 订阅专栏 Spark SQL 支持通过 DataFrame 接口对多种数据源进行操…
Akka定时任务schedule()方法
Akka定时任务schedule()方法 文章目录Akka定时任务schedule()方法什么是Akka定时任务schedule()方法？如何使用Akka定时任务schedule()方法？如何在actor外部获取Scheduler对象为什么需要提供一个隐式的ExecutionContext对象，用于执行定时任务&…
Mac 配置Spark环境scala+python版本（Spark1.6.0）
1. 从官网下载Spark安装包，解压到自己的安装目录下（默认已经安装好JDK，JDK安装可自行查找）； spark官网：http://spark.apache.org/downloads.html 2. 进入系统命令行界面，进入安装目录下…
Maven - Scala/Java 项目添加自己的 jar 包
一.引言
scala / java 项目引用非官方依赖 jar 包时，需要自定义并打入最终的 jar 包，经过试验以下方案可以实现。 二.添加 jar 包到 maven 库 👍
第三方自定义 jar 包可以添加到本地 maven 库中，随后即可 mvn package 打入到最终…
spark的运行模式之 == 本地运行模式
所谓运行模式，就是指spark应用跑在什么地方。mr程序可以在本地运行，也可以提交给yarn运行。这个概念是一样的。 跟其他Hadoop生态圈的组件一样，spark也需要JDK的环境，此外还需要SCALA环境。所以在安装spark之前要先安装好JDK和SCA…
Spark Streaming源码解读之No Receivers
2019独角兽企业重金招聘Python工程师标准>>> 前文有提到过Spark Streaming事务是如何保证exactly once的语义的。 从spark core程序来讲，读取固定数据来源比如hdfs中，spark只是做为一个计算框架。 而在流处理中，只是多了一个时间维…
flink笔记6 DataStream API（二）Transform、sink介绍和使用
Transform、sink介绍和使用
3.Transform
(1) 简单转换算子
(2)键控流转换算子
(3)多流转换算子
4.sink 3.Transform
(1) 简单转换算子
① Map：输入一个元素，然后返回一个元素，中间可以做一些清洗转换等操作
object Transform1 {def …
Scala 基础入门【翻译】
原文地址 本文只是带你进入 Scala 的世界，包括安装、不可变量 val、可变量 var、定义类、集合（包括列表（list）、集（set）、映射（map））以及集合遍历和集合库（能…
理解Monad，一份monad的解惑指南
\本文要点：\\避免显式地处理状态值是有必要的\\t通过使用monad，你就可以移除代码中对状态值的明确处理。\\t一个monads类型必须与特殊的函数（名为“bind”）相联系\\t用了monad的bind函数后，状态值会从一个monad传递给下…
由毫秒（ms）转换为日期和时间的格式（简单易用）
2019独角兽企业重金招聘Python工程师标准>>> 由毫秒（ms）转换为日期和时间的格式 注意：当我们从服务器拿到的时间(毫秒ms)时，若是一个字符串，在转成数字时，最好使用longLongValue，一定…
scala中字符串计数_Scala中的字符串
scala中字符串计数Scala字符串 (Scala strings) A string is a sequence of characters. In Scala, the String object is immutable. This means that the strings in Scala cannot be modified in the program. Its value given at the time of creation will remain constan…
3.1 Broker Configs 官网剖析（博主推荐）
一切来源于官网 http://kafka.apache.org/documentation/3.1 Broker Configs 3.1 broker配置The essential configurations are the following: broker.idlog.dirszookeeper.connect基本配置如下: broker.idlog.dirszookeeper.connectTopic-level configurations and defaults …
强制Scala函数产生“副作用”
最近看到一个有意思的题目：波斯公主选驸马链接 ，手痒想写代码模拟实现一下。正好在做scala的项目，自然就想用scala来实现。 模型里首先要实现一个"洗牌算法" ，该算法用java实现的话如下： void MySwap(int &a…
第7章 Scala集合
第7章 Scala集合
7.1 简介
scala.collection.immutable scala.collection.mutable
7.2 数组
不可变数组 package chapter07object Test01_ImmutableArray {def main(args: Array[String]): Unit {// 1. 创建数组val arr: Array[Int] new Array[Int](10…
Scala入门【运算符和流程控制】
运算符 在 Scala 中其实是没有运算符的，所有运算符都是方法。我们只是省去了 .方法名() 中的点 . 和括号 () 。 调用对象的方法时，点 . 可以省略；如果函数参数只有一个，或者没有参数，括号()可以省略。 //num1 n…
【第二章】分析一下 Flink中的流执行模式和批执行模式
目录
1、什么是有界流、无界流
2、什么是批执行模式、流执行模式
3、怎样选择执行模式？
4、怎样配置执行模式？ 1、什么是有界流、无界流
有界流： 数据流定义了开始位置和结束位置，对一个计算任务而言，在计算前所有…
Linux安装配置scala2.11
官网下载对应版本
解压到你想安装的文件夹,假设是/home/xiligey/Install/scala-2.11.12
编辑/etc/profile文件，追加以下内容到profile
export SCALA_HOME/home/xiligey/Install/scala-2.11.12
export PATH${SCALA_HOME}/bin:$PATH
终端执行
source /etc/profil…
大数据系列——Flink理论
概述 Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala实…
scala基础编程案例--定义一个类Rational支持有理数的运算
目录 1、案例要求2、实现思路3、完整代码4、总结 1、案例要求
1）定义一个类Rational，分子与分母作为类参数； 2）重写toString方法； 3）前提条件检查（分母是否为0检查）； 4&…
scala中match使用报错Scala.matchError:(of class java.lang.String)
1.遇到错误
Scala.matchError:(of class java.lang.String) 2.发现问题出在match使用中,如下写法就会报错
val partitionIndex key.toString match {case "chinese" > 0case "math" > 1case "english" > 2} 3.后来修改了写法…
scala---spark本地调式远程获取hdfs数据注意事项
文章目录 前言一、Hadoop配置注意事项1.1 core-site.xml1.2 core-site.xml 二、本地hadoop环境配置注意事项三、本地scala项目spark代码调试总结 前言 这篇文章主要帮大家绕开一些本地使用spark调试获取远程hdfs数据的坑，个人在使用时也是基本把这些坑踩了一遍。希望…
理解分布式id生成算法SnowFlake
理解分布式id生成算法SnowFlake
分布式id生成算法的有很多种，Twitter的SnowFlake就是其中经典的一种。
概述
SnowFlake算法生成id的结果是一个64bit大小的整数，它的结构如下图：
}
public function __construct(){
$this->rnew…
Scala环境安装【傻瓜式教程】
文章目录安装scala环境依赖Java环境安装下载sacla的sdk包安装Scala2.12检查安装是否成功idea配置idea安装scala插件项目配置新建maven项目添加框架支持选择scala创建测试类安装scala环境依赖
Java环境安装
sacla环境安装之前需要先确认Java jdk安装完成 java具体安装步骤略&…
3.5 RDD持久化机制
一、RDD持久化
1、不采用持久化操作 查看要操作的HDFS文件 以集群模式启动Spark Shell 按照图示进行操作，得RDD4和RDD5 查看RDD4内容，会从RDD1到RDD2到RDD3到RDD4跑一趟 显示RDD5内容，也会从RDD1到RDD2到RDD3到RDD5跑一趟 2、采用持久化…
Scala介绍，开发环境搭建，语法，高级特性，编程技巧
Scala是一种面向对象和函数式编程语言，它运行在Java虚拟机上，可以与Java代码无缝地集成。Scala的设计目标是将面向对象和函数式编程的最佳实践结合起来，以提高代码的可读性、可维护性和可扩展性。本文将介绍Scala的开发环境搭建、语法、高级特…
atitit.编程语言 类与对象的 扩展机制.doc
atitit.编程语言 类与对象的 扩展机制.doc 1.1. Java 下一代: 没有继承性的扩展1 1.2. 继承1 1.3. 使用cglib动态为Java类添加方法1 1.4. 工具类 1 1.5. Wrap 包装类 装饰器模式2 1.6. 扩展方法 （其实就是工具类的语法糖）2 1.7. Scala 的隐式转换2 1.8.…
深入理解Apache Flink核心技术
Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发…
Spark MLBase分布式机器学习系统入门：以MLlib实现Kmeans聚类算法
为什么80%的码农都做不了架构师？>>> 1.什么是MLBaseMLBase是Spark生态圈的一部分，专注于机器学习，包含三个组件：MLlib、MLI、ML Optimizer。 ML Optimizer: This layer aims to automating the task of ML pipeline c…
kafka：一个分布式消息系统
1.背景 最近因为工作需要，调研了追求高吞吐的轻量级消息系统Kafka，打算替换掉线上运行的ActiveMQ，主要是因为明年的预算日流量有十亿，而ActiveMQ的分布式实现的很奇怪，所以希望找一个适合分布式的消息系统。 以下是内容…
大数据系列修炼-Scala课程60
大数据系列修炼-Scala课程60 核心内容: 1、Scala中隐式参数操作代码实战 1、Scala中隐式参数操作代码实战1>所谓隐式参数就是在函数或方法中的参数前面加上implicit修饰符，这样的参数叫做隐式参数 2>若在参数的前面含有implicit修饰符，编译器就会自动寻找相应的隐式值…
大数据系列修炼-Scala课程29
大数据系列修炼-Scala课程29 核心内容: 1、case class实战解析 2、case object实战解析 3、case class与case object在spark中的实际应用 1、scala中case class与case object的相关概念1、scala中的case class与case object有两种功能:消息传递与模式匹配。case class与case…
Spark学习（三） -- SparkContext初始化
标签（空格分隔）： Spark 本篇博客以WordCount为例说明Spark Job的提交和运行，包括Spark Application初始化、DAG依赖性分析、任务的调度和派发、中间计算结果的存储和读取。 SparkContext的初始化综述 SparkContext是进行Spark应用…
大数据系列修炼-Scala课程22
核心内容: 1、Scala中的闭包实战详解 1、scala中的闭包实战详解1>Scala中的闭包类似于JavaScript中的方法–对其内部的方法进行动态调用。 2>Scala中的闭包捕获到的是变量的本身而不仅仅是变量的数值,当自由变量发生变化时，Scala中的闭包能够捕获到这个变化. 3>如…
Hexo遇上Travis-CI：可能是最通俗易懂的自动发布博客图文教程
相信很多同学都有自己的博客，如果没有，可以参看《Hexo建站：部署到github》，利用Hexo和github pages服务搭建一个美观便捷的博客，Hexo可以将你编写的md文档解析渲染成html网页，最后通过git推送到github即可形…
Spark scala 程序开发
开发Spark 程序，看到的都是要打包成jar 然后运行。 今天发现其实对于standalone也可以直接运行。 如下代码，设定好master , 然后选择run as -> Scala Application 即可。 通过这种方式可以节约打包时间。 import org.apache.spark.SparkConf
import o…
Scala(四)：对象
对象：Object 1.单例对象 2.伴生对象 3.扩展类或特质的对象 4.apply方法 5.应用程序对象 6.枚举1.单例对象 Scala中没有你静态方法或静态字段，可以用object这个语法结构来实现这个目的。对象定义某个类的单个实例，包含了你想…
Scala入门2（特质与叠加在一起的特质）
一、介绍 参考http://luchunli.blog.51cto.com/2368057/1705025 我们知道，如果几个类有某些共通的方法或者字段，那么从它们多重继承时，就会出现麻烦。所以Java被设计成 不支持多重继承，但可以实现任意多的接口。接口只能包含抽象方…
guava快速入门（三）
Guava工程包含了若干被Google的 Java项目广泛依赖 的核心库，例如：集合 [collections] 、缓存 [caching] 、原生类型支持 [primitives support] 、并发库 [concurrency libraries] 、通用注解 [common annotations] 、字符串处理 [string processing] 、I…
Scala-IDE Eclipse（Windows)中开发Spark应用程序，在Ubuntu Spark集群上运行
在进行实际的Spark应用程序开发时，常常会利用Window环境进行程序开发，开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行，本教程教将一步一步地教大家如何进行该操作。本教程主要内容如下： Window开发环…
Centos下基于Hadoop安装Spark（分布式）
前提 Hadoop可成功在分布式系统下启动 下载scala 链接是https://downloads.lightbend.com/scala/2.12.7/scala-2.12.7.tgz Master和其他子主机下 wget https://downloads.lightbend.com/scala/2.12.7/scala-2.12.7.tgz 解压 tar -zxvf scala-2.12.7.tgz 将解压后的文件复制到自…
Java Persistence with MyBatis 3(中文版) 第五章 与Spring集成
MyBatis-Spring是MyBatis框架的子模块，用来提供与当前流行的依赖注入框架Spring的无缝集成。 Spring框架是一个基于依赖注入（Dependency Injection）和面向切面编程(Aspect Oriented Programming,AOP)的Java框架，鼓励使用基于POJO的…
Akka 系列（七）：Actor 持久化之 Akka persistence
本文由 GodPan 发表在 ScalaCool 团队博客。 这次把这部分内容提到现在写，是因为这段时间开发的项目刚好在这一块遇到了一些难点，所以准备把经验分享给大家，我们在使用Akka时，会经常遇到一些存储Actor内部状态的场景，在…
Java文件类boolean canRead（）方法（带示例）
文件类boolean canRead() (File Class boolean canRead()) This method is available in package java.io.File.canRead(). 软件包java.io.File.canRead()中提供了此方法。 This method is used to read the file and the file is represented by the abstract filepath. 此方法…
scala部分应用函数_Scala中的部分应用函数
scala部分应用函数部分应用的功能 (Partially applied functions) Partially applied functions, are actually those function that allows you to implement function calls with partial arguments i.e. using only a few values in a function call and uses rest values f…
scala 字符串转换数组_Scala程序将数组转换为字符串
scala 字符串转换数组Scala | 将数组转换为字符串 (Scala | Converting array to string) Arrays play an important role in programming as they provide easy operation and there is a large amount of method available in the Scala library of array manipulation. But …
Scala学习之字符串篇(六)：访问字符串特定位置的字符
2019独角兽企业重金招聘Python工程师标准>>> 在Scala中有如下几种方式来访问字符串中特定位置的字符。 scala> "hello".charAt(1)
res21: Char escala> "hello"(1)
res22: Char escala> "hello".apply(1)
res23: Char e …
《深入理解Scala》——导读
本节书摘来自异步社区《深入理解Scala》一书中的导读，作者［美］Josh Suereth，更多章节内容可以访问云栖社区“异步社区”公众号查看 目 录第1章 Scala——一种混合式编程语言1.1节Scala一种混合式编程语言 1.2 当函数式编程遇见面向…
JVM 平台上的各种语言的开发指南
JVM 平台上的各种语言的开发指南 为什么我们需要如此多的JVM语言？ 在2013年你可以有50中JVM语言的选择来用于你的下一个项目。尽管你可以说出一大打的名字，你会准备为你的下一个项目选择一种新的JVM语言么？ 如今借助来自像Xtext和ANTLR这样的…
Scala坑六（抽象类）
原文地址为：
Scala坑六（抽象类）1.抽象类（abstract class） 类的一个或者多个方法没有完整的定义 声明方法时只需要不写方法体，不需要关键字 子类重写父类的抽象方法时不需要加override 父类可以声明抽象字段…
IDEA 创建用户Library
把akka的包加入到一个IDEA project的类路径中akka自带了一套scala环境，加入jar包的时候注意exclude掉转载于:https://blog.51cto.com/dingbo/1605219
Scala编程之惰性函数
一、为什么需要惰性函数 惰性计算(尽可能延迟表达式求值)是许多函数式编程语言的特性。惰性集合在需要时提供其元素,无需预先计算它们,这带来了一些好处。首先,您可以将耗时的计算推迟到绝对需要的时候。其次,您可以创造无限个集合,只要它们继续收到请求,就会继续提供元素。函数…
Scala的设计目标——Martin Odersky访谈（二）
Scala是一种新兴的通用用途、类型安全的Java平台语言，结合了面向对象和函数式编程。它是洛桑联邦理工大学教授Martin Odersky的心血结晶。本访谈系列由多部分组成，由Artima网站的Frank Sommers和Bill Venners向Martin Odersky讨教Scala。在第一部分Scala…
3.1 掌握RDD的创建
一、RDD为何物 （一）RDD概念 Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient Distributed Dataset，RDD）。这个数据集的全部或部分可以缓存在内存中，并且可以在多次计算时重用。…
什么是元组？Scala怎样获取和定义元组中的值？
Scala的元组是对多个不同类型对象的一种简单封装，它将不同的值用括号括起来，并用逗号作分隔，即表示元组。
1.创建元组
创建元组的语法格式如下：
valtuple(元素，元素…)下面，通过简单的例子演示如何创建元…
RDD Transformation——cartesian
说明
从名字就可以看出这是笛卡儿的意思，就是对给的两个RDD进行笛卡儿计算。
def cartesian[U: ClassTag](other: RDD[U]): RDD[(T, U)]
该函数返回的是Pair类型的RDD，计算结果是当前RDD和other RDD中每个元素进行笛卡儿计算的结果。最后返回的是Cart…
Scala 文件 I/O
从文件上读取内容
从文件读取内容非常简单。我们可以使用 Scala 的 Source 类及伴生对象来读取文件。以下实例演示了从 “test.txt”文件中读取内容
import scala.io.Sourceobject Test {def main(args: Array[String]) {println("文件内容为:" )Source.fromFile(&…
Scala 提取器(Extractor)
提取器是从传递给它的对象中提取出构造该对象的参数。
Scala 标准库包含了一些预定义的提取器，我们会大致的了解一下它们。
Scala 提取器是一个带有unapply方法的对象。unapply方法算是apply方法的反向操作：unapply接受一个对象，然后从对象…
使用Scala的强大api快速加工数据
Scala是一门高级的，非常灵活和强大的函数式编程语言，既支持类型严格，语义明确的面向对象的编程风格，也支持类型多变，写法风骚的函数式编码。 Scala中封装了许多有用强大的api，使我们处理数据更加方便&#…
spark调试环境搭建
到目前为止，基于RDD的spark streamming实时应用和离线应用（主要解析日志）已经写了一些，但是对spark的了解还是很少，所以决心花点精力，对spark做一些比较深入的了解和学习。参照之前hbase的学习经验…
scala项目是基于eclipse创建的maven项目,用idea导入项目报错
哪位大佬能解决,急!!!急!!!急!!!
scala 版本用2.12.8，2.11.8，2.10.6都报错
scala项目是基于eclipse创建的maven项目,用idea导入项目报错
idea从git上克隆的项目
这个App程序是eclipse创建时自带的，idea上运行会报下面的那两种错误&#x…
在Scala里面如何使用正则处理数据
正则在任何一门编程语言中，都是必不可少的一个模块，使用它来处理文本是非常方便的，尤其在处理在使用spark处理大数据的时候，做ETL需要各种清洗，判断，会了正则之后，我们可以非常轻松的面对各种复…
浅谈Java项目打包方式
大家都知道在Java里面开发一个web服务非常繁琐，首先需要各种框架，各种配置，完事之后，需要打成一个war包，最后需要一个servlet容器，Tomcat或者Jetty，Jboss，来运行发布，同样…
LLVM 编译器学习笔记之三十四-- SSA
1、llvm中有种特殊的lcssa (Loop Close SSa), 参考LLVM Loop Terminology (and Canonical Forms) — LLVM 13 documentation
一个lcssa的形式是PHI中只有一个结点，因此是冗余的，只是方便循环的优化，%add673.lcssa phi i32 [ %add673, %for.…
Scala笔记整理（七）：模式匹配和样例类
[TOC] 可以用到switch语句 1、Scala强大的模式匹配机制，可以应用在switch语句、类型检查以及“析构”等场合。 def swithOps: Unit {var sign 0val ch: Char ch match {case > sign 1case - > sign -1case _ > sign 0}println("sign> "…
Java 20年：历史与未来
作为最受欢迎的编程语言之一，Java已经走过了20个年头。从已经落寞的诺基亚到现在火热的电商系统，我们都能看到Java语言的身影。从1995年的第一个版本到现在的Java 1.8，我们甚至能从Java的版本迭代中看到不同时代编程语言关注的重点。经过了过…
[LeetCode]Longest Substring Without Repeating Characters
题目: 给定一个字符串，找出不含有重复字符的最长子串的长度。 示例 1: 输入: "abcabcbb"
输出: 3
解释: 无重复字符的最长子串是 "abc"，其长度为 3。 示例 2: 输入: "bbbbb"
输出: 1
解释: 无重复字符的最长子串是 "…
Flink / Scala 实战- 4.BroadCast 广播流数据先到再处理 Source 数据
一.引言
Flink 支持增加 DataStream KeyBy 之后 conncet BroadCastStream 形成 BroadConnectedStream，广播流内数据一般为不间断更新的上下文信息，在本例中，需要针对数据流中的用户信息，基于用于信息 + 广播流内的物料库实现推荐逻辑，针对 BroadConnectedStream 流，需要…
Scala 词频统计WordCount实例
1. 实现一个词频统计的demo。
data目录是工程下与src同级的目录。 import java.io.File
import scala.io.Sourceobject WordCount {def main(args: Array[String]): Unit {val dir_file new File("data")val file_list dir_file.listFiles().toListfor (f <- …
Scala 中case模式匹配
1. 简单匹配
object Test{def main(args: Array[String]): Unit {val sex -1val res sex match {case 1 > "man"case 2 > "women"
// case _ > "Not Allowed!" // othercase unexcepted > unexcepted " is Not Allow…
scala 面向对象基础
1. 类
1.1 简单的类
T1.scala
object T1 {// 定义一个类class Counter{private var value0def increment():Unit{value1}// def increment()value1// def increment(){value1}def current():Int{value}}def main(args: Array[String]): Unit {var c new Counter// var c n…
scala 数据结构
1. 容器
mutable 可变
immutable 不可变
2. 列表
2.1 列表声明与构建
列表是一种共享相同类型的不可变的对象序列，声明时必须初始化。
var strList List("one", "two", "three", "four")
// 取列表首元素
println(s…
Redis - Redis List 功能详解与工业应用
一.引言
Redis 列表 List 是简单的字符串列表，按照插入顺序排序，一个列表最多可以包含 232 - 1 个元素 (4294967295, 每个列表超过40亿个元素)。下面介绍下 Redis List 常用功能以及在工业场景下 Redis List 的几种使用场景。 二.常见功能
博主使用 Sc…
scala入门-07特质类(trait)的使用
2019独角兽企业重金招聘Python工程师标准>>> trait类似于Java8中的可用带default method的接口。 trait中可以带有实现的方法，也可以带有抽象方法，使用trait的方法是with而混入类中。 我们在scala下的org.scala.clazz下创建一个类MyTrait.sca…
Scala - 数值型特征分桶
一.引言
机器学习中最基础的一步就是数据的特征工程，这其中最常见的就是数值型特征的分桶，下面使用两种方法对数值型特征分桶并对比效率。给定数值型特征划分的连续递增(保序) boundary 如下：
val boundary Array(0.0, 1, 2, 3, 5, 10, 20…
Spark/Scala - 读取 RcFile OrcFile
一.引言 上文提到了 MapReduce - 读取 OrcFile, RcFile 文件，这里通过 Java MapReduce 实现了读取 RcFile 和 OrcFile 文件，后续又遇到 MapReduce - 同时读取 RcFile 和 OrcFile 的依赖冲突，也顺利解决，但是平常开发还是习惯 spa…
Flink001---offset设置窗口起点
Intro
滚动窗口，想要设置窗口开始的时点，怎么弄。举例说明：
watermart设置为3s滚动窗口长度设置为5s起点设置为3，即[3,8)是一个窗口
Code
代码没啥说的，就是个offset的使用
import org.apache.flink.api.common.f…
scala函数返回值
1、使用returndef functionName ([参数列表]) : [return type] { function body return [expr] }2、直接把返回值写在最后： object Test { def main(args: Array[String]) { println( "Returned Value : " addInt(5,7) ); } def addInt( a:Int, b:Int )…
Java8学习(4)-Stream流
Stream和Collection的区别是什么 流和集合的区别是什么？ 粗略地说, 集合和流之间的差异就在于什么时候进行计算。集合是一个内存中的数据结构，它包含数据结构中目前所有的值--集合中的每个元素都得先计算出来才能添加到内存里。(你可以往集合里加东西或者…
Typescript Mixins(混合)
除了惯例的面对对象的思想，另一种较流行的通过可复用组件创建类的方法是将简单的类混合到一起。你可能对这种混合的方式比较熟悉或对Scala语言的特性有理解，这种模式在JavaScript社区也有一定的人气。 混合案例 在下面的代码中，我们展示了如何…
Ubuntu下导入PySpark到Shell和Pycharm中（未整理）
实习后面需要用到spark，虽然之前跟了edX的spark的课程以及用spark进行machine learning，但那个环境是官方已经搭建好的，但要在自己的系统里将PySpark导入shell（或在Python里可以import pyspark）还是需要做一些操作的。…
最不受程序员欢迎 / 最令程序员畏惧的编程语言有哪些？
最不受欢迎 / 最令人畏惧的编程语言有哪些？这些编程语言为什么令人畏惧？对它们的评价是否公正？
在 StackOverflow 的 2020 年度开发者调查中，有一张表格，显示的是“最受欢迎、最令人畏惧和最想要的编程语言”。最受欢…
在Java项目中整合Scala
Scala是一个运行在Java JVM上的面向对象的语言。它支持函数编程，在语法上比Java更加灵活，同时通过Akka库，Scala支持强大的基于Actor的多线程编程。具有这些优势，使得我最近很想在一个新的项目中使用Scala，但是在新项目…
Spark SQL上海摩拜共享单车数据分析
1 生成DataFrame对象
val bikeDF sqlContext.read.format("csv").option("header", "true").option("timestampFormat", "yyyy-MM-dd HH:mm").load("src/main/scala/com/zhangz1/mobike_shanghai_sample_updated.csv…
Scala下载安装配置（Mac）
---恢复内容开始--- 1.访问scala的官网这里下载最新版的scala。 2.解压缩文件包，可将其移动至/usr/local/share下 1mv /download/scalapath /usr/local/share 3.修改环境变量，在mac下使用sudo su进入管理员权限，修改配置文件profileÿ…
Spark入门之WordCount
[img]http://dl2.iteye.com/upload/attachment/0111/4770/079b7965-40fb-318c-8c35-cd5d6aa03c83.png[/img][sizelarge]环境:
Hadoop版本：Apache Hadoop2.7.1Spark版本：Apache Spark1.4.1
核心代码：[/size][img]http://dl2.iteye.com/upload/…
Spark历险记之编译和远程任务提交
Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark…
使用ANT编译和打包scala程序
2019独角兽企业重金招聘Python工程师标准>>> 首先系统中需要指定SCALA_HOME的环境变量 下面是build.xml文件 <?xml version"1.0" encoding"utf-8"?> <project name"HelloWorld" default"jar"><!-- global…
Scala语言的学习
var和val
var 变量
val 值 final
在面向对象编程时，var 标识的变量会生成getter、setter;val标识的变量会生成getter方法
val money:Int100;//相当于final 不可以变 不写类型 会自动推导
var name:String"zhangsan";//可变
name"zhangsan1"…
Hadoop2.6.0+Spark1.4.0集群安装
1，要求你已经成功把Hadoop集群安装完毕，并经过测试，如果不知道如何编译安装Hadoop请参考散仙的这篇文章[url]http://qindongliang.iteye.com/blog/2222145[/url]2，安装Scala2.10.x版本，spark1.4.0最新版本的兼容2.10.x…
Spark RDD编程
一、 实验目的：
1.熟悉 Spark RDD的基本操作。 2.熟悉使用RDD编程解决具体问题的方法。
二、 实验内容和要求：
编程实现输出前3个学生的信息、文件中前3个学生的平均分、文件中前3个学生的最高分、文件中前3个学生的平均分、总分数最高的前三名、Scal…
kakfa 3.0 创建topic流程(源码)
文章目录1、通过create命令到组装创建topic需要的数据流程(scala部分)2、创建一个客户端，此客户端通过队列多线程异步发送创建topic的请求(1)runnable.call(队列和多线程执行)(2)getCreateTopicsCall(创建发送创建topic的requestBuilder)3、服务端创建topic的请求(h…
Flink 之 写入数据到 ElasticSearch
前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 1、《从0到1学习Flink》—— Data Source 介绍 2、《从0到1学习Flink》—— Data Sink 介绍 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的 Source 和 Sink。 那么今天要…
Scala可变长度参数
可变长度参数 Scala 允许你指明函数的最后一个参数可以是重复的。这可以允许客户向函数传入可变长度参数列表。想要标注一个重复参数，在参数的类型之后放一个星号。例如： scala> def echo(args: String*)
for (arg <- args) println(arg)
echo: (…
SparkSql、DataFrames、DataSet
append和overwrite的区别
append：在原有分区上面追加
overwrite：覆盖原有分区数据，在原有分区上全量刷新
// 创建分区表
spark.sql("CREATE TABLE my_partitioned_table (col1 INT, col2 STRING) PARTITIONED BY (partition_col STRI…
Scala方法和函数
方法和函数的作用几乎是一样的,但是函数在使用的过程中更加灵活和多样化scala中函数是头等公民 . 可以作为方法的返回值和参数使用scala是一个集面向对象和面向函数于一身的编程语言 , 灵活的函数是函数式编程的一种体现函数的使用使代码更加简洁和灵活
函数
scala中一种函数…
我们常常意识不到问题的存在，直到有人解决了这些问题
Hadoop MapReduce虽然已经可以满足大数据的应用场景，但是其执行速度和编程复杂度并不让人们满意。于是UC Berkeley的AMP Lab推出的Spark应运而生，Spark拥有更快的执行速度和更友好的编程接口，在推出后短短两年就迅速抢占MapReduce的市场份额&…
![spark[源码]-sparkContext概述](https://images2017.cnblogs.com/blog/834652/201709/834652-20170903095811999-950147423.png)
spark[源码]-sparkContext概述
SparkContext概述 sparkContext是所有的spark应用程序的发动机引擎，就是说你想要运行spark程序就必须创建一个，不然就没的玩了。sparkContext负责初始化很多东西，当其初始化完毕以后，才能像spark集群提交任务，这个地方…
apache开源项目--kafka
关于kafka说明可以参考： http://kafka.apache.org/documentation.html kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的…
《Spark大数据分析：核心概念、技术及实践》一2.4 总结
本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第2章，第2.4节，作者[美] 穆罕默德古勒（Mohammed Guller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.4 总结 S…
编写并发程序 Inversion
做完了 scala parallel 课程作业后，觉得 scala 写并发程序的便捷性是 java 永远都追不上的。scala 的Future 和 Promise，java 里 Future 和 CompleteFuture 实现了类似的功能，但是使用的便捷性还差的很远，java.util.Future 本身 A…
Flink - 11.Scala/Java trigger 简介与使用
一.引言
Flink 使用 windowAll 生成 AllwindowedStream 后调用 Trigger 执行窗口触发逻辑，下面对 Trigger 触发器做一个基本的了解。 二.Trigger 简介
Trigger 翻译为触发，扳机，其作用为在一定条件下触发窗口进行计算，如果是内部 operator 则执行对应 operator，如果自定…
Flink / Scala - 8.DataSet 应用 Broadcast Variables
一.引言
除了操作的常规输入之外，广播变量 Broadcast Value 允许使一个数据集对操作的所有并行实例可用，即适合 task 都需要公用的变量，就像是 spark 中各个 executor 都需要访问的公共变量一样。这对于辅助数据集或依赖于数据的参数化非常有用。然后，该数据集将作为一个集…
Flink / Scala - 7.DataSet DataStream Sink 输出数据详解
一.引言
Flink 的数据处理主要分三步，第一步 Source 为数据源，分为 DataSet 和 DataStreaming ，后一步为 Transformation 负责处理和转换数据，针对不同的 DataSource，Transformation 可能会存在差异，最后一步是 sink 负责将结果输出。前面介绍了 DataSet 的 Source 和 T…
Flink / Scala - 4.DataSet Transformations 常用转换函数详解
一.引言
上一篇文章讲到了 Flink 如何获取数据生成 DataSet，这篇文章主要讨论 DataSet 后续支持的 Transform 转换函数。相较于 Spark，Flink 提供了更多的 API 和更灵活的写法与实现。 Tips :
下述示例均以该 env 为基础实现 import org.apache.flink.api.scala.Execution…
Scala - Json 解析优化
一.引言
工作场景中使用 com.alibaba.fastjson 时遇到了一些耗时的场景，这里记录一下耗时的场景与简单的优化方法。 二.Json 信息的存储形式
使用场景为最基本的 kv String 组合，加载位置为 Spark 程序的 Dirver 部分，在 dirver 的执行时间…
Scala/Java - Redis 连接检测与重试
一.引言
项目实现中需要连接 redis，为了防止因网络抖动或其他原因造成的客户端连接失败，一般需要增加重试机制判断 client 是否连接成功，之前写了一版重连代码发现有 bug，借此机会看下代码 bug 以及如何更好的重连 redis。 二.错…
Spark - ERROR StatusLogger No log4j2 configuration file found
一.引言
spark 项目运行 kafka 相关程序时报警告，虽然不影响运行，但是强迫症看着十分难受，下面立即清除。
ERROR StatusLogger No log4j2 configuration file found.
Using default configuration: logging only errors to the console. 二…
Scala / Java - 本地 jar 包导入项目 Maven | Pom
一.引言
在没有 maven 公库且需要任务协作时，项目需要导入现成的 jar 包，有两种方案，一种是一劳永逸型：即将 jar 包打入本地 maven 环境这样后续其他项目也可以使用，还有一种是只对当前项目生效，即将 jar …
Flink1.7.2 DataStream Operator 示例
Flink1.7.2 DataStream Operator 示例 源码 https://github.com/opensourceteams/flink-maven-scalahttps://github.com/opensourceteams/flink-maven-scala/tree/master/src/main/scala/com/opensourceteams/module/bigdata/flink/example/datastream/operatormap 处理所有元素…
Spark RDD概念学习系列之RDD的缺点（二）
2019独角兽企业重金招聘Python工程师标准>>> RDD的缺点？ RDD是Spark最基本也是最根本的数据抽象，它具备像MapReduce等数据流模型的容错性，并且允许开发人员在大型集群上执行基于内存的计算。为了有效地实现容错。 RDD提供了一种高…
Java泛型Object和？区别
在写spark streamming读取kafka latest offset的时候，有一下语句：Map<TopicAndPartition, Object> latestOffsets JavaConversions.mapAsJavaMap((scala.collection.Map<TopicAndPartition, Object>)kafkaCluster.getLatestLeaderOffsets(t…
IntelliJ IDEA 2017.2发布：更智能，更利落，更快速
JetBrains最近发布了其Java IDE旗舰产品IntelliJ IDEA的季度版本2017.2。根据Trisha Gee在博客帖子中给出的发行说明，该版本做了不少可用性上的改进，并给出了一些新类别的警告，包括创建了空的Collection或是字符串、数字超出了数组的范围等。…
sbt 学习笔记（1）sbt安装和交互式界面使用
下载sbt： http://www.scala-sbt.org/download.html 解压zip文件F:\sbt-0.13.15 配置环境变量 如果需要可以修改F:\sbt-0.13.15\sbt\conf\sbtconfig.txt #ivy的cache等，保存到指定的文件夹；不配置的话sbt下载的jar包都会默认放到C盘的用户目录…
学习Java. 基础 19: 方法的讲解与使用示例
精选30云产品，助力企业轻松上云！>>> 方法 1. 概述 例如生活中人有吃饭功能, 人的这个吃饭功能就相当于Java中的吃饭方法。 功能 方法（功能就相当于是方法）。 一个方法内部可以有大量的代码。 方法需要自己定义。相当于…
Spark官方1 ---------Spark SQL和DataFrame指南（1.5.0）
概述 Spark SQL是用于结构化数据处理的Spark模块。它提供了一个称为DataFrames的编程抽象，也可以作为分布式SQL查询引擎。 Spark SQL也可用于从现有的Hive安装中读取数据。有关如何配置此功能的更多信息，请参阅Hive Tables部分。 DataFrames DataFrame是…
《Spark官方文档》Spark操作指南
原文链接 译者：小村长 Spark–Quick Start 本项目是 Apache Spark官方文档的中文翻译版，致力于打造一个全新的大数据处理平台来满足大数据处理和分析的各个使用场景，本次翻译主要针对对Spark感兴趣和致力于从事大数据方法开发的人员提供有价…
（备忘）查看Scala保留字
2019独角兽企业重金招聘Python工程师标准>>> scala> :power
** Power User mode enabled - BEEP WHIR GYVE **
** :phase has been set to typer. **
** scala.tools.nsc._ has been imported **
** global._, definitions._ also imported **
…
Windows下搭建spark
安装环境 JDK 1.7scala 2.11.7hadoop-winutils 2.6.0spark 1.3.1安装步骤 安装JDK、scala解释器、hadoop-winutils、spark配置JAVA_HOME、SCALA_HOME、HADOOP_HOME环境变量运行spark目录下/bin/spark-shell.cmd测试代码 用这里的wordCount代码，在spark-shell上运行 …
Scala 学习笔记（6）
2019独角兽企业重金招聘Python工程师标准>>> 一、单例对象 在Scala当中没有静态属性或方法，如果需要的话，可以通过object来实现。另外，如果你需要用到单例，也可以用object来实现。总结：object staticsingl…
Bluemix中的Apache Spark数据分析服务入门
Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，非常短小精悍。Sp…
Spark算子：RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
2019独角兽企业重金招聘Python工程师标准>>> zipWithIndex def zipWithIndex(): RDD[(T, Long)] 该函数将RDD中的元素和这个元素在RDD中的ID（索引号）组合成键/值对。 def main(args: Array[String]): Unit {//默认分区12个val sc new Spark…
《FP In Scala》笔记
《FP In Scala》笔记
纯函数
是什么 一个函数在程序执行的过程中除了根据输入参数给出运算结果之外没有其他的影响。 举例 intToString()函数只负责将Int转换为String，除此之外不应该做任何事情。，接收两个可加数，返回一个结果。
引用透明…
spark——简单操作
启动作业 spark-submit --master yarn --deploy-mode cluster --executor-memory 512m --class 主类包.类名 xxx.jar spark-submit --master yarn --deploy-mode cluster --executor-memory 512m --executor-cores 1 --num-executors 1 --conf spark.cores.max5 --class com.ad…
大数据系列修炼-Scala课程89
大数据系列修炼-Scala课程89 核心内容: 1、Scala中使用For表达式实现内幕思考 1、Scala中使用For表达式实现内幕思考1>for循环的方式更简洁、更具有表现力，在编程的时候尽量用for循环取代filter、map、foreach、 flatMap这些操作。 实例程序1:
object App6
{def main(…
大数据系列修炼-Scala课程88
大数据系列修炼-Scala课程88 核心内容: 1、Scala中使用For表达式实现map、flatMap、filter操作代码实战 1、Scala中使用For表达式实现map、flatMap、filter操作代码实战1>在scala当中,for循环的功能通过map、flatMap、filter都可以实现 2>在scala当中,map、flatMap、fi…
Java 8 Optional类深度解析
身为一名Java程序员，大家可能都有这样的经历：调用一个方法得到了返回值却不能直接将返回值作为参数去调用别的方法。我们首先要判断这个返回值是否为null，只有在非空的前提下才能将其作为其他方法的参数。这正是一些类似Guava的外部API试图解…
大数据系列修炼-Scala课程18
核心内容: 1、scala中文件的读取、写入操作代码实战 2、控制台操作代码实战 1、scala中文件的读取、写入操作代码实战1>Scala中常用scala.Source类来完成文件的读取 2>Java中的IO操作在scala中同样适用 示例代码1:利用scala.Source类来完成文件的读取操作
package I…
大数据系列修炼-Scala课程17
核心内容: 1、包、类、对象、成员访问权限实战 2、伴生类、伴生对象的访问权限实战 1、scala中包、类、对象、成员访问权限实战1、通过使用访问控制符可以将成员的可见度(访问权限)进行延伸
package spark
{//定义第一个子包package navigation{private[spark] class Naviga…
函数式编程 : 一个程序猿进化的故事
阿袁工作的第1天: 函数式编程的历史 阿袁中午和阿静一起吃午餐。阿袁说起他最近看的《艾伦图灵传 如谜的解谜者》。 由于阿袁最近在学习Scala，所以关注了一下图灵传中关于函数式编程的一些历史。 关于函数式编程的故事，可以从1928年开始讲起：…
在liftweb 中扩展一个类似 jQuery的方法：$(...).XXX() 和 jQu...
2019独角兽企业重金招聘Python工程师标准>>> 先上代码，文字稍后再补！ <!-- lang: scala -->
import scala.xml.NodeSeqimport net.liftweb.http.js._
import net.liftweb.http.js.jquery._
import net.liftweb.util.StringHelpers._def…
【Spark-SQL学习之一】 SparkSQL
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、SharkShark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎…
Scala进阶之路-Scala的基本语法
Scala进阶之路-Scala的基本语法 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.函数式编程初体验Spark-Shell之WordCount var arrArray("hello","yinzhengjie","hello","w…
Infinite Loop in scala.collection.mutable.HashTable 死循环
引言:
运行 spark 任务时任务偶发 task 卡死的情况，在并行度为N的情况下，出现 0-4 个 task Failed 导致程序无法正常结束，经过堆栈与报错日志排查，发现是 HashMap 调用时出现了死循环的情况。 堆栈 & 报错:
Map 的 get 操作…
Scalaz（7）－ typeclass：Applicative－idomatic function application
Applicative，正如它的名称所示，就是FP模式的函数施用（function application）。我们在前面的讨论中不断提到FP模式的操作一般都在管道里进行的，因为FP的变量表达形式是这样的：F[A]，即变量A是包嵌…
Scala中的HashSet
Scala HashSet (Scala HashSet) A HashSet is a special type of collection that is unordered i.e. the order of inserted elements is not defined. For storing its elements and keeping track of them it uses hashmaps. HashSet是一种无序的特殊集合类型，即…
scala反转字符串_Scala程序反转字符串
scala反转字符串反转字符串 (Reversing a string) Logically, reversing is swapping the values from index 1 with index n, index 2 with index n-1, and so on. 从逻辑上讲，反向是将索引1中的值与索引n交换，将索引2中的值与索引n-1交换，依…
scala中命名参数函数_Scala中的默认参数
scala中命名参数函数Scala中的默认参数 (Default parameters in Scala) A default parameter is a parameter that is declared with a default value in arguments. These default values are used by the functions when no value is passed by the programmer while calling…
scala 构造函数_具有示例的Scala构造函数
scala 构造函数Scala构造函数 (Scala constructors) A constructor is a function that is called at the time of initialization of objects. A constructor is just like a method of a class that contains instructions to be executed. The constructor has the same nam…
scala中字符串计数_如何在Scala中左右修剪字符串？
scala中字符串计数Trimming a string is the method of removing extra spaces from the string. It can be left removal, right removal, or removal of all spaces from the string. 修剪字符串是从字符串中删除多余空格的方法。 可以左移，右移或从字符串中移走…
基于编辑距离来判断词语相似度方法（scala版）
词语相似性比较，最容易想到的就是编辑距离，也叫做Levenshtein Distance算法。在Python中是有现成的模块可以帮助做这个的，不过代码也很简单，我这边就用scala实现了一版。 编辑距离 编辑距离是指一个字符串改编成另一个字符串的最短…
印度朋友手把手教你学Scala（8）：特质
2019独角兽企业重金招聘Python工程师标准>>> /*** 谨献给我最爱的YoYo * 原文出处：https://madusudanan.com/blog/scala-tutorials-part-8-traits/* author dogstar.huang <chanzonghuanggmail.com> 2017-03-13*/本翻译已征得Madusudanan.B.N同意&…
第6课：精通Spark集群搭建与测试
准备3台虚拟机 一、安装Linux虚拟机如无特殊说明，以下步骤每台机器上都执行使用ubuntukylin-14.04.2-desktop-amd64安装包，安装ubuntu系统。1.1 为了避免权限问题，启用root用户。参考 http://jingyan.baidu.com/article/148a1921a06bcb4d71c3…
Is Scala Really the Next C++?
source: http://www.codecommit.com/blog/scala/is-scala-really-the-next-c 5May2008 I’ve been turning that question over in my head for a few months now. It’s really a worthy thought. At face value, it’s incredibly derogatory and implicative of an over-b…
Linux系统Kafka集群搭建与简单测试
2019独角兽企业重金招聘Python工程师标准>>> Kafka安装 Zookeeper集群搭建，可参考Linux系统Zookeeper集群配置上传kafka安装包并解压 [rootlocalhost ~]# cd /home/listen
[rootlocalhost listen]# ll
total 8
drwxr-xr-x. 3 listen listen 23 Apr 27…
德国网站评选100个最佳字体
这是德国 FontShop 网站评选的有史以来100个最佳字体。 评判基于三个标准，在 FontShop 的销量（权重40%），历史价值（权重30%），美学价值（30%），同时，所…
More than React（二）组件对复用性有害？
本系列的上一篇文章《为什么ReactJS不适合复杂的前端项目》列举了前端开发中的种种痛点。本篇文章中将详细探讨其中“复用性”痛点。我们将用原生 DHTML API 、 ReactJS 和 Binding.scala 实现同一个需要复用的标签编辑器，然后比较三个标签编辑器哪个实现难度更低&a…
Spark 的 Shell操作，核心概念，构建独立应用
1：Spark中的Python和Scala的shell 2：Spark核心概念简介 3：独立应用 4：Spark数据集 一：Spark中的Python 和Scala 的shell 1：shell设置显示日志 进入Spark的安装目录，启动spark的集群，…
Scala入门到精通——第三节 Array、List
本节主要内容 数组操作实战列表List操作实战数组操作实战 1 定长数组 //定义一个长度为10的数值数组
scala> val numberArraynew Array[Int](10)
numberArray: Array[Int] Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)
//定义一个长度为10的String类型数组
scala> val strArray…
图解Twitter的服务器架构
Twitter的服务器架构的简要示意图： 简要说明：
Unicorn： Ruby 的HTTP服务器。
Kestrel ： Twitter用Scala写的message queue。
Flapp： Twitter做的图存储FlockDB。
Gizzard： Twitter用Scala写的一个通用S…
中小型民营企业ERP选型
中小型民营企业ERP选型要素分析 很多企业就是因为前期选型工作的失误而导致ERP项目实施的失败。针对这一问题，笔者根据自己在企业中对ERP软件选型的经验，讨论一下企业，尤其是中小型民营企业在ERP选型的过程中应该着重考虑的一些因素。 1、中国…
scala中对象私有数据_案例对象和Scala中的对象之间的区别
scala中对象私有数据Scala案例对象与对象 (Scala case object vs object) 1)对象 (1) object) An object is an instance of a class, it can also be seen as a class that has only a single instance. Like class, you can create fields and methods for object too. Examp…
scala 转换为字符串_如何在Scala中将字符串转换为日期？
scala 转换为字符串Scala中的字符串 (String in Scala) String is a collection of characters that is mutable, i.e. its contents cannot be modified. 字符串是可变字符的集合，即，其内容无法修改。 Syntax for creating string: 创建字符串的语法&a…
Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell实战
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、Spark编程模型 1.1 术语定义 l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor&…
Spark 2.4重磅发布：优化深度学习框架集成，提供更灵活的流式接收器
Apache Spark 2.4.0是2.x系列中的第五个版本。此版本增加了屏障执行模式，以便更好地与深度学习框架集成；引入30多个更高阶的内置函数，能够更轻松地处理复杂数据类型；优化K8s集成，同时提供Scala 2.12实验性支持。其他主…
利用C++、scala等语言的运算符重载功能定制领域特定语言（DSL，Domain-Specific Language ）
http://hi.baidu.com/atry/blog/item/c4bc96ef7a1ac7e8cf1b3ef4.html 领域特定语言（DSL，Domain-Specific Language ）是近年来的热门话题。关于DSL，有一个趋势就是在通用语言中集成DSL。很多年以前，我们如果要在通用语言…
大数据、人工智能、机器学习与深度学习都是什么？有什么关系？
大数据、人工智能是目前大家谈论比较多的话题，它们的应用也越来越广泛、与我们的生活关系也越来越密切，影响也越来越深远，其中很多已进入寻常百姓家，如无人机、网约车、自动导航、智能家电、电商推荐、人机对话机器人等等。 大数据…
12.spark sql之读写数据
简介 Spark SQL支持多种结构化数据源，轻松从各种数据源中读取Row对象。这些数据源包括Parquet、JSON、Hive表及关系型数据库等。 当只使用一部分字段时，Spark SQL可以智能地只扫描这些字段，而不会像hadoopFile方法一样简单粗暴地扫描全部数据…
《树莓派开发实战（第2版）》——2.7 小结
本节书摘来异步社区《概率编程实战》一书中的第2章，第2.7节，作者：【美】Avi Pfeffer（艾维费弗），更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.7 小结 Figaro使用和其他概率推理系统相同的总体…
Akka笔记之请求与响应
前面我们讲到了Actor的消息传递，并看到了如何发送一条fire-n-forget消息（也就是说，消息发送给Actor后我们就不管了，不从Actor那接收响应）。 技术上来讲，消息发送给Actor就是希望能有副作用的。设计上便是如…
Spark MLlib简介
1. Spark MLlib简介
1.1 传统ML
ML利用数据或以往经验，以此优化计算机程序的性能标准。 ML强调的3个关键词： 算法、经验、性能。
基于大数据的ML 1. 传统的ML算法，由于技术和单机存储的限制，只能在少量数据上使用，依…
Scala练习题 LeetCode 9. 回文数
根据这道题意，可以用LeetCode7. 整数反转 的函数来解题： object TestScala {/**** param args*/def main(args: Array[String]):Unit{println("hello , scala!")println(reverse(1534236469))println(isPalindrome(1221))println(isPalindr…
scala练习题 LeetCode 7. 整数反转
（java可以直接用字符串处理）
直接取余相加，这题坑就是int类型溢出，溢出返回0 object TestScala {/**** param args*/def main(args: Array[String]):Unit{println("hello , scala!")println(reverse(1534236469))
// …
聊聊flink的StateDescriptor
为什么80%的码农都做不了架构师？>>> 序 本文主要研究一下flink的StateDescriptor RuntimeContext.getState flink-core-1.7.0-sources.jar!/org/apache/flink/api/common/functions/RuntimeContext.java /*** A RuntimeContext contains information ab…
scala学习手记38 - 方法命名约定和for表达式
方法命名约定 之前在学习《运算符重载》一节时曾经说过一个方法命名约定：方法的第一个字符决定了方法的优先级。现在再说另一个命名约定：如果方法以冒号（:）结尾，则调用目标是运算符后面的实例。 比如下面这个例子&…
5.Scala基础—样例类、隐式转换、Actor Model
本文目录如下：第八章 样例类（Case Classes）8.1 概念8.2 具体写法第九章 隐式转换（重要）9.1 概念9.2 隐式值与隐式参数9.2.1 注意点9.2.2 具体方法9.3 隐式转换函数9.3.1 注意点9.3.2 具体写法9.4 隐式类9.4.1 注意点9.…
3.Scala基础—集合（List、Set、Map、元组Tuple）
本文目录如下：第四章 集合4.1 List4.1.1 创建list4.1.2 list遍历4.1.3 list方法举例4.2 Set4.2.1 创建Set4.2.2 遍历Set4.2.3 Set方法举例4.3 Map4.3.1 创建Map4.3.2 获取Map的值4.3.3 遍历Map4.3.4 合并Map4.3.5 Map方法举例4.3.6 可变长度Map4.4 元组Tuple4.4.1. …
2.Scala基础—字符串、数组、二维数组、Scala常用Array函数
本文目录如下：第二章 Scala字符串2.1 String2.2 StringBuilder可变2.3 String操作方法举例第三章 数组3.1 创建数组3.2 Scala常用Array函数第二章 Scala字符串
2.1 String
2.2 StringBuilder可变
2.3 String操作方法举例
比较: equals比较忽略大小写: equalslgn…
Akka简单性能分析
因为最近工作的关系，要把异步任务从应用服务器中拆分到专门的异步处理服务器中。 方案一 是采用MQ的方式将任务消息发出，在服务端进行处理，这种方案是采用MQ作为中间的媒介，在服务端采用线程池异步处理任务，处理完成之…
Scala几类基本常用类型（Array,List,Tuple,Set,Map）和常用的操作（map，foreach，reduce）
创建 Array，可变的同类对象序列，长度不可变，值可变: val example new Array[String](3) 创建长度为3的空数组，数组里的元素类型为字符串，数组赋值可以通过example(0) "a" 注意：字符串是双…
Error- spark streaming 打包将全部依赖打进去Invalid signature file digest for Manifest main attributes...
spark streaming 打包将全部依赖打进去，运行jar包报错：如下 Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes PS D:\workspace\ideaProject\java\wordcount\out\artifa…
scala编程第16章学习笔记（2）
转换列表：toIterator, toArray,copyToArray List类的toArray方法将递归存放的列表转换为连续存放的数组 Array类的toList方法将连续存放的数组转换为递归存放的列表 scala> val arr abcde.toArray
arr: Array[Char] Array(a, b, c, d, e)scala> arr.toList
…
scala 无参多参方法
scala无参方法 def fn():unit {print(“aaa”)} 形参括号不加也行 但是调用的时候就只能不带括号调用
scala 多参方法 形参列表() * 调用() 数组名:_*
Scala - 快速学习07 - 模式匹配
Scala中的模式匹配的功能可以应用到switch语句、类型检查、“解构”等多种场合。简单匹配 Scala的模式匹配最常用于match语句中。Scala的match语句类似Java里的switch。匹配实例：def color(num: Int): String {val colorNum numval colorStr colorNum match {cas…
大数据为什么要选择Spark
大数据为什么要选择Spark Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。 Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。 Spark 提供了与 H…
讨喜的隔离可变性(八)类型化角色和Murmurs
声明：本文是《Java虚拟机并发编程》的第五章，感谢华章出版社授权并发编程网站发布此文，禁止以任何形式转载此文。 使用了类型化角色的EnergySource使我们能够以调用函数的形式来掩盖后台顺序处理异步消息的过程，在实现了线程安全的…
Scala（二）-- 类、对象、继承、特质
1.类
1）在scala中，类并不用声明为public
如果没有定义构造器，类会有一个默认的无参构造器 var修饰的变量，对外提供getter setter方法 val修饰的变脸，提供getter方法，没有setter方法 var name:String _ _…
IDEA Java/Scala混合项目maven打包
1、首先创建maven项目 2、创建成功后新建class，只有java的，没有scala的 3、修改pom.xml文件，引入scala <?xml version"1.0" encoding"UTF-8"?>
<project xmlns"http://maven.apache.org/POM/4.0.0"…
Flink 源算子之 DataGeneratorSource DataGenerator
目录
1、功能说明
2、API使用说明
3、代码示例 1、功能说明 从Flink1.1开始提供了DataGen连接器，它提供了Source类的实现（可并行的源算子），用来生成测试数据，在本地开发或者无法访问外部系统(如kafka)时，…
浅析 Spark 中 Key-Value 类型的 RDD
1.partitionBy
1）函数签名
def partitionBy(partitioner: Partitioner): RDD[(K, V)]2）函数说明 将数据按照指定 Partitioner 重新进行分区。Spark 默认的分区器是 HashPartitioner 注意：要将 rdd 转换为 Key-Value 元组类型，才…
spark streaming剖析
spark streaming剖析数据处理方式处理流程DStream内部细节数据输出kafka数据源数据接收模式分区匹配模式偏移量（offset）存储策略保证结果输出操作幂等输出结果与offset存储放入原子事务中数据处理方式 对于数据，我们可以从时间维度相对的分为…
专访Zipkin项目Leader：如何用Zipkin做好分布式追踪？
现代微服务架构由于业务系统模型日趋复杂，分布式系统中需要一套链路追踪系统来帮助我们理解系统行为，明确服务间调用。最近作者请到了 Zipkin 项目的主要开发维护人员 Adrian Cole 来介绍有关 Zipkin 项目的细节内容，可以让大家了解到如何在分…
开源中文分词工具探析（三）：Ansj
Ansj是由孙健（ansjsun）开源的一个中文分词器，为ICTLAS的Java版本，也采用了Bigram HMM分词模型（可参考我之前写的文章）：在Bigram分词的基础上，识别未登录词，以提高分词准…
gridgian 网格计算
引用：http://blogs.ejb.cc/archives/tag/gridgain <div class"post-2307 post type-post status-publish format-standard hentry category-cloud-virtualization category-platforms-focused tag-cloud tag-gridgain tag-middleware tag-realtime">…
Scala中的函数式特性
Scala作为最有意思的编程语言之一，其中一等公民函数具有哪些特性呢？本文整理自ArchSummit微课堂：Scala布道师、挖财资深架构师王宏江老师的分享内容。ArchSummit交流体验群定期邀请业内大牛线上直播分享技术干货，加群方式见文章底…
PHP 7.1是否支持操作符重载？
2019独角兽企业重金招聘Python工程师标准>>> 目前还只是一个提议。 新闻来源：http://www.phpclasses.org/blog/post/350-Operator-Overloading-in-PHP-71--Lately-in-PHP-podcast-episode-68.html 以下是原文内容： Operator overloading is a…
Play Framework2.0评测
Play Framework 整体的完成度较高，从支持chuncked response中可见一斑 http://www.playframework.org/documentation/2.0/JavaStream 优点是修改java文件，保存，然后刷新浏览器，立马可以看到效果。不需要编译，也不需要重…
Flink / Scala 异常 - 8.java.lang.NumberFormatException: Not a version: 9
一.引言
Flink V1.13.1 + Scala 2.11.8 提交任务后，报错 Caused by: org.apache.flink.shaded.guava18.com.google.common.util.concurrent.UncheckedExecutionException: java.lang.NumberFormatException: Not a version: 9 ，遂排查与解决。 二.报错分析
1.LocalCache
异…
Scala / Java - 采用 MD5 加盐 实现 id 均匀分组
一.引言
大量 id 场景下经常需要通过 id 进行 AB Test，最常见的就是使用尾号 hash 进行分组，但是由于 id 生成规则以及其他因素，按照尾号分组往往会造成 id 不匀，从而导致 AB Test 效果受影响，所以下文采用 md5 加盐 …
高效复制管理！批量覆盖同名文件轻松完成文件管理
在处理大量文件时，经常需要进行文件复制和管理操作。然而，当目标文件夹内存在同名文件时，手动一一覆盖操作十分繁琐。为了提高工作效率，我们为您提供了一种简便而高效的方法，让您能够轻松批量复制和管理文件࿰…
【Spark Summit EU 2016】对于Spark而言，只用Scala就足够了
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Dean Wampler在Spark Summit EU上的演…
Flink / Scala - 5.DataStream Transformations 常用转换函数详解
一.引言
本文介绍 Flink 的主要数据形式: DataStream，即流式数据的常用转换函数，通过 Transformation 可以将一个 DataStream 转换为新的 DataStream。
Tips:
下述介绍 demo 均采用如下 case class 作为数据类型，并通过自定义的 SourceFromCycle 函数每s 生成10个元素。特…
Flink / Scala - 9.DataStream Broadcast State 模式示例详解
一.引言
上一篇文章 Flink / Scala - DataSet 应用 Broadcast Variables 介绍了 DataSet 场景下 Broadcast 的使用，本文将介绍 DataStream 中的 Broadcast 应用场景，与 DataSet 类似，Broadcast 的值是所有 task 公用的，Broadcast State 是为 DataStreaming 所有 task 定制…
Flink / Scala - 3.DataSource 之 DataStream 获取数据总结
一.引言
DataStream API 得名于特殊的 DataStream 类，该类用于表示 Flink 程序中的数据集合。你可以认为 它们是可以包含重复项的不可变数据集合。这些数据可以是有界（有限）的，也可以是无界（无限）的，但用于处理它们的API是相同的。
DataStream 在用法上类似于常规的 J…
Maven - 同时编译打包 Scala Java 找不到类
一.引言
项目编码同时用到了 Scala 和 Java，mvn package 打包后发现项目内只引入了 Scala 代码的 class，而 Java 相关的代码并未引入。通过修改 pom.xml 配置解决。 二.Pom 修改
maven-compiler-plugin 的版本没有 3.2 换 3.1 也可以，修改 …
Scala - for 循环与 yield 示例
一.引言 对 Map 数据进行翻转时，用到了 for 循环 yield 的语法，在此记录一下 for yield 的相关使用。yield 负责将 for 循环中的数据保存下来，待循环结束后返回保存的数据，即 for yield 有返回值，其返回类型由 for …
Akka-Cluster（5）- load-balancing with backoff-supervised stateless computation - 无状态任务集群节点均衡分配...
分布式程序运算是一种水平扩展（scale-out）运算模式，其核心思想是能够充分利用服务器集群中每个服务器节点的计算资源，包括：CPU、内存、硬盘、IO总线等。首先对计算任务进行分割，然后把细分的任务分派给各节…
Service Mesh 及其主流开源实现解析（转）
什么是 Service mesh Service Mesh 直译过来是 服务网格，目的是解决系统架构微服务化后的服务间通信和治理问题。服务网格由 sidecar 节点组成。在介绍 service mesh 之前，我们先来看一下什么是 sidecar. Sidecar 在软件系统架构中特指边车模式。这个模式…
Scala（一）-- 语法简介
scala
Scala(Scalable Language)以一种简洁、高级的语言将面向对象和函数式编程结合在一起.Scala的静态类型有助于避免复杂应用程序中的bug，它的JVM和JavaScript运行时允许您构建高性能的系统，可以轻松地访问庞大的库生态系统。
1、scala的特点&#x…
使用Flume+Kafka+SparkStreaming进行实时日志分析
每个公司想要进行数据分析或数据挖掘，收集日志、ETL都是第一步的，今天就讲一下如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中，并附上完整实战代码 …
IntelliJ IDEA 第一个 Scala 程序
IntelliJ 安装完成 Scala 插件后，你需要尝试使用 IntelliJ 来创建并且运行第一个程序。 通常这个程序只是简单的输出 Hello World。 创建一个新工程 在文件下面选择新建，然后选择创建工程。 输入工程信息 在创建工程上面，输入工程的信息&…
Flink1.7.2 Dataset 文件切片计算方式和切片数据读取源码分析 ...
Flink1.7.2 Dataset 文件切片计算方式和切片数据读取源码分析 源码 https://github.com/opensourceteams/flink-maven-scala概述 了解读取的文件或目录，具体进行切片拆分的实现了解任务读取切片中的数据规则数据文件读取结论 开始位置索引从0开始的 实际开始位置&am…
Scala基础学习-函数式编程思想
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性。 年与时驰，意与日去…
Flink 1.7 文档翻译活动期待大家的参与 | ApacheCN
参与方式：https://github.com/apachecn/f... 整体进度：https://github.com/apachecn/f... 项目仓库：https://github.com/apachecn/f... 贡献指南 请您勇敢地去翻译和改进翻译。虽然我们追求卓越，但我们并不要求您做到十全十美&…
聊聊 scala 的模式匹配
一. scala 模式匹配（pattern matching） pattern matching 可以说是 scala 中十分强大的一个语言特性，当然这不是 scala 独有的，但这不妨碍它成为 scala 的语言的一大利器。 scala 的 pattern matching 是类似这样的， e…
Apache Spark 2.2.0 中文文档 - 快速入门 | ApacheCN
快速入门 使用 Spark Shell 进行交互式分析 基础Dataset 上的更多操作缓存独立的应用快速跳转本教程提供了如何使用 Spark 的快速入门介绍。首先通过运行 Spark 交互式的 shell（在 Python 或 Scala 中）来介绍 API, 然后展示如何使用 Java , Scala 和 Pyt…
spark python算子讲解
1：spark的算子分类 Transformation 称为转换，是一种延迟加载的算法，会记录元数据信息，任务触发action时开始执行 Action 称为动作 出发就执行 sc.textFile().map map是transformation.filter transformation.collect 是action…
运行spark sql时出现的一个问题
运行如下代码时 出现了 org.apache.spark.sql.AnalysisException 错误 import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}/*** 使用SaprkSQL实现iplocation* Created by lq on 2018/9/29 17:04.*/
object SQLIPLocatio…
Java编程风格探讨
作者：admin 最近Stephan Schmidt在博客中发表了题为《下一代Java编程风格》的文章，阐述了他眼中Java编程风格的改变，以及未来的走向：许多公司和开发人员正在从Java转向其他编程语言：Ruby、Python、Groovy、Erlang或Sca…
Subtyping vs Typeclasses（一）
本文由 Yison 发表在 ScalaCool 团队博客。 你肯定听说过「多态」，它是 Java 面向对象的特征之一。如 Java 的类继承，这是典型的多态例子。然而，多态的含义远不止此，我们将用几篇文章来介绍：什么是多态，以及…
【Flink学习】入门教程之DataStream API 简介
文章目录DataStream API 简介Java tuples 和 POJOsTuplesPOJOsScala tuples 和 case classes一个完整的示例Stream execution environment 流执行环境Basic stream sources 基本的 stream sourceBasic stream sinks 基本的 stream sinkDebuggingHands-on 实践DataStream API 简…
Spark 独立部署模式
Spark Standalone Mode http://spark.apache.org/docs/latest/spark-standalone.html 文章目录Spark Standalone ModeSecurityInstalling Spark Standalone to a ClusterStarting a Cluster ManuallyCluster Launch ScriptsResource Allocation and Configuration OverviewConn…
Spark 提交应用
文章目录Submitting ApplicationsBundling Your Application’s DependenciesLaunching Applications with spark-submitMaster URLsLoading Configuration from a FileAdvanced Dependency ManagementMore InformationSubmitting Applications http://spark.apache.org/docs/l…
scala中创建时间序列_如何在Scala中创建地图？
scala中创建时间序列Scala | 建立地图 (Scala | Creating a map) A map is a special type of collection that stores data in key-value pairs. These are also known as hashtables. The keys that are used to extract the value should be unique. 映射是一种特殊的集合类…
Spark 集群部署模式概述
文章目录Cluster Mode OverviewComponentsCluster Manager TypesSubmitting ApplicationsMonitoringJob SchedulingGlossaryCluster Mode Overview http://spark.apache.org/docs/latest/cluster-overview.html 本文档简要概述了 Spark 如何在集群上运行，以便更容易…
【Scala学习】之Scala中的类
文章目录SCALA CLASSESBasic class constructorval makes fields read-onlyClass constructorsOther Scala class examplesAUXILIARY CLASS CONSTRUCTORSNotesSUPPLYING DEFAULT VALUES FOR CONSTRUCTOR PARAMETERSBenefitsBonus: Named parametersA FIRST LOOK AT SCALA METHO…
spark知识体系-运行架构
本篇主要讲解spark运行架构，包含如下内容： Spark运行架构 基本概念 Application Spark的应用程序，包含一个Driver program和若干ExecutorSparkContext Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node的…
Flume+Kafka+SparkStreaming+Hbase+可视化（二）
分布式消息缓存Kafka1、消息中间件：生产者和消费者 生产者、消费者、数据流（消息）发布和订阅消息容错存储消息记录处理流数据Kafka架构：procedure：生产者consumer：消费者broker：容错存储topic&a…
scala映射与元祖
1.构造映射 object Test {def main(args: Array[String]): Unit {//不可变映射val scores1 Map("alice" -> 90, "tom" -> 100) // 值不能被改变val scores2 Map(("alice", 90), ("tom", 100))//可变映射val scores3 scala.c…
关于Lisp和函数式编程 各种语言对比 TIOBE
上一篇文章提到了，今天又读到Lisp的一些内容 《为什么Lisp如此先进》ruanyifeng（Link）。关于Lisp的八卦，可以参考我前面两篇文章 http://www.cnblogs.com/charlesblc/p/6110484.html 以及 http://www.cnblogs.com/charlesblc/p/6…
Scala入门到精通——第十五节 Case Class与模式匹配（二）
本节主要内容 模式匹配的类型for控制结构中的模式匹配option类型模式匹配1. 模式的类型 1 常量模式 object ConstantPattern{def main(args: Array[String]): Unit {//注意，下面定义的是一个函数//函数的返回值利用的是模式匹配后的结果作为其返回值//还需要注意的…
Spark in action on Kubernetes - 存储篇（一）
2019独角兽企业重金招聘Python工程师标准>>> 前言 在上篇文章中，我们分析了Spark Operator内部的机制，今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房，小到外卖打…
Java Nestmate稳步推进
\ 看新闻很累？看技术新闻更累？试试下载InfoQ手机客户端，每天上下班路上听新闻，有趣还有料！\\\Oracle提出了JEP 181“基于嵌套的访问控制”，即“Nestmate”。该JEP将是对Java平台的一次技术提升，…
Spark1.5.1学习笔记（一）Standalone集群配置
鲁春利的工作笔记，好记性不如烂笔头Apache Spark是一个通用的大规模数据快速处理引擎，基于 Scala 语言实现，但提供多语言（Java, Scala, Python and R）API，以及丰富的工具集（如Spark SQL、MLib、…
spark源码之环境准备
我们使用yarn集群作为研究 spark环境准备yarn环境准备启动Driver启动Executoryarn环境准备
spark的入口类是SparkSubmit，在这里，我们开始提交参数 这里的args就是--class这些的。 解析好这些参数后，我们会返回一个SparkSubmitArguments的一个…
Play For Scala 开发指南 - 第9章 Json 开发
2019独角兽企业重金招聘Python工程师标准>>> Play Json 简介 Play 内置了一套JSON库，以帮助开发者简化JSON操作。目前Play的JSON库包含以下功能： Json对象与字符串之间互转 Json对象和Case Class之间互转 Json数据校验 Json格式之间互转 P…
Python3入门（九）——面向对象OOP高级编程
一、使用__slots__限制属性绑定 动态绑定实例的方法： class Person(object):def run(self):print("奔跑吧！")p1 Person()
p1.name "江北" 但是这样，"new出来"的实例就可以为所欲为的绑定任意属性了。 Python…
spark2.3在Windows10当中来搭建python3的使用环境pyspark
在python中编写spark的程序，需要安装好Java、spark、hadoop、python这些环境才可以，spark、hadoop都是依赖Java的，spark的开发语言是Scala，支持用Java、Scala、python这些语言来编写spark程序，本文讲述python语言调用p…
spark dataframe操作集锦（提取前几行，合并，入库等）
Spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中&#x…
深入理解JVM虚拟机7：JNDI，OSGI，Tomcat类加载器实现
打破双亲委派模型 JNDI JNDI 的理解 JNDI是 Java 命名与文件夹接口（Java Naming and Directory Interface），在J2EE规范中是重要的规范之中的一个，不少专家觉得，没有透彻理解JNDI的意义和作用，就没有真正掌握…
简单测试Scala跑程序
原文地址为：
简单测试Scala跑程序应用场景 当本地部署搭建完Scala开发环境后，那么就可以利用IDE开发工具进行Scala语言编程，编写一些工具等等，这里写一些简单的语法涉及，来熟悉下Scala。 运行代码 package epoint.com.…
spark DataFrame 常见操作
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中ÿ…
Scala 语法（一）
(1）基本语法 变量 val var(可变变量）； 数据类型 Byte,Char,Int,Short,Long,String(字符),Float,Double,Boolean(true,flase)。 列子： val a 3; or val a:Int 3*//不可变,不能重新赋值
var b 4.33; or var b:Double 4.33 *//…
scala中隐式转换之隐式转换调用类中本不存在的方法
/*** Created by root* Description : 隐式转换调用类中本不存在的方法*/
class Person(name : String){def getPersonName println("name " name)
}object Type2Type{implicit def type2(a : ImplicitTest2) new Person("xiaoming")
}class Implicit…
Scala-基础-数据类型
import junit.framework.TestCase
import org.junit.Test
import scala.runtime.RichByte//数据类型
class Demo2 extends TestCase {//规则1 定义整数类型变量时,默认数据类型是java中int类型//规则2 当数值范围超过int值区间,会编译失败,需要在数值后面加上L,讲类型转为long类…
scala ide 4.5 找不到或无法加载主类
我从官网下载最新版本的scala ide4.5。官网明确说明内嵌了scala2.11.8和2.10.6。 创建scala工程，使用默认的2.11.8没问题。我把scala的版本从2.11.8切换到2.10.6之后总之报 “找不到或无法加载主类”。 这个应该是4.5版本的bug。折腾了我两天。 注意4.5版本用的…
一天一个RDD函数-2：flatMap
2019独角兽企业重金招聘Python工程师标准>>> 上一篇文章：一天一个RDD函数-1：map 为我们讲述了map函数的源码，并补充了源码涉及到的一些语法知识，为了有一个更好的承上启下的作用，本篇文章决定写flatMap。顾…
Aaron Stannard谈Akka.NET 1.1
Akka.NET 1.1近日发布，带来新特性和性能提升。InfoQ采访了Akka.net维护者Aaron Stannard，了解更多有关Akka.Streams和Akka.Cluster的信息。Aaron还阐述了与Akka for JVM实现有关的路线图计划。\\InfoQ：这个版本有什么突出的特性？\…
Vavr User Guide中英对照版
Vavr User Guide(Vavr用户指南) Daniel Dietrich, Robert Winkler - Version 0.9.2,2018-10-01 0. Vavr Vavr是Java 8 的对象函数式扩展，目标是减少代码行数，提高代码质量，提供了持久化集合、错误处理函数式抽象、模式匹配等等。 Vavr 融合了…
Scala 编程风格指南[Databricks ]
Databricks Scala 编程风格指南 声明 (Disclaimer) The Chinese version of the Databricks Scala Guide is contributed and maintained by community member Hawstein. We do not guarantee that it will always be kept up-to-date. 本文档翻译自 Databricks Scala Guide&am…
Flink / Scala 实战 - 6.使用 Jedis、JedisPool 作为 Source 读取数据
一.引言
现在有一批数据写入多台 Redis 相同 key 的队列中，需要消费 Redis 队列作为 Flink Source，为了提高可用性，下面基于 JedisPool 进行队列的消费。队列数据示例: 1,2,3,4,5、A,B,C,D,E，程序将字符串解析并 split(",") 然后分别写到下游。 二.Flink Source…
Flink / Scala 实战 - 5.ProcessFunction 之间共用缓存测试
一.引言
Flink 开发中有如下场景，数据需要经过两次 ProcessFunction 处理，第一步 ProcessV1 的一些信息重复不想通过每条数据传输至 ProcessV2，这时便捷的方法时对 ProcessV1 需要存储的元素进行去重缓存，保证全局共用一份缓存，可以有效减少储存空间，下面分别尝试三种缓…
Scala：WordCount有关函数浅析
目录
map/flatMap/flatten
groupBy
reduce/reduceLeft/reduceRight
sortBy
mapValues
foldLeft/foldRight/fold
WordCount的多种写法 map/flatMap/flatten
map()接受一个函数，然后对集合中的每个元素调用该函数
//列表中有3个字符串，每个字符串对…
Scala：par并行集合计算(fold、aggregate)结果与cpu内核线程的关系
下午在运行以下代码时，结果有两种可能：25或30
val list (1 to 4).toList
var res list.par.aggregate(5)(__,__)
关于aggregate函数，这是一个具有柯里化特征的函数；可以传入自定义两个方法，将计算过程打印一遍 val…
Spark简介及linux环境搭建（local本地模式）
Spark和java的集成demo请点击
官方网址：https://spark.apache.org/
定义：
Unified engine for large-scale data analytics Spark是用于大规模数据处理的统一分析引擎
背景 Spark风雨十年
2009年Spark诞生于加州大学伯克利分校AMP实验室，…
通过IDEA搭建scala开发环境开发spark应用程序
一、idea社区版安装scala插件因为idea默认不支持scala开发环境，所以当需要使用idea搭建scala开发环境时，首先需要安装scala插件，具体安装办法如下。1、打开idea，点击configure下拉菜单中的plugins选项：2、在弹出对话框…
关于spark与scala版本问题记录
记录一下版本问题： spark与scala版本对应问题： 1.官网会给出，如下，spark2.3.1默认需要scala2.11版本 2.在maven依赖网中也可以看到，如下 3.关于idea开发版本中也可以看到所需要依赖的scala版本 通常在file->project…
大数据系列修炼-Scala课程21
核心内容: 1、scala中的部分应用函数实战解析 1、scala中部分应用函数实战解析1>部分应用函数只是在“已有函数”的基础上，提供部分默认参数，未提供默认参数的地方使用下划线替代，从而创建出一个“函数值”，在使用这个函数值（部分应用函数）的时候，只需提供下划线部分…
Scala - 向 java String... 方法传参
一.引言
使用 scala 调用 java 变长参数方法。 二.java 使用变长参数
调用其他 jar 包时，方法参数为 String... items 形式: public static void mPrint(String... items) {for (String item : items) {System.out.println(item);}}String[] a new String[]{&quo…
Flink / Scala 实战 - 12.Aggregate 详解与 UV、PV 统计实战
目录
一.引言
二.Aggregate 简介
三.Aggregate Demo
1.AggregateFunction Demo
2.实践 Source 类
2.1 Event Class
2.2 Source Class
Flink / Scala - 17.Metrics 使用与详解
一.引言
Flink 公开了一套度量系统，允许开发者收集运行中的数据并展示到外部系统，例如终端和监控页面，1.15.x 下 Flink 支持四套监控指标： A.Counter - 计数器，针对最基本的计数需求，类似 Accumulator 累加器B.Gauges - 仪表，针对自定义 T 的累加需求，结果通过 T.toSt…
Flink / Scala 实战 - 2.使用 RedisSink 存储数据
一.引言
现在有一批流数据想要存储到 Redis 中，离线可以使用 Spark + foreach 搞定，由于是多流 join 且带状态，所以 SparkStreaming + foreach 也无法实现，而 Flink 不支持 foreach 操作触发 execute，这里采用 RedisSink 代替实现 foreach 逻辑。 二.RedisSink 简介
1.源…
scala transient
scala transient
1. 由来
transient是Scala中的一个关键字，用于修饰类的成员变量。它指示编译器在序列化对象时忽略被修饰的变量。
2. 示例
以下是使用transient修饰变量的简单示例：
import java.io._class Person(val name: String, transient pri…
PredictionIO+Universal Recommender快速开发部署推荐引擎的问题总结(2)
1, 对Universal Recommender进行pio build成功，但是却提示No engine found Building and delpoying model
[INFO] [Engine$] Using command /home/vagrant/pio_elastic1/PredictionIO-0.11.1-SNAPSHOT/sbt/sbt at /home/vagrant/workspace/universal-recommender to…
Scala学习之类和属性篇(二)：定义类的辅助构造方法
2019独角兽企业重金招聘Python工程师标准>>> 在Scala中定义主构造函数使用this关键字： 每一个辅助构造函数都需要调用之前定义的任何一个构造函数每一个辅助构造函数都要有不同的参数表一个构造函数使用this关键字调用另一个构造函数scala> :paste
//…
Guava 工具类之joiner的使用
joiner主要用于对字符串的连接，也可用于对map中key value的连接 public class JoinerTest {private static final List<String> list1 Arrays.asList("google","guava","java","scala","kafka");private …
lua数据类型的的操作(三)
上一章我们学习了lua的数据类型，以及语法的定义，今天我们学习lua的数据类型操作，其实就是lua库一些api的操作，遇到对数据类型处理时，可以根据lua库提供的操作来实现。 一.字符串操作 1.字符串的三种表现形式 string1 …
Akka笔记之消息传递
英文原文链接，译文链接，原文作者：Arun Manivannan ，译者：有孚 在Akka笔记第一篇的介绍中，我们大致介绍了下Akka工具箱中的Actor。在第二篇当中，我们来看一下Actor消息传递的功能。这里还是延用之…
spark wordcount执行流程剖析
2019独角兽企业重金招聘Python工程师标准>>> 概要 WordCount程序示例 import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.SparkConfobject WordCount {def main(args: Array[String]) {val conf new SparkConfval …
智能合约 solidity 开发的环境基本搭建
以太坊Dapp开发快速入门 以太坊为开源社区，虽然设计东西都很优秀，但是组件十分的杂乱，因此下面首先简单介绍下以太坊的一些常用组件以及各种工具介绍 Geth Geth是由以太坊基金会提供的官方客户端软件，用Go编程语言编写的ÿ…
Scala Fields in Classes
2019独角兽企业重金招聘Python工程师标准>>> Scala Fields in Classes private var定义field class Student(name: String, age: Int) {private var _id: Int name.hashCodedef id: Int _id //reader methoddef id_(newId: Int): Unit _id newId //writer metho…
函数范式入门(什么是函数式编程)
第一节 函数式范式 1. 什么是函数式编程 函数式编程（英语：functional programming）或称函数程序设计，又称泛函编程，是一种编程范型，它将电脑运算视为数学上的函数计算，并且避免使用程序状态以及…
2012年最值得关注的9家科技创业公司
2012年1月11日，科技网站CIO选出了9家2012年几年最值得关注的科技创业公司。毫无疑问，2012又是科技公司风起云涌的一年。让我们来了解一下这9家公司及其产品。 一、 海豚浏览器（MoboTap Inc.） 成立时间：2010年 CEO: 杨永…
Play 2.0 文档 － 入门 －－ 针对Scala开发者
2019独角兽企业重金招聘Python工程师标准>>> 安装 Play 2.0 准备工作 运行Play框架，需要JDK6或以上版本。 如果你使用MacOS，已内建支持Java。如果你使用Linux，确保你安装了SUN JDK或OpenJDK(非gcj，大多数Linux发布…
JAVA 设计模式系列
JAVA 设计模式系列
Java 设计模式之设计原则 一句话总结23种设计模式
创建型模式（6）：
JAVA设计模式之单例模式 JAVA设计模式之建造者模式 JAVA设计模式之简单工厂模式 JAVA设计模式之工厂方法模式 JAVA设计模式之抽象工厂模式 JAVA设计模式…
spark--2.部署高可用的Spark集群
这里已经假设部署了hadoop2.6.0 HA集群： 节点安排如下： 节点名称角色itcast01、itcast02Namenode和zkfcitcast03、itcast04ResourceManageritcast05、itcast06、itcast07QuorumPeerMain JournalNode、Datanode、NodeManager1.在spark官网下载安装包&…
Scala中的 -＞ 与 ＜-以及=＞,{}和()
<-只会出现在for循环里面
->只会出现在k->v里面
简单函数表达式用()
复杂函数表达式用{}
但是>就较为复杂了，有四种用法
1.表示函数的返回类型(Function Type)
//定义函数
scala> def double(x: Int): Int x*2double: (x: Int)Int//定义一个…
一点Scala学习资源
简单记一下scala的一点学习资源，以后可能会继续更新。 Scala官网下载，从这里可以下载Scala的二进制包。初学者可以从这里下载Scala，不过如果能科学上网的话最好使用下面的Sbt。 Scala官方文档，英文的。我看了一下不太适合初学者&a…
Reactive Extensions(Rx) 学习
Bruce Eckel（著有多部编程书籍）和Jonas Boner（Akka的缔造者和Typesafe的CTO）发表了“反应性宣言”，在其中尝试着定义什么是反应性应用。 这样的应用应该能够： 对事件做出反应：事件驱动的本质&am…
PICE（1）：Programming In Clustered Environment - 集群环境内编程模式
首先声明：标题上的所谓编程模式是我个人考虑在集群环境下跨节点（jvm）的流程控制编程模式，纯粹按实际需要构想，没什么理论支持。在5月份的深圳scala meetup上我分享了有关集群环境下的编程模式思路。我提供了下面这个示…
scala多个构造函数的定义方法
直接上代码: package com.test.scalaw.test.demo/*** scala定义多个构造函数,* 另外，Scala中有只有一个主要构造函数，其他都是辅助构造函数。而且需要注意的是，辅助构造函数必须调用主构造函数或者通过this(…)之间相互调用*/
class Point(x:…
6.Spark ML学习笔记—Spark ML文本分析—特征的提取、特征的转换(重点) 与 特征的选择
本文目录如下：第6章 使用Spark ML进行文本分析6.1 特征的提取6.1.1 TF-IDF (词频-逆向文档频率)6.1.1.1 HashingTF6.1.1.2 逆文档频率(IDF)6.1.2 Word2Vec6.1.3 CountVectorizer6.2 特征的转换 (重要)6.2.1 Tokenizer (分词器)6.2.2 StopWordsRemover6.2.3 NGram (N…
7.SparkCore—核心编程—action算子、WordCount的若干种实现方法、RDD序列化、Kryo 序列化框架
本文目录如下：9.5 action算子(***)9.5.1—reduce9.5.2—collect9.5.3—count9.5.4—first9.5.5—take9.5.6—takeOrdered9.5.7—aggregate9.5.8—fold9.5.9—countByKey9.5.10—save 相关算子9.5.11—foreach9.6 WordCount的若干种实现方法9.7 RDD 序列化9.7.1 闭包…
6.SparkCore—核心编程—RDD的创建、并行度与分区、transformation算子、案例实操—省份广告排行
本文目录如下：第9章 Spark核心编程9.1 RDD的创建9.1.1 从集合（内存）中创建 RDD9.1.2 从外部存储（文件）创建 RDD9.1.3 从其他 RDD 创建9.1.4 直接创建 RDD（new）9.2 RDD 并行度与分区9.3 transfor…
Scala匹配模式-----序列匹配
鉴于用Scala 工作通常意味着和序列打交道，要是能和列表、数组的长度和内容来匹配岂不美哉？下面的例子就做到了，它测试了两个列表来检查它们是否包含4个元素，并且第二个元素是3。// code-examples/Rounding/match-seq-script.scala…
192本软件著作用词分析（二）
2019独角兽企业重金招聘Python工程师标准>>> 统计书籍：1、ActiveMQ in Action2、Next Generation Open Source Messaging with Apollo3、BookKeeper4、Durability with BookKeeper5、Namenode High Availability6、Serving millions of journals with Ap…
两文学会scala （下）｜保姆级别教程（超详细）
上文内容概括： Scala 概述与安装、变量、运算符、流程控制、函数式编程、面向对象
上文链接：两文学会scala （上）｜保姆级别教程（超详细）_超爱慢的博客-CSDN博客
目录
第7章 集合
7.1 集合简介…
spark学习常用的操作
首先，使用 ScalaIDE 或 IDEA 创建 Scala 的 Maven 工程。需要用到 spark-core，spark-sql，spark-streaming 的 jar 包，pom 文件如下： <properties> <spark.version>2.1.0</spark.version> <scala.…
scala学习之函数
scala是一种多范式编程语言，其特色之一就是函数式编程，本节就来学习它！ 在变量中存放函数 val num 3.14val fun ceil _ // _将ceil方法转换成了函数println(fun(num))val array Array(3.14,1.4,2.0).map(fun) // 4.0 2.0 2.0 匿名函数 va…
spark DStream从不同数据源采集数据（RDD 队列、文件、diy 采集器、kafka）（scala 编程）
目录
1. RDD队列
2 textFileStream
3 DIY采集器
4 kafka数据源【重点】 1. RDD队列 a、使用场景：测试 b、实现方式: 通过ssc.queueStream(queueOfRDDs)创建DStream，每一个推送这个队列的RDD，都会作为一个DStream处理 val sparkco…
Scalaz（36）－ Free ：实践－Free In Action - 实用体验
在上面几期讨论中我们连续介绍了Free Monad。因为FP是纯函数编程，也既是纯函数的组合集成，要求把纯代码和副作用代码可以分离开来。Free Monad的程序描述（AST）和程序实现（Interpretation）关注分离ÿ…
最新版Byte Buddy完全支持Java 11
Java字节码工程库Byte Buddy最新版本完全支持Java 11以及自Java 8以来引入的所有类文件和字节码新特性。其中包括新的ConstantDynamic（有时称为condy）特性和Java 11 Nestmates。\\InfoQ采访了ByteBuddy的作者Rafael Winterhalter，以了解更多信…
Scala中的模式匹配（Pattern matching）
本文的内容源于对Scala官网关于Pattern matching的教程的翻译。
PATTERN MATCHING
模式匹配是一种根据模式（pattern）检查值（value）的机制。A successful match can also deconstruct a value into its constituent parts. 它是J…
Scala编写九九乘法表
一、idea里面new一个Scala Class，点击Object,输入名称，创建即可
注意：编写scala之前要下载scala,并添加scala框架支持，才可以编写scala
object jiujiuchengfabiao{def main(args:Array[String]):Unit{for(i<- 1 to 9){//乘法…
Flink 实战 - 3.读取 Parquet 文件 By Scala / Java
一.引言
parquet 文件常见与 Flink、Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索，下面介绍 Flink 场景下如何读取 Parquet。Parquet 相关知识可以参考：Spark - 一文搞懂 parquet。 二.Parquet Read By Scala…
分布式计算框架Spark
Apache Spark是一个开源分布式运算框架，最初是由加州大学柏克莱分校AMPLab所开发。 Hadoop MapReduce的每一步完成必须将数据序列化写到分布式文件系统导致效率大幅降低。Spark尽可能地在内存上存储中间结果， 极大地提高了计算速度。 MapReduce是一路计算…
slick源码阅读笔记二 slick.lifted.Rep
转载请注明出处https://www.cnblogs.com/elyw/p/10282476.html 目录 slick源码阅读笔记 目录&总览 slick源码阅读笔记一 slick.ast slick源码阅读笔记二 slick.lifted.Rep slick源码阅读笔记三 ShapedValue 在Table和Query上的应用 slick源码阅读笔记四 隐式转换--column与…
java与scala数组及集合基本操作对比
这篇博客介绍了scala的数组 可变数组的基本使用，及其与java数组的区别（博客中代码参照 快学scala） scala数组基本操作 def main(args: Array[String]): Unit {//new一个大小不变的数组val nums new Array[Int](10) //会被初始化为0val s …
scala学习之协变逆变入门(一)
T 是协变，也就是子类的变化方向和父类一样 -T 是逆变，也就是子类的变化方向和父类相反 我的例子： class Fruit[T] class Apple class RedApple extends Apple 由此可以判断 Fruit[RedApple] 也是 Fruit[Apple] 的子类 class Fruit[-T] //逆变…
循环识别的C++/Java/Go/Scala实现比较
摘要 - 在这个经验报告中，我们用四种编程语言C/Java/Go/Scala，编写了满足规范的、紧凑的性能测试基准程序。实现中，我们都是使用的实现语言的惯用的容器类，循环结构，以及内存/对象分配方案。它并不试图利用特定的语言和…
Spark讲解与使用
Map Reduce存在的问题
在介绍Spark首先需要介绍为何要提出Spark，Hadoop高度支持的Map Reduce框架有什么不好的地方吗？
答：没有完美的机制，Map Reduce范式存在下面问题
1、模型能处理的应用有限，主要基于Map和Reduce…
Spark简介安装和简单例子
Spark简介安装和简单例子 Spark简介 Spark是一种快速、通用、可扩展的大数据分析引擎，目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的…
R语言与DataFrame
什么是DataFrame 引用 r-tutor上的定义： DataFrame 是一个表格或者类似二维数组的结构，它的各行表示一个实例，各列表示一个变量。 没错，DataFrame就是类似于Excel表格和MySQL数据库一样是一个结构化的数据体。而这种结构化的数据体…
Scala - 使用转义字符 \\ 与 | 分割字符
一.引言
scala 使用 | 作为分割字符时，报红线并提示 scala empty branch in alternation，使用 \\ 转义字符修饰后实现 | 的正常 String Split。 二.使用分析
1.错误用法
val word "112345|2"A.错误1: 转义字符用反
println(word.split(&q…
Spark - 大规模数据去重
一.引言
场景 : 商品 product 每日总销售记录量级 亿 级别起，去重 product 量大概 万 级别。每个商品有一个 state 标识其状态，该状态共3个值，分别为 "A", "B","C"。
统计：
(1) 三个 state 下 p…
Scala 与 Java 的交互操作
这个章节主要讲解Scala和Java进行互操作。 Javap 类 异常 Trait 对象 闭包函数(closures functions) Javap javap是JDK附带的一个工具，而不是JRE。它们之间还是有差别的。Javap反编译class文件，并且向你展示它里面放的是什么。使用起来很简单。 [lo…
Scala 获取时间，时间戳，时间差
经常遇到处理时间与获取当前时间，记录一下：
1.获取时间
1）获取当前时间
dateFormat规定好想要的数据格式 常用的对应如下：
格式yyyyMMddHHmmss对应年月日小时分钟秒编程中常用的:
常用模式yyyyMMddyyyy-MM-ddHHmmssHH-mm-ssv…
Scala 序列化 反序列化 Object
网上的序列化object教程都是基于Java写的，没有Scala版本，只能自己动手改造一下 1.要序列化类，首先写一个基础类供我们操作：
非常基础，只有姓名和年龄两个变量的基础类
class Student() extends java.io.Serializabl…
Scala 优雅的break
Break Scala
Scala使用map的foreach过程中，发现无法中途break，必须全部遍历，对于达到一定条件即退出的程序很不友好，于是改变思路，找到几种退出循环的方法：
1.while循环使用Boolean def outOfLoopByFlag_…
Hbase 建立分区表 By Scala
问题描述：
Hbase在大规模数据数据集情况下拉取数据时，若rowkey密集集中在一台节点，则在批量拉取数据时容易出现数据拉取速度很慢或者出现timeout，如果资源允许的情况下，可以将rowkey根据自己的规则手动split到多个分区…
想追赶.Net的脚步？Java面前障碍重重
待到Java 8面世之时 .Net的进度时钟恐怕已经又走过了两到五年——届时微软做出的调整将使二者差距进一步拉大。就在几周之前，我详细介绍了Java 8中值得期待的几大主要功能。不过当时我并没有提到.Net的新变化，事实上Java 8中的大部分（甚至全部…
Scala 之 读取文件第二次没有内容
Scala IO
最近接触了Scala语言 最基础的就是读文件操作数据了 可是发现使用
Source.fromFile(inputFile)
多次读取文件时出现了第二次读取时数据为空的问题 先看下问题：
在主函数中调用Source.fromFile(inputFile) 的 getLines() 方法读取文件,如果需要对文件遍…
关于isNAN（）函数内进行的莫名其妙的隐式转换？！
isNaN(X) 函数用于检查其参数是否是非数字值。 如果 x 是特殊的非数字值 NaN（或者能被转换为这样的值 ）返回的值就是 true。如果 x 是其他值,则返回 false。 首先，我们先来了解一下什么是NAN，NAN即note a number，NaN 属…
Java PushbackReader skip（）方法与示例
PushbackReader类skip()方法 (PushbackReader Class skip() method) skip() method is available in java.io package. skip()方法在java.io包中可用。 skip() method is used to skip the given number of characters from this PushbackReader stream and it will block unti…
Java 的 Tuple 元组数据类型
元组类型，即 Tuple 常在脚本语言中出现，例如 Scala 的 ("Unmi", "chinaqq.com", "blahbla")。元组可认为是象数组一样的容器，它的目的是让你方便构造和引用，例如 Pair 可认为是一个只能存两个元素的…
第十章 Scala 容器基础(十五)：使用flatten方法来展开一个元素为集合的集合
2019独角兽企业重金招聘Python工程师标准>>> Problem 如何把一个嵌套集合展开为一个平铺的单层集合。 Solution 使用flatten方法来吧一个嵌套集合转化为一个单层集合。为了说明这一点，我们先来创建一个嵌套结合撸啊撸 scala> val lol List(List(1,2)…
自定义分区并区内排序
简单的wordCount
假设我们的文件中有这么一些数据：
spark
spark
hive
hadoop
spark
spark
hive
hadoop
spark
spark
hive
hadoop
spark
spark
hive
hadoop
spark
spark
hive
hadoop
spark
spark
hive
hadoop
spark
spark
hive
hadoop
spark
spark
hive
hadoop
spa…
rdd算子之cogroup
coGroup及其应用cogroupintersectionleftOuterJoin, rightOuterJoin, fullOuterJoin, joincogroup
cogroup也能组合RDD。
例子：
object CogroupOperator {def main(args: Array[String]): Unit {val sparkConf: SparkConf new SparkConf().setAppName(this.get…
rdd算子之byKey系列
spark中有一些xxxByKey的算子。我们来看看。 rdd算子之byKey系列groupByKey解释实现groupByreduceByKeydistinctaggregateByKeycombineByKeygroupByKey
解释
假设我们要对一些字符串列表进行分组：
object GroupByKeyOperator {def main(args: Array[String]): Un…
rdd算子之map相关
首先是RDD算子中与map有关的几个算子的理解。 rdd算子之map相关mapmapPartitionsmapPartitionsWithIndexmap
map其实就是一种数据结构的映射，将一种结构转换成另一种结构。
一个简单的spark程序实现列表中的每个数乘以2：
object MapOperator {def mai…
Scala的类中定义内部类实战
scala独特之处在于可以在类中定义内部类，起到对外屏蔽作用。 类中默认都是public权限。后面将讲解如何引入接口,scala中的接口与java点区别。特质/接口（Trait） 转载于:https://www.cnblogs.com/nethk/p/5609300.html
CDH spark 命令行测试
一、 参考 https://www.cnblogs.com/bovenson/p/5801536.html [rootnode-1 test]# chown hdfs:hdfs /root/test/*
[rootnode-1 test]# chown hdfs:hdfs /root/test
[rootnode-1 test]# cd /var/lib/hadoop-hdfs/
[rootnode-1 hadoop-hdfs]# ls
[rootnode-1 hadoop-hdfs…
小企业玩转大数据的N多招数
大数据时代，不管是IT巨头还是中小企业，都非常重视大数据技术，那么对于小企业来说，在这个大数据人才高度缺乏的情形下，怎么样才能发展好大数据呢？大数据能为企业带来什么？更多的订单，…
Spark中groupByKey、reduceByKey与sortByKey
groupByKey把相同的key的数据分组到一个集合序列当中： [("hello",1), ("world",1), ("hello",1), ("fly",1), ("hello",1), ("world",1)] --> [("hello",(1,1,1)),("word",(1,…
Flink 的广播变量
Flink 支持广播变量，就是将数据广播到具体的 taskmanager 上，数据存储在内存中，这样可以减缓大量的 shuffle 操作； 比如在数据 join 阶段，不可避免的就是大量的 shuffle 操作，我们可以把其中一个 dataSet 广…
7.scala方法初探
概述 在 scala 中，方法定义在内中，这点类似于 java ，此文说明如何定义方法，及方法一些 用法 相关链接 阅读之前，可以先行浏览一下 官方文档 scala相关文章
定义一个参数的方法
这个例子定义了一个名为 double 方法&a…
Asyncdb（一）：写一个纯函数式的Mysql异步驱动
之前的Akka系列博客接下去可能并不会经常更新了，但是后续看到一些好的点或者大家对哪些还是比较感兴趣还会继续写几篇，这里先跟大家说明一下。 背景 写一个纯函数式的Mysql异步驱动这个构思是公司的一个大佬提的，这将会是一个开源项目&#x…
Spark记录-Scala集合
Scala列表 Scala列表与数组非常相似，列表的所有元素都具有相同的类型，但有两个重要的区别。 首先，列表是不可变的，列表的元素不能通过赋值来更改。 其次，列表表示一个链表，而数组是平的。 具有类型T的元素的…
datafram 操作集锦
Spark Python API 官方文档中文版》 之 pyspark.sql (二) 2017-11-04 22:13 by 牛仔裤的夏天, 365 阅读, 0 评论, 收藏, 编辑 摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少…
Spark下载和安装（学习笔记）
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性。 年与时驰，意与日去…
scala Product
scala Product
1. 由来
Product是Scala中的一个特质（trait），它用于表示具有固定数量元素的元组（Tuple）和案例类（Case Class）。它提供了一些通用方法，用于访问和操作这些元素。
2.…
scala中json4s 使用详解
预备知识
json4s的数据结构AST (Abstract Syntax Tree)。
sealed abstract class JValue
case object JNothing extends JValue // zero for JValue
case object JNull extends JValue
case class JString(s: String) extends JValue
case class JDouble(num: Double) extend…
scala TraversableOnce
scala TraversableOnce
1. 由来
TraversableOnce是Scala中的一个特质（trait），它定义了一组操作，用于遍历和处理集合类型的元素。它是Scala集合层次结构中的基本概念之一。
2. 示例
以下是使用TraversableOnce的简单示例&#…
Scala中的样例类和样例对象和JAVA存根类
Scala中的样例类和样例对象
在 Scala 中，样例类（case class）和样例对象（case object）都是用于定义不可变数据类型的特殊类和对象。它们被广泛用于模式匹配、代数数据类型（Algebraic Data Types）…
2023_Spark_实验四：SCALA基础
一、在IDEA中执行以下语句 或者用windows徽标R 输入cmd 进入命令提示符 输入scala直接进入编写界面 1、Scala的常用数据类型
注意：在Scala中，任何数据都是对象。例如：
scala> 1
res0: Int 1scala> 1.toString
res1: String 1scala…
05-RDD五大特性
RDD简介
A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,
partitioned collection of elements that can be operated on in parallel.
RDD（Resilient Distributed Dataset）即弹性分布式数据集&am…
开源|Moonbox_v0.3_beta重大发布 | Grid全新重构，更快更解耦
导读：数据虚拟化思想一直以来都是敏捷大数据团队十分关注的一个点，Moonbox则以此为基础而设计，致力于提供批量计算服务解决方案。今天，Moonbox惊喜发布0.3beta版（回顾v0.2请戳这里：#Moonbox# 计算服务平台简…
2023_Spark_实验九：Scala函数式编程部分演示
需求：
1、做某个文件的词频统计//某个单词在这个文件出现次数 步骤：
1、文件单词规律（空格分开）
2、单词切分
3、单词的统计
（k,v）->(k:单词，V：数量）
4、打印 框…
2023_Spark_实验八：Scala高级特性实验
1、什么是泛型类
和Java或者C一样，类和特质可以带类型参数。在Scala中，使用方括号来定义类型
参数，如下所示： /*这里的T就是泛类型，可以代表任意类型，_表示可以是任意类型*/class GenericClass[T] {//定义…
05-Scala函数式编程
函数式编程
在之前Java课程的学习中，我们一直学习的就是面向对象编程，所以解决问题都是按照面向对象的方式来处理的。比如用户登陆等业务功能，但是接下来，我们会学习函数式编程，采用函数式编程的思路来解决问题。s…
第六章 Scala if..else与循环
1 IF…ELSE 语句
Scala IF…ELSE 语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。
1.1 if 语句
if 语句有布尔表达式及之后的语句块组成。
if(布尔表达式)
{// 如果布尔表达式为 true 则执行该语句块
}如果布尔表达式为 tru…
Spark笔记整理（一）：spark单机安装部署、分布式集群与HA安装部署+spark源码编译...
[TOC] spark单机安装部署 1.安装scala
解压：tar -zxvf soft/scala-2.10.5.tgz -C app/
重命名：mv scala-2.10.5/ scala
配置到环境变量：
export SCALA_HOME/home/uplooking/app/scala
export PATH$PATH:$SCALA_HOME/bin
# 虽然spark本身自带s…
spark scala 训练 XGBoost
大致代码：
import ml.dmlc.xgboost4j.scala.spark.{XGBoost, XGBoostModel}
import org.apache.spark.ml.feature.{LabeledPoint}
import org
【四 Twirl模板引擎】 3. 模板常用示例
为什么80%的码农都做不了架构师？>>> 现在来看一下模板的典型用法。 布局 现在来声明一个 views/main.scala.html 模板作为主模板： (title: String)(content: Html)
<!DOCTYPE html>
<html><head><title>title</t…
使用IDEA-Maven工具编译Scala工程时报错:scalac: Error: Error compiling the sbt component ‘compiler-interface-2.11
出现的问题
IDEA 运行 scala 项目的时候报错
scalac: Error: Error compiling the sbt component compiler-interface-2.11.8-62.0
sbt.internal.inc.CompileFailed: Error compiling the sbt component compiler-interface-2.11.8-62.0
...环境
IDEA：2022 JDK&a…
第一个 Scala 程序
shell里面输入 Copy
$ scala Copy
scala> 1 1 res0: Int 2 scala> println("Hello World!") Hello World!
文件形式 Copy
object HelloWorld { /* 这是我的第一个 Scala 程序 * 以下程序将输出Hello World! */ def main(args: Array[String]) { print…
Scala第十八章节
Scala第十八章节
scala总目录 文档资料下载
章节目标
掌握Iterable集合相关内容.掌握Seq集合相关内容.掌握Set集合相关内容.掌握Map集合相关内容.掌握统计字符个数案例. 1. Iterable
1.1 概述
Iterable代表一个可以迭代的集合, 它继承了Traversable特质, 同时也是其他集合…
scala TraversableLike
scala TraversableLike
1. 由来
TraversableLike是Scala集合框架中的一个特质（trait），它提供了一组通用的集合操作方法。它定义了在可遍历集合上执行的基本操作，如映射、过滤、折叠等。
2. 示例
以下是使用TraversableLike的简…
亚马逊运营推荐数仓项目实战
亚马逊运营推荐数仓项目实战 项目技术栈
HadoopSpark (Python)Scala SparkSQLSparkStreaming MongoDB Redis Kafka Flume ( SpringMVC vue)
1 项目介绍
1.1 项目系统架构
项目以推荐系统建设领域知名的经过修改过的中文亚马逊电商数据集作为依托，以某电商…
Spark函数详解系列之RDD基本转换
2019独角兽企业重金招聘Python工程师标准>>> 摘要： RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个RDD代表一个分区里的数据集 RDD有两种操作算子࿱…
scala（10）-----Scala 闭包
闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。 闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。 如下面这段匿名的函数： val multiplier (i:Int) > i * 10 函数体内有一个变量 i，它作为函数…
Scala单例对象和伴生对象
2019独角兽企业重金招聘Python工程师标准>>> Scala单例对象和伴生对象 Scala 单例对象 转载时请以超链接形式标明文章原始出处和作者信息及本声明 http://www.blogbus.com/dreamhead-logs/58331783.html Singlton是一种为许多人熟知的设计模式，到了Scala…
Stanford Corenlp学习笔记——词性标注
使用Stanford Corenlp对中文进行词性标注 语言为Scala，使用的jar的版本是3.6.0，而且是手动添加jar包，使用sbt添加其他版本的时候出现了各种各样的问题 添加的jar包有5个 代码 import edu.stanford.nlp.pipeline.{Annotation, StanfordCoreNLP…
Spark的安装和使用方法
1. 安装Spark 2. 在Spark shell中运行代码
Spark Shell本身就是一个Driver，Driver包mian()和分布式数据集。
启动Spark Shell 命令： ./bin/spark-shell --master <master-url> Spark的运行模式取决于传递给SparkContext的Master URL的值…
Scala基础：面向对象之对象和继承
对象 object 相当于 class 的单个实例，通常在里面放一些静态的 field 或者 method；在 Scala 中没有静态方法和静态字段，但是可以使用 object 这个语法结构来达到同样的目的。object 作用： 1.存放工具方法和常量2.高效共享单个不可…
安装开发环境，准备学习Scala
2019独角兽企业重金招聘Python工程师标准>>> 昨天在Debian环境下安装了Scala，使用apt-get方式安装的，版本只到2.9.2，而网站上的版本却是2.11，不过用apt-get安装的比较方便，也就认了。 同时还安装了ANT&…
scala 变量，集合
var 可变，可重新赋值，赋值为"_"表示缺省值(0, false, null)，例如： var d:Double _ // d 0.0var i:Int _ // i 0var s:String _ // s null val不可变 val (x,y) (10, "hello") def 实时返回结果变量&am…
线上服务 CPU 100%？一键定位 so easy！
原文出处：https://my.oschina.net/leejun2005/blog/1524687 摘要: 本文主要针对 Java 服务而言0、背景经常做后端服务开发的同学，或多或少都遇到过 CPU 负载特别高的问题。尤其是在周末或大半夜，突然群里有人反馈线上机器负载特别高ÿ…
5.Spark 学习成果转化—机器学习—使用Spark ML的线性回归来预测商品销量 (线性回归问题)
本文目录如下：第5例 使用Spark ML的线性回归来预测商品销量5.1 数据准备5.1.1 数据集文件准备5.1.2 数据集字段解释(按列来划分)5.2 使用 Spark ML 实现代码5.2.1 引入项目依赖5.2.2 加载并解析数据5.2.3 对 DtaFrame 中的数据进行筛选与处理5.2.4 将特征列合并为特…
2011年需要关注的9大编程语言
导读：本文作者Rob Diana是国外知名技术博客Regular Geek的创始人，曾写有大量关于编程语言以及语言职位需求趋势的文章。这篇博文中，Diana将通过对Tiobe编程榜和编程语言职位需求方面的数据分析，展望编程语言未来一年的发展。下面就…
【转载】Spark学习 机器学习
然后看的是机器学习这一块，因为偏理论，可以先看完。其他的实践，再看。 http://www.cnblogs.com/shishanyuan/p/4747761.html “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是…
2.Spark基础—Linux环境下安装Spark环境、本地模式、独立部署模式、配置历史服务器、配置高可用
本文目录如下：第2章 Linux环境下安装Spark环境2.1 虚拟机环境准备2.2 安装Spark2.2.1 进入到Spark安装包路径下2.3.2 解压安装文件到/opt/module下面2.2.3 查看是否解压成功2.3 运行模式-本地模式2.3.1 执行WorkCount案例2.3.2 提交应用2.4 运行模式—独立部署模式(…
Flink单机版安装与wordCount
Flink为大数据处理工具，类似hadoop,spark.但它能够在大规模分布式系统中快速处理，与spark相似也是基于内存运算，并以低延迟性和高容错性主城，其核心特性是实时的处理流数据。从此大数据生态圈又再填一员。。。具体详解，…
如何使用Gitbook创建html技术文档
故事背景：很多时候对外发布的产品需要一份html格式的文档 首先要了解的是 word直接转成html是不现实的，需要通过md文件来转换。 我们本节课讨论的Gitbook即是在MD基础上进行操作的。 所以任务一：安装typora软件，用于编辑md文件&am…
Spark生态顶级项目汇总
现在Apache Spark已形成一个丰富的生态系统，包括官方的和第三方开发的组件或工具。后面主要给出5个使用广泛的第三方项目。\\Spark官方构建了一个非常紧凑的生态系统组件，提供各种处理能力。 下面是Spark官方给出的生态系统组件（引自Spark官方…
基本类型和操作之操作符和方法
为什么80%的码农都做不了架构师？>>> Scala为基本类型提供了丰富的操作符集，这些操作符实际只是普通方法调用的另一种表现形式。例如， 1 2与 (1).(2) 其实是一回事。换句话说，就是Int类包含了叫做的方法，它…
Kafka2.0服务端启动源码
Kafka 服务端通过Kafka.scala的主函数main方法启动。KafkaServerStartable类提供读取配置文件、启动/停止服务的方法。而启动/停止服务最终调用的是KafkaServer的startup/shutdown方法。 启动流程 启动 zk 客户端。启动动态配置。启动调度线程池。启动日志管理器的后台线程&…
《深入理解Spark：核心思想与源码分析》2次印刷修订内容清单
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/51657146 前言 自从《深入理解Spark：核心思想与源码分析》一书出版以来，陆续收到很多读者的反馈，笔者为此在第1…
IntelliJ IDEA：Scala、sbt、maven配置教程
一、IDEA配置scala插件
进入File——Settings——Plugins，在搜索框搜索scala，然后点击安装，等安装完毕，需要重启IDEA。 或者也可以手动安装，先去https://plugins.jetbrains.com/plugin/1347-scala下载你IDEA版本对应…
Scala隐式函数、隐式方法以及隐式类
文章目录Scala隐式函数、隐式方法以及隐式类隐式参数隐式函数和隐式类Scala隐式函数、隐式方法以及隐式类
Scala中提供了隐式转换和隐式参数等独特的功能，这些是JAVA中所没有的。它支持手动将某种类型对象转换成其他类型，某些场景下非常有用。Scala隐式…
Scala自定义函数
文章目录Scala自定义函数一般函数递归函数指定形参传参通过* 可以指定未知长度的参数匿名函数传参的时候直接传函数Scala自定义函数
Scala的函数定义以“def”开头，然后是一个自定义的函数名(推荐驼峰命名法)，接着是用圆括号“( )”包起来的参数列表。在…
scala语言从明细数据文件实现产生报[表时间(天) 用户数量 最高温度 ...]
1 有数据文件如下,数据信息代表
name 用户名称
age 年龄
temp 温度
ct 测试时间
c4ijk,24,99,1597550000000
1351f,45,51,1597550000000
9m2bg,81,55,1597550000000
nbchj,58,58,1597550000000
...需求：scala语言实现下列功能
1 产生报表结果
时间(天) 用户数…
Scala（三）常用功能
1.模式匹配和样例类
1）模式匹配
Scala是没有Java中的switch case语法的，相对应的，Scala提供了更加强大的match case语法，即模式匹配，来替代switch case，match case也被称为模式匹配
match case的语法如下…
用 Clojure 改善 Java 项目是种什么样的体验？
关于软件开发，特别是服务端软件开发的技术栈的探索，几乎贯穿了我整个职业生涯。几年前我就想写这样一个专题，但是开了个头就又很快搁笔。反复思考，感觉自己仍然太过浅薄。近几年随着技术领域的整体进步，和自己的学习积…
Hadoop学习笔记--Day 1
名词解释 CDH #(Cloudera’s Distribution including Apache Hadoop) ecosystem projects #生态系统项目 Subscription #订阅 Volume #容积 Velocity #速度 Variety #多样的 ETL #Extract Transform Load Collaborative filtering #协同过滤 Prediction models #预测模型 Senti…
在Ubuntu下搭建Spark群集
在前一篇文章中，我们已经搭建好了Hadoop的群集，接下来，我们就是需要基于这个Hadoop群集，搭建Spark的群集。由于前面已经做了大量的工作，所以接下来搭建Spark会简单很多。 首先打开三个虚拟机，现在我们需要安…
Scala操作hudi
文章目录Scala操作hudi1、启动客户端2、配置信息3、 创建数据表4、插入数据5、查询数据6、更新数据7、增量查询8、时间点查询9、删除数据10、覆盖写入Scala操作hudi
1、启动客户端
//spark3.1
spark-shell \--packages org.apache.hudi:hudi-spark3.1.2-bundle_2.12:0.10.1,o…
mac电脑安装flink其他版本（历史版本）简单有效
1.安装brew这里不介绍安装方式
2.安装最新版本的flink（brew默认就会直接安装最新版的软件）
brew install apache-flink
3.安装成功后检查版本信息
fink --version
4.如果这个版本太新，而想安装历史版本，看下面的套路
5.查看…
⑦SparkSQL初案例
先看看最基础的sparkSQL，创建简单RDD然后过滤
val sparkConf: SparkConf = new SparkConf().setAppName("BookCarCard").setMaster("local[2]") //生产不要这段
val spark: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate() …
Spark介绍（学习笔记）
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性。 年与时驰，意与日去…
(六)需要关注的Spark配置项+性能优化
实际上，应用程序运行得稳定与否，取决于硬件资源供给与计算需要是否匹配。这就好比是赛车组装，要得到一辆高性能的车子，我们并不需要每一个部件都达到“顶配”的要求，而是要让组装配件之间相互契合、匹配，才能让车子达到预期的马力输出。 因此，不妨从硬件资源的角度切入，…
(五)Spark广播变量，累加器
做应用开发的时候，总会有一些计算逻辑需要访问“全局变量”，比如说全局计数器，而这些全局变量在任意时刻对所有的 Executors 都是可见的、共享的。那么问题来了，像这样的全局变量，或者说共享变量，Spark 又是如何支持的呢？ 按照创建与使用方式的不同，Spark 提供了两类共…
Scala中的for循环遍历和yield详解
K-V对的RDD遍历
val hashpartitionCounts: RDD[(String, Int)] = kvpartitionRDD.reduceByKey((x, y) => x + y)hashpartitionCounts.foreach{ line=>println("word="+line._1+" ,num="+line._2)
}
//下面的for和上面的一样结果
for (i <- hashp…
IDEA 安装scala插件
安装scala插件一般有两种方式，在IDEA里面下载或者手动安装 手动安装 首先是下载需要的插件包，官网下载实在太慢，这里提供我下载好的文件，会按时更新成最新版 https://pan.baidu.com/s/1gfcdVcZ 下载好文件后，按如下步骤…
Spark 的核心概念 RDD
1.RDD 概述 1.1 什么是 RDD ? RDD(Resilient Distributed Dataset) 叫着 弹性分布式数据集 ，是Spark 中最基本的抽象，它代表一个不可变、可分区、里面元素可以并行计算的集合。 RDD 具有数据流模型特点：自动容错、位置感知性调度和可伸缩。 …
创建scala项目并增加新的object试运行
一、创建scala项目
依赖配置： scala，jdk，maven 没有maven也可以创建
1.1 直接创建
1.1.1 创建
选择新project 路径、依赖配置、代码调试
1.1.2 项目结构 Scala项目中几个文件： .idea：这个文件夹是用来存储项目的…
Spark大数据分析与实战笔记（第一章 Scala语言基础-4）
文章目录 每日一句正能量1.4 Scala面向对象的特性1.4.1 类与对象的特性1.4.2 继承1.4.3 单例对象和伴生对象1.4.4 特质 每日一句正能量 若要快乐，就要随和；若要幸福，就要随缘。快乐是心的愉悦，幸福是心的满足。别和他人争吵&#…
Scala反射调用object
和反射class不同，反射class和java反射一样，object是静态代码块模式的单例，Scala 反射的核心是 scala.reflect.runtime.universe：代码如下：
object：
object TargetObject{def test1(name:String):String…
Scala 泛型编程
1. 泛型 Scala 支持类型参数化，使得我们能够编写泛型程序。 1.1 泛型类 Java 中使用 <> 符号来包含定义的类型参数，Scala 则使用 []。 class Pair[T, S](val first: T, val second: S) {override def toString: String first ":" sec…
Scala并发编程的react、loop方法详解
Scala并发编程的react、loop方法详解
在 Scala 中编写并发应用程序，我们通常会使用 Actor 和 ActorSystem 来创建和管理 Actor，而 react 和 loop 方法则是 Actor 的两个重要方法。
1. react 方法：
react 方法是 Actor 类中最基本的消息处理…
Scala集合继承体系图
Scala集合简介
1） Scala 的集合有三大类：序列 Seq、集Set、映射 Map，所有的集合都扩展自 Iterable特质。
2） 对于几乎所有的集合类，Scala 都同时提供了可变和不可变的版本，分别位于以下两个包
不可变集合…
Scala 【集合常用方法和函数操作-上】
前言
在开发Spark的过程中，最重要的部分就是对集合的操作，这也是在学习Spark中发现对这里知识不足的发现，所以学完Scala好长时间现在又返回来重新学习Scala集合的常用方法和函数操作。这部分学完，基本已经可以熟练使用Scala开发S…
Scala---字符串、集合
一、字符串
StringStringBuilder 可变string操作方法举例
比较:equals比较忽略大小写:equalsIgnoreCaseindexOf：如果字符串中有传入的assci码对应的值，返回下标
1./**
2.* String && StringBuilder
3.*/
4.val str "abcd"
5.val s…
Scala---数据基础
一、数据类型 二、变量和常量的声明
定义变量或者常量的时候，也可以写上返回的类型，一般省略，如：val a:Int 10常量不可再赋值
1./**
2. * 定义变量和常量
3. * 变量 :用 var 定义 ，可修改
4. * 常量 :用 val 定…
Spark作业串行与并行提交job
在Scala中，您可以以串行和并行的方式提交Spark作业。看看如何使用for和par.foreach构造对应的例子。
串行Spark作业（使用for）
// 串行Spark作业设置
for (tag <- tags) {spark.sparkContext.setJobGroup(tag.toString, s"Tag: $tag…
Scala---样例类+隐式转换
样例类(case classes)
1、概念理解
使用了case关键字的类定义就是样例类(case classes)，样例类是种特殊的类。实现了类构造参数的getter方法（构造参数默认被声明为val），当构造参数是声明为var类型的，它将帮你实现set…
三十分钟学会SCALA
SCALA
Scala 是一种运行在 JVM上的函数式的面向对象语言。
Scala 是兼容的：兼容 Java，可以访问庞大的 Java 类库；Scala 是精简的：Scala 表达能力强，一行代码抵得上多行 Java 代码，开发速度快。可以让程序…
scala的schema函数（算子）
在翻阅一些代码的时候，schema算子好像没碰到过，比较好奇structField这个类型，为什么可以直接用name参数，就翻阅了下资料： 在 Apache Spark 中，DataFrame 是一种分布式的数据集，它是以类似于关系…
scala 实现表达式解析
表达式解析
import org.junit.Testimport scala.collection.mutableclass ExprTestCase {private val orderSource "source_1"private val saleChannel "saleChannel"val datas new mutable.HashMap[String, String]();// p1, source1, sale1, source…
mac安装 scala 详细教程（包含在 idea 上使用，以及scala插件安装）
目录
一 下载解压
二 配置环境变量
三 测试 scala
四 idea 编写 scala 文件
1. 安装插件 scala 插件
2. 使用 idea 创建 scala 工程
3. 使用idea 创建 maven 工程开发 scala 一 下载解压 去官网选择合适的版本下载
官网地址https://www.scala-lang.org/download/all.…
C语言编写一个程序采集招聘信息
因为在这里无法详细解释每行代码和步骤。但是，我可以给大家一个使用Python和requests库编写的简单爬虫程序的例子，它可以从网站上获取招聘信息。你可以根据这个例子，将其改写为使用C语言编写的爬虫程序。 import requests# 指定爬虫IP信息
pr…
Scala中的Either的用法
在 Scala 中，Either 是一种表示两种可能值的数据类型。它可以用来处理函数可能返回的两种不同类型的结果，通常用于错误处理或者结果分支情况。Either 有两个子类：Left 和 Right，其中 Left 通常用于表示错误或异常情况，…
深兰科技科研团队6篇论文被国际医学信息科学顶尖学术会议收录
近日，深兰科技科学院智能科学首席科学家黄智生教授及其所带领的科研团队与同济大学团队，北京工业大学团队等合作，在国际医学信息科学顶尖学术会议“HIS 2023”上接连发表了六篇论文(其中有两篇论文的第一作者是黄教授本人)。 10月下旬&#x…
深兰科技多款大模型技术产品登上新闻联播！
11月20日晚，新闻联播报道了2023中国5G工业互联网大会，深兰科技metamind、汉境大型城市智能体空间等大模型技术和产品在众多参展产品中脱颖而出，被重点播报。 2023中国5G工业互联网大会 本届大会由工信部和湖北省人民政府联合主办，…
Spark对HBase进行数据的读写操作
读取HBase数据
通过newAPIHadoopRDD这个API构建读取的RDD
def read(): Unit {val conf HBaseConfiguration.create()val sparkConf new SparkConf().setMaster("local").setAppName("HBase")val sc new SparkContext(sparkConf)// 设置HBase的配置co…
Spark学习笔记（二）：RDD常用操作
RDD(Resilient Distributed Datasets)是Spark最重要的元件之一，对数据的任何操作都离不开RDD。 RDD分为两种：Transformations（转换操作）和Actions（行动操作）， 并且Spark有个惰性机制：…
Windows下IDEA运行scala版本的spark程序（踩坑总结）
首先，说一下，一般spark程序肯定都是打包然后放到Linux服务器去运行的，但是我们为什么还需要在Windows下运行spark程序。当然有它的道理： 因为我们很多人都是习惯在Windows系统下编写代码的，所以，如果能在Wi…
Scala 3 不再支持 XML 了吗？
前段时间，我为Scala 3提出了XML字面量语法提案，在社区中正在讨论。这个提案可能预示着 Scala 3、Scala.js和Binding.scala的未来前景。为什么这么说？还得先聊聊Scala目前在编程语言界的江湖地位是怎么来的。 Scala的原作者Martin Odersky同时…
偏执却管用的10条Java编程技巧
本文由 ImportNew - LynnShaw 翻译自 javacodegeeks。欢迎加入翻译小组。转载请见文末要求。 经过一段时间的编码（咦，我已经经历了将近20年的编程生涯，快乐的日子总是过得很快），我们开始感谢那些好习惯。因为ÿ…
☀️☀️使用 IDEA 创建一个新的 Spark项目、Spark ML 预测项目的详细步骤
本文目录如下：使用 IDEA 创建一个新的 Spark ML 预测项目1.新建 Maven 项目2.更具需求设置 Maven 仓库信息3.设置 pom.xml 文件, 引入项目依赖4.新建 scala 文件夹， 并将其设置为源代码文件夹5.设置右键创建 Scala 类6.新建 com.xqzhao.scala.spark 文件…
《Scala机器学习》一一2.6 优化和交互
2.6 优化和交互虽然收集的数据只能用于理解业务，但任何数据驱动业务的目标是通过基于数据和模型的决策来自动优化业务行为。人们希望将人为干预减少到最低限度。下面这个简图可以描述一个周期：对于进入系统的新信息反复执行该循环。可以通过调整系统的参…
Scala 与设计模式（二）：Builder 创建者模式
本文由 Prefert 发表在 ScalaCool 团队博客。 在 Java 开发中，你是否写过这样像蛇一样长的构造函数： Robot robot new Robot(1, true, true, false, false, false, false, false, false) // Boolean 类型的参数表示 computer 是否含有对应固件复制代码刚…
Spark中Transformations、Actions
解释narrow transformation和wide transformation的区别掌握map flatmap filter coalesce列举两种wide transformation列举Spark pipeline中的4种常见actionTransformationsnarrow transformation只在worker node 本地执行操作，不需要重排(shuffle）&…
Flume+Kafka+SparkStreaming+Hbase+可视化（四）---未全部完成
打通实时数据处理1）.流程图LoggerGeneratorpackage Scalaimport java.time
import org.apache.log4j.Loggerobject LoggerGenerator {def main(args: Array[String]): Unit {val logger:Logger Logger.getLogger(LoggerGenerator.getClass.getName)// 人物列表val…
一篇入门 — Scala 宏
前情回顾 上一节, 我简单的说了一下反射的基本概念以及运行时反射的用法, 同时简单的介绍了一下编译原理知识, 其中我感觉最为绕的地方, 就属泛型的几种使用方式了.而最抽象的概念, 就是对于符号和抽象树的这两个概念的理解. 现在回顾一下泛型的几种进阶用法: 上界 <:下界 &…
优秀大数据GitHub项目一览
http://blog.csdn.net/yaoxtao/article/details/50540485 优秀大数据GitHub项目一览 VMware CEO Pat Gelsinger曾说： 数据科学是未来，大数据分析则是打开未来之门的钥匙 企业正在迅速用新技术武装自己以便从大数据项目中获益。各行业对大数据分析人才的需…
Scala-基础-函数(1)
import junit.framework.TestCase//函数(1)
class Demo5 extends TestCase {def testDemo(){println("开始测试Scala函数");method_0();var t1 10;}//函数-无参数列表-无返回值def method_0(){println("函数-无参数列表-无返回值");}def scala_method_a()…
rdd.foreach中的闭包检测
在 Spark 中，RDD.foreach 是一个用于迭代处理 RDD 中每个元素的方法。闭包（Closure）检测是在执行 RDD.foreach 时进行的一项重要操作，用于确定闭包中引用的变量和函数是否可以正确地序列化和传递到执行节点。
闭包是指在一个函数…
浅谈Scala语法基础
为什么80%的码农都做不了架构师？>>> 编程语言设计中提到，一门语言包含了语法，语义，语用几个部分；语法是对语言规则的描述，语义是对语法单位，单词符号意义的定义；而了解语…
spark学习——scala基础篇
1、基础语法
1.1 两种变量类型
Val：不可变，在声明时就必须进行初始化，且初始化后就不能被再次赋值 Var：可变，在声音是需要进行初始化，但后续还可以进行再次赋值 在Scala中声明变量必须有这两者其一的定义…
spark-Standalone 三种运行模式
一、驱动driver在集群运行模式, 以cluster方式提交时，port最好设置为6066，因为这种方式提交时，是以rest api方式提交application
bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop101:6066 \
--depl…
讲道理，React中，我们为什么需要写 super(props)？
这篇文章源自 Dan 的博客。 现在的热点是 hooks，所以 Dan 决定写一篇关于 class 组件的文章 ?。 文章中描述的问题，应该不会影响你写代码；不过如果你想深入研究 React 是怎么工作的，这篇文章可能会对你有帮助。 第一个问题&#…
讨喜的隔离可变性－前言
曾有个的医嘱是这样说的：“如果它伤到了你，那就别再用它了”。在并发编程领域，共享可变性就是那个“它”。 虽然JDK的线程API使我们可以非常容易地创建线程，但如何防止线程冲突和逻辑混乱却又成了大问题。STM虽然可以解决部分问题…
CDH中如何升级Spark
公司平时使用的CDH版本的hadoop生态，spark任务是基于yarn来管理的，而不是基于原生的spark master slave集群管理。 因此任务的大致启动模式是： 如果是Cluster模式： A节点启动Spark-submit，这个程序即为clientÿ…
五分钟为HTTP接口提供Java/Scala SDK
Case描述 我现在要使用yarn的两个接口，一个是application 列表，一个是根据appId获取这个app的详情。对应的接口大约如此：http://[dns]/ws/v1/cluster/apps
http://[dns]/ws/v1/cluster/apps/{appId}基于HttpClient的初级封装 基于HttpClient的…
Scala（第一章Scala入门）
文章目录 1.1 概述 1.1.1 为什么学习Scala1.1.2 Scala发展历史1.1.3 Scala和Java关系1.1.4 Scala语言特点 1.2 Scala环境搭建1.3 Scala插件安装1.4 HelloWorld案例 1.4.1 创建IDEA项目工程1.4.2 class和object说明1.4.3 Scala程序反编译 1.5 关联Scala源码1.6官方编程指南 1.1…
Scala（Scala课程简介）
1、Scala ------------- Java （类似于c扩展了c的很多特性） 1、Scala基于JVM，和Java完全兼容，同样具有跨平台、可移植性好、方便的垃圾回收等特性 2、Scala比Java更加面向对象 3、Scala是一门函数式编程语言 2、Scala更适合大数据的…
Spark2.3.1+Kafka0.9使用Direct模式消费信息异常
Spark2.3.1Kafka使用Direct模式消费信息 Maven依赖 <dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-kafka-0-8_2.11</artifactId><version>2.3.1</version>
</dependency>
<dependency>&…
4、jstack查看线程栈信息
2019独角兽企业重金招聘Python工程师标准>>> 1、介绍 利用jps 、 top 、jstack命令找到进程中耗时最大的线程，以及线程状态等等，同时最后还可以显示出死锁的线程 查找：Found one Java-level deadlock 即可 1、jps获得进程号 2、…
Spark笔记：复杂RDD的API的理解（下）
本篇接着谈谈那些稍微复杂的API。 1) flatMapValues：针对Pair RDD中的每个值应用一个返回迭代器的函数，然后对返回的每个元素都生成一个对应原键的键值对记录 这个方法我最开始接触时候，总是感觉很诧异，不是太理解，现…
Scala第十一章节
Scala第十一章节
1.模式匹配
2. Option 类型
3.偏函数
4.正则表达式
5.异常处理
6.提取器
7.案例：随机职业
scala总目录 文档资料下载
两文学会scala （上）｜保姆级别教程（超详细）
目录
一 Scala入门
1.1 概述
1.1.1 为什么学习Scala
1.1.2 Scala发展历史
1.1.3 Scala和Java关系
1.1.4 Scala语言特点
1.2 scala 运行环境准备
二 变量和数据类型
2.1 注释
1）基本语法
2）案例实操
3）代码规范
2.2 变量和常量&a…
scala 连接 MySQL 数据库案例
1 依赖准备
mysql 8添加： <dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.29</version></dependency>
mysql 5 添加： <dependency><grou…
数据科学家的编程语言
数据科学家的编程语言
在今天有256种编程语言可供选择，选择要学习的语言可能会令人不知所措和困难。有些语言更适用于构建游戏，而有些更适用于软件工程，还有一些更适用于数据科学。
编程语言的类型
低级编程语言是计算机用来执行操作的最容…
Scala第十九章节
Scala第十九章节
scala总目录 文档资料下载
章节目标
了解Actor的相关概述掌握Actor发送和接收消息掌握WordCount案例 1. Actor介绍
Scala中的Actor并发编程模型可以用来开发比Java线程效率更高的并发程序。我们学习Scala Actor的目的主要是为后续学习Akka做准备。
1.1 Ja…
scala数组函数合集
目录
1. 添加类函数
2.生成类函数
3.删除类函数
4.查找类函数
5.统计类函数
6.修改类函数
7.判断类函数
8.获取集合元素
9.集合操作类函数
10.转换类函数
11.工具类函数
12.集合内与集合间计算函数 在 scala 中Array数组是一种可变的、可索引的数据集合
创建数组…
Jackson readValue 方法处理List Map等带泛型的类型
2019独角兽企业重金招聘Python工程师标准>>> List<SavedWayPointDto> dtos mapper.readValue(json, new TypeReference<List<SavedWayPointDto>>() {}); 转载于:https://my.oschina.net/u/2453016/blog/666373
Scala开发环境配置
2019独角兽企业重金招聘Python工程师标准>>> Scala语言的潜力不亚于groovy，其语法可以说比python还要新，以至于有些人因此难以接受该语法。Scala是一门函数式、命令式的面向对象的基于JVM的编程语言，可以在控制台或者终端直接执行…
Spark在本地环境进行yarn模式的提交
一般来说，spark on yarn是将spark程序的jar包上传至服务器，然后通过spark-submit的方式。
但是，相信很多人不是一次性就能写没有bug的spark代码，都有反复调试的需求，那么，上述方式的调试效率就很低了&…
spark读取HBase数据的一次坑爹经历
首先，在这里说明一下，我遇到的错误如下： org.apache.hadoop.hbase.DoNotRetryIOException： /192.168.x.x:16020 is unable to read call parameter from client 10.47.x.x 然后，你在spark中读取HBase的方式也与我一样&…
scala predef
scala Predef
1. 由来
Predef是Scala中的一个对象，它提供了一组预定义的方法和常量。这些方法和常量在Scala的每个源文件中都是自动导入的，无需额外的导入语句。
2. 示例
以下是使用Predef的简单示例：
// 使用Predef中的println方法打印…
4.Spark 学习成果转化—机器学习—使用Spark ML的线性回归来预测房屋价格 (线性回归问题)
本文目录如下：第4例 使用Spark ML的线性回归来预测房屋价格4.1 数据准备4.1.1 数据集文件准备4.1.2 数据集字段解释(按列来划分)4.2 使用 Spark ML 实现代码4.2.1 引入项目依赖4.2.2 加载并解析数据4.2.3 对 DtaFrame 中的数据进行筛选与处理4.2.4 特征抽取与转换4.…
2.Spark 学习成果转化—机器学习—使用Spark ML的逻辑回归来预测乳腺癌 (二元分类问题)
本文目录如下：第2例 使用Spark ML的逻辑回归来预测乳腺癌2.1 数据准备2.1.1 数据集文件准备2.1.2 数据集字段解释(按列来划分)2.2 使用 Spark ML 实现代码2.2.1 引入项目依赖2.2.2 加载并解析数据2.2.3 为 ML pipeline 将 RDD 转换为 数据帧2.2.4 特征抽取与转换2.2…
lua-web-utils和proxy程序示例
以下是一个使用lua-web-utils和https://www.duoip.cn/get_proxy的爬虫程序示例。每行代码后面都给出了详细的中文解释。
-- 导入所需的库
local http require("http")
local ltn12 require("ltn12")
local json require("json")
local web_u…
Scala【集合常用方法和函数操作（下）】
前言 接上次（应该是很久之前写的Scala集合常用方法和函数操作（上）的内容），当时Scala差不多是过了一遍了，但是由于学习 Spark 的过程中，好多方法和函数都是 Scala 中的，而且思路基本和…
Flink Data Sink
本专栏案例代码和数据集链接： https://download.csdn.net/download/shangjg03/88477960 1. Data Sinks 在使用 Flink 进行数据处理时，数据经 Data Source 流入，然后通过系列 Transformations 的转化，最终可以通过 Sink 将计算结果进行输出，Flink Data Sinks 就是用于定义…
8.Scala面向对象编程
概述 在这里主要了解Scala中的类、对象和接口 Scala中类和java中的类基本是类似的Scala中的对象是需要定义的，而java中的对象是通过class new出来的Scala中的接口是trait，java中的接口是interface
相关链接 阅读之前，可以浏览一下 scala相关…
大数据技能大赛平台搭建（容器环境）
大数据技能大赛平台搭建（容器环境） 一、Hadoop3.X 完成分布式安装部署1、 JDK安装1、解压jdk2、修改配置文件3、免密登录 2、hadoop集群环境搭建1、配置文件2、配置环境变量3、给slave1和slave2分发配置文件4、启动Hadoop集群 3、配置完成！ 二…
1.Spark Streaming基础—Spark Streaming架构图、背压机制、WordCount 案例实操、WordCount 解析
本文目录如下：第1章 Spark Streaming概述1.1 Spark Streaming 是什么1.2 Spark Streaming架构1.2.1 架构图1.2.2 背压机制第2章 Dstream 入门2.1 WordCount 案例实操2.1.1 添加依赖2.1.2 编写代码2.1.3 启动程序并通过 netcat 发送数据2.2 WordCount 解析第1章 Spar…
06-Scala面向对象
面向对象编程
Scala是一门完全面向对象的语言，摒弃了Java中很多不是面向对象的语法。
虽然如此，但其面向对象思想和 Java的面向对象思想还是一致的
Scala包
1）基本语法
Scala中基本的package包语法和 Java 完全一致
例如…
Scala语言使用Selenium库编写网络爬虫
目录
一、引言
二、环境准备
三、爬虫程序设计
1、导入必要的库和包
2、启动浏览器驱动程序
3、抓取网页内容
4. 提取特定信息
5. 数据存储和处理
四、优化和扩展
五、结语 一、引言
网络爬虫是一种自动抓取互联网信息的程序。它们按照一定的规则和算法，…
Scala爬虫实战：采集网易云音乐热门歌单数据
导言
网易云音乐是一个备受欢迎的音乐平台，汇集了丰富的音乐资源和热门歌单。这些歌单涵盖了各种音乐风格和主题，为音乐爱好者提供了一个探索和分享音乐的平台。然而，有时我们可能需要从网易云音乐上获取歌单数据，以进行音乐推荐…
SparkCore编程RDD
RDD概述
中文名为弹性分布式数据集，是数据处理基本单位。代表一个弹性的，不可变，可分区，里面的数据可并行计算的集合。
RDD和Hadoop MR 的区别：
RDD是先明确数据处理流程，数据在行动算子执行前实际上并未…
智能文件改名，一键与上上级目录名称同步，让文件整理更加便捷
在整理文件时，经常会遇到需要将文件名称与上上级目录名称保持一致的情况。手动逐个修改文件名不仅费时费力，还容易出错。现在，我们为你带来了一款智能文件改名工具，让你能够一键将文件名称改成跟上上级目录名称一样，让…
Scala入门，idea关联Scala
Scala
介绍
Scala是一种多规范的编程语言，它结合了面向对象编程（OOP）和函数式编程（FP）的特征，Scala的名字源于”Scalable language“，意为”可伸缩语言“。2003年开发的，并在JVM&a…
Spark大数据分析与实战笔记（第一章 Scala语言基础-5）
文章目录 每日一句正能量章节概要1.5 Scala的模式匹配与样例类1.5.1 模式匹配字符匹配匹配字符串守卫匹配类型匹配数组、元组、集合 1.5.2 样例类 课外补充偏函数 每日一句正能量 “成功的秘诀，在于对目标的执着追求。”——爱迪生 无论是在工作、学习、还是生活中&…
Scala库用HTTP爬虫IP代码示例
根据提供的引用内容，sttp.client3和sttp.model库是用于HTTP请求和响应处理的Scala库，可以与各种Scala堆栈集成，提供同步和异步，过程和功能接口。这些库可以用于爬虫程序中，用于发送HTTP请求和处理响应。需要注意的是&a…
使用Jsoup库编写程序
Jsoup库编写的Kotlin网络爬虫程序 kotlin import org.jsoup.Jsoup import org.jsoup.nodes.Document import org.jsoup.nodes.Element import org.jsoup.select.Elements import java.net.HttpURLConnection import java.net.URL
fun main(args: Array<String>) { v…
Scala中使用Selenium进行网页内容摘录的详解
前言
公众号成为获取信息的重要途径之一。而对于公众号运营者来说，了解公众号的数据情况非常重要。比如，你可能想要获取公众号的文章内容，进行数据分析或者生成摘要。或者你可能想要监控竞争对手的公众号，了解他们的最新动态动态…
SparkSQL之Rule体系
在Unresolved LogicalPlan逻辑算子树的操作（如绑定、解析、优化等）中，主要方法都是基于规则（Rule）的，通过Scala语言模式匹配机制（Pattern-match）进行树结构的转换或节点改写。Rule是…
SparkSQL之Analyzed LogicalPlan生成过程
经过AstBuilder的处理，得到了Unresolved LogicalPlan。该逻辑算子树中未被解析的有UnresolvedRelation和UnresolvedAttribute两种对象。Analyzer所起到的主要作用就是将这两种节点或表达式解析成有类型的（Typed）对象。在此过程中，…
scala 整合 springboot
scala 整合 springboot
新建spingboot项目 pom.xml
<?xml version"1.0" encoding"UTF-8"?>
<project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocati…
一生一芯14——chisel环境搭建
本人使用的ubuntu版本为22.04 anaconda 版本为23.1.0 本博客参考自https://blog.csdn.net/qq_38798111/article/details/129190615?ops_request_misc%257B%2522request%255Fid%2522%253A%2522169465704516800222836484%2522%252C%2522scm%2522%253A%252220140713.130102334…%…
linux循环调度执行
9.2 循环调度执行
9.2.1 简介
cron的概念和crontab是不可分割的。
crontab是一个命令，常见于Unix和Linux的操作系统之中用于设置周期性被执行的指令。
该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执…
Scala--- Actor通信模型
一、概念理解
1、Java中的并发编程
Java中的并发编程是基于共享数据和加锁的一种机制，即会有一个共享的数据，然后有若干个线程去访问这个共享的数据(主要是对这个共享的数据进行修改)，同时Java利用加锁的机制(即synchronized)来确保同一时间…
为什么 Flink 抛弃了 Scala
曾经红遍一时的Scala
想当初Spark横空出世之后，Scala简直就是语言界的一颗璀璨新星，惹得大家纷纷侧目，连Kafka这类技术框架也选择用Scala语言进行开发重构。 可如今，Flink竟然公开宣布弃用Scala
在Flink1.18的官方文档里&#x…
scala可变参数列表使用
在Scala中，可以使用可变参数列表（varargs）来定义一个函数，以接受可变数量的参数。示例如下：
def printArgs(args: String*): Unit {args.foreach(println)
}// 使用可变参数列表
printArgs("Hello", "…
Qt开发 之 记一次安装 Qt5.12.12 安卓环境的失败案例
文章目录 1、安装Qt2、安卓开发的组合套件2.1、CSDN地址2.2、官网地址2.3、发现老方法不适用了 3、尝试用新方法解决3.1、先安装JDK，搞定JDK环境变量3.1.1、安装jdk3.1.2、确定jdk安装路径3.1.3、打开系统环境变量配置3.1.4、配置系统环境变量3.1.5、验证JDK环境变量…
scala方法与函数
定义方法定义函数方法和函数的区别scala的方法函数操作 1.9 方法与函数 1.9.1 定义方法
定义方法的基本格式是：
def 方法名称（参数列表）：返回值类型 方法体
def add(x: Int, y: Int): Int x y
println(add(1, 2)) // 3
//也…
Scala学习二：访问修饰符/运算符
一、Scala访问修饰符
private, protected, public 如果没有指定访问修饰符，默认情况下，Scala 对象的访问级别都是 public。 Scala 中的 private 限定符，比 Java 更严格，在嵌套类情况下，外层类甚至不能访问被嵌套类的私…
Spark项目Java和Scala混合打包编译
文章目录 项目结构Pom完整文件编译查看 实际开发用有时候引用自己写的一些java工具类，但是整个项目是scala开发的spark程序，在项目打包时需要考虑到java和scala混合在一起编译。 今天看到之前很久之前写的一些打包编译文章，发现很多地方不太对…
全国职业院校技能大赛“大数据应用开发”赛项说明
1、赛项介绍
（1）赛项名称 全 国 职 业 院 校 技 能 大 赛 “大数据应用开发” 赛 项 职业院校技能大赛官网 (vcsc.org.cn)https://www.vcsc.org.cn/ 大赛组织机构介绍 全国职业院校技能大赛(以下简称大…
linux一次性调度执行_at命令
...........................................................................................................................................................
9.1 一次性调度执行
Schedule one-time tasks with at.
............................................…
scala学习五：字符串
十、字符串
Scala中的字符串类型实际上是Java String，它本身没有String Scala中，string是不可变对象，不可修改。如果修改字符串，会产生新的字符串对象
10.1 Scala字符串
创建字符串实例
var greeting Hello World
var greeti…
【Scala】——流程控制
1 if-else 分支控制
让程序有选择的的执行，分支控制有三种：单分支、双分支、多分支
1.1单分支
if (条件表达式) {执行代码块
}1.2 双分支
if (条件表达式) {执行代码块 1
} else {执行代码块 2
}1.3 多分支
if (条件表达式1) {执行代码块 1
} else …
大数据开发之Scala
第 1 章：scala入门
1.1 概述
scala将面向对象和函数式编程结合成一种简洁的高级语言 特点 1、scala和java一样属于jvm语言，使用时都需要先编译为class字节码文件，并且scala能够直接调用java的类库 2、scala支持两种编程范式面向对象和函数式…
【Spark实践6】特征转换FeatureTransformers实践Scala版--补充算子
本节介绍了用于处理特征的算法，大致可以分为以下几组：
提取（Extraction）：从“原始”数据中提取特征。转换（Transformation）：缩放、转换或修改特征。选择（Selection&…
【Scala 】3. 类和对象
3. 类和对象
scala是一种面向对象的函数，其中一部分就是scala语言中支持类的实现。
3.1 类的继承
（1）基类（父类）
类中包含实现面积的计算方法
class Shape { def getArea():Float { return 0 }
}࿰…
5 scala的函数式编程简介
与Java一样，Scala 也是使用 Lambda 表达式实现函数式变成的。
1 遍历
除了使用 for 可以对数组、List、Set 进行遍历外，也可以使用 foreach 函数式编程进行遍历，使代码更为简洁。
foreach 的方法签名为：
foreach(f: (A) > …
【Scala】Scala中的一些基本数据类型的特性 列表、元组、构造器、单例对象、伴生类、伴生对象、抽象类与特质
列表
使用List(“”,“”,“”)去声明 sliding 和 groued表示迭代器 val iter List("Hadoop", "Spark", "Scala") sliding 2// sliding 和 groued 是有区别的while (iter.hasNext){println(iter.next())}for (elem <- iter){println(elem)}…
7 scala的类构造器
在创建对象的时候，需要调用类的构造器。Scala 提供了主构造器和辅助构造器。
1 主构造器
与 Java 一样，如果我们没有特别定义，那么 Scala 提供的默认构造器是没有参数的。
我们可以在类名后，指定构造器的参数列表，列…
8 scala的伴生对象
1 单例对象
在编写 Java 程序时，我们经常会通过编写静态方法代码，去封装常用的 Utility 类。
在 Scala 中没有静态成员这一概念，所以，如果我们要定义静态属性或方法，就需要使用 Scala 的单例对象 object。Scala 的对…
Scala 和 Java在继承机制方面的区别
Scala 和 Java 都是面向对象编程语言，都支持类的继承机制。然而，尽管两者在基础概念上有很多相似之处，但在具体的实现和语法上，Scala 的继承机制有其独特之处。以下是 Scala 和 Java 在继承方面的一些主要区别： 多重继…
Intellij IDEA SBT依赖分析插件
可分析模块和传递依赖
安装完插件后，由于IDEA BUG，会出现两个分析按钮，一个是gradle的，一般是后者是新安装的sbt。 选择需要分析的模块 只需要在project/plugins.sbt中添加代码，启动官方分析插件addDependencyTreeP…
install scala spark env
安装Scala 1，到http://www.scala-lang.org/download/ 下载与Spark版本对应的Scala。Spark1.2对应于Scala2.10的版本。这里下载scala-2.10.4.tgz。 2，解压安装Scala 1）， 执行#tar -axvf scala-2.10.4.tgz，解压到/root/s…
大数据课程J3——Scala的类定义
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的
⚪ 了解Scala的柯里化 Currying；
⚪ 掌握Scala的类定义；
⚪ 掌握Scala的样例类、option类；
⚪ 掌握Scala的隐式转换机制； 一、柯里化 Currying
柯里化（Currying）技术 Christopher St…
Spark大数据分析与实战笔记（第一章 Scala语言基础-2）
文章目录 章节概要1.2 Scala的基础语法1.2.1 声明值和变量1.2.2 数据类型1.2.3 算术和操作符重载1.2.4 控制结构语句1.2.5 方法和函数 章节概要 Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由Scala语言开发实现的，关于大数据技术…
2023_Spark_实验三：基于IDEA开发Scala例子
一、创建一个空项目，作为整个项目的基本框架 二、创建SparkStudy模块，用于学习基本的Spark基础 三、创建项目结构
1、在SparkStudy模块下的pom.xml文件中加入对应的依赖，并等待依赖包下载完毕。 在pom.xml文件中加入对应的依赖
<!-- S…
Scala的特质trait与java的interface接口的区别，以及Scala特质的自身类型和依赖注入
1. Scala的特质trait与java接口的区别
Scala中的特质（trait）和Java中的接口（interface）在概念和使用上有一些区别： 默认实现：在Java中，接口只能定义方法的签名，而没有默认实现。而在…
基于 Scala 的产品开发实践 | 掘金技术征文
原本地址：基于Scala的产品开发实践博客地址：zhangyi.farbox.com/ 我们的产品架构 整体架构 我们的产品代号为Mort（这个代号来自电影《马达加斯加》那只萌萌的大眼猴），是基于大数据平台的商业智能（BI&#x…
Scala语言编程跳出循环
跳出循环分为：跳出本次循环和直接退出循环。
跳出本次循环：
import scala.util.control.Breaks._
if(infos.length!5){break()
}直接退出循环
return
Spark技术内幕：Executor分配详解
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。序列图如下：1. SparkContext创建TaskScheduler和DAG SchedulerSparkConte…
Flink安装与使用
1.安装准备工作
下载flink
Apache Flink: 下载 解压 [dodahost166 bigdata]$ tar -zxvf flink-1.12.0-bin-scala_2.11.tgz
2.Flinnk的standalone模式安装 2.1修改配置文件并启动
修改，好像使用默认的就可以了
[dodahost166 conf]$ more flink-conf.yaml
启动 …
illegal cyclic inheritance involving trait Iterable_2种解决方式
一、报错内容
/Users/liyangda/Code/DemoProject/demo-scala/src/scala/old04/T4.scala:11:20
illegal cyclic inheritance involving trait Iterableval value List(1, 2, 3, 4, 5, 6, 7, 8)二、问题解决
1、方式一：降低scala版本
可以选择降低Scala的版本&…
Scala学习 -- 基础语法
一、变量 1、三种变量修饰符 val 定义 immutable variable（不修改 常量） var 定义 immutable variable（可修改 变量） lazy val （惰性赋值的常量）：不直接算出结果，在系统第一次调用 l…
Lambda表达式（转载）
Java 8的一个大亮点是引入Lambda表达式，使用它设计的代码会更加简洁。当开发者在编写Lambda表达式时，也会随之被编译成一个函数式接口。下面这个例子就是使用Lambda语法来代替匿名的内部类，代码不仅简洁，而且还可读。没有使用Lamb…
你的下一个JVM语言是什么？
2019独角兽企业重金招聘Python工程师标准>>> 这是infoQ上的一篇文章。也可以看到调查的结果： 可以看到，scala、clojure是比较大的圈圈。我觉得更专业，更高效的语言是未来语言发展的趋势。scala和clojure是非常有代表性的两种现代语…
02-Scala变量与数据类型
注释
Scala注释使用和Java完全一样。注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来，再用代码去体现。
单行注释多行注释文档注释
变量与常量
常量：在程序执行的过程中，其值不会被改变的变量
Java中变量…
Scala第十三章节
Scala第十三章节
1. 高阶函数介绍
2. 作为值的函数
3. 匿名函数
4. 柯里化
5. 闭包
6. 控制抽象
7. 案例: 计算器
scala总目录 文档资料下载
Scala第十六章节
Scala第十六章节
scala总目录 文档资料下载
章节目标
掌握泛型方法, 类, 特质的用法了解泛型上下界相关内容了解协变, 逆变, 非变的用法掌握列表去重排序案例 1. 泛型
泛型的意思是泛指某种具体的数据类型, 在Scala中, 泛型用[数据类型]表示. 在实际开发中, 泛型一般是结合…
为程序员量身定制的12个目标
对程序员们来说挑战自我非常重要，要么不断创新，要么技术停滞不前。新年伊始，我整理了12个月的目标，每个目标都是对技术或个人能力的挑战，而且可以年复一年循环使用。 01. 变得有耐心 02. 保持健康 03. 拥抱变化带来的不…
Scala第二十章节
Scala第二十章节
scala总目录 文档资料下载
章节目标
理解Akka并发编程框架简介掌握Akka入门案例掌握Akka定时任务代码实现掌握两个进程间通信的案例掌握简易版spark通信框架案例 1. Akka并发编程框架简介
1.1 Akka概述
Akka是一个用于构建高并发、分布式和可扩展的基于事…
Apache HttpClient库编写的Scala程序
Apache HttpClient库编写的Scala下载器程序，用于下载图片。代码如下：
import org.apache.http.HttpHost
import org.apache.http.client.HttpClients
import org.apache.http.client.methods.HttpHead
import org.apache.http.impl.client.CloseableHtt…
016 Spark中关于购物篮的设计,以及优化（两个点）
一：介绍 1.购物篮的定义 2.适用场景 3.相关概念 4.步骤 5.编程实现 6.步骤 二：程序 1.程序 1 package com.ibeifeng.senior.mba.association2 3 import org.apache.hadoop.fs.{FileSystem, Path}4 import org.apache.spark.rdd.RDD5 import org.apache.s…
一生一芯18——Chisel模板与Chisel工程构建
Chisel模板链接如下：
链接: https://pan.baidu.com/s/1DNDKpz5VnTxPgoZBBOd-Ww?pwdrevg 提取码: revg 以下使用sbt作为构建工具 Chisel项目构建介绍 多项目构建的基本概念项目结构和目录布局根项目目录 (my-project/)子项目目录定义子项目编译和测试 目录结构示例…
Scala的队列与并行集合
Scala的队列与并行集合
在 Scala 中，队列和并行集合是常用的数据结构和并发编程工具。
1. 队列（Queue）
Scala 提供了可变和不可变两种队列。可变队列通过 scala.collection.mutable.Queue 类来实现，而不可变队列通过 scala.col…
scala解析命令行参数详解
如何用scala解析命令行参数：
首先，需要在项目中添加Apache Commons CLI库的依赖。可以在pom.xml中加，
也可以在build.sbt文件中添加如下行：
libraryDependencies "commons-cli" % "commons-cli" % "…
轻松记录收支明细，一键打印，财务无忧！
作为现代人，管理好个人财务是非常重要的。但是，如何记录收支明细并打印出来呢？今天，我们向您推荐一款财务软件，帮助您轻松解决这个问题。
首先第一步，我们要打开【晨曦记账本】，并登录账号。 第…
Scala第十七章节
Scala第十七章节
scala总目录 文档资料下载
章节目标
了解集合的相关概念掌握Traversable集合的用法掌握随机学生序列案例 1. 集合
1.1 概述
但凡了解过编程的人都知道程序 算法 数据结构这句话, 它是由著名的瑞士计算机科学家尼古拉斯沃斯提出来的, 而他也是1984年图灵…
用idea工具scala 和 Java开发 spark案例：WordCount
目录
一 环境准备
二 scala代码编写
三 java 代码编写 一 环境准备 创建一个 maven 工程 添加下列依赖 <dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>${spark.version}</vers…
Gemmini测试test文件chisel源码详解（二）
HeaderGenerationUnitTest.scala
源码如下：
package gemminiimport org.scalatest.FlatSpecclass HeaderGenerationUnitTest extends FlatSpec {it should "generate a header" in {println(GemminiConfigs.defaultConfig.generateHeader())}
}
Header…
运动跑步耳机哪个牌子好、值得推荐的运动耳机
作为一位热衷于运动的爱好者，对于运动装备的要求十分严格。家里有很多手环和跑鞋，但在跑步时最喜欢的是听歌。一首好曲子能够改善跑步体验，延缓疲劳感。当然，并非所有的耳机都适合运动使用，选择运动耳机时需要考虑到运…
Java / Scala - Trie 树简介与应用实现
目录
一.引言
二.Tire 树简介
1.树 Tree
2.二叉搜索树 Binary Search Tree
3.字典树 Trie Tree
3.1 基本概念
3.2 额外信息
3.3 结点实现
3.4 查找与存储
三.Trie 树应用
1.应用场景
2.Java / Scala 实现
2.1 Pom 依赖
2.2 关键词匹配
四.总结 一.引言
Trie 树…
【spark】java类在spark中的传递，scala object在spark中的传递
记录一个比较典型的问题，先讲一下背景，有这么一个用java写的类
public class JavaClass0 implements Serializable {private static String name;public static JavaClass0 getName(String str) {if (name null) {namestr;}return name;}...
}然后在sp…
spark底层为什么选择使用scala语言开发
Spark 底层使用 Scala 开发有以下几个原因：
基于Scala的语言特性 集成性：Scala 是一种运行在 Java 虚拟机（JVM）上的静态类型编程语言，可以与 Java 代码无缝集成。由于 Spark 涉及到与大量 Java 生态系统的交互&#x…
备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理
或者在my.ini文件中，[mysqld]节点下，添加skip-grant-tables后，再启动！任务书 软件名称 版本 ubuntu 18.04 64 位 Hadoop：hadoop-3.1.3.tar.gz 3.1.3 Jdk：jdk-8u212-linux-x64.tar.gz 1.8 Spark&…
Flink中的时间和窗口操作
1.窗口概念 在大多数场景下，我们需要统计的数据流都是无界的，因此我们无法等待整个数据流终止后才进行统计。通常情况下，我们只需要对某个时间范围或者数量范围内的数据进行统计分析：如每隔五分钟统计一次过去一小时内所有商品的点击量；或者每发生1000次点击后，都去统计一…
Scala函数和闭包
1. 函数 1.1 函数与方法 Scala 中函数与方法的区别非常小，如果函数作为某个对象的成员，这样的函数被称为方法，否则就是一个正常的函数。 // 定义方法
def multi1(x:Int) = {x * x}
// 定义函数
val multi2 = (x: Int) => {x * x}println(multi1(3)) //输出 9
println(mul…
2023_Spark_实验五：Scala面向对象部分演示（一）（IDEA开发）
1、面向对象的基本概念
把数据及对数据的操作方法放在一起，作为一个相互依存的整体——对象，面向
对象的三大特征： 封装 继承 多态
2、类的定义
简单类和无参方法 class Counter{private var value 0;def increment() { value1};def…
Scala的集合操作之可变数组和不可变数组，可变List集合与不可变List集合,可变Set与不可变Set操作，可变和不可变Map集合和元组操作
Scala的集合操作之，可变数组和不可变数组，可变List集合与不可变List集合
不可变数组
/*
traversable/ˈtrvəsəbl/adj.能越过的；可否认的*/
object Test01_ImmutableArray {def main(args: Array[String]): Unit {// 1. 创建数组val arr:…
Scala集合常用函数与集合计算简单函数，高级计算函数Map和Reduce等
Scala集合常用函数与集合计算简单函数
1.Scala集合常用函数
基本属性和常用操作
1.常用函数：
（1） 获取集合长度（2） 获取集合大小（3） 循环遍历（4） 迭代器（…
Spark大数据分析与实战笔记（第一章 Scala语言基础-3）
文章目录 1.3 Scala的数据结构1.3.1 数组数组的遍历数组转换 1.3.2 元组创建元组获取元组中的值拉链操作 1.3.3 集合ListSetMap 1.3 Scala的数据结构 对于每一门编程语言来说，数组（Array）都是重要的数据结构之一，主要用来存储数据…
Scala在大数据领域的崛起：当前趋势和未来前景
文章首发地址 Scala在大数据领域有着广阔的前景和现状。以下是一些关键点：
Scala是一种具有强大静态类型系统的多范式编程语言，它结合了面向对象编程和函数式编程的特性。这使得Scala非常适合处理大数据，因为它能够处理并发、高吞吐量和复杂…
Scala 高阶：Scala中的模式匹配
一、概述
Scala中的模式匹配（case）类似于Java中的switch...case，但是Scala的模式匹配功能更为强大。通过模式匹配，可以匹配更复杂的条件和数据结构，包括常量、类型、集合、元组等。而 Java 的 switch 语句只能用于匹配…
2024收入最高的编程语言
我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情 1.Python Python 是最流行、用途最广泛的语言之一。它通常用于网络开发、数据科学、机器学习等。
以下是 Python 编程语言的一些主要用途：
Web 开发&…
linux下基于指定目录及子目录下所有文件中指定字符串进行替换
使用sed命令进行替换: sed -i s/old_string/new_string/g /path/to/directory/*使用find命令结合sed进行替换: find /path/to/directory -type f -exec sed -i s/old_string/new_string/g {} 使用grep命令找到包含指定字符串的文件，再使用sed进行替换: grep -rl old…
【Scala】——变量数据类型运算符
1. 概述
1.1 Scala 和 Java 关系 1.2 scala特点 Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言（静态语言需要提前编译的如：Java、c、c等，动态语言如&#…
数据操作——缺失值处理
缺失值处理
缺失值的处理思路
如果想探究如何处理无效值, 首先要知道无效值从哪来, 从而分析可能产生的无效值有哪些类型, 在分别去看如何处理无效值 什么是缺失值 一个值本身的含义是这个值不存在则称之为缺失值, 也就是说这个值本身代表着缺失, 或者这个值本身无意义, 比如…
Scala中编写多线程爬虫程序并做可视化处理
在Scala中编写一个爬虫程序来爬取店铺商品并进行可视化处理，需要使用Selenium和Jsoup库来操作网页。在这个例子中，我们将使用多线程来提高爬取速度。 1、首先，我们需要引入所需的库：
import org.openqa.selenium.By
import org.o…
SparkSQL之Optimized LogicalPlan生成过程
经过Analyzer的处理，Unresolved LogicalPlan已经解析成为Analyzed LogicalPlan。Analyzed LogicalPlan中自底向上节点分别对应Relation、Subquery、Filter和Project算子。 Analyzed LogicalPlan基本上是根据Unresolved LogicalPlan一对一转换过来的，…
（三十四）大数据实战——scala运行环境安装配置及IDEA开发工具集成
前言
本节内容我们主要介绍一下scala运行环境的安装配置以及在idea开发工具中集成scala插件，便于scala项目的开发。 在开始scala安装配置之前，我们要先安装好jvm运行环境，scala运行于Java虚拟机（JVM）上，并…
关于SparkRdd和SparkSql的几个指标统计，scala语言，打包上传到spark集群，yarn模式运行
需求：
❖ 要求:分别用SparkRDD, SparkSQL两种编程方式完成下列数据分析,结合webUI监控比较性能优劣并给出结果的合理化解释.
1、分别统计用户，性别，职业的个数：
2、查看统计年龄分布情况（按照年龄分段为7段࿰…
使用Perl和WWW::Mechanize库编写
以下是一个使用Perl和WWW::Mechanize库编写的网络爬虫程序的内容。代码必须使用以下代码：jshk.com.cn/get_proxy
首先，确保已经安装了Perl和WWW::Mechanize库。如果没有，请使用以下命令安装：
cpan WWW::Mechanize创建一个新的Pe…
Scala---迭代器模式+Trait特质特性
Scala迭代器模式处理数据
scala中创建集合需要内存，集合与集合之间的转换时，每次转换生成新的集合时，新的集合也需要内存。如果有一个非常大的初始集合，需要经过多次转换，每次转换都生成一个新的集合，才能…
Spark scala如何本地运行
Spark scala如何本地运行 Spark任务调试太费时间啦Spark Scala本地运行 Spark任务调试太费时间啦
Apache Spark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算，且提供了很多高级工具，包括支持SQL查询、流数据处理、机…
3 scala集合-Set
与 Java 的 Set 一样，scala 的 set 中，元素都是唯一的，而且遍历 set 中集合的顺序，跟元素插入的顺序是不一样的。
同样，Set 也包含可变和不可变两种。要实现可变 Set 集合，需要使用类 scala.collection.mu…
9 scala的类继承及trait
1 class 继承
为了提高代码的重用性，提高开发效率，Scala 的 class 是支持继承的。
Scala 的继承与 Java 的继承非常类似：
(1) 单继承：
类似于 Java，Scala 也只支持单继承，一个类只能直接继承自一个父类…
打造智能汽车微服务系统平台：架构的设计与实现
随着智能汽车技术的飞速发展，微服务架构在汽车行业中的应用越来越广泛。采用微服务架构可以使汽车系统更加灵活、可扩展，并且有利于快速推出新功能和服务。本文将从设计原则、关键技术、数据安全等方面，介绍如何搭建智能汽车微服务系统平台架…
大数据技能竞赛（需要提供相关答疑私信）
全国职业院校技能大赛模拟题 （平台搭建，离线数据清洗，实时数据分析，可视化，综合分析） 大数据平台搭建 大数据技术与应用技能竞赛题目解析及代码分析实验 Hadoop完全分布式安装配置/伪分布式安装配置 Spark、…
Spark-Scala语言实战（14）
在之前的文章中，我们学习了如何在spark中使用键值对中的fullOuterJoin，zip，combineByKey三种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点…
linux 内核升级-离线(1)，Linux运维开发大佬的百度美团快手等大厂Offer收割之旅
Running transaction 正在安装 : kernel-ml-tools-libs-6.8.1-1.el7.elrepo.x86_64 1/38 正在安装 : kernel-ml-tools-6.8.1-1.el7.elrepo.x86_64 2/38 正在安装 : 1:perl-parent-0.225-244.el7.noarch 3/38 … 正在更新 : python-perf-5.4.272-1.el7.elrepo.x86_64 37/38 清理…
Docker容器嵌入式开发：在Ubuntu上配置Scala开发环境与项目运行
一、环境配置
在Ubuntu上配置Scala开发环境相对简单。以下是配置步骤：
安装Java开发工具包（JDK）：
打开终端，并运行以下命令安装默认的OpenJDK：
sudo apt update
sudo apt install default-jdk安装完成后…
给 spyter/all-spark-notebook 添加scala支持
spyter/all-spark-notebook默认没有安装scala notebook，需要手动添加。
你可以创建一个新的 Dockerfile，在其中添加你需要的配置和组件。以下是一个简单的例子： FROM jupyter/all-spark-notebook:x86_64-ubuntu-22.04
#冒号后可以是latest&a…
【已解决】Cannot find project Scala library 2.11.8 for module XXX
问题描述
在 flink 示例程序调试过程中，reload project 报错 Cannot find project Scala library 2.11.8 for module HbasePrint 报错如下图所示：
问题解决
经过搜索，初步判定是 pom 文件中 Scala 版本配置和项目中实际使用的版本不一致导…
Scala---方法与函数
一、Scala方法的定义 有参方法&无参方法
def fun (a: Int , b: Int) : Unit {println(ab)
}
fun(1,1)def fun1 (a: Int , b: Int) ab
println(fun1(1,2))
注意点：
方法定义语法 用def来定义可以定义传入的参数，要指定传入参数的类型方法可以写返…
【Scala】 2. 函数
2. 函数
scala运算符、if … else …两部分和C语言类型，这里不再赘述，这里从for循环开始讲讲scala和c/c的不同之处。
2.1 for循环
scala中主要包含to和until两个关键字，下面分别看看两者的用法，看例子就行了。
(1) to的用法
…
Scala--01--简介、环境搭建
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 1. Scala简介1.1 Scala是什么？官网： [https://scala-lang.org/](https://scala-lang.org/)官方文档： [https://docs.scala-lang.…
MongoDB更新文档
3.4 MongoDB更新文档
MongoDB 使用 update() 和 save() 方法来更新集合中的文档。
update() 更新
update() 方法用于更新已存在的文档。语法格式如下：
db.collection.update(<query>,<update>,{upsert: <boolean>,multi: <boolean>,wri…
Scala学习一：语法基础/数据类型/变量
一、基础语法
1.1 命名要点
区分大小写类名 - 对于所有的类名的第一个字母要大写，并且用驼峰式写法方法名称 - 所有的方法名称的第一个字母用小写，如果多个单词，后面的单词驼峰式程序文件名 - 程序文件的名称应该与对象名称完全匹配(新版本…
高级大数据技术 实验一 scala编程
高级大数据技术 实验一 scala编程
写的不是很好，大家多见谅！
1. 计算水仙花数
实验目标;
（1） 掌握scala的数组，列表，映射的定义与使用
（2） 掌握scala的基本编程
实验说明 …
SparkSQL函数操作
1.5 SparkSQL函数操作
1.5.1 函数的定义
SQL中函数，其实说白了就是各大编程语言中的函数，或者方法，就是对某一特定功能的封装，通过它可以完成较为复杂的统计。这里的函数的学习，就基于Hive中的函数来学习。
1.5.2 函…
Scala---元组
1、元组定义
与列表一样，与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。
2、创建元组与取值
val tuple new Tuple（1） 可以使用newval tuple2 Tuple（1,2） 可以不使…
Scala - 函数柯里化(Currying)
柯里化(Currying)指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第二个参数为参数的函数。
实例
首先我们定义一个函数:
def add(x:Int,y:Int)xy
那么我们应用的时候，应该是这样用：add(1,2)
现在我们把这…
mongodb聚合_删除_可视化工具
3.5 MongoDB中limit和skip
MongoDB Limit() 方法
如果你需要在MongoDB中读取指定数量的数据记录，可以使用MongoDB的Limit方法，limit()方法接受一个数字参数，该参数指定从MongoDB中读取的记录条数。limit()方法基本语法如下所示：…
Flink项目实战篇 基于Flink的城市交通监控平台（下）
系列文章目录
Flink项目实战篇 基于Flink的城市交通监控平台（上） Flink项目实战篇 基于Flink的城市交通监控平台（下） 文章目录 系列文章目录4. 智能实时报警4.1 实时套牌分析4.2 实时危险驾驶分析4.3 出警分析4.4 违法车辆轨迹跟…
Flink项目实战篇 基于Flink的城市交通监控平台（上）
系列文章目录
Flink项目实战篇 基于Flink的城市交通监控平台（上） Flink项目实战篇 基于Flink的城市交通监控平台（下） 文章目录 系列文章目录1. 项目整体介绍1.1 项目架构1.2 项目数据流1.3 项目主要模块 2. 项目数据字典2.1 卡口…
[scala] 列表常见用法
文章目录 不可变列表 List可变列表 ListBuffer 不可变列表 List
在 Scala 中，列表是一种不可变的数据结构，用于存储一系列元素。列表使用 List 类来表示，它提供了许多方法来操作和处理列表。
下面是一些常见的使用列表的示例： 创…
【kafka】使用kafka client连接 kerberos认证的 kafka，scala版
注意keytab路径中不要使用\\，都使用/作为分隔符
使用kerberos需要配置jaas如下日志打印，两个配置至少设置一个：
[DEBUG] org.apache.kafka.common.security.JaasContext:106 --- System property java.security.auth.login.config and Kafk…
2 scala集合-元组和列表
1 元组
元组也是可以存放不同数据类型的元素，并且最重要的是，元组中的元素是不可变的。
例如，定义一个元组，包含字符串 hello，数字 20。如果试图把数字 20 修改为 1，则会报错。
scala> var a ("…
SparkSQL之Catelog体系
按照SQL标准的解释，在SQL环境下Catalog和Schema都属于抽象概念。在关系数据库中，Catalog是一个宽泛的概念，通常可以理解为一个容器或数据库对象命名空间中的一个层次，主要用来解决命名冲突等问题。 在Spark SQL系统中，…
Scala第十九章节(Actor的相关概述、Actor发送和接收消息以及WordCount案例)
Scala第十九章节
章节目标
了解Actor的相关概述掌握Actor发送和接收消息掌握WordCount案例 1. Actor介绍
Scala中的Actor并发编程模型可以用来开发比Java线程效率更高的并发程序。我们学习Scala Actor的目的主要是为后续学习Akka做准备。
1.1 Java并发编程的问题
在Java并…
Windows环境下Scala编程环境搭建
不知道多少人和曾经的我一样，对于安装环境搭建一直无脑跟做，报一堆错，无脑百度迟迟才解决，所以懂搭建逻辑，步骤前后关系是非常，非常，非常重要的，所以接下来我会先讲逻辑，…
Scala第一章节(Scala的介绍以及环境搭建)
Scala第一章节
章节目标
理解Scala的相关概述掌握Scala的环境搭建掌握Scala小案例: 做最好的自己 1. Scala简介
1.1 概述
Scala(斯嘎拉)这个名字来源于"Scalable Language(可伸缩的语言)", 它是一门基于JVM的多范式编程语言, 通俗的说: Scala是一种运行在JVM上…
Scala第八章节(使用trait独立完成适配器, 模板方法, 职责链设计模式、了解trait继承class的写法)
Scala第八章节
章节目标
能够使用trait独立完成适配器, 模板方法, 职责链设计模式能够独立叙述trait的构造机制能够了解trait继承class的写法能够独立完成程序员案例 1. 特质入门
1.1 概述
有些时候, 我们会遇到一些特定的需求, 即: 在不影响当前继承体系的情况下, 对某些类…
Scala第五章节(方法、函数的格式和用法以及九九乘法表案例)
Scala第五章节
章节目标
掌握方法的格式和用法掌握函数的格式和用法掌握九九乘法表案例 1. 方法
1.1 概述
实际开发中, 我们需要编写大量的逻辑代码, 这就势必会涉及到重复的需求. 例如: 求10和20的最大值, 求11和22的最大值, 像这样的需求, 用来进行比较的逻辑代码需要编写…
Scala第二章节(变量, 字符串的定义和使用、数据类型的划分和转换、键盘录入功能以及常量, 标识符)
Scala第二章节
章节目标
掌握变量, 字符串的定义和使用掌握数据类型的划分和数据类型转换的内容掌握键盘录入功能理解Scala中的常量, 标识符相关内容 1. 输出语句和分号
1.1 输出语句
方式一: 换行输出
格式: println(里边写你要打印到控制台的数据);方式二: 不换行输出 …
如何使用ScrapySharp下载网页内容
C#简介
C#是一种由微软开发的通用、面向对象的编程语言。它结合了C和C的优点，并封装了Java的一些特性。C#被广泛评价Windows平台的软件开发，包括Web应用、桌面应用和游戏开发等领域。
使用场景
在网络数据挖掘和信息收集的过程中，我们需要…
Scala（一）基本类型
Scala语言快速入门（基本类型）
一、Linux和Windows环境安装
这部分跳过，直接使用IDEA进行搭建，和其他编程语言配置差不多
二、HelloWorld
1.object表示一个伴生对象（相当于一个对象）2.HelloWorld是对象的…
flink1.18.0报错 an implicit exists from scala.Int =＞ java.lang.Integer, but
完整报错
type mismatch;found : Int(100)required: Object
Note: an implicit exists from scala.Int > java.lang.Integer, but
methods inherited from Object are rendered ambiguous. This is to avoid
a blanket implicit which would convert any scala.Int to a…
Linux环境grep搜索方法记录
1 grep
grep 命令，用来搜索字符串所在位置，可以具体到不同文件，不同行； 在Linux 下，查看命令释义如下
zhaocubuntu2004:~$ grep --help
Usage: grep [OPTION]... PATTERNS [FILE]...
Search for PATTERNS in each FI…
【Scala 】注解
在 Scala 中，你可以使用注解来为类、方法或字段添加元数据，影响它们的行为。Scala 的注解使用与 Java 类似，但是 Scala 也支持自定义注解。 文章目录 注解的常见使用方法自定义注解 注解的常见使用方法
以下是一些 Scala 中常见的注解以及它…
Spark-Scala语言实战（5）
在之前的文章中，我们学习了如何在scala中定义与使用集合和元组。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-Scala语言实战（…
starrocks3.0 编写自定义UDF java/scala版本 clickhouse中countResample
文章主线
通过自定义UDAF 实现clickhouse中的内置函数 countResample 官方文档
Java UDF | StarRocks
UDF
java scala都可以
UDAF
java可以 scala一直报错类找不到 实际上类在的
UDAF 可以接受多个参数输入 比如固定值 比如列数据 UDAF 目前不支持返回复杂数据类型 …
Scala第四章节(分支结构的格式和用法、for循环和while循环、控制跳转语句以及循环案例)
Scala第四章节
章节目标
掌握分支结构的格式和用法掌握for循环和while循环的格式和用法掌握控制跳转语句的用法掌握循环案例理解do.while循环的格式和用法 1. 流程控制结构
1.1 概述
在实际开发中, 我们要编写成千上万行代码, 代码的顺序不同, 执行结果肯定也会受到一些影响…
Scala基础(待更新...)
Scala基础
一、Scala简介与概述
Scala简介
Scala源自Java Scala构建在JVM之上Scala与Java兼容、互通(❗ 不要混合编码) Scala的优势 多范式编程：支持面向对象编，程、面向过程编程、函数式编程等多种编程范式(函数式编程是Spark的重中之重)表达能力强&…
IDEA上的Scala环境搭建
Scala环境搭建
一、搭建Scala开发环境
安装Scala编译器 安装scala-2.12.10.msi 检查scala安装情况 在dos窗口输入scala，检查是否能够进入编译器。进行简单的scala命令计算
在IDEA中进行scala编码
File - Settings - Plugins - MarketPlace中搜索scala插件
安…
Spark-Scala语言实战（8）
在之前的文章中，我们学习了如何在spark中使用RDD方法的map,sortby,collect。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-Scala语言实战&…
用docker 配置scala spark环境
要使用Docker配置Scala和Spark环境，您可以按照以下步骤进行操作。以下是一个基本的示例，您可能需要根据您的具体需求进行调整。 安装Docker: 在您的系统上安装Docker。您可以从Docker官方网站下载并安装适用于您操作系统的版本。 创建Dockerfile: 在您的…
Linux上安装Scala
Linux上安装Scala并演示基础功能 大家好，今天我们将一起在Linux系统上安装Scala，并演示其基础功能。Scala是一种多范式的编程语言，集成了面向对象编程和函数式编程的特性，非常适合构建大规模、高可靠性的软件系统。
首先…
scala05-函数式编程01
函数和方法
package com.zishi.scala.a02.okk05object Test01_FunctionAndMethod {/*** public void main(final String[] args) {* sayHi$1("alice"); -- 这里调用的就是：sayHi$1* this.sayHi("bob");* String result this.sayHel…
Scala第七章节(继承和抽象类、匿名内部类的用法、类型转换的内容以及动物类案例)
Scala第七章节
章节目标
掌握继承和抽象类相关知识点掌握匿名内部类的用法了解类型转换的内容掌握动物类案例 1. 继承
1.1 概述
实际开发中, 我们发现好多类中的内容是相似的(例如: 相似的属性和行为), 每次写很麻烦. 于是我们可以把这些相似的内容提取出来单独的放到一个类…
Spark-Scala语言实战（3）
在之前的文章中，我们学习了如何在来如何在IDEA离线和在线安装Scala，想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-Scala语言实…
利用Scala与Apache HttpClient实现网络音频流的抓取
概述
在当今数字化时代，网络数据的抓取和处理已成为许多应用程序和服务的重要组成部分。本文将介绍如何利用Scala编程语言结合Apache HttpClient工具库实现网络音频流的抓取。通过本文，读者将学习如何利用强大的Scala语言和Apache HttpClient库来抓取网…
使用Flink实现MySQL到Kafka的数据流转换
使用Flink实现MySQL到Kafka的数据流转换
本篇博客将介绍如何使用Flink将数据从MySQL数据库实时传输到Kafka，这是一个常见的用例，适用于需要实时数据connector的场景。
环境准备
在开始之前，确保你的环境中已经安装了以下软件：…
Scala--03--变量和数据类型
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 变量和数据类型1.注释2 变量和常量（重点）3 标识符的命名规范4 字符串输出5.IO 输入 输出键盘输入读写文件 IO 6.数据类型（重点&a…
Scala中文unicode互转
// 中文符号对应的十进制
val single Seq(12290,65311,65281,65292,12289,65307,65306,12300,12301,12302,12303,8216,8217,8220,8221,65288,65289,12308,12309,12304,12305,8212,8230,8211,65294,12298,12299,12296,12297,12288)
val code """</b> Aa,…
Scala 的安装与使用
目录 1 安装 JDK 1.82 安装 Scala3 Scala 插件安装4 Hello Scala 案例 Windows环境安装 1 安装 JDK 1.8 可参见 Windows下安装JDK1.8详细步骤
2 安装 Scala 解压文件：scala-2.12.11.zip（解压目录要求无中文无空格） 配置环境变量 环境测试 如…
Unix运维_Tcsh脚本_编译安装OpenSSL-1.1.1g
Unix运维_Tcsh脚本_编译安装OpenSSL-1.1.1g
csh 文件是一种 Unix Shell 脚本文件，其扩展名为 .csh 或 .tcsh。和其他 Unix Shell 脚本文件一样，它可用于执行一系列的命令，包括调用其他脚本或程序等。
通常，csh 文件中包含的命令…
挖掘网络宝藏：利用Scala和Fetch库下载Facebook网页内容
介绍
在数据驱动的世界里，网络爬虫技术是获取和分析网络信息的重要工具。本文将探讨如何使用Scala语言和Fetch库来下载Facebook网页内容。我们还将讨论如何通过代理IP技术绕过网络限制，以爬虫代理服务为例。
技术分析
Scala是一种多范式编程语言&…
使用python和perl语言实现xlsx转化为csv
下面提供使用 Python 和 Perl 两种常用语言的示例代码，来实现将 Excel 文件 (.xlsx) 转换为 CSV 文件。
首先是 Python 的示例代码：
使用 Python 实现 xlsx 转换为 csv：
# 导入所需模块
import pandas as pd# 读取 Excel 文件并写入 CSV 文…
Scala第二十章节(Akka并发编程框架、Akka入门案例、Akka定时任务代码实现、两个进程间通信的案例以及简易版spark通信框架案例)
Scala第二十章节
章节目标
理解Akka并发编程框架简介掌握Akka入门案例掌握Akka定时任务代码实现掌握两个进程间通信的案例掌握简易版spark通信框架案例 1. Akka并发编程框架简介
1.1 Akka概述
Akka是一个用于构建高并发、分布式和可扩展的基于事件驱动的应用工具包。Akka是…
【超全详解一文搞懂】Scala基础
目录 Scala 01 —— Scala基础一、搭建Scala开发环境安装Scala编译器在IDEA中进行scala编码 二、Scala简介与概述Scala简介Scala概述Scala代码规范 三、理解Scala变量与数据类型Scala的变量与常量Scala和Java变量的区别 Scala的数据类型 四、Scala的程序逻辑1.表达式2.运算符3.…
Spark-Scala语言实战（10）
在之前的文章中，我们学习了如何在spark中使用RDD的filter,distinct,intersection三种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-…
利用scala书写spark程序实现wordCount
实验环境：虚拟机（centos）上创建了三台集群，部署了Hadoop，words文档放在HDFS上的目录下 所用版本如下： <hadoop.version>2.7.7</hadoop.version> <spark.version>2.4.5</spark.version…
Spark-Scala语言实战（6）
在之前的文章中，我们学习了如何在scala中定义与使用类和对象，并做了几道例题。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-S…
一文了解 2024 美国流媒体行业动态
Tubi 每年都会发布流媒体市场研究报告，这既是对流媒体市场的深入参与和贡献，也能帮助广告商深入理解流媒体用户群体和 Tubi 的独特优势。
近日，Tubi 发布了 2024 年美国流媒体市场调研报告，本文将概要介绍其中的关键内容…
深入解析大数据Scala面试题及参考答案（持续更新）
Scala，作为一种多范式编程语言，因其强大的功能性和与Java的互操作性，在大数据和并发编程领域备受青睐。本文将深入探讨10个常见的Scala面试题，并提供详尽的参考答案，以期帮助读者在面试中展现其Scala编程的深厚功底。
目录
1. Scala的基本特性是什么？
2. 什么是函数式…
查看Scala类的方法
文章目录 一、概述如何查看Scala类的方法二、使用Scala文档查看类的方法三、使用反射机制查看类的方法 一、概述如何查看Scala类的方法
本文介绍了在Scala中查看Int类方法的两种方法：使用Scala标准库文档和使用反射机制。通过Scala标准库文档，您可以方便…
使用Intellij idea编写Spark应用程序(Scala+Maven)
使用Intellij idea编写Spark应用程序(ScalaMaven)
对Scala代码进行打包编译时，可以采用Maven，也可以采用sbt，相对而言，业界更多使用sbt。这里介绍IntelliJ IDEA和Maven的组合使用方法。IntelliJ IDEA和SBT的组合使用方法…
用C语言采集亚马逊amazon产品数据
上一篇文章我是用C写的一个爬取亚马逊的爬虫程序，相信大家已经看过了，这次呢，我依然使用C语言来写一个爬虫，大体上思路是和之前一样，只是支持的库以及语法有些区别，具体的呢我会一一解释出来，方…
硬件描述语言 Chisel 入门教程
硬件描述语言 Chisel 入门教程 文章目录 硬件描述语言 Chisel 入门教程硬件描述语言 Chisel 入门教程目录Chisel简介安装Chisel环境 硬件描述语言 Chisel 入门教程基础语法定义数据类型定义模块实例化模块 构建 Chisel 项目模块定义与使用生成Verilog代码测试与验证 硬件描述语…
新手学习指南：用Scala采集外卖平台
学习爬虫不是一蹴而就的，在掌握相关的知识点的同时，还要多加练习，学习是一部分，更多的还是需要自己上手操作，这里配合自己学习的基础，以及使用一些爬虫的专有库，就可以轻松达到自己想要的数据。…
Spark---累加器和广播变量
文章目录 1.累加器实现原理2.自定义累加器3.广播变量 1.累加器实现原理
累加器用来把 Executor 端变量信息聚合到 Driver 端。在 Driver 程序中定义的变量，在Executor 端的每个 Task 都会得到这个变量的一份新的副本，每个 task 更新这些副本的值后&…
Perl语言用多线程爬取商品信息并做可视化处理
首先，我们需要使用Perl的LWP::UserAgent模块来发送HTTP请求。然后，我们可以使用HTML::TreeBuilder模块来解析HTML文档。在这个例子中，我们将使用BeautifulSoup模块来解析HTML文档。 #!/usr/bin/perl
use strict;
use warnings;
use LWP::User…
chisel之scala 语法
Chisel新手教程之Scala语言（1）
Value & variable
Value是immutable的，当它被分配一个数据后，无法进行重新分配。用 val 表示。
Variable是mutable的，可以重复赋值。用 var 表示。示例如下：
val a …
14.scala隐式转换
目录 概述实践代码执行结果 结束 概述
隐式转换：偷偷的(隐式)对现有功能进行增强(转换)
实践
代码
package com.fun.scalaimport java.io.File
import scala.io.Sourceobject ImplicitApp {def main(args: Array[String]): Unit {// implicit 2 to 等价 &…
【Scala】一、Scala 语法基础
Scala
一些简单的小概述
用于练习以及开发的 Scala 版本：2.11.8
这里使用 IDEA 作为 Scala 的 IDE
注意，我们必须安装 scala 插件 才可以创建scala项目
一个简单的字符串替换 demo：
object Main {def main(args: Array[String]): Unit …
Spark-Scala语言实战（2）（在IDEA中安装Scala，超详细配图）
之前的文章中，我们学习了如何在windows下下载及使用Scala，但那对一个真正想深入学习Scala的人来说，是不够的，今天我会给大家带来如何在IDEA中安装Scala。同时，希望我的文章能帮助到你，如果觉得我的文章写的…
Spark-Scala语言实战（1）
在之前的文章中，我们学习了如何在Linux安装Spark以及Scala，想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark及Scala的安装https:/…
【运维】Ubuntu 安装Scala
目录 下载Scala
验证安装 下载Scala
官方地址
<https://www.scala-lang.org/download/>下载安装命令
curl -fL <https://github.com/coursier/coursier/releases/latest/download/cs-x86_64-pc-linux.gz> | gzip -d > cs && chmod x cs && …
Spark 用AnyFunSuite单元测试Scala详细教程
在用java开发时，通过用Junit框架来测试，在用spark开发scala时，除了可以用Junit，还可以用AnyFunSuite，无需依赖AnyFunSuite。
步骤一：设置项目依赖
确保您的项目中包含了以下必要的依赖： <d…
Scala第六章节(类和对象的定义、访问修饰符和构造器的用法、main方法的实现形式、伴生对象的使用以及工具类的案例)
Scala第六章节
章节目标
掌握类和对象的定义掌握访问修饰符和构造器的用法掌握main方法的实现形式掌握伴生对象的使用掌握定义工具类的案例 1. 类和对象
Scala是一种函数式的面向对象语言, 它也是支持面向对象编程思想的，也有类和对象的概念。我们依然可以基于Sc…
基于Scala开发Spark ML的ALS推荐模型实战
推荐系统，广泛应用到电商，营销行业。本文通过Scala，开发Spark ML的ALS算法训练推荐模型，用于电影评分预测推荐。
算法简介
ALS算法是Spark ML中实现协同过滤的矩阵分解方法。
ALS，即交替最小二乘法（Alte…
Spark中使用scala完成数据抽取任务 -- 总结
如题 任务二：离线数据处理，校赛题目需要使用spark框架将mysql数据库中ds_db01数据库的user_info表的内容抽取到Hive库的user_info表中，并且添加一个字段设置字段的格式 第二个任务和第一个的内容几乎一样。
在该任务中主要需要完成以下几个阶…
Scala中如何使用Jsoup库处理HTML文档？
在当今互联网时代，数据是互联网应用程序的核心。对于开发者来说，获取并处理数据是日常工作中的重要一环。本文将介绍如何利用Scala中强大的Jsoup库进行网络请求和HTML解析，从而实现爬取京东网站的数据，让我们一起来探索吧…
Scala第十八章节(Iterable集合、Seq集合、Set集合、Map集合以及统计字符个数案例)
Scala第十八章节
章节目标
掌握Iterable集合相关内容.掌握Seq集合相关内容.掌握Set集合相关内容.掌握Map集合相关内容.掌握统计字符个数案例. 1. Iterable
1.1 概述
Iterable代表一个可以迭代的集合, 它继承了Traversable特质, 同时也是其他集合的父特质. 最重要的是, 它定…
Scala第十章节(列表、集相关知识点)
列表
列表(List)是Scala中最重要的, 也是最常用的一种数据结构。它存储的数据, 特点是: **有序****,** **可重复**. 在Scala中，列表分为两种, 即: 不可变列表和可变列表.
解释:
有序 的意思并不是排序, 而是指 元素的存入顺序和取出顺序是一致的 .可重复 的意思…
Spark-Scala语言实战（11）
在之前的文章中，我们学习了如何在spark中使用RDD中的cartesian,subtract最终两种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-Scal…
Spark-Scala语言实战（4）
在之前的文章中，我们学习了如何在scala中定义无参，带参以及匿名函数。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-Scala语言…
启动spark-shell时报错java.lang.NumberFormatException: For input string: “0x100“
一、问题描述
安装完Spark后，启动spark shell时报错
java.lang.NumberFormatException: For input string: "0x100"
如下图： 二、解决办法
1.更换scala的版本
2.更改环境变量
使用vim编辑器打开用户的环境变量配置文件
vim ~/.bashrc
s…
Chisel程序设计-取指译码模块实现
Chisel程序设计-取指译码模块实现 b站录屏目标内容1. 译码器的设计2. 寄存器文件的设计3. 实现32-word的指令存储器并组合模块。4. 组合 指令存储器，寄存器文件，译码器。详细过程，可以访问视频和文档待完善 b站录屏 bilibili: chisel入门程序…
py脚本模拟json数据，StructuredStreaming接收数据存储HDFS一些小细节 ERROR:‘path‘ is not specified
很多初次接触到StructuredStreaming 应该会写一个这样的案例
- py脚本不断产生数据写入linux本地， 通过hdfs dfs 建目录文件来实时存储到HDFS中
1. 指定数据schema： 实时json数据
2. 数据源地址：HDFS
3. 结果落地位置： HDFS
…
【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理
风不懂 不懂得 叶的梦 月不听 不听闻 窗里琴声意难穷 水不见 不曾见 绿消红 霜不知 不知晓 将别人怎道珍重 落叶有风才敢 做一个 会飞的梦 孤窗有月才敢 登高在 夜里从容 桃花有水才怕 身是客 身是客 此景不能久 🎵 Tie Yann (铁阳)、薄彩生《…
使用Intellij idea编写Spark应用程序(Scala+SBT)
使用Intellij idea编写Spark应用程序(ScalaSBT)
对Scala代码进行打包编译时，可以采用Maven，也可以采用SBT，相对而言，业界更多使用SBT。
运行环境
Ubuntu 16.04 Spark 2.1.0 Intellij Idea (Version 2017.1)
安装Scala插件
安…
Spark-Scala语言实战（12）
在之前的文章中，我们学习了如何在spark中使用键值对中的join,rightOuterJoin,leftOuterJoin三种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢…
Spark-Scala语言实战（13）
在之前的文章中，我们学习了如何在spark中使用键值对中的keys和values,reduceByKey,groupByKey三种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢…
【异常处理】sbt构建Chisel库时出现extracting structure failed:build status:error的解决办法
文章目录 报错背景：解决思路：①IDEA中配置本地的SBT进行下载②更改下载源为华为的镜像站1. 修改sbtconfig.txt2. 增加repositories文件 ③查看报错信息 总结整理的Scala-Chisel-Chiseltest版本信息对应表 报错背景：
最近在写Chisel时&#x…
升级openssl到3.X版本
下载 https://www.openssl.org/source/old/3.1/
下载之后, 上传到服务器/usr/local/src 执行命令./config --prefix/usr/local/openssl 这个时候可能会报错, 我的错误是:
[rootcompute09 openssl-3.1.3]# ./config --prefix/usr/local/openssl
Cant locate IPC/Cmd.pm in INC…
信息安全与阿里云等保三级方案实践总结
信息安全在当今数字化时代变得至关重要，企业和组织需要采取有效措施来保护其数据和信息资产。阿里云作为中国领先的云服务提供商，提供了等保三级方案，帮助用户满足国家信息安全等级保护的要求。本文将探讨信息安全和阿里云等保三级方案的重要…
Spark实战-基于Spark日志清洗与数据统计以及Zeppelin使用
Saprk-日志实战
一、用户行为日志
1.概念
用户每次访问网站时所有的行为日志(访问、浏览、搜索、点击)用户行为轨迹，流量日志2.原因
分析日志：网站页面访问量网站的粘性推荐3.生产渠道
(1)Nginx(2)Ajax4.日志内容 日志数据内容：1.访问的…
scala-idea环境搭建及使用
环境搭建
创建一个新项目，选择maven工程 点击next，写入项目名，然后finish 注意：默认下，maven不支持scala的开发，需要引入scala框架，右键项目点击-》add framework
pport....，在下图…
【IC设计】Scala、Chisel、Chiseltest版本兼容信息
在maven仓库中精心整理的Scala、Chisel、Chiseltest的版本兼容信息，有了这个再也不怕sbt构建时找不到库文件了！ 目前百度上我搜不到这个资料，是我从maven官网上整理的，如果对你有用希望点点赞~ scala 2.11系列兼容的chisel版本为兼…
Scala第十一章节(Option类型和偏函数)
2. Option类型
2.1 概述
实际开发中, 在返回一些数据时, 难免会遇到空指针异常(NullPointerException), 遇到一次就处理一次相对来讲还是 比较繁琐的. 在Scala中, 我们返回某些数据时，可以返回一个Option类型的对象来封装具体的数据，从而实现有效 的避…
【scala】使用gradle和scala构建springboot程序
零、版本说明:
springboot: 2.7.18 使用log4j2，不使用springboot自带的logback scala版本：2.11 jackson版本：2.16.0
一、依赖：
buildscript {dependencies {// using spring-boot-maven-plugin as package toolclasspath("…
Spark-Scala语言实战（9）
之前的文章中，我们学习了如何在spark中使用RDD方法的flatMap,take,union。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-Scala语言实战&am…
scala05-函数式编程02
函数式编程-函数对象作为方法的参数
package com.zishi.scala.a02.okk05/*** 将函数对象作为方法的参数来使用，* 函数本身就是对象，* 对象的使用领域：变量，方法参数，返回值类型** 类比Java* public void test(User us…
IDEA的Scala环境搭建
目录
前言
Scala的概述
Scala环境的搭建
一、配置Windows的JAVA环境
二、配置Windows的Scala环境
编写一个Scala程序 前言 学习Scala最好先掌握Java基础及高级部分知识，文章正文中会提到Scala与Java的联系，简单来讲Scala好比是Java的加强版&#x…
Scala介绍与环境搭建
Scala环境搭建与介绍
一、Scala环境搭建 1、环境准备与下载 2、验证Scala 3、IDEA新建项目，配置Scala，运行Hello world 二、Scala介绍 1、Scala 简介 2、Scala 概述
一、Scala环境搭建
1、环境准备与下载 JDK1.8 Java Downloads | Oracle 下载需求版本…
Spark-Scala语言实战（7）
在之前的文章中，我们学习了如何在IDEA中导入jars包，并做了一道例题，了解了RDD。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢…
scala实现通过Spark统计人均登录次数最终写入MySQL
谨以此博客作为记录 小编这里用的版本是： <hadoop.version>2.7.7</hadoop.version> <spark.version>2.4.5</spark.version> <scala.version>2.12.10</scala.version> 如果没用到Hadoop可以忽略 步骤
准备数据，知道…